Cuối thế kỷ XIX, thực dân Pháp đã thiết lập bộ máy cai trị trên vùng Tây Bắc. Đầu năm 1908, chúng cho xây dựng Nhà tù Sơn La trên đồi Khau Cả (nay thuộc tổ 9, phường Tô Hiệu, thành phố Sơn La)... Năm 1930, từ một nhà tù hàng tỉnh, chủ yếu giam thường phạm, thực dân Pháp đã xây dựng nơi đây trở thành nhà tù hàng quốc gia, chủ yếu giam cầm tù nhân chính trị với mục tiêu đày ải và thủ tiêu ý chí cách mạng của các chiến sỹ Cộng sản và những người Việt Nam yêu nước. Qua 3 lần xây dựng và mở rộng, Nhà tù Sơn La có tổng diện tích là 2.184m², với 49 phòng giam lớn, nhỏ khác nhau.

Nhà tù Sơn La được thực dân Pháp xây dựng với một hệ thống kiên cố với tường cao 3,9m, dày từ 30 đến 60cm. 

Thực dân Pháp đã cho xây dựng nhiều trại giam, đặc biệt là khu xà lim ngầm sâu dưới lòng đất 3,5m với diện tích 110 m². Trong phòng giam, sàn nằm của tù nhân được thiết kế bằng đá, láng xi măng với hệ thống cùm chân chạy dọc theo chiều dài của sàn. Tù nhân mỗi năm chỉ được phát một bộ quần áo làm bằng vải thun, một manh chiếu và một chiếc chăn mỏng, không thể đủ chống chọi với khí hậu khắc nghiệt của vùng Tây Bắc.

Được mệnh danh là địa ngục trần gian chỉ xếp thứ hai sau Nhà tù Côn Đảo, Nhà tù Sơn La là nơi giam cầm của 14 đoàn tù chính trị với 1.013 lượt tù nhân. Trong đó có nhiều đồng chí là Ủy viên Trung ương, Xứ ủy, Thành ủy và cán bộ cốt cán tiêu biểu của Đảng, như: Lê Duẩn, Trường Chinh, Nguyễn Lương Bằng, Văn Tiến Dũng, Trần Quốc Hoàn, Lê Thanh Nghị, Mai Chí Thọ... 

Từ sau năm 1939, số lượng đảng viên bị đày lên Nhà tù Sơn La ngày càng tăng. Xuất phát từ những yêu cầu thực tiễn phải có một chi bộ Đảng làm hạt nhân lãnh đạo hoạt động và tổ chức đấu tranh. Tháng 12/1939, các đảng viên trong tù đã bí mật triệu tập một Hội nghị để thảo luận và thành lập Chi bộ lâm thời gồm 10 đồng chí.

Tháng 2/1940, Chi bộ lâm thời chuyển thành Chi bộ chính thức, đồng chí Trần Huy Liệu làm Bí thư. Tháng 5/1940, chi ủy đã triệu tập Đại hội, đồng chí Tô Hiệu được bầu làm Bí thư Chi bộ. Chi bộ Nhà tù Sơn La ra đời, đánh dấu một giai đoạn phát triển mới của phong trào cách mạng tại Sơn La.

Giữa chốn lao tù xiềng xích và bị kẻ thù kiểm soát gắt gao, tờ báo "Suối Reo" được Chi bộ Nhà tù Sơn La xuất bản vào tháng 5/1941 đã phản ánh nhiều nội dung sinh hoạt của tù nhân trong cuộc đấu tranh chống lại chế độ tù đày của thực dân; trở thành là vũ khí sắc bén để tuyên truyền, giáo dục tinh thần yêu nước, rèn luyện phẩm chất cách mạng của người tù cộng sản.

Với những giá trị lịch sử to lớn, ngày 31/12/2014, Nhà tù Sơn La được Thủ tướng Chính phủ công nhận là Di tích quốc gia đặc biệt. Hiện nay, di tích lịch sử Nhà tù Sơn La trở thành địa chỉ đỏ để giáo dục truyền thống cách mạng cho các thế hệ trẻ, mỗi năm, đón trên 260.000 lượt khách tham quan.