Theo Đại Việt sử ký toàn thư ghi lại, sau 10 năm chiến đấu chống quân Minh gian khổ (1418 - 1428), Lê Lợi và nghĩa quân Lam Sơn giành được thắng lợi. Lê Lợi lên ngôi Hoàng Đế, lấy niên hiệu Thuận Thiên, đặt tên nước là Đại Việt, đồng thời bắt tay vào xây dựng một triều đại phong kiến hưng thịnh.
Tuy nhiên, năm 1431, tù trưởng Đèo Cát Hãn quên ân bội nghĩa đã làm phản, liên kết với Kha Đốn - một bầy tôi phản nghịch của Ai Lao (nước Lào) quấy nhiễu nhân dân nơi biên ải, đánh chiếm vùng đất Mường Muỗi (nay là vùng Thuận Châu, Sơn La ngày nay). Trước tình hình đó, Vua Lê Thái Tổ phái Quốc Vương Tư Tề và Quan Tư Khấu Lê Sát mang quân tiến đánh. Sau đó, Vua Lê Thái Tổ thân chinh đem quân lên châu Ninh Viễn (Lai Châu ngày nay) dẹp giặc, thống nhất non sông đất nước.
Sau khi dẹp yên phản tặc vùng Tây Bắc, trên đường quay trở về qua địa phận xã Lê Lợi (huyện Nậm Nhùn ngày nay), để ghi nhớ sự kiện trọng đại này, đồng thời răn dạy các tù trưởng cai quản nơi biên giới của Tổ quốc, tháng Chạp năm Tân Hợi 1431, Vua Lê Thái Tổ cho tạc khắc vào vách đá bài văn bia. Văn bia được khắc trên vách đá Pú Huổi Chỏ bên bờ Bắc sông Đà để lưu lại cho muôn đời sau (sử cũ gọi là Bia Cổ hoài lai). Toàn văn bia được tạc khắc bằng chữ Hán, trong khuôn khổ hình chữ nhật có kích thước 1,4 m x 0,8 m, viết theo chữ khải chân gồm 132 chữ.
Bia Vua Lê Thái Tổ được công nhận là Di tích cấp quốc gia năm 1981. Trước năm 2009, Di tích Bia Vua Lê Thái Tổ nằm trên một khoảng đất bằng hẹp tại sườn núi ven đường tỉnh lộ 127. Bia nằm liền ở vách sườn núi thấp, hướng mặt bia nhìn xuống dòng sông Đà. Năm 2012, thực hiện việc xây dựng Nhà máy thủy điện Sơn La, để bảo tồn giá trị Di sản Bia Vua Lê Thái Tổ nên phần bút tích văn bia đã được khoan cắt ra khỏi vách đá Pú Huổi Chỏ và được di chuyển cách vị trí cũ 500 m; từ đó hình thành nên quần thể lưu niệm Vua Lê Thái Tổ ngày nay.
Bia Vua Lê Thái Tổ là hiện thân của kiểu văn bia Ma nhai (một trong những hình thức văn bia thuộc loại ít, quý hiếm ở nước ta hiện nay). Đây là tài sản vô giá, có giá trị đặc biệt quý hiếm liên quan đến sự kiện lịch sử quan trọng của đất nước và sự nghiệp của Anh hùng dân tộc Lê Lợi. Với những giá trị này, ngày 22/12/2016, Thủ tướng Chính phủ ban hành Quyết định về việc Công nhận Bảo vật quốc gia đợt 5 năm 2016, trong đó có Bia Vua Lê Thái Tổ (Bia Cổ hoài lai).
Ông Vũ Tiến Hóa, Phó Chủ tịch UBND huyện Nậm Nhùn cho biết, việc tổ chức Lễ hội Đền thờ Vua Lê Thái Tổ là sự kiện văn hóa quan trọng thể hiện sự tri ân, tôn vinh những cống hiến, hy sinh của Anh hùng dân tộc Lê Lợi cùng các tướng sỹ, nghĩa quân, nhân dân cả nước trong quá trình dựng nước và giữ nước; khơi dậy nét đẹp truyền thống văn hóa, lòng tự hào, tự tôn dân tộc, góp phần giáo dục và phát huy truyền thống lịch sử, văn hóa, truyền thống yêu nước xây dựng, bảo vệ Tổ quốc...