Nhà bia được đặt tại đình Long Hưng, xã Long Hưng, huyện Châu Thành, tỉnh Tiền Giang.
Xã Long Hưng, huyện Châu Thành cũng được xem là cái nôi Khởi nghĩa Nam kỳ tại Tiền Giang. Vào đêm 22 rạng sáng ngày 23/11/1940, lần đầu tiên tại Đình Long Hưng, xã Long Hưng, huyện Châu Thành, tỉnh Mỹ Tho (nay là tỉnh Tiền Giang) nhân dân địa phương cùng với giáo mác, gậy gộc nhất tề đứng lên theo tiếng gọi của Đảng diệt ác, trừ gian, làm nên cuộc khởi nghĩa Nam Kỳ vang dội. Trong đêm này cũng đã xuất hiện lá cờ đỏ sao vàng... Long Hưng (Châu Thành, Tiền Giang) được công nhận là một trong những nơi nổ ra cuộc khởi nghĩa Nam kỳ đầu tiên ở khu vực đồng bằng sông Cửu Long lúc bấy giờ.
Theo Uỷ viên trung ương Đảng, Phó Chánh án Tòa án nhân dân tối cao Lê Hồng Quang, sau khi cuộc khởi nghĩa nổ ra, cùng với thành lập Ủy ban nhân dân cách mạng lâm thời tỉnh Mỹ Tho cũ (nay là Tiền Giang), vào ngày 25/11/1940, Tòa án nhân dân cách mạng tỉnh Mỹ Tho được thành lập đặt trụ sở tại đình Long Hưng. Đây là lần đầu tiên ở Nam bộ cũng là lần đầu tiên ở nước ta, Tòa án nhân dân cách mạng cấp tỉnh được thành lập.
Tối 29/11/1940, phiên tòa đầu tiên xét xử bọn tay sai Thực dân Pháp được tổ chức dưới sự chứng kiến của khoảng 3.000 quần chúng cách mạng. Trong phiên tòa cách mạng công khai này, Tòa án nhân dân cách mạng tỉnh Mỹ Tho đã đưa ra xét xử và cảnh cáo tên Hương quản Sâm ở xã Long Định và tên Cai Trí (đồn Thạnh Phú) bị ta bắt được trong thời gian khởi nghĩa. Còn từ đêm 29/11/1940 đến ngày 1/12/1940, trong thời gian ngắn ngủi , Tòa án nhân dân cách mạng tỉnh Mỹ Tho đã mở khoảng 10 phiên xét xử. Qua đó, giáo dục, cảnh cáo nghiêm khắc những tên tay sai cho giặc, giáo dục truyền thống yêu nước thương nòi, tích cực ủng hộ cách mạng, ủng hộ sự nghiệp chính nghĩa của Đảng và nhân dân. Nhiều tên, về sau đã ủng hộ tích cực nhân tài và vật lực cho sự nghiệp cách mạng tại địa phương.
Tòa án nhân dân cách mạng tỉnh Mỹ Tho do vậy trở thành chỗ dựa của nhân dân trong bảo vệ công lý, quyền con người; là công cụ hữu hiệu bảo vệ chính quyền cách mạng và nhân dân, bảo vệ thể chế dân chủ cộng hòa, đấu tranh có hiệu quả với các loại tội phạm có hành vi chống phá sự nghiệp cách mạng của nhân dân ta.
UVTW Đảng, Phó Chánh án Tòa án nhân dân tối cao Lê Hồng Quang đánh giá, gần 80 năm đã trôi qua kể từ sự kiện Nam kỳ khởi nghĩa và thành lập Tòa án nhân dân cách mạng tỉnh Mỹ Tho (1940 – 2019) long trời lở đất nhưng các sự kiện trên ghi dấu ấn không phai mờ trong lịch sử dân tộc, trong lòng nhân dân, của cán bộ, nhân viên công tác trong ngành Tư pháp cách mạng hôm qua, hôm nay và trong tương lai. Việc Tòa án nhân dân tối cao kết hợp với tỉnh Tiền Giang xây dựng nhà bia ghi dấu địa điểm xét xử đầu tiên ở Nam bộ nhằm tri ân các thế hệ cách mạng đã không tiếc máu xương cho nền độc lập của dân tộc, xây dựng nên truyền thống cách mạng ngành Tòa án nhân dân nói chung và Tòa án nhân dân tỉnh Tiền Giang nói riêng, góp phần giáo dục truyền thống cách mạng tốt đẹp cho muôn đời sau. Đây cũng là những hoạt động thiết thực của ngành Tòa án nhân dân lập thành tích tiến tới chào mừng 80 năm Nam kỳ khởi nghĩa (23/11/1940 - 23/11/2020), chào mừng đại hội đảng bộ các cấp tiến tới Đại hội Đảng toàn quốc lần thứ XIII và 75 năm truyền thống của ngành (23/9/1945 – 23/9/2020).