Hiện nay, chùa còn lưu giữ 26 bức tấm bia đá cổ có từ lâu đời. Trên mỗi tấm bia được các nghệ nhân tạc gương mặt của những người phụ nữ của Cao Xá xưa kia. Đây là những người phụ nữ, những bà mẹ đạo đức, mẫu mực, nhân hậu bao dung và nuôi con vương trưởng, thành đạt có công với đất nước. Đây cũng là những người phụ nữ có công lớn trong đóng góp công đức bằng tiền, ruộng để xây dựng chùa từ cách đây nhiều thế kỷ.
Theo những người cao niên trong xã Cao An, các tấm bia này đến nay được giữ gìn nguyên vẹn, mỗi tấm bia cao chừng 50 - 80 cm, rộng 40 - 50 cm bằng đá xanh. Mỗi tấm bia được tạc nổi trên đá hình một người phụ nữ ,với trang phục truyền thống, đường nét hoa văn rất tinh xảo. Đằng sau mỗi tấm bia còn ghi lại tên tuổi và những công lao của những người phụ nữ trong việc xây dựng chùa, xây dựng làng xóm và có công lớn với quê hương đất nước.
Đại đức Thích Tục Thịnh, trụ trì chùa Cao Xá cho rằng, những tấm bia đá tuy không đồng nhất về kích cỡ nhưng trên mỗi tấm bia đều có nét đặc trưng riêng của từng thời kỳ. Hoa văn trên mỗi tấm bia ở thời Tự Đức, Minh Mạng, Thiệu Trị cũng có nét đặc trưng riêng. Nhìn vào mỗi tấm bia cũng có thể phân biệt rõ hoa văn trên mỗi bộ trang phục phụ nữ qua từng thời kỳ.
Ông Đào Văn Truy, công chức văn hóa xã Cao An cho biết: Chùa Cao Xá hiện nay còn lưu giữ được hàng chục bức phù điêu vinh danh các bà mẹ có công nuôi dạy con cái trưởng thành. Đây là một nét độc đáo riêng hiếm có của chùa.
Trải qua thời gian, ngôi chùa đã nhiều lần được trùng tu tôn tạo. Tuy nhiên, hiện nay nhiều hạng mục công trình trong chùa đang bị xuống cấp nghiêm trọng như tiền đường, nhà mẫu, nhà bia,… Chính quyền địa phương đã vận động nhân dân cùng chung tay gìn giữ bảo vệ hệ thống bia đá, hệ thống tượng thờ có từ hàng trăm năm của chùa. Ủy ban nhân dân xã thường xuyên phối hợp với nhà chùa gìn giữ những tấm bia đá để giáo dục các thế hệ trẻ về truyền thống của các bà, các mẹ từ xa xưa.
Ông Phạm Văn Thành, Phó Chủ tịch Ủy ban nhân dân xã Cao An lo lắng về tình trạng xuống cấp của ngôi chùa sẽ ảnh hưởng đến hệ thống bia đá cũng như nhiều tượng phật có từ lâu đời. Chính quyền xã mong muốn các cơ quan chức năng, các mạnh thường quân hỗ trợ kinh phí để trùng tu tôn tạo những hạng mục công trình của di tích đang xuống cấp.
Trải qua hàng trăm năm, hệ thống bia đá tạc hình những bà mẹ tại chùa có thể thấy những chuẩn mực đạo đức của người phụ nữ qua các thời kỳ phong kiến trước đây. Đây cũng chính là những tấm gương sáng để các thế hệ phụ nữ học tập noi gương. Thông qua những tấm bia đá giúp giáo dục thể hệ trẻ về truyền thống, tinh thần đoàn kết, những chuẩn mực của người phụ nữ xưa cùng đóng góp xây dựng quê hương đất nước.
Lịch sử xã Cao An còn ghi nhận nhiều gương phụ nữ, các bà mẹ là người con của xã đã không tiếc xương máu cống hiến trong hai cuộc kháng chiến chống thực dân Pháp và đế quốc Mỹ xâm lược. Xã có 6 bà Mẹ Việt Nam anh hùng được vinh danh.