Tuy nhiên, đằng sau những lời tán dương, Whisper đang phải đối mặt với chỉ trích nặng nề vì một khiếm khuyết nghiêm trọng: khả năng tự động hư cấu thông tin, tức là tạo ra những đoạn văn bản hoặc thậm chí những câu nói mà chưa ai từng đưa ra.
Theo các kỹ sư phần mềm và nhà nghiên cứu, những chi tiết hư cấu không chỉ gây ra sự nhầm lẫn mà còn có thể chứa đựng những bình luận mang tính phân biệt chủng tộc, ngôn ngữ bạo lực và các phương pháp điều trị y tế không có thực. Mặc dù OpenAI đã cảnh báo rằng công cụ này không nên được sử dụng trong những "lĩnh vực nguy cơ cao", nhưng nhiều cơ sở y tế vẫn tích cực áp dụng Whisper để ghi chép các buổi tư vấn giữa bác sĩ và bệnh nhân.
Thực tế, nghiên cứu gần đây cho thấy tới 80% bản ghi âm trong cuộc khảo sát về các cuộc họp công khai có chứa những chi tiết hư cấu này. Một kỹ sư học máy cũng chỉ ra rằng các kết quả phân tích đối với hơn 100 giờ ghi chép của Whisper, cho thấy khoảng 50% trong số này đều có các sai sót nghiêm trọng. Điều này làm dấy lên những lo ngại về độ tin cậy của công nghệ đang ngày càng được sử dụng rộng rãi.
Các chuyên gia cảnh báo rằng những sai sót có thể dẫn đến "hệ lụy thực sự nghiêm trọng", đặc biệt là trong lĩnh vực y tế. Bà Alondra Nelson - cựu Giám đốc Văn phòng Chính sách Khoa học và Công nghệ của Nhà Trắng - nhấn mạnh rằng không ai muốn có một chẩn đoán sai lầm, đồng thời kêu gọi cần những tiêu chuẩn cao hơn trong việc áp dụng công nghệ này.
Việc Whisper được sử dụng để tạo phụ đề cho người khiếm thính cũng là vấn đề nghiêm trọng, do họ không có cách nào nhận biết được những thông tin sai lệch ẩn chứa giữa hàng triệu từ ngữ được tạo ra.
Sự gia tăng của những đoạn văn bản hư cấu đã thúc đẩy nhiều chuyên gia, các nhà hoạt động và cựu nhân viên OpenAI kêu gọi chính phủ liên bang xem xét quy định đối với AI. Ông William Saunders - một kỹ sư nghiên cứu tại San Francisco - tin rằng vấn đề này hoàn toàn có thể giải quyết nếu OpenAI ưu tiên xử lý.
OpenAI đã thừa nhận rằng họ đang nỗ lực không ngừng để giảm thiểu các chi tiết hư cấu và đánh giá cao phản hồi từ cộng đồng nghiên cứu. Tuy nhiên, nhiều kỹ sư vẫn khẳng định rằng chưa từng thấy công cụ ghi chép AI nào khác có mức độ hư cấu cao như Whisper.