Siêu bot AI đằng sau ChatGPT trở nên "ngu" dần theo thời gian

Một nghiên cứu mới được báo cáo từ Đại học Stanford và UC Berkeley về hành vi của ChatGPT đã thay đổi theo thời gian. Trong báo cáo từ các nhà nghiên cứu cho thấy hiệu suất của các mô hình AI GPT-3.5 và GPT-4 cơ bản của chatbot trên thực tế "rất khác nhau", thậm chí là "ngu ngốc" hơn.

"Chúng tôi nhận thấy hiệu suất và hành vi của cả GPT-3.5 và GPT-4 khác nhau đáng kể giữa hai bản phát hành này và hiệu suất của chúng trên một số tác vụ đã trở nên kém hơn đáng kể theo thời gian." Nhóm nghiên cứu cho biết.

Trong bài báo, các nhà nghiên cứu Lingjiao Chen, Matei Zaharia và James Zou của Stanford đều nhận thấy rằng hiêu suất gần như là giảm dần khi so sánh với các bản phát hành của mô hình ngôn ngữ vào tháng 3 và tháng 6.

Hiệu suất không chỉ giảm dần mà GPT-4, mô hình "đa phương thức" tiên tiến có thể hiểu được hình ảnh cũng như văn bản, dường như hoạt động kém hơn rất nhiều theo thời gian trong các tác vụ mà nó được thử nghiệm trước đó.

Các nhiệm vụ vô cùng đa dạng nhằm đưa ra những đánh giá công bằng về khả năng của mô hình: các bài toán, trả lời các câu hỏi nhạy cảm, viết code và lý luận trực quan đều là một phần của quá trình đánh giá. 

Tuy nhiên, ngay cả những nhiệm vụ vô cùng cơ bản GPT-4 trở nên "nhạt nhoà" hơn trước đó.

GPT-4 cung cấp hiệu suất cho phiên bản trả phí ChatGPT Plus, được đo độ chính xác giảm từ 97,6% vào tháng 3 xuống chỉ còn 2,4% vào tháng 6. Trong khi đó, GPT-3.5 hỗ trợ phiên bản ChatGPT miễn phí, đã tăng từ 7,4% lên 86,8% khi được hỏi cùng một câu hỏi.

Đây cũng không phải là lần đầu tiên GPT-4 bị chỉ trích vì đưa ra những thông tin sai lệhc. Một bài báo nghiên cứu khác cho thấy ChatGPT chạy trên phiên bản 4 có nhiều khả năng cung cấp thông tin sai lệch hơn so với phiên bản tiền nhiệm.

GPT-4 cung cấp năng lượng cho AI của Microsoft và được đánh giá hoạt động vượt trội hoặc đưa ra các phản hồi kỳ lạ trong quá khứ. Tuy nhiên, đây là lần đầu tiên một siêu AI của ChatGPT bị đánh giá là "ngu" hơn theo thời gian.