Động Sát Beating AI tin nhanh, nhà khoa học trưởng của OpenAI, Jakub Pachocki, đã đăng bài cảnh báo rằng một phương pháp cốt lõi mà họ dùng để kiểm tra xem AI có được căn chỉnh hay không đang ngày càng trở nên kém tin cậy. Phương pháp này gọi là giám sát CoT, tức là quan sát quá trình suy luận mà mô hình viết ra để xem nó có che giấu mục tiêu hoặc ý tưởng nguy hiểm nào không.

OpenAI luôn coi giám sát CoT là lựa chọn chính. Khi o1-preview ban đầu không công khai chuỗi suy nghĩ đầy đủ, một lý do quan trọng là không muốn trực tiếp huấn luyện và ràng buộc CoT, để tránh mô hình học cách che giấu ý định thực sự. Đến GPT-6 Astra, phương pháp này vẫn rất quan trọng.

Tuy nhiên, đánh giá nội bộ của OpenAI cho thấy giám sát CoT đang ngày càng kém tin cậy. Mô hình hiện giờ kiểm soát quá trình suy luận của mình tốt hơn, và ngay cả khi không viết ra suy luận, nó vẫn có thể tiếp tục trở nên thông minh hơn. Pachocki lo ngại rằng khi năng lực của mô hình tiếp tục tăng trưởng, con người có thể ngày càng khó nhìn rõ nó thực sự đưa ra quyết định như thế nào.

Ông cũng chỉ ra rằng hiện tại chưa có phòng thí nghiệm nào giải quyết được vấn đề căn chỉnh và giám sát đến mức có thể mở rộng mô hình ở tốc độ tối đa trong dài hạn. Trước khi thiết lập ngưỡng an toàn chung, ông hy vọng các phòng thí nghiệm AI chủ động giảm tốc độ, và nếu cần thiết, OpenAI cũng sẽ tạm dừng việc mở rộng mô hình thêm nữa.