Các nhà nghiên cứu tại SII-GAIR vừa công bố ASI-EVOLVE – một framework agentic có khả năng tự động tối ưu hóa dữ liệu huấn luyện, kiến trúc mô hình và thuật toán học máy mà không cần sự can thiệp của con người – đồng thời vượt trội hơn các chuẩn do chuyên gia người thiết lập trên cả ba lĩnh vực.
Vấn đề ASI-EVOLVE giải quyết
Các vòng lặp nghiên cứu thực sự thúc đẩy tiến bộ AI vẫn còn rất khó tự động hóa: cải tiến kiến trúc, pipeline dữ liệu hay thuật toán huấn luyện thường đòi hỏi chỉnh sửa các codebase lớn, chạy thí nghiệm tốn kém, giải thích kết quả đa chiều và duy trì quá trình khám phá nhất quán qua nhiều vòng. Các framework hiện có chưa chứng minh được rằng AI có thể hoạt động hiệu quả trong chế độ này theo cách thống nhất, cũng như chưa tạo ra được những tiến bộ thực sự trên cả ba trụ cột nền tảng của phát triển AI cùng lúc.
Với các nhóm doanh nghiệp thực hiện các vòng tối ưu hóa lặp lại trên hệ thống AI của mình, framework này mở ra con đường giảm thiểu công sức kỹ thuật thủ công trong khi vẫn đạt hoặc vượt hiệu suất của các chuẩn do con người thiết kế. Các nhóm kỹ thuật chỉ có thể khám phá một phần rất nhỏ trong không gian thiết kế khổng lồ của các mô hình AI tại bất kỳ thời điểm nào. Thực thi các workflow thí nghiệm đòi hỏi nỗ lực thủ công tốn kém và sự can thiệp thường xuyên của con người.
Ba lĩnh vực đột phá
Thiết kế kiến trúc mô hình
Trong thiết kế kiến trúc nơ-ron, ASI-EVOLVE tự động tạo ra 1.350 ứng viên trong 1.773 vòng khám phá, phát hiện 105 kiến trúc vượt qua DeltaNet do con người thiết kế. Mô hình hàng đầu của nó đạt mức cải thiện +0,97 điểm, gần gấp ba lần tiến bộ của các tiến bộ SOTA thủ công gần đây nhất.
Để đạt được những kết quả này, ASI-EVOLVE đã phát triển cơ chế định tuyến đa tỉ lệ điều chỉnh linh hoạt ngân sách tính toán của mô hình dựa trên nội dung cụ thể của đầu vào.
Tuyển chọn dữ liệu huấn luyện
Trong tuyển chọn dữ liệu tiền huấn luyện, các chiến lược được tối ưu hóa tạo ra các tập dữ liệu huấn luyện sạch hơn, cải thiện trung bình 3,96 điểm so với dữ liệu gốc, với mức tăng đặc biệt mạnh trên các benchmark đòi hỏi kiến thức chuyên sâu như MMLU, nơi mức cải thiện vượt quá 18 điểm.
Thiết kế thuật toán học tăng cường
Trong thiết kế thuật toán học tăng cường, ASI-EVOLVE khám phá ra các cơ chế tối ưu hóa mới. Nó thiết kế các thuật toán vượt trội hơn chuẩn GRPO cạnh tranh trên các benchmark suy luận toán học phức tạp như AMC32 và AIME24. Một biến thể thành công đã phát minh ra “Budget-Constrained Dynamic Radius” – cơ chế giữ cho các cập nhật mô hình nằm trong giới hạn xác định.
Ý nghĩa với doanh nghiệp và toàn ngành
Theo hiểu biết của nhóm nghiên cứu, đây là lần đầu tiên có một minh chứng thống nhất về AI tự điều khiển khám phá trên cả ba thành phần trung tâm của phát triển AI: dữ liệu, kiến trúc và thuật toán học.
Về bản chất, ASI-EVOLVE hoạt động như một nhà khoa học AI tự động: thu thập tài liệu nền, hình thành giả thuyết có cơ sở, thực thi thí nghiệm và đúc kết nhận thức thông qua phân tích có hệ thống. Điều quan trọng là những nhận thức này được lưu giữ và tái sử dụng, thay vì bị cô lập như kinh nghiệm cá nhân của từng kỹ sư.
