Benchmark mới tiết lộ sự thật phũ phàng về AI audit hợp đồng thông minh: Tỷ lệ thành công dưới 44%, rủi ro bảo mật gia tăng
Hôm nay, tôi nhận được một báo cáo benchmark từ nhóm Million – nhà phát triển công cụ tối ưu hóa React – nhưng lần này họ không test React thông thường, mà là khả năng của các AI agent trong việc kiểm tra và sửa lỗi hợp đồng thông minh trên Ethereum. Kết quả khiến tôi phải dừng lại: không một AI agent nào đạt tỷ lệ thành công quá 43.1%, và trung bình mỗi lần kiểm tra lại tạo ra thêm 0.27 lỗi mới. Mô hình của tôi nói rằng AI audit đang ở giai đoạn 'tiền sơ khai', nhưng macro nói rằng thị trường đã định giá các công ty AI audit như thể chúng đã sẵn sàng thay thế con người. Đây là một sự chênh lệch nguy hiểm.
Bối cảnh: Thị trường crypto đang chứng kiến làn sóng tích hợp AI vào mọi khâu – từ giao dịch, phân tích on-chain đến audit hợp đồng thông minh. Các start-up như Vibi.io hay AuditWise huy động hàng chục triệu USD với lời hứa 'AI sẽ phát hiện mọi lỗ hổng nhanh hơn, rẻ hơn'. Nhưng thực tế kỹ thuật lại hoàn toàn khác. Benchmark lần này của Million (tôi gọi tạm là SmartAuditBench) đã thiết kế 51 task lấy từ các dự án DeFi nổi tiếng như Uniswap, Aave, Compound – những hợp đồng phức tạp với hàng trăm dòng logic. Họ sử dụng 400+ rule để kiểm tra không chỉ lỗi cú pháp mà còn cả lỗi logic, tối ưu gas, và bảo mật (reentrancy, oracle manipulation). Kết quả: GPT-5.6 Sol đạt 43.1%, Fable 5 đạt 41.2%; thấp hơn nhiều so với kỳ vọng của thị trường.
Cốt lõi của vấn đề nằm ở con số đáng báo động: trong 4.455 lần test, AI agent đã tạo ra 1.194 lỗi mới – 77.5% trong số đó là lỗi lập trình hoặc lỗ hổng bảo mật. Điều này đồng nghĩa với việc cứ mỗi 4 lần audit, AI lại vô tình 'cài cắm' một lỗi mới vào code. Mô hình của tôi nói rằng đây là hậu quả của việc các mô hình ngôn ngữ lớn được huấn luyện trên dữ liệu code hỗn tạp, không có cơ chế phản biện, nhưng macro nói rằng các quỹ đầu tư vẫn đang đổ tiền vào những start-up này với định giá cao ngất ngưởng. Một nghịch lý điển hình của thị trường tăng.
Góc nhìn phản trực giác: Có thể benchmark này đang bị phóng đại? Tôi cho rằng không. Million là bên thứ ba độc lập với động cơ rõ ràng – họ muốn bán công cụ scan code của mình (React Scan, Million.js). Nhưng điều đó không làm giảm giá trị kỹ thuật của benchmark. Thực tế, họ đã công bố mã nguồn task và rule để bất kỳ ai cũng có thể tái kiểm tra. Điểm mù ở đây là: AI agent hiện tại thiếu khả năng 'debug loop' – chúng chỉ tạo ra code một lần rồi kết thúc, không có cơ chế tự kiểm tra và sửa lỗi. Trong khi đó, một auditor con người thường chạy thử, phân tích stack trace, và điều chỉnh. Nếu không có cơ chế này, AI sẽ mãi mãi là công cụ hỗ trợ, không thể thay thế.
Takeaway cho chu kỳ này: Thị trường đang bị cuốn theo câu chuyện 'AI thay thế con người' trong audit smart contract, nhưng dữ liệu cho thấy chúng ta còn rất xa. Nhà đầu tư nên thận trọng với các start-up chỉ dựa vào AI audit mà thiếu đội ngũ con người kiểm chứng. Và các nhà phát triển – đừng bao giờ deploy code mà chưa có audit thủ công. Kịch bản xấu nhất: nếu một AI agent tự động fix lỗi nhưng lại vô tình mở ra lỗ hổng mới, toàn bộ pool thanh khoản có thể bị drain. Macro đang nói rằng: trong khi AI chưa sẵn sàng, hãy dùng nó như một trợ lý, không phải người quyết định.