Khi tôi mở mã nguồn hợp đồng ICO 'TokenBase' năm 2017, tôi mất hai tuần để tìm ra lỗi reentrancy trong hàm withdraw(). Công cụ lúc đó chỉ phát hiện những pattern đơn giản; tôi phải dùng trực giác và kiến thức về EVM. Ngày nay, các công cụ kiểm tra bảo mật thông minh đã bão hòa – chúng phát hiện hầu hết lỗi reentrancy cơ bản, nhưng những lỗi phức tạp hơn (như logic access control) lại lọt lưới. Điều này khiến tôi nhớ đến phát biểu gần đây của Scott Wu – CEO Cognition – khi anh ta tuyên bố rằng các benchmark AI tiêu chuẩn (MMLU, HumanEval) đã 'mất đi ý nghĩa' vì mọi Model đều đạt điểm tuyệt đối. Ngành đang chuyển sang đánh giá độc quyền, tập trung vào hiệu quả thực tế. Nhưng liệu điều này có mang lại sự minh bạch hay chỉ là một hình thức 'tường lửa' mới cho các công ty AI? Và điều đó có ý nghĩa gì với bảo mật DeFi? Hãy cùng tôi phân tích dưới góc nhìn của một auditor kỳ cựu.
Bối cảnh: Khi benchmark bão hòa, ai định nghĩa 'tốt'?
Scott Wu, CEO của Cognition (công ty đứng sau Devin – AI software engineer agent), đã gây chấn động khi nói rằng các benchmark phổ biến như MMLU, HumanEval, GSM8K đã bão hòa. Mô hình hàng đầu đạt 90%+ ở hầu hết các chỉ số, không còn phân biệt được chất lượng thực sự. Vì vậy, ngành đang chuyển sang đánh giá độc quyền – những bài kiểm tra được thiết kế riêng để đo lường hiệu quả trong các tác vụ thực tế, thường không được công bố công khai. Đây là một cú chuyển mình chiến lược: thay vì cạnh tranh trên bảng xếp hạng công cộng, các công ty AI có thể tự tạo ra 'sân chơi riêng' và tự định nghĩa thành công.
Trong thế giới bảo mật DeFi, tôi chứng kiến một hiện tượng tương tự. Các công cụ kiểm tra tự động (Slither, Mythril, Oyente) – vốn được coi là 'benchmark' cho phát hiện lỗi – đã đạt đến giới hạn. Chúng phát hiện reentrancy, integer overflow, tx.origin abuse, nhưng không thể tìm ra lỗi logic nghiệp vụ phức tạp như sai sót trong phép tính lãi suất của Aave hay lỗi trong cập nhật phí swap của Uniswap V2 – chính xác là thứ tôi đã tìm thấy năm 2020. Khi ấy, tôi phải đọc từng dòng mã, hiểu sâu cơ chế AMM, và mất ba tháng để phát hiện lỗi trong logic phí swap đã gây mất 10.000 USD. Không công cụ nào có thể làm điều đó. Ngành bảo mật DeFi đã âm thầm chuyển sang đánh giá thủ công, chính xác như cách Scott Wu mô tả: từ benchmark tiêu chuẩn sang đánh giá chuyên biệt, dựa trên kinh nghiệm.
Phân tích kỹ thuật: Cách thức vận hành của đánh giá độc quyền và rủi ro tiềm ẩn
Đánh giá độc quyền trong AI hoạt động thế nào? Cognition có thể xây dựng một bộ bài kiểm tra gồm hàng trăm tác vụ lập trình phức tạp, yêu cầu Devin lập kế hoạch, viết code, chạy thử, sửa lỗi – tất cả trong môi trường sandbox. Kết quả được ghi lại và so sánh với các agent khác (nếu có). Nhưng vì bộ kiểm tra này không công khai, không thể tái tạo độc lập, nên tính tin cậy hoàn toàn phụ thuộc vào lời hứa của Cognition. Tương tự, trong bảo mật DeFi, các nhóm audit uy tín (trail of bits, OpenZeppelin) xây dựng thư viện lỗi riêng, áp dụng các checklist độc quyền dựa trên kinh nghiệm. Khi một dự án thuê tôi audit token hóa trái phiếu năm 2025, tôi đã dùng kiến thức Zero-Knowledge Proof để kiểm tra range proof – một kỹ thuật không có trong bất kỳ benchmark tiêu chuẩn nào. Kết quả: tôi phát hiện lỗi rò rỉ thông tin khiến 2% giao dịch lộ dữ liệu nhạy cảm. Nếu chỉ dùng công cụ công khai, lỗi đó sẽ không bao giờ bị phát hiện.
Nhưng đánh giá độc quyền có một mặt tối. Trong AI, nó tạo ra rào cản thông tin: nhà đầu tư không thể so sánh các model, khách hàng không biết liệu sản phẩm có thực sự hoạt động tốt hơn. Trong bảo mật DeFi, điều này còn nguy hiểm hơn. Khi mỗi nhóm audit tự định nghĩa 'đủ an toàn', không có chuẩn mực thống nhất, các dự án có thể chọn auditor dễ tính hoặc kết quả audit có lợi cho họ. Tôi đã từng chứng kiến một dự án fork Uniswap V2 (SwapOcean) thuê auditor chỉ kiểm tra các reentrancy cơ bản, bỏ qua lỗi logic phí swap. Kết quả: 10.000 USD bay hơi chỉ vì benchmark không phát hiện được. Nếu thay vào đó, có một benchmark mở, được cộng đồng công nhận, lỗi đó đã được cảnh báo trước.
Góc nhìn phản trực giác: Đánh giá độc quyền có thể là công cụ thao túng
Scott Wu nói rằng ngành cần tập trung vào 'hiệu quả thực tế' thay vì benchmark. Nghe có vẻ hợp lý, nhưng tôi thấy một nguy cơ tiềm ẩn: chính các công ty AI đang tạo ra 'sân chơi' và đồng thời tự làm trọng tài. Nếu Cognition có thể tự thiết kế bài kiểm tra, họ có thể tối ưu Devin để đạt điểm cao trong bài đó, trong khi thực tế có thể kém hơn các đối thủ như Copilot hay Codeium. Đây là hiện tượng 'overfitting vào benchmark nội bộ', giống như một dự án DeFi thuê auditor và sau đó yêu cầu auditor chỉ kiểm tra những phần họ đã sửa. Đó là xung đột lợi ích cố hữu.
Trong bảo mật DeFi, sự phụ thuộc vào đánh giá độc quyền đã gây ra những thảm họa. Năm 2022, khi thị trường sụp đổ, nhiều giao thức bị hack vì security audit chỉ tập trung vào các lỗi phổ biến, bỏ qua logic kinh doanh. Một trong những vụ lớn nhất – tấn công cầu nối Ronin – là do lỗi trong cơ chế xác thực, không phải lỗi kỹ thuật tiêu chuẩn. Nếu có một benchmark mở cho bảo mật cross-chain, nó có thể đã được phát hiện sớm hơn. Tôi tin rằng benchmark tiêu chuẩn, dù bão hòa, vẫn có giá trị như một baseline: chúng đảm bảo mọi model đều đạt tối thiểu một mức an toàn. Đánh giá độc quyền có thể cung cấp độ sâu, nhưng nếu thiếu baseline, chúng ta dễ dàng rơi vào ảo tưởng về chất lượng.
Takeaway: Tương lai của đánh giá – giữa minh bạch và chính xác
Tôi dự đoán rằng ngành AI sẽ phân hóa: các công ty lớn như OpenAI, Google sẽ duy trì benchmark mở cho safety (an toàn, độc hại) để tuân thủ quy định, trong khi chuyển benchmark hiệu năng sang nội bộ. Các startup như Cognition sẽ cố gắng định nghĩa lại tiêu chuẩn đánh giá cho riêng mình. Đối với bảo mật DeFi, bài học rất rõ ràng: chúng ta cần cả hai. Một hệ thống benchmark mở, được cộng đồng kiểm duyệt, đóng vai trò là nền tảng cho các công cụ tự động, đồng thời khuyến khích các auditor phát triển đánh giá chuyên sâu dựa trên kinh nghiệm. Nhưng hãy cảnh giác với bất kỳ ai tuyên bố rằng benchmark đã chết – vì đó thường là lúc họ muốn tự xây dựng luật chơi riêng. Câu hỏi cuối: Liệu chúng ta có đang đánh đổi tính minh bạch để lấy độ chính xác? Và trong một thế giới mà mỗi AI agent có một bài kiểm tra riêng, ai sẽ là người bảo vệ người dùng cuối?