OPML: Khung máy học dựa trên phương pháp lạc quan

Chúng tôi đã đưa ra một khuôn khổ mới có tên là OPML(Học máy lạc quan), có khả năng thực hiện hiệu quả việc suy diễn và đào tạo mô hình AI trên hệ thống blockchain. So với ZKML, OPML có chi phí thấp hơn và hiệu suất cao hơn. Yêu cầu phần cứng của OPML rất thấp, máy tính cá nhân thông thường không cần GPU vẫn có thể chạy các tác vụ OPML bao gồm các mô hình ngôn ngữ lớn như 7B-LLaMA.

OPML áp dụng cơ chế trò chơi xác minh để đảm bảo tính phi tập trung và khả năng xác minh của dịch vụ ML. Quy trình của nó như sau:

1. Người dùng khởi xướng yêu cầu dịch vụ ML
2. Máy chủ hoàn thành nhiệm vụ và gửi kết quả lên chuỗi.
3. Người xác minh kiểm tra kết quả, nếu có tranh chấp thì khởi động trò chơi xác minh
4. Định vị các bước lỗi cụ thể thông qua giao thức phân đoạn
5. Cuối cùng, việc phân xử từng bước sẽ được thực hiện bởi hợp đồng thông minh.

Trò chơi xác thực một giai đoạn

Các điểm chính của OPML một giai đoạn bao gồm:

• Xây dựng máy ảo để thực thi ngoài chuỗi và trọng tài trên chuỗi (VM)
• Triển khai thư viện DNN nhẹ chuyên dụng, nâng cao hiệu quả suy luận AI
• Sử dụng công nghệ biên dịch chéo để biên dịch mã suy diễn AI thành lệnh VM
• Sử dụng cây Merkle để quản lý hình ảnh VM, chỉ tải lên hash gốc lên chuỗi.

Trong thử nghiệm cơ bản, chúng tôi có thể hoàn thành suy diễn DNN trong vòng 2 giây, toàn bộ quá trình thách thức có thể hoàn thành trong vòng 2 phút.

Trò chơi xác thực đa giai đoạn

Để khắc phục những hạn chế của phương án một giai đoạn, chúng tôi đề xuất trò chơi xác thực đa giai đoạn:

• Chỉ tính toán trong VM ở giai đoạn cuối, các giai đoạn khác có thể thực hiện linh hoạt.
• Tận dụng tối đa tăng tốc GPU/TPU và xử lý song song
• Nâng cao hiệu suất thực thi một cách đáng kể, gần với mức độ môi trường cục bộ
• Sử dụng cây Merkle để đảm bảo tính toàn vẹn và an toàn của quá trình chuyển đổi giữa các giai đoạn

Lấy mô hình LLaMA làm ví dụ, chúng tôi áp dụng phương pháp OPML hai giai đoạn:

• Giai đoạn thứ hai tiến hành xác thực trò chơi trên đồ thị tính toán, có thể sử dụng GPU tăng tốc.
• Giai đoạn đầu tiên chuyển đổi tính toán của nút đơn thành lệnh VM

Phương pháp đa giai đoạn có thể đạt được tốc độ tính toán nhanh gấp α lần so với phương pháp đơn giai đoạn, đồng thời giảm đáng kể kích thước của cây Merkle.

Tính nhất quán và tính xác định

Để đảm bảo tính nhất quán của kết quả ML, chúng tôi đã thực hiện các biện pháp sau:

1. Sử dụng thuật toán cố định ( công nghệ lượng tử ) giảm thiểu ảnh hưởng của lỗi số thực
2. Sử dụng thư viện số thực phần mềm nhất quán đa nền tảng

Các công nghệ này đã vượt qua hiệu quả những thách thức do biến số dấu phẩy động và sự khác biệt giữa các nền tảng mang lại, tăng cường độ tin cậy của việc tính toán OPML.

OPML vẫn đang được phát triển. Chúng tôi hoan nghênh những người quan tâm đến dự án tham gia và đóng góp cho sự phát triển của OPML.