Sự tiến hóa của mô hình huấn luyện AI: từ kiểm soát tập trung đến sự chuyển biến công nghệ hợp tác phi tập trung.

Sự tiến hóa của mô hình đào tạo AI: Cuộc cách mạng công nghệ từ kiểm soát tập trung đến hợp tác phi tập trung

Trong toàn bộ chuỗi giá trị của AI, huấn luyện mô hình là giai đoạn tiêu tốn nhiều tài nguyên nhất và có rào cản kỹ thuật cao nhất, quyết định trực tiếp giới hạn khả năng của mô hình và hiệu quả ứng dụng thực tế. So với giai đoạn suy diễn với việc gọi nhẹ, quá trình huấn luyện cần một đầu vào tính toán quy mô lớn liên tục, quy trình xử lý dữ liệu phức tạp và hỗ trợ từ các thuật toán tối ưu hóa cường độ cao, là "ngành công nghiệp nặng" thực sự trong việc xây dựng hệ thống AI. Từ góc độ kiến trúc, phương pháp huấn luyện có thể được chia thành bốn loại: huấn luyện tập trung, huấn luyện phân tán, học tập liên bang và huấn luyện Phi tập trung mà bài viết này sẽ tập trung thảo luận.

AI đào tạo mô hình: từ kiểm soát tập trung đến cách mạng công nghệ hợp tác phi tập trung

Đào tạo tập trung là phương pháp truyền thống phổ biến nhất, hoàn thành toàn bộ quy trình đào tạo trong cụm hiệu suất cao địa phương bởi một tổ chức duy nhất, từ phần cứng, phần mềm nền tảng, hệ thống phân bổ cụm, đến tất cả các thành phần của khung đào tạo đều được điều phối hoạt động bởi một hệ thống kiểm soát thống nhất. Kiến trúc hợp tác sâu sắc này cho phép chia sẻ bộ nhớ, đồng bộ gradient và cơ chế chống lỗi đạt hiệu quả tối ưu, rất phù hợp cho việc đào tạo các mô hình quy mô lớn như GPT, Gemini, với ưu điểm hiệu suất cao và tài nguyên có thể kiểm soát, nhưng đồng thời cũng tồn tại các vấn đề như độc quyền dữ liệu, rào cản tài nguyên, tiêu thụ năng lượng và rủi ro điểm đơn.

Huấn luyện phân tán là phương thức chính hiện nay trong việc huấn luyện mô hình lớn, cốt lõi của nó là phân chia nhiệm vụ huấn luyện mô hình, sau đó phân phối đến nhiều máy để thực hiện đồng thời, nhằm vượt qua các rào cản về tính toán và lưu trữ trên một máy. Mặc dù về mặt vật lý có đặc điểm "Phi tập trung", nhưng tổng thể vẫn được các tổ chức trung tâm kiểm soát, điều phối và đồng bộ, thường hoạt động trong môi trường mạng cục bộ tốc độ cao, thông qua công nghệ bus liên kết NVLink tốc độ cao, do nút chính phối hợp các nhiệm vụ con. Các phương pháp chính bao gồm:

  • Dữ liệu song song: Mỗi nút huấn luyện các tham số dữ liệu khác nhau chia sẻ, cần khớp trọng số mô hình.
  • Mô hình song song: Triển khai các phần khác nhau của mô hình trên các nút khác nhau, đạt được khả năng mở rộng mạnh mẽ;
  • Đường ống song song: Thực hiện tuần tự theo giai đoạn, nâng cao thông lượng;
  • Phân đoạn tensor: Chia nhỏ tính toán ma trận một cách tinh vi, nâng cao độ phân giải song song.

Huấn luyện phân tán là sự kết hợp của "kiểm soát tập trung + thực hiện phân tán", tương tự như một ông chủ xa điều khiển nhiều nhân viên "văn phòng" phối hợp hoàn thành nhiệm vụ. Hiện nay, hầu hết các mô hình lớn chính đều được huấn luyện theo cách này.

Phi tập trung đào tạo đại diện cho con đường tương lai có tính cởi mở hơn và khả năng chống kiểm duyệt. Đặc điểm cốt lõi của nó là: nhiều nút không tin cậy tương tác với nhau để hoàn thành nhiệm vụ đào tạo mà không cần có điều phối viên trung tâm, thường thông qua giao thức thúc đẩy việc phân phối nhiệm vụ và hợp tác, và nhờ vào cơ chế khuyến khích mã hóa để đảm bảo tính trung thực của đóng góp. Các thách thức chính mà mô hình này phải đối mặt bao gồm:

  • Thiết bị không đồng nhất và khó khăn trong việc phân chia: Khó khăn trong việc phối hợp thiết bị không đồng nhất, hiệu suất phân chia nhiệm vụ thấp;
  • Đ bottleneck hiệu suất truyền thông: mạng truyền thông không ổn định, nút thắt đồng bộ độ dốc rõ rệt;
  • Thiếu thi hành đáng tin cậy: Thiếu môi trường thi hành đáng tin cậy, khó xác minh xem nút có thực sự tham gia tính toán hay không;
  • Thiếu sự phối hợp thống nhất: Không có bộ điều phối trung ương, việc phân phối nhiệm vụ và cơ chế hoàn nguyên bất thường phức tạp.

Phi tập trung đào tạo có thể hiểu là: một nhóm tình nguyện viên toàn cầu, mỗi người đóng góp sức mạnh tính toán để phối hợp đào tạo mô hình, nhưng "đào tạo phi tập trung quy mô lớn thực sự khả thi" vẫn là một thách thức kỹ thuật hệ thống, liên quan đến kiến trúc hệ thống, giao thức truyền thông, bảo mật mật mã, cơ chế kinh tế, xác minh mô hình và nhiều khía cạnh khác, nhưng liệu có thể "phối hợp hiệu quả + khuyến khích trung thực + kết quả chính xác" vẫn đang ở giai đoạn khám phá nguyên mẫu đầu tiên.

Học liên bang, như một hình thức chuyển tiếp giữa phân tán và Phi tập trung, nhấn mạnh việc giữ lại dữ liệu tại địa phương và tập trung tổng hợp các tham số mô hình, phù hợp với các tình huống chú trọng đến sự tuân thủ quyền riêng tư. Học liên bang có cấu trúc kỹ thuật của việc đào tạo phân tán và khả năng hợp tác địa phương, đồng thời mang lại lợi thế về phân tán dữ liệu của việc đào tạo Phi tập trung, nhưng vẫn phụ thuộc vào bên điều phối đáng tin cậy và không có đặc tính hoàn toàn mở và chống kiểm duyệt. Có thể xem như là một giải pháp "Phi tập trung có kiểm soát" trong các tình huống tuân thủ quyền riêng tư, với nhiệm vụ đào tạo, cấu trúc niềm tin và cơ chế giao tiếp đều tương đối ôn hòa, thích hợp hơn cho việc triển khai chuyển tiếp trong ngành công nghiệp.

AI huấn luyện mô hình tiến hóa: từ kiểm soát tập trung đến cách mạng công nghệ hợp tác phi tập trung

Phi tập trung đào tạo các ranh giới, cơ hội và con đường thực tế

Xét về mô hình đào tạo, đào tạo phi tập trung không phù hợp với tất cả các loại nhiệm vụ. Trong một số tình huống, do cấu trúc nhiệm vụ phức tạp, nhu cầu tài nguyên rất cao hoặc khó khăn trong hợp tác, nó tự nhiên không thích hợp để hoàn thành hiệu quả giữa các nút không đồng nhất, không tin cậy. Ví dụ, đào tạo mô hình lớn thường phụ thuộc vào bộ nhớ đồ họa cao, độ trễ thấp và băng thông cao, khó có thể chia nhỏ và đồng bộ hiệu quả trong mạng mở; nhiệm vụ có quyền riêng tư dữ liệu và hạn chế chủ quyền mạnh bị giới hạn bởi quy định pháp lý và ràng buộc đạo đức, không thể chia sẻ công khai; trong khi các nhiệm vụ thiếu động lực hợp tác thì thiếu động lực tham gia bên ngoài. Những ranh giới này cùng nhau tạo thành giới hạn thực tế của đào tạo phi tập trung hiện tại.

Nhưng điều này không có nghĩa là đào tạo phi tập trung là một giả thuyết sai. Trên thực tế, trong các loại nhiệm vụ có cấu trúc nhẹ, dễ song song và có thể khuyến khích, đào tạo phi tập trung thể hiện triển vọng ứng dụng rõ ràng. Bao gồm nhưng không giới hạn: tinh chỉnh LoRA, nhiệm vụ đào tạo sau hành vi đối齐, nhiệm vụ đào tạo và gán nhãn qua crowdsourcing dữ liệu, đào tạo mô hình cơ bản nhỏ có thể kiểm soát tài nguyên, cũng như các kịch bản đào tạo hợp tác có sự tham gia của thiết bị biên. Những nhiệm vụ này thường có tính song song cao, độ liên kết thấp và khả năng dung nạp sức mạnh tính toán không đồng nhất, rất thích hợp để thực hiện đào tạo hợp tác thông qua mạng P2P, giao thức Swarm, bộ tối ưu hóa phân tán và các phương thức khác.

Sự tiến hóa của mô hình đào tạo AI: Cách mạng công nghệ từ kiểm soát tập trung đến Phi tập trung hợp tác

Phi tập trung đào tạo dự án kinh điển phân tích

Hiện tại, trong lĩnh vực đào tạo phi tập trung và học liên bang, những dự án blockchain đại diện chủ yếu bao gồm Prime Intellect, Pluralis.ai, Gensyn, Nous Research và Flock.io. Xét về tính đổi mới công nghệ và độ khó trong việc thực hiện kỹ thuật, Prime Intellect, Nous Research và Pluralis.ai đã đề xuất nhiều khám phá sáng tạo trong thiết kế hệ thống và thuật toán, đại diện cho hướng nghiên cứu lý thuyết tiên tiến hiện nay; trong khi đó, con đường thực hiện của Gensyn và Flock.io tương đối rõ ràng, đã có thể nhìn thấy những bước tiến ban đầu trong việc hiện thực hóa. Bài viết này sẽ lần lượt phân tích công nghệ cốt lõi và kiến trúc kỹ thuật của năm dự án này, đồng thời khám phá thêm về sự khác biệt và mối quan hệ bổ sung của chúng trong hệ thống đào tạo AI phi tập trung.

Prime Intellect: Người tiên phong mạng lưới hợp tác học tăng cường có thể xác minh được quỹ đạo đào tạo

Prime Intellect cam kết xây dựng một mạng lưới đào tạo AI không cần tin tưởng, cho phép bất kỳ ai tham gia đào tạo và nhận được phần thưởng đáng tin cậy cho những đóng góp tính toán của họ. Prime Intellect hy vọng thông qua ba mô-đun PRIME-RL + TOPLOC + SHARDCAST, xây dựng một hệ thống đào tạo AI Phi tập trung có tính khả thi, mở và hoàn chỉnh cơ chế khuyến khích.

Prime Intellect đã phát hành INTELLECT-2 vào tháng 5 năm 2025, đây là mô hình học tăng cường lớn đầu tiên trên thế giới được đào tạo thông qua sự hợp tác của các nút phi tập trung, không cần tin cậy và bất đồng bộ, với quy mô tham số lên tới 32B. Mô hình INTELLECT-2 được hoàn thành thông qua sự hợp tác đào tạo của hơn 100 nút GPU không đồng nhất trải rộng trên ba châu lục, sử dụng kiến trúc hoàn toàn bất đồng bộ, thời gian đào tạo vượt quá 400 giờ, cho thấy tính khả thi và ổn định của mạng lưới hợp tác bất đồng bộ. Mô hình này không chỉ là một bước đột phá về hiệu suất mà còn là sự triển khai hệ thống đầu tiên của mô hình "đào tạo là đồng thuận" mà Prime Intellect đã đề xuất. INTELLECT-2 tích hợp các mô-đun giao thức cốt lõi như PRIME-RL (cấu trúc đào tạo bất đồng bộ), TOPLOC (xác thực hành vi đào tạo) và SHARDCAST (tổng hợp trọng số bất đồng bộ), đánh dấu việc mạng lưới đào tạo phi tập trung lần đầu tiên đạt được sự mở hóa, tính xác thực và vòng khép kín kích thích kinh tế trong quá trình đào tạo.

Về mặt hiệu suất, INTELLECT-2 dựa trên QwQ-32B đã được đào tạo và thực hiện đào tạo RL chuyên biệt về mã và toán học, nằm ở mức tiên tiến của các mô hình RL tinh chỉnh mã nguồn mở hiện tại. Mặc dù chưa vượt qua các mô hình kín như GPT-4 hoặc Gemini, nhưng ý nghĩa thực sự của nó là: đây là thí nghiệm mô hình phi tập trung đầu tiên trên thế giới có thể tái tạo, xác minh và kiểm tra quy trình đào tạo hoàn chỉnh. Prime Intellect không chỉ mã nguồn mở mô hình, mà điều quan trọng hơn là mã nguồn mở chính quy trình đào tạo - dữ liệu đào tạo, lộ trình cập nhật chiến lược, quy trình xác thực và logic tổng hợp đều minh bạch và có thể kiểm tra, xây dựng một nguyên mẫu mạng lưới đào tạo phi tập trung mà mọi người đều có thể tham gia, hợp tác đáng tin cậy và chia sẻ lợi nhuận.

Sự tiến hóa của phương thức huấn luyện AI: Cách mạng công nghệ từ kiểm soát tập trung đến Phi tập trung hợp tác

Pluralis:Nhà khám phá mô hình đồng thời và việc nén cấu trúc trong đào tạo hợp tác.

Pluralis là một dự án AI Web3 tập trung vào "mạng lưới huấn luyện hợp tác đáng tin cậy", với mục tiêu cốt lõi là thúc đẩy một mô hình huấn luyện có tính Phi tập trung, tham gia mở và có cơ chế khuyến khích lâu dài. Khác với các lộ trình huấn luyện tập trung hoặc đóng kín hiện tại, Pluralis đề xuất một khái niệm hoàn toàn mới có tên là Học giao thức (Protocol Learning): "chuẩn hóa" quá trình huấn luyện mô hình, thông qua cơ chế hợp tác có thể xác minh và ánh xạ quyền sở hữu mô hình, xây dựng một hệ thống huấn luyện mở có vòng khuyến khích nội sinh.

Protocol Learning do Pluralis đưa ra bao gồm ba trụ cột chính:

  • Mô hình không thể rút: Mô hình được phân phối dưới dạng mảnh giữa nhiều nút, bất kỳ nút đơn lẻ nào không thể khôi phục trọng số hoàn chỉnh và giữ kín. Thiết kế này khiến mô hình trở thành "tài sản trong giao thức", có thể thực hiện kiểm soát chứng chỉ truy cập, bảo vệ chống rò rỉ và gán quyền lợi.
  • Huấn luyện mô hình song song dựa trên Internet: thông qua cơ chế song song Pipeline bất đồng bộ (kiến trúc SWARM), các nút khác nhau chỉ nắm giữ một phần trọng số, hợp tác hoàn thành huấn luyện hoặc suy diễn qua mạng băng thông thấp.
  • Phân phối quyền sở hữu mô hình theo đóng góp: Tất cả các nút tham gia nhận được một phần quyền sở hữu mô hình dựa trên đóng góp huấn luyện của họ, từ đó hưởng chia sẻ lợi nhuận trong tương lai và quyền quản trị giao thức.

Pluralis rõ ràng xác định "mô hình bất đồng bộ song song" là hướng đi cốt lõi, nhấn mạnh những lợi thế của nó so với song song dữ liệu như sau:

  • Hỗ trợ mạng băng thông thấp và nút không nhất quán;
  • Thiết bị thích ứng dị thể, cho phép GPU tiêu dùng tham gia;
  • Tự nhiên có khả năng lập lịch linh hoạt, hỗ trợ các nút thường xuyên trực tuyến/ngoại tuyến;
  • Ba điểm đột phá chính là nén cấu trúc + cập nhật bất đồng bộ + không thể trích xuất trọng số.

Cuộc cách mạng công nghệ: Sự tiến hóa của mô hình đào tạo AI từ kiểm soát tập trung đến hợp tác Phi tập trung

Gensyn:Lớp giao thức đào tạo phi tập trung được điều khiển bởi thực thi có thể xác minh

Gensyn là một dự án Web3 AI tập trung vào "thực thi đáng tin cậy các nhiệm vụ huấn luyện học sâu", cốt lõi không phải là tái cấu trúc kiến trúc mô hình hoặc phương thức huấn luyện, mà là xây dựng một mạng lưới thực thi huấn luyện phân tán có thể xác minh với quy trình "phân phát nhiệm vụ + thực thi huấn luyện + xác minh kết quả + khuyến khích công bằng". Thông qua thiết kế kiến trúc huấn luyện ngoài chuỗi + xác minh trên chuỗi, Gensyn đã tạo ra một thị trường huấn luyện toàn cầu hiệu quả, mở và có thể khuyến khích, biến "huấn luyện trở thành khai thác" thành hiện thực.

Gensyn không phải là "làm thế nào để đào tạo", mà là "bởi ai đào tạo, xác minh như thế nào, chia sẻ lợi nhuận ra sao" cơ sở hạ tầng. Bản chất của nó là giao thức tính toán có thể xác minh cho các nhiệm vụ đào tạo, chủ yếu giải quyết:

  • Ai sẽ thực hiện nhiệm vụ đào tạo (phân phối sức mạnh tính toán và kết nối động)
  • Làm thế nào để xác minh kết quả thực hiện (không cần tính toán lại toàn bộ, chỉ xác minh các toán tử gây tranh cãi)
  • Làm thế nào để phân bổ lợi nhuận từ việc đào tạo (Stake, Slashing và cơ chế trò chơi đa vai trò)

Mạng Gensyn giới thiệu bốn loại người tham gia:

  • Người nộp:Đăng tải nhiệm vụ đào tạo, thiết lập cấu trúc và ngân sách;
  • Solver:Thực hiện nhiệm vụ đào tạo, nộp kết quả;
  • Verifier:Xác thực hành vi đào tạo, đảm bảo tính tuân thủ và hiệu quả;
  • Người tố cáo: Thách thức người xác thực, nhận thưởng trọng tài hoặc chịu phạt.

Cơ chế này được lấy cảm hứng từ thiết kế trò chơi kinh tế Truebit, thông qua việc ép buộc chèn lỗi + trọng tài ngẫu nhiên, khuyến khích người tham gia hợp tác trung thực, đảm bảo mạng lưới hoạt động đáng tin cậy.

![AI đào tạo mô hình tiến hóa: từ kiểm soát tập trung đến cách mạng công nghệ phối hợp Phi tập trung](

PRIME-2.77%
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • 7
  • Chia sẻ
Bình luận
0/400
NftCollectorsvip
· 12giờ trước
Xem xong bài viết này, tôi chỉ muốn nói rằng, Phi tập trung đào tạo về bản chất thực sự có điểm tương đồng với việc sáng tạo nghệ thuật NFT, cả hai đều đang khám phá một mô hình phân phối giá trị mới... Tôi đã nói rằng tương lai chính là Phi tập trung, rõ ràng mô hình đào tạo AI truyền thống không theo kịp những đổi mới của thời đại web3, dữ liệu on-chain đã rõ ràng cho mọi người thấy xu thế lớn, ai hiểu thì sẽ hiểu.
Xem bản gốcTrả lời0
DegenDreamervip
· 08-01 18:06
Ai sẽ trả cho chi phí đào tạo lớn như vậy?
Xem bản gốcTrả lời0
CoinBasedThinkingvip
· 08-01 18:05
Lại sắp có sự thay đổi lớn về cấu trúc ai? Chẳng phải chỉ là một chiêu trò mới để cạnh tranh khả năng tính toán sao!
Xem bản gốcTrả lời0
BlindBoxVictimvip
· 08-01 17:58
Phân phối không phải là đứa con ngốc của nhà địa chủ.
Xem bản gốcTrả lời0
SignatureVerifiervip
· 08-01 17:53
*thở dài* một nút thắt trung tâm khác giả vờ là đổi mới... thực sự có khả năng thất bại dưới tải trọng.
Xem bản gốcTrả lời0
MeaninglessApevip
· 08-01 17:40
Có nhiều từ lớn như vậy từ đâu ra, không hiểu thì thôi vậy.
Xem bản gốcTrả lời0
GasFeeLadyvip
· 08-01 17:39
giống như phí gas rn... đào tạo tập trung đang trở nên quá tốn kém thật sự smh
Xem bản gốcTrả lời0
Giao dịch tiền điện tử mọi lúc mọi nơi
qrCode
Quét để tải xuống ứng dụng Gate
Cộng đồng
Tiếng Việt
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)