Evolusi Paradigma Pelatihan AI: Dari Kontrol Terpusat ke Revolusi Teknologi Kolaborasi Desentralisasi
Dalam seluruh rantai nilai AI, pelatihan model adalah tahap yang paling mengkonsumsi sumber daya dan memiliki ambang teknologi tertinggi, yang secara langsung menentukan batas kemampuan model dan efektivitas aplikasi nyata. Berbeda dengan panggilan ringan pada tahap inferensi, proses pelatihan memerlukan investasi daya komputasi besar yang berkelanjutan, alur pemrosesan data yang kompleks, dan dukungan algoritma optimasi yang intensif, merupakan "industri berat" sejati dalam membangun sistem AI. Dari sudut pandang paradigma arsitektur, metode pelatihan dapat dibagi menjadi empat kategori: pelatihan terpusat, pelatihan terdistribusi, pembelajaran federasi, dan pelatihan desentralisasi yang menjadi fokus pembahasan dalam artikel ini.
Pelatihan terpusat adalah metode tradisional yang paling umum, di mana seluruh proses pelatihan dilakukan oleh satu lembaga dalam kluster berkinerja tinggi lokal, mulai dari perangkat keras, perangkat lunak dasar, sistem penjadwalan kluster, hingga semua komponen kerangka pelatihan yang dikoordinasikan oleh sistem kontrol yang terpadu. Arsitektur kolaborasi mendalam ini memungkinkan efisiensi berbagi memori, sinkronisasi gradien, dan mekanisme toleransi kesalahan mencapai yang terbaik, sangat cocok untuk pelatihan model berskala besar seperti GPT dan Gemini, dengan keuntungan efisiensi tinggi dan sumber daya yang dapat dikendalikan, tetapi pada saat yang sama menghadapi masalah monopoli data, hambatan sumber daya, konsumsi energi, dan risiko titik tunggal.
Pelatihan terdistribusi adalah cara utama pelatihan model besar saat ini, yang intinya adalah membagi tugas pelatihan model dan mendistribusikannya ke beberapa mesin untuk dieksekusi secara kolaboratif, guna mengatasi kendala komputasi dan penyimpanan pada satu mesin. Meskipun secara fisik memiliki karakteristik "terdistribusi", keseluruhan tetap dikendalikan dan dijadwalkan oleh lembaga terpusat, biasanya beroperasi dalam lingkungan jaringan lokal berkecepatan tinggi, menggunakan teknologi bus interkoneksi NVLink berkecepatan tinggi, dengan node utama yang secara terpusat mengkoordinasikan berbagai sub-tugas. Metode utama termasuk:
Paralel data: setiap node melatih parameter data yang berbeda dengan berbagi bobot model, perlu mencocokkan bobot model
Paralelisme model: Menempatkan bagian-bagian model di berbagai node untuk mencapai skalabilitas yang kuat;
Pipa paralel: Eksekusi berurutan secara bertahap, meningkatkan throughput;
Paralel tensor: membagi perhitungan matriks secara halus, meningkatkan granularitas paralel.
Pelatihan terdistribusi adalah kombinasi dari "kontrol terpusat + eksekusi terdistribusi", yang dapat dianalogikan dengan seorang bos yang mengarahkan kolaborasi beberapa karyawan "kantor" secara jarak jauh untuk menyelesaikan tugas. Saat ini, hampir semua model besar utama dilatih dengan cara ini.
Desentralisasi pelatihan mewakili jalur masa depan yang lebih terbuka dan memiliki karakteristik anti-sensor. Ciri khas utamanya adalah: beberapa node yang saling tidak mempercayai bekerja sama untuk menyelesaikan tugas pelatihan tanpa koordinator pusat, biasanya melalui protokol yang menggerakkan distribusi tugas dan kolaborasi, serta menggunakan mekanisme insentif kriptografi untuk memastikan kejujuran kontribusi. Tantangan utama yang dihadapi oleh model ini meliputi:
Heterogenitas perangkat dan kesulitan pemisahan: Koordinasi perangkat heterogen sangat sulit, efisiensi pemisahan tugas rendah;
Bottleneck efisiensi komunikasi: komunikasi jaringan tidak stabil, bottleneck sinkronisasi gradien terlihat jelas;
Eksekusi yang dapat dipercaya hilang: kurangnya lingkungan eksekusi yang dapat dipercaya, sulit untuk memverifikasi apakah node benar-benar terlibat dalam perhitungan;
Kurangnya koordinasi yang bersatu: tanpa pengatur pusat, distribusi tugas, mekanisme rollback yang kompleks.
Desentralisasi pelatihan dapat dipahami sebagai: sekelompok relawan global yang masing-masing menyumbangkan daya komputasi untuk melatih model secara kolaboratif, tetapi "pelatihan desentralisasi besar-besaran yang benar-benar dapat dilakukan" masih merupakan tantangan rekayasa sistemik, melibatkan arsitektur sistem, protokol komunikasi, keamanan kriptografi, mekanisme ekonomi, validasi model, dan banyak aspek lainnya. Namun, apakah "kolaborasi yang efektif + insentif yang jujur + hasil yang benar" masih berada pada tahap eksplorasi prototipe awal.
Pembelajaran federasi sebagai bentuk transisi antara distribusi dan desentralisasi, menekankan pada penyimpanan data secara lokal dan agregasi parameter model yang terpusat, cocok untuk skenario yang mementingkan kepatuhan privasi. Pembelajaran federasi memiliki struktur rekayasa pelatihan terdistribusi dan kemampuan kolaborasi lokal, sekaligus memiliki keuntungan penyebaran data dari pelatihan terdesentralisasi, tetapi masih bergantung pada pihak koordinator yang terpercaya, dan tidak memiliki karakteristik sepenuhnya terbuka dan tahan sensor. Dapat dianggap sebagai solusi "desentralisasi terkendali" dalam konteks kepatuhan privasi, dengan tugas pelatihan, struktur kepercayaan, dan mekanisme komunikasi yang relatif moderat, lebih cocok sebagai arsitektur implementasi transisi di industri.
Desentralisasi pelatihan batas, kesempatan, dan jalur realitas
Dari perspektif paradigma pelatihan, pelatihan desentralisasi tidak cocok untuk semua jenis tugas. Dalam beberapa skenario, karena struktur tugas yang kompleks, kebutuhan sumber daya yang sangat tinggi, atau kesulitan kolaborasi, secara alami tidak cocok untuk diselesaikan secara efisien antara node heterogen yang tidak saling percaya. Misalnya, pelatihan model besar sering kali bergantung pada memori tinggi, latensi rendah, dan bandwidth tinggi, yang sulit untuk dibagi dan disinkronkan secara efektif di jaringan terbuka; tugas yang memiliki privasi data dan pembatasan kedaulatan yang kuat dibatasi oleh kepatuhan hukum dan batasan etika, sehingga tidak dapat dibagikan secara terbuka; sementara tugas yang kekurangan dasar insentif kolaborasi tidak memiliki dorongan partisipasi eksternal. Batasan-batasan ini bersama-sama membentuk kendala nyata dari pelatihan desentralisasi saat ini.
Namun, ini tidak berarti bahwa pelatihan desentralisasi adalah proposisi yang tidak valid. Sebenarnya, dalam jenis tugas yang ringan strukturnya, mudah diparalelkan, dan dapat memberikan insentif, pelatihan desentralisasi menunjukkan prospek aplikasi yang jelas. Termasuk tetapi tidak terbatas pada: penyesuaian LoRA, tugas pelatihan lanjutan yang terkait dengan penyelarasan perilaku, pelatihan dan penandaan data melalui crowdsourcing, pelatihan model dasar kecil yang dapat dikendalikan sumber daya, serta skenario pelatihan kolaboratif yang melibatkan perangkat edge. Tugas-tugas ini umumnya memiliki karakteristik paralelisme tinggi, keterkaitan rendah, dan toleransi terhadap kekuatan komputasi yang heterogen, sehingga sangat cocok untuk pelatihan kolaboratif melalui jaringan P2P, protokol Swarm, pengoptimal terdistribusi, dan sebagainya.
Desentralisasi pelatihan proyek klasik analisis
Saat ini, di bidang pelatihan desentralisasi dan pembelajaran federasi, proyek blockchain yang representatif mencakup Prime Intellect, Pluralis.ai, Gensyn, Nous Research, dan Flock.io. Dari segi inovasi teknologi dan tingkat kesulitan implementasi teknik, Prime Intellect, Nous Research, dan Pluralis.ai telah mengajukan banyak eksplorasi orisinal dalam arsitektur sistem dan desain algoritma, mewakili arah penelitian teoritis terkini; sementara jalur implementasi Gensyn dan Flock.io relatif jelas, dan kemajuan rekayasa awal sudah dapat dilihat. Artikel ini akan menganalisis secara berurutan teknologi inti dan arsitektur teknik di balik lima proyek ini, serta membahas lebih lanjut perbedaan dan hubungan saling melengkapi dalam sistem pelatihan AI desentralisasi.
Prime Intellect: Pelopor jaringan kolaboratif pembelajaran penguatan yang dapat diverifikasi jalur pelatihan
Prime Intellect berkomitmen untuk membangun jaringan pelatihan AI yang tidak memerlukan kepercayaan, memungkinkan siapa saja untuk berpartisipasi dalam pelatihan dan mendapatkan imbalan yang dapat dipercaya atas kontribusi komputasinya. Prime Intellect berharap dapat membangun sistem pelatihan AI desentralisasi yang memiliki verifiabilitas, keterbukaan, dan mekanisme insentif yang lengkap melalui tiga modul utama: PRIME-RL + TOPLOC + SHARDCAST.
Prime Intellect meluncurkan INTELLECT-2 pada Mei 2025, yang merupakan model pembelajaran mendalam terbesar di dunia yang dilatih oleh node desentralisasi yang asinkron dan tanpa kepercayaan, dengan skala parameter mencapai 32B. Model INTELLECT-2 dilatih secara kolaboratif oleh lebih dari 100 node GPU heterogen yang tersebar di tiga benua, menggunakan arsitektur sepenuhnya asinkron, dengan waktu pelatihan lebih dari 400 jam, menunjukkan kelayakan dan stabilitas jaringan kolaborasi asinkron. Model ini bukan hanya terobosan dalam hal kinerja, tetapi juga merupakan penerapan sistematis pertama dari paradigma "pelatihan adalah konsensus" yang diajukan oleh Prime Intellect. INTELLECT-2 mengintegrasikan modul protokol inti seperti PRIME-RL (struktur pelatihan asinkron), TOPLOC (verifikasi perilaku pelatihan), dan SHARDCAST (penggabungan bobot asinkron), menandai bahwa jaringan pelatihan desentralisasi pertama kali mewujudkan proses pelatihan yang terbuka, verifikasi, dan siklus insentif ekonomi.
Dalam hal kinerja, INTELLECT-2 didasarkan pada QwQ-32B yang dilatih dan telah melakukan pelatihan RL khusus dalam kode dan matematika, berada di garis depan model fine-tuning RL sumber terbuka saat ini. Meskipun belum melampaui model tertutup seperti GPT-4 atau Gemini, makna sebenarnya adalah: ini adalah eksperimen model desentralisasi pertama di dunia yang proses pelatihannya sepenuhnya dapat direproduksi, diverifikasi, dan diaudit. Prime Intellect tidak hanya membuka sumber model, tetapi yang lebih penting adalah membuka proses pelatihan itu sendiri - data pelatihan, jalur pembaruan strategi, proses verifikasi, dan logika agregasi semuanya transparan dan dapat diakses, membangun prototipe jaringan pelatihan desentralisasi yang dapat diikuti oleh siapa saja, kolaborasi yang dapat dipercaya, dan berbagi hasil.
Pluralis：Penjelajah paradigma pelatihan kolaboratif antara model asinkron dan kompresi struktur.
Pluralis adalah proyek AI Web3 yang fokus pada "jaringan pelatihan kolaboratif yang dapat dipercaya", dengan tujuan inti untuk mendorong paradigma pelatihan model yang desentralisasi, partisipasi terbuka, dan memiliki mekanisme insentif jangka panjang. Berbeda dengan jalur pelatihan terpusat atau tertutup yang saat ini dominan, Pluralis mengusulkan konsep baru yang disebut Pembelajaran Protokol: memprotokolkan proses pelatihan model, melalui mekanisme kolaborasi yang dapat diverifikasi dan pemetaan kepemilikan model, untuk membangun sistem pelatihan terbuka yang memiliki siklus insentif internal.
Protocol Learning yang diajukan oleh Pluralis terdiri dari tiga pilar kunci:
Model tidak dapat diekstrak: Model terdistribusi dalam bentuk potongan di antara beberapa node, sehingga tidak ada satu node pun yang dapat mengembalikan bobot lengkap dan tetap tertutup. Desain ini membuat model secara alami menjadi "aset dalam protokol", memungkinkan kontrol bukti akses, perlindungan dari kebocoran, dan pengikatan kepemilikan hasil.
Pelatihan paralel model berbasis internet: melalui mekanisme paralel model Pipeline asinkron (arsitektur SWARM), node yang berbeda hanya memegang sebagian bobot, berkolaborasi melalui jaringan berkecepatan rendah untuk menyelesaikan pelatihan atau inferensi.
Model distribusi kepemilikan berdasarkan kontribusi: Semua node yang berpartisipasi mendapatkan sebagian kepemilikan model berdasarkan kontribusi pelatihan mereka, sehingga menikmati pembagian keuntungan di masa depan dan hak pengelolaan protokol.
Pluralis dengan jelas menetapkan "model asinkron paralel" sebagai arah inti, menekankan keunggulan yang dimilikinya dibandingkan dengan paralel data sebagai berikut:
Mendukung jaringan bandwidth rendah dan node yang tidak konsisten;
Perangkat yang diadaptasi heterogen, memungkinkan GPU konsumen untuk berpartisipasi;
Secara alami memiliki kemampuan penjadwalan elastis, mendukung node yang sering online/offline;
Tiga titik terobosan utama adalah kompresi struktur + pembaruan asinkron + ketidakdapatkan ekstraksi bobot.
Gensyn: Lapisan protokol pelatihan terdesentralisasi yang didorong oleh eksekusi yang dapat diverifikasi
Gensyn adalah proyek Web3 AI yang fokus pada "eksekusi terpercaya tugas pelatihan pembelajaran mendalam", inti dari proyek ini bukanlah pada rekonstruksi arsitektur model atau paradigma pelatihan, melainkan pada membangun jaringan eksekusi pelatihan terdistribusi yang dapat diverifikasi dengan "distribusi tugas + eksekusi pelatihan + verifikasi hasil + insentif yang adil" secara menyeluruh. Melalui desain arsitektur pelatihan off-chain + verifikasi on-chain, Gensyn membangun pasar pelatihan global yang efisien, terbuka, dan dapat memberikan insentif, menjadikan "pelatihan sebagai penambangan" suatu kenyataan.
Gensyn bukanlah "bagaimana melatih", tetapi "oleh siapa melatih, bagaimana memverifikasi, bagaimana membagi keuntungan" infrastruktur. Esensinya adalah protokol komputasi yang dapat diverifikasi untuk tugas pelatihan, yang utama menyelesaikan:
Siapa yang akan mengeksekusi tugas pelatihan (distribusi daya komputasi dan pencocokan dinamis)
Bagaimana cara memverifikasi hasil eksekusi (tanpa perlu menghitung ulang, hanya memverifikasi operator yang diperdebatkan)
Bagaimana cara mendistribusikan hasil pelatihan (Stake, Slashing, dan mekanisme permainan multi-peran)
Jaringan Gensyn memperkenalkan empat jenis peserta:
Pengirim: Menerbitkan tugas pelatihan, menetapkan struktur dan anggaran;
Solver：Melaksanakan tugas pelatihan, mengirimkan hasil;
Verifier: Memverifikasi perilaku pelatihan, memastikan bahwa itu sesuai dan efektif;
Whistleblower: Tantang validator, dapatkan hadiah arbitrase atau tanggung penalti.
Mekanisme ini terinspirasi dari desain permainan ekonomi Truebit, melalui penyisipan kesalahan yang dipaksakan + arbitrase acak, mendorong peserta untuk berkolaborasi secara jujur dan memastikan operasi jaringan yang dapat dipercaya.
 dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
10 Suka
Hadiah
10
7
Bagikan
Komentar
0/400
NftCollectors
· 08-02 05:28
Setelah membaca artikel ini, saya hanya ingin mengatakan bahwa pelatihan desentralisasi pada dasarnya memiliki kesamaan dengan penciptaan seni NFT, keduanya menjelajahi paradigma baru dalam distribusi nilai... Saya sudah mengatakan sebelumnya bahwa masa depan adalah desentralisasi, model pelatihan AI tradisional jelas tidak dapat mengikuti inovasi era web3, data on-chain sudah jelas menunjukkan arah besar dunia, yang mengerti pasti mengerti.
Lihat AsliBalas0
DegenDreamer
· 08-01 18:06
Siapa yang akan membayar biaya pelatihan yang sebesar ini?
Lihat AsliBalas0
CoinBasedThinking
· 08-01 18:05
Apakah akan ada perubahan besar pada arsitektur ai? Bukankah ini hanya hype baru untuk Daya Komputasi!
Lihat AsliBalas0
BlindBoxVictim
· 08-01 17:58
Distributed tidak lain adalah anak bodoh dari pemilik tanah.
Lihat AsliBalas0
SignatureVerifier
· 08-01 17:53
*sigh* bottleneck terpusat lain yang menyamar sebagai inovasi... secara statistik terikat untuk gagal di bawah beban sejujurnya
Lihat AsliBalas0
MeaninglessApe
· 08-01 17:40
Dari mana datangnya kata-kata besar ini, jika tidak mengerti ya sudah lah.
Lihat AsliBalas0
GasFeeLady
· 08-01 17:39
sama seperti gas fee saat ini... pelatihan terpusat menjadi terlalu mahal sejujurnya smh
Evolusi Paradigma Pelatihan AI: Dari Kontrol Terpusat ke Transformasi Teknologi Kolaborasi Desentralisasi
Evolusi Paradigma Pelatihan AI: Dari Kontrol Terpusat ke Revolusi Teknologi Kolaborasi Desentralisasi
Dalam seluruh rantai nilai AI, pelatihan model adalah tahap yang paling mengkonsumsi sumber daya dan memiliki ambang teknologi tertinggi, yang secara langsung menentukan batas kemampuan model dan efektivitas aplikasi nyata. Berbeda dengan panggilan ringan pada tahap inferensi, proses pelatihan memerlukan investasi daya komputasi besar yang berkelanjutan, alur pemrosesan data yang kompleks, dan dukungan algoritma optimasi yang intensif, merupakan "industri berat" sejati dalam membangun sistem AI. Dari sudut pandang paradigma arsitektur, metode pelatihan dapat dibagi menjadi empat kategori: pelatihan terpusat, pelatihan terdistribusi, pembelajaran federasi, dan pelatihan desentralisasi yang menjadi fokus pembahasan dalam artikel ini.
Pelatihan terpusat adalah metode tradisional yang paling umum, di mana seluruh proses pelatihan dilakukan oleh satu lembaga dalam kluster berkinerja tinggi lokal, mulai dari perangkat keras, perangkat lunak dasar, sistem penjadwalan kluster, hingga semua komponen kerangka pelatihan yang dikoordinasikan oleh sistem kontrol yang terpadu. Arsitektur kolaborasi mendalam ini memungkinkan efisiensi berbagi memori, sinkronisasi gradien, dan mekanisme toleransi kesalahan mencapai yang terbaik, sangat cocok untuk pelatihan model berskala besar seperti GPT dan Gemini, dengan keuntungan efisiensi tinggi dan sumber daya yang dapat dikendalikan, tetapi pada saat yang sama menghadapi masalah monopoli data, hambatan sumber daya, konsumsi energi, dan risiko titik tunggal.
Pelatihan terdistribusi adalah cara utama pelatihan model besar saat ini, yang intinya adalah membagi tugas pelatihan model dan mendistribusikannya ke beberapa mesin untuk dieksekusi secara kolaboratif, guna mengatasi kendala komputasi dan penyimpanan pada satu mesin. Meskipun secara fisik memiliki karakteristik "terdistribusi", keseluruhan tetap dikendalikan dan dijadwalkan oleh lembaga terpusat, biasanya beroperasi dalam lingkungan jaringan lokal berkecepatan tinggi, menggunakan teknologi bus interkoneksi NVLink berkecepatan tinggi, dengan node utama yang secara terpusat mengkoordinasikan berbagai sub-tugas. Metode utama termasuk:
Pelatihan terdistribusi adalah kombinasi dari "kontrol terpusat + eksekusi terdistribusi", yang dapat dianalogikan dengan seorang bos yang mengarahkan kolaborasi beberapa karyawan "kantor" secara jarak jauh untuk menyelesaikan tugas. Saat ini, hampir semua model besar utama dilatih dengan cara ini.
Desentralisasi pelatihan mewakili jalur masa depan yang lebih terbuka dan memiliki karakteristik anti-sensor. Ciri khas utamanya adalah: beberapa node yang saling tidak mempercayai bekerja sama untuk menyelesaikan tugas pelatihan tanpa koordinator pusat, biasanya melalui protokol yang menggerakkan distribusi tugas dan kolaborasi, serta menggunakan mekanisme insentif kriptografi untuk memastikan kejujuran kontribusi. Tantangan utama yang dihadapi oleh model ini meliputi:
Desentralisasi pelatihan dapat dipahami sebagai: sekelompok relawan global yang masing-masing menyumbangkan daya komputasi untuk melatih model secara kolaboratif, tetapi "pelatihan desentralisasi besar-besaran yang benar-benar dapat dilakukan" masih merupakan tantangan rekayasa sistemik, melibatkan arsitektur sistem, protokol komunikasi, keamanan kriptografi, mekanisme ekonomi, validasi model, dan banyak aspek lainnya. Namun, apakah "kolaborasi yang efektif + insentif yang jujur + hasil yang benar" masih berada pada tahap eksplorasi prototipe awal.
Pembelajaran federasi sebagai bentuk transisi antara distribusi dan desentralisasi, menekankan pada penyimpanan data secara lokal dan agregasi parameter model yang terpusat, cocok untuk skenario yang mementingkan kepatuhan privasi. Pembelajaran federasi memiliki struktur rekayasa pelatihan terdistribusi dan kemampuan kolaborasi lokal, sekaligus memiliki keuntungan penyebaran data dari pelatihan terdesentralisasi, tetapi masih bergantung pada pihak koordinator yang terpercaya, dan tidak memiliki karakteristik sepenuhnya terbuka dan tahan sensor. Dapat dianggap sebagai solusi "desentralisasi terkendali" dalam konteks kepatuhan privasi, dengan tugas pelatihan, struktur kepercayaan, dan mekanisme komunikasi yang relatif moderat, lebih cocok sebagai arsitektur implementasi transisi di industri.
Desentralisasi pelatihan batas, kesempatan, dan jalur realitas
Dari perspektif paradigma pelatihan, pelatihan desentralisasi tidak cocok untuk semua jenis tugas. Dalam beberapa skenario, karena struktur tugas yang kompleks, kebutuhan sumber daya yang sangat tinggi, atau kesulitan kolaborasi, secara alami tidak cocok untuk diselesaikan secara efisien antara node heterogen yang tidak saling percaya. Misalnya, pelatihan model besar sering kali bergantung pada memori tinggi, latensi rendah, dan bandwidth tinggi, yang sulit untuk dibagi dan disinkronkan secara efektif di jaringan terbuka; tugas yang memiliki privasi data dan pembatasan kedaulatan yang kuat dibatasi oleh kepatuhan hukum dan batasan etika, sehingga tidak dapat dibagikan secara terbuka; sementara tugas yang kekurangan dasar insentif kolaborasi tidak memiliki dorongan partisipasi eksternal. Batasan-batasan ini bersama-sama membentuk kendala nyata dari pelatihan desentralisasi saat ini.
Namun, ini tidak berarti bahwa pelatihan desentralisasi adalah proposisi yang tidak valid. Sebenarnya, dalam jenis tugas yang ringan strukturnya, mudah diparalelkan, dan dapat memberikan insentif, pelatihan desentralisasi menunjukkan prospek aplikasi yang jelas. Termasuk tetapi tidak terbatas pada: penyesuaian LoRA, tugas pelatihan lanjutan yang terkait dengan penyelarasan perilaku, pelatihan dan penandaan data melalui crowdsourcing, pelatihan model dasar kecil yang dapat dikendalikan sumber daya, serta skenario pelatihan kolaboratif yang melibatkan perangkat edge. Tugas-tugas ini umumnya memiliki karakteristik paralelisme tinggi, keterkaitan rendah, dan toleransi terhadap kekuatan komputasi yang heterogen, sehingga sangat cocok untuk pelatihan kolaboratif melalui jaringan P2P, protokol Swarm, pengoptimal terdistribusi, dan sebagainya.
Desentralisasi pelatihan proyek klasik analisis
Saat ini, di bidang pelatihan desentralisasi dan pembelajaran federasi, proyek blockchain yang representatif mencakup Prime Intellect, Pluralis.ai, Gensyn, Nous Research, dan Flock.io. Dari segi inovasi teknologi dan tingkat kesulitan implementasi teknik, Prime Intellect, Nous Research, dan Pluralis.ai telah mengajukan banyak eksplorasi orisinal dalam arsitektur sistem dan desain algoritma, mewakili arah penelitian teoritis terkini; sementara jalur implementasi Gensyn dan Flock.io relatif jelas, dan kemajuan rekayasa awal sudah dapat dilihat. Artikel ini akan menganalisis secara berurutan teknologi inti dan arsitektur teknik di balik lima proyek ini, serta membahas lebih lanjut perbedaan dan hubungan saling melengkapi dalam sistem pelatihan AI desentralisasi.
Prime Intellect: Pelopor jaringan kolaboratif pembelajaran penguatan yang dapat diverifikasi jalur pelatihan
Prime Intellect berkomitmen untuk membangun jaringan pelatihan AI yang tidak memerlukan kepercayaan, memungkinkan siapa saja untuk berpartisipasi dalam pelatihan dan mendapatkan imbalan yang dapat dipercaya atas kontribusi komputasinya. Prime Intellect berharap dapat membangun sistem pelatihan AI desentralisasi yang memiliki verifiabilitas, keterbukaan, dan mekanisme insentif yang lengkap melalui tiga modul utama: PRIME-RL + TOPLOC + SHARDCAST.
Prime Intellect meluncurkan INTELLECT-2 pada Mei 2025, yang merupakan model pembelajaran mendalam terbesar di dunia yang dilatih oleh node desentralisasi yang asinkron dan tanpa kepercayaan, dengan skala parameter mencapai 32B. Model INTELLECT-2 dilatih secara kolaboratif oleh lebih dari 100 node GPU heterogen yang tersebar di tiga benua, menggunakan arsitektur sepenuhnya asinkron, dengan waktu pelatihan lebih dari 400 jam, menunjukkan kelayakan dan stabilitas jaringan kolaborasi asinkron. Model ini bukan hanya terobosan dalam hal kinerja, tetapi juga merupakan penerapan sistematis pertama dari paradigma "pelatihan adalah konsensus" yang diajukan oleh Prime Intellect. INTELLECT-2 mengintegrasikan modul protokol inti seperti PRIME-RL (struktur pelatihan asinkron), TOPLOC (verifikasi perilaku pelatihan), dan SHARDCAST (penggabungan bobot asinkron), menandai bahwa jaringan pelatihan desentralisasi pertama kali mewujudkan proses pelatihan yang terbuka, verifikasi, dan siklus insentif ekonomi.
Dalam hal kinerja, INTELLECT-2 didasarkan pada QwQ-32B yang dilatih dan telah melakukan pelatihan RL khusus dalam kode dan matematika, berada di garis depan model fine-tuning RL sumber terbuka saat ini. Meskipun belum melampaui model tertutup seperti GPT-4 atau Gemini, makna sebenarnya adalah: ini adalah eksperimen model desentralisasi pertama di dunia yang proses pelatihannya sepenuhnya dapat direproduksi, diverifikasi, dan diaudit. Prime Intellect tidak hanya membuka sumber model, tetapi yang lebih penting adalah membuka proses pelatihan itu sendiri - data pelatihan, jalur pembaruan strategi, proses verifikasi, dan logika agregasi semuanya transparan dan dapat diakses, membangun prototipe jaringan pelatihan desentralisasi yang dapat diikuti oleh siapa saja, kolaborasi yang dapat dipercaya, dan berbagi hasil.
Pluralis：Penjelajah paradigma pelatihan kolaboratif antara model asinkron dan kompresi struktur.
Pluralis adalah proyek AI Web3 yang fokus pada "jaringan pelatihan kolaboratif yang dapat dipercaya", dengan tujuan inti untuk mendorong paradigma pelatihan model yang desentralisasi, partisipasi terbuka, dan memiliki mekanisme insentif jangka panjang. Berbeda dengan jalur pelatihan terpusat atau tertutup yang saat ini dominan, Pluralis mengusulkan konsep baru yang disebut Pembelajaran Protokol: memprotokolkan proses pelatihan model, melalui mekanisme kolaborasi yang dapat diverifikasi dan pemetaan kepemilikan model, untuk membangun sistem pelatihan terbuka yang memiliki siklus insentif internal.
Protocol Learning yang diajukan oleh Pluralis terdiri dari tiga pilar kunci:
Pluralis dengan jelas menetapkan "model asinkron paralel" sebagai arah inti, menekankan keunggulan yang dimilikinya dibandingkan dengan paralel data sebagai berikut:
Gensyn: Lapisan protokol pelatihan terdesentralisasi yang didorong oleh eksekusi yang dapat diverifikasi
Gensyn adalah proyek Web3 AI yang fokus pada "eksekusi terpercaya tugas pelatihan pembelajaran mendalam", inti dari proyek ini bukanlah pada rekonstruksi arsitektur model atau paradigma pelatihan, melainkan pada membangun jaringan eksekusi pelatihan terdistribusi yang dapat diverifikasi dengan "distribusi tugas + eksekusi pelatihan + verifikasi hasil + insentif yang adil" secara menyeluruh. Melalui desain arsitektur pelatihan off-chain + verifikasi on-chain, Gensyn membangun pasar pelatihan global yang efisien, terbuka, dan dapat memberikan insentif, menjadikan "pelatihan sebagai penambangan" suatu kenyataan.
Gensyn bukanlah "bagaimana melatih", tetapi "oleh siapa melatih, bagaimana memverifikasi, bagaimana membagi keuntungan" infrastruktur. Esensinya adalah protokol komputasi yang dapat diverifikasi untuk tugas pelatihan, yang utama menyelesaikan:
Jaringan Gensyn memperkenalkan empat jenis peserta:
Mekanisme ini terinspirasi dari desain permainan ekonomi Truebit, melalui penyisipan kesalahan yang dipaksakan + arbitrase acak, mendorong peserta untuk berkolaborasi secara jujur dan memastikan operasi jaringan yang dapat dipercaya.
![Evolusi Paradigma Pelatihan AI: Dari Kontrol Terpusat ke Revolusi Teknologi Kolaboratif Desentralisasi](