الكأس المقدسة لـ Crypto AI: استكشاف الحدود للتدريب اللامركزي

في سلسلة القيمة الكاملة للذكاء الاصطناعي، يُعتبر تدريب النماذج هو المرحلة الأكثر استهلاكًا للموارد والأعلى من حيث عوائق التكنولوجيا، حيث يحدد بشكل مباشر الحد الأقصى لقدرات النموذج وفعالية تطبيقاته العملية. بالمقارنة مع الاستدعاءات الخفيفة في مرحلة الاستدلال، تتطلب عملية التدريب استثمارًا مستمرًا في قوة الحوسبة الكبيرة، وعمليات معالجة بيانات معقدة، ودعمًا قويًا لخوارزميات التحسين، مما يجعلها "صناعة ثقيلة" حقيقية في بناء أنظمة الذكاء الاصطناعي. من حيث نماذج العمارة، يمكن تقسيم طرق التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي يتم مناقشته في هذه المقالة.

يعد التدريب المركزي هو الطريقة التقليدية الأكثر شيوعًا، حيث يتم تنفيذ جميع عمليات التدريب بواسطة مؤسسة واحدة داخل مجموعة عالية الأداء محليًا، من الأجهزة، البرامج الأساسية، نظام جدولة المجموعات، إلى جميع مكونات إطار التدريب، يتم تنسيق تشغيلها بواسطة نظام تحكم موحد. هذه البنية التحتية المتعمقة للتعاون تجعل مشاركة الذاكرة، وتزامن التدرجات، وآليات التحمل تعمل بكفاءة قصوى، مما يجعلها مناسبة جدًا لتدريب نماذج ضخمة مثل GPT و Gemini، ولها مزايا الكفاءة العالية، والسيطرة على الموارد، ولكنها تعاني في الوقت نفسه من مشاكل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.

التدريب الموزع هو الطريقة الرئيسية الحالية لتدريب نماذج كبيرة، و جوهره هو تقسيم مهام تدريب النموذج، وتوزيعها على عدة آلات للتنفيذ المشترك، من أجل تجاوز قيود الحوسبة والتخزين على جهاز واحد. على الرغم من أن لديها خصائص "اللامركزية" من الناحية الفيزيائية، إلا أن التحكم والتنسيق والتزامن لا يزال يتم بواسطة مؤسسة مركزية، وعادة ما تعمل في بيئة شبكة محلية عالية السرعة، من خلال تقنية ناقل الاتصال السريع NVLink، يتم تنسيق المهام الفرعية بواسطة العقدة الرئيسية بشكل موحد. تشمل الطرق الرئيسية:

• التوازي البياني: كل عقدة تدرب معلمات بيانات مختلفة ويتم مشاركة الوزن النموذجي، يجب مطابقة أوزان النموذج
• التوازي النموذجي: نشر أجزاء مختلفة من النموذج على عقد مختلفة لتحقيق قابلية التوسع العالية
• أنابيب متوازية: تنفيذ متسلسل على مراحل، مما يزيد من معدل النقل
• التوازي باستخدام المصفوفات: تقسيم دقيق لحساب المصفوفات، مما يزيد من دقة التوازي

التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، يقارن بتوجيه نفس المدير عن بُعد للمساعدة في تنسيق العمل بين عدة "مكاتب". حاليًا، يتم تدريب جميع النماذج الكبيرة الرائجة تقريبًا (GPT-4، Gemini، LLaMA، وغيرها ) بهذه الطريقة.

اللامركزية التدريب تمثل مسارًا مستقبليًا أكثر انفتاحًا ومقاومة للرقابة. الميزات الأساسية لها هي: عدة نقاط غير موثوقة ( قد تكون أجهزة كمبيوتر منزلية، أو وحدات معالجة الرسوميات السحابية، أو أجهزة الحافة ) تتعاون لإكمال مهام التدريب دون منسق مركزي، وعادة ما يتم توزيع المهام والتعاون من خلال بروتوكولات، وتساعد آلية التحفيز المشفرة في ضمان نزاهة المساهمات. التحديات الرئيسية التي تواجه هذا النموذج تشمل:

• صعوبة في تباين الأجهزة والتقسيم: صعوبة تنسيق الأجهزة اللامركزية، وانخفاض كفاءة تقسيم المهام
• عنق الزجاجة في كفاءة الاتصال: عدم استقرار الاتصال الشبكي، وظهور واضح لعنق الزجاجة في مزامنة التدرجات
• تنفيذ موثوق مفقود: نقص في بيئة تنفيذ موثوقة، مما يجعل من الصعب التحقق مما إذا كانت العقدة تشارك حقًا في الحساب
• نقص التنسيق الموحد: لا يوجد جهاز تحكم مركزي، توزيع المهام، آلية التراجع عن الاستثناءات معقدة

يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين من جميع أنحاء العالم، يساهمون بشكل فردي في قوة الحوسبة لتدريب النموذج بشكل مشترك، لكن "التدريب اللامركزي الكبير القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا منهجيًا، يشمل بنية النظام، بروتوكولات الاتصال، أمن التشفير، الآليات الاقتصادية، والتحقق من النموذج على العديد من المستويات، لكن ما إذا كان يمكن "التعاون بشكل فعال + تحفيز الأمانة + النتائج الصحيحة" لا يزال في مرحلة استكشاف النماذج الأولية المبكرة.

تعتبر التعلم الفيدرالي شكلًا انتقاليًا بين التوزيع واللامركزية، حيث يركز على الاحتفاظ بالبيانات محليًا ، وتجمع معلمات النموذج مركزيًا، وهو مناسب للسيناريوهات التي تركز على الامتثال للخصوصية ( مثل الرعاية الصحية والمالية ). يتمتع التعلم الفيدرالي ببنية هندسية للتدريب الموزع وقدرة على التعاون المحلي، بينما يمتلك أيضًا مزايا توزيع البيانات في التدريب اللامركزي، لكنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يتمتع بخصائص مفتوحة تمامًا ومقاومة للرقابة. يمكن اعتباره نوعًا من "اللامركزية الخاضعة للرقابة" في سيناريوهات الامتثال للخصوصية، حيث تكون مهام التدريب، هيكل الثقة وآلية الاتصال معتدلة نسبيًا، مما يجعله أكثر ملاءمة كهيكل نشر انتقالي في الصناعة.

اللامركزية تدريب الحدود، الفرص والطرق الواقعية

من منظور أنماط التدريب، فإن التدريب اللامركزي لا يناسب جميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهام، أو الحاجة العالية للموارد، أو صعوبة التعاون، فإنه بطبيعته غير مناسب لتحقيق الكفاءة بين العقد المتنوعة والموثوقة. على سبيل المثال، غالبًا ما يعتمد تدريب النماذج الكبيرة على ذاكرة عالية، وكمون منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمها ومزامنتها بشكل فعال في الشبكات المفتوحة؛ كما أن المهام التي تتطلب خصوصية البيانات وقيود السيادة مثل الرعاية الصحية، والمالية، والبيانات الحساسة ( مقيدة بالقوانين والامتثال والاعتبارات الأخلاقية، مما يمنع المشاركة المفتوحة؛ بينما المهام التي تفتقر إلى الحوافز التعاونية مثل نماذج الشركات المغلقة أو تدريب النماذج الأولية الداخلية ) تفتقر إلى الدافع الخارجي للمشاركة. تشكل هذه الحدود معًا القيود الحقيقية الحالية على التدريب اللامركزي.

لكن هذا لا يعني أن التدريب اللامركزي هو فكرة زائفة. في الواقع، أظهر التدريب اللامركزي آفاقًا واضحة للتطبيق في أنواع المهام التي تتميز بخفة الهيكلية، وسهولة التوازي، والتحفيز. بما في ذلك، على سبيل المثال لا الحصر: ضبط LoRA، مهام ما بعد التدريب التي تتعلق بمحاذاة السلوك مثل RLHF، DPO(، مهام تدريب وتصنيف البيانات الجماعية، تدريب نماذج أساسية صغيرة قابلة للتحكم في الموارد، وكذلك سيناريوهات التدريب التعاوني التي تشارك فيها الأجهزة الطرفية. تتمتع هذه المهام عمومًا بخصائص عالية من التوازي، وانخفاض الترابط، والقدرة على تحمل القوة الحاسوبية غير المتجانسة، مما يجعلها مناسبة جدًا للتدريب التعاوني من خلال شبكات P2P، وبروتوكول Swarm، ومحسّنات موزعة.

![كأس القدر للذكاء الاصطناعي: استكشافات متقدمة في التدريب اللامركزي])https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(

تحليل المشاريع الكلاسيكية للتدريب اللامركزي

في الوقت الحالي، تشمل المشاريع الرئيسية في مجال التدريب اللامركزي والتعلم الفيدرالي، المشاريع البارزة في مجال blockchain مثل Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، مما يمثل الاتجاهات الرائدة في البحث النظري الحالي؛ بينما فإن مسارات التنفيذ لـ Gensyn وFlock.io واضحة نسبياً، حيث يمكن رؤية تقدم أولي في الهندسة. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهياكل الهندسية وراء هذه المشاريع الخمسة، بالإضافة إلى مناقشة الفروقات والعلاقات التكميلية بينها في نظام التدريب الذكي اللامركزي.

![كأس المقدس للذكاء الاصطناعي: استكشافات في مقدمة التدريب اللامركزي])https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(

) Prime Intellect: رائد الشبكات التعاونية للتعلم المعزز القابل للتحقق من مسار التدريب

تسعى Prime Intellect إلى بناء شبكة تدريب AI لا تحتاج إلى الثقة، مما يتيح لأي شخص المشاركة في التدريب والحصول على مكافآت موثوقة مقابل مساهماته الحسابية. تأمل Prime Intellect من خلال ثلاثة وحدات هي PRIME-RL + TOPLOC + SHARDCAST في بناء نظام تدريب AI اللامركزي الذي يتمتع بالقدرة على التحقق، والانفتاح، وآلية تحفيز كاملة.

(# 01، هيكل بروتوكول Prime Intellect والهيكل القيمي للوحدات الرئيسية

![كأس القدر للعملات المشفرة: استكشاف متقدم للتدريب اللامركزي])https://img-cdn.gateio.im/webp-social/moments-0a322ea8b70c3d00d8d99606559c1864.webp###

02، شرح آلية التدريب الرئيسية لـ Prime Intellect

#PRIME-RL: هيكل مهمة التعلم المعزز غير المتزامن المنفصل

PRIME-RL هو إطار عمل لنمذجة المهام وتنفيذها تم تخصيصه من قبل Prime Intellect لسيناريوهات التدريب اللامركزية، مصمم خصيصًا للشبكات غير المتجانسة والمشاركة غير المتزامنة. يعتمد على التعلم المعزز كهدف تكييف أولي، حيث يفصل هيكليًا عملية التدريب والاستدلال ورفع الأوزان، مما يسمح لكل عقدة تدريب بإكمال دورة المهام بشكل مستقل محليًا، والتعاون من خلال واجهات معيارية وآليات التحقق والتجميع. مقارنةً بعمليات التعلم الإشرافي التقليدية، فإن PRIME-RL أكثر ملاءمة لتحقيق التدريب المرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام، ويؤسس لدعم المهام المتعددة بالتوازي وتطور الاستراتيجيات.

#TOPLOC:آلية التحقق من سلوك التدريب الخفيف

TOPLOC(المراقبة الموثوقة & تحقق من المحلية) هو آلية جوهرية للتحقق من التدريب اقترحها Prime Intellect، تستخدم لتحديد ما إذا كان عقدة ما قد أكملت حقًا تعلم سياسة فعالة استنادًا إلى بيانات المراقبة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يكمل التحقق الهيكلي الخفيف من خلال تحليل "تسلسل المراقبة ↔ تحديث السياسة" بين المسارات المتسقة محليًا. إنه يحول لأول مرة سلوك المسار أثناء عملية التدريب إلى كائنات يمكن التحقق منها، وهو ابتكار رئيسي لتحقيق توزيع مكافآت التدريب دون الحاجة إلى الثقة، مما يوفر مسارًا قابلاً للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.

#SHARDCAST: بروتوكول تجميع ونشر الوزن غير المتزامن

SHARDCAST هو بروتوكول لنشر الوزن وتجمعه مصمم من قبل Prime Intellect، تم تحسينه خصيصًا لبيئات الشبكة الحقيقية غير المتزامنة، ذات النطاق الترددي المحدود وحالة العقد المتغيرة. يجمع بين آلية نشر gossip واستراتيجيات التزامن المحلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية باستمرار في حالات عدم التزامن، مما يحقق التقارب التدريجي للأوزان وتطورات متعددة النسخ. بالمقارنة مع الطرق المركزية أو المتزامنة AllReduce، يعزز SHARDCAST بشكل ملحوظ من قابلية التوسع والقدرة على التحمل في التدريب اللامركزي، وهو الأساس الرئيسي لبناء توافق مستقر للأوزان وتكرارات التدريب المستمرة.

#OpenDiLoCo: إطار الاتصالات غير المتزامنة المتناثرة

OpenDiLoCo هو إطار تحسين الاتصالات تم تنفيذه بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect استنادًا إلى مفهوم DiLoCo الذي اقترحته DeepMind، وهو مصمم خصيصًا لمواجهة التحديات الشائعة في التدريب اللامركزي مثل قيود عرض النطاق الترددي، الأجهزة المتنوعة وعدم استقرار العقد. يعتمد هيكله على التوازي البياني، من خلال بناء هياكل طوبولوجية نادرة مثل Ring وExpander وSmall-World، مما يتجنب نفقات الاتصال العالية للتزامن العالمي، ويعتمد فقط على العقد المجاورة المحلية لإكمال تدريب النموذج بشكل تعاوني. بالاقتران مع التحديث غير المتزامن وآلية تحمل نقاط التوقف، يتيح OpenDiLoCo لبطاقات الرسوميات من فئة المستهلك والأجهزة الطرفية المشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل كبير إمكانية المشاركة في التدريب التعاوني العالمي، ويعد أحد البنى التحتية الأساسية لتواصل الشبكات التدريبية اللامركزية.

#PCCL: مكتبة الاتصالات المتزامنة

PCCL###Prime Collective Communication Library( هو مكتبة اتصالات خفيفة الوزن مصممة خصيصًا من قبل Prime Intellect لبيئة تدريب AI اللامركزية، تهدف إلى حل اختناقات التكيف في المكتبات التقليدية) مثل NCCL وGloo( في الأجهزة المتباينة والشبكات ذات النطاق الترددي المنخفض. تدعم PCCL الطوبولوجيا المتناثرة، وضغط التدرجات، والتزامن بدقة منخفضة واستعادة النقاط، ويمكن تشغيلها على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهي مكون أساسي يدعم قدرة الاتصال غير المتزامن لبروتوكول OpenDiLoCo. لقد حسنت بشكل ملحوظ من تحمل عرض النطاق الترددي لشبكات التدريب وتوافق الأجهزة، مما يمهد الطريق لبناء شبكة تدريب تعاونية مفتوحة حقًا وغير موثوقة.

)# 03، شبكة Prime Intellect للتحفيز وتقسيم الأدوار

بني Prime Intellect شبكة تدريب قابلة للتحقق، بدون إذن، مزودة بآلية حوافز اقتصادية، مما يتيح لأي شخص المشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول بناءً على ثلاث فئات من الأدوار الأساسية:

• مُطلق المهمة: تحديد بيئة التدريب، النموذج الأولي، دالة المكافأة ومعايير التحقق
• عقدة التدريب: تنفيذ التدريب المحلي، تقديم تحديثات الوزن ومسارات المراقبة
• عقد التحقق: استخدام آلية TOPLOC للتحقق من صحة سلوك التدريب والمشاركة في حساب المكافآت وتجميع الاستراتيجيات

تشمل العملية الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان (SHARDCAST) وتوزيع المكافآت، مما يشكل حلقة تحفيزية حول "سلوك التدريب الحقيقي".

![كأس المقدس للذكاء الاصطناعي: استكشاف متقدم للتدريب اللامركزي]###