Священный Грааль Crypto AI: передовые исследования в области Децентрализации обучения
В полной цепочке создания ценности ИИ обучение моделей является наиболее ресурсозатратным и технологически сложным этапом, который напрямую определяет верхний предел возможностей модели и фактическую эффективность применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных вложений в мощные вычислительные ресурсы, сложные процессы обработки данных и высокоинтенсивную поддержку оптимизационных алгоритмов, что делает его настоящей "тяжелой промышленностью" в построении ИИ-систем. С точки зрения архитектурных парадигм способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, на котором сосредоточено внимание данной статьи.
Централизованное обучение - это наиболее распространенный традиционный способ, при котором весь процесс обучения выполняется одним учреждением на локальном высокопроизводительном кластере. Все компоненты, от аппаратного обеспечения и базового программного обеспечения до системы управления кластером и фреймворка обучения, координируются единой управляющей системой. Эта глубоко согласованная архитектура обеспечивает оптимальную эффективность общего использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что очень подходит для обучения крупных моделей, таких как GPT и Gemini, с преимуществами высокой эффективности и управляемости ресурсов. Однако при этом существуют проблемы, такие как монополия на данные, барьеры для доступа к ресурсам, потребление энергии и риски единственной точки отказа.
Распределённое обучение является основным способом обучения крупных моделей на сегодняшний день, его суть заключается в том, чтобы разбить задачу обучения модели на части и распределить их на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Несмотря на то, что физически он обладает характеристиками "Децентрализации", в целом он по-прежнему контролируется и координируется централизованной организацией, часто работает в среде высокоскоростной локальной сети, с помощью технологии высокоскоростной межсоединительной шины NVLink, где главный узел координирует подзадачи. Основные методы включают:
Параллельные данные: каждый узел обучает разные данные, параметры общие, необходимо сопоставить веса модели
Модульное параллелизм: Размещение различных частей модели на разных узлах для достижения высокой масштабируемости
Параллельные каналы: поэтапное последовательное выполнение, повышение пропускной способности
Тензорное параллелизм: детальная сегментация матричных вычислений, повышение степени параллелизма
Распределенное обучение – это комбинация "централизованного контроля + распределенного выполнения", аналогично тому, как один и тот же начальник удаленно управляет несколькими "офисами", чтобы сотрудники сотрудничали в выполнении задач. В настоящее время почти все основные большие модели (GPT-4, Gemini, LLaMA и другие ) обучаются таким образом.
Децентрализация тренировки представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевая особенность заключается в том, что множество недоверяющих друг другу узлов ( могут быть домашними компьютерами, облачными GPU или крайними устройствами ), которые совместно выполняют задачи тренировки без центрального координатора, обычно через протоколы, управляющие распределением задач и сотрудничеством, и с использованием криптостимулов для обеспечения честности вкладов. Основные проблемы, с которыми сталкивается эта модель, включают:
Гетерогенность устройств и сложности с разделением: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач.
Проблема с эффективностью связи: нестабильная сеть, явно заметное ограничение синхронизации градиентов
Отсутствие доверенного выполнения: отсутствие доверенной вычислительной среды, затрудняющее проверку того, действительно ли узлы участвуют в вычислениях.
Отсутствие единой координации: нет центрального диспетчера, сложные механизмы распределения задач и отката при исключениях
Децентрализация тренировки может пониматься как: группа глобальных волонтеров, каждый из которых вносит свои вычислительные мощности для совместной тренировки модели, но "действительно осуществимая крупномасштабная децентрализация тренировки" по-прежнему представляет собой системную инженерную задачу, которая затрагивает несколько уровней, включая системную архитектуру, коммуникационные протоколы, криптографическую безопасность, экономические механизмы и валидацию моделей, однако возможность "совместного эффекта + стимулов к честности + правильных результатов" все еще находится на ранней стадии прототипирования.
Федеративное обучение как переходная форма между распределённым и Децентрализация подчеркивает локальное хранение данных, централизованную агрегацию параметров модели и подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности, таких как здравоохранение, финансы (. Федеративное обучение имеет инженерную структуру распределенного обучения и локальные кооперативные способности, одновременно обладая преимуществами распределенных данных для Децентрализация, но все же зависит от доверенной координирующей стороны и не обладает полностью открытыми и антикоррупционными характеристиками. Это можно рассматривать как "контролируемую децентрализацию" в условиях соблюдения конфиденциальности, где задачи обучения, структура доверия и механизмы коммуникации относительно мягкие, и это более подходящая архитектура для переходного развертывания в промышленности.
![Священный Грааль Crypto AI: передовые исследования децентрализованного обучения])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задачи, крайне высоких требований к ресурсам или трудностей в сотрудничестве, она естественно не подходит для эффективного выполнения на гетерогенных, децентрализованных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разбиение и синхронизацию в открытой сети; задачи с сильными ограничениями на конфиденциальность данных и суверенитет ), такие как медицина, финансы, конфиденциальные данные ( ограничены юридическими и этическими нормами, что делает невозможным открытое共享; а задачи ), которые не имеют основы для сотрудничества, такие как закрытые модели предприятий или внутреннее обучение прототипов (, лишены внешнего стимула для участия. Эти границы составляют реальные ограничения современных Децентрализованных обучение.
Но это не означает, что Децентрализация обучения является ложным понятием. На самом деле, в типах задач с легкой структурой, легкой параллелизацией и возможностью стимулирования, Децентрализация обучения демонстрирует явные перспективы применения. Включая, но не ограничиваясь: дообучение LoRA, задачи дообучения типа выравнивания поведения ), такие как RLHF, DPO (, задачи обучения и аннотирования данных с краудсорсингом, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связностью и способностью к толерантности к гетерогенным вычислительным мощностям, что делает их очень подходящими для совместного обучения через P2P-сети, протокол Swarm, распределенные оптимизаторы и другие способы.
![Крипто ИИ Святой Грааль: Децентрализация обучения на переднем крае исследований])https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(
Децентрализация тренировки классических проектов
В настоящее время в области Децентрализации обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и проектирования алгоритмов, представляя передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, уже можно увидеть начальный прогресс в инженерной реализации. В данной статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры, стоящие за этими пятью проектами, а также будет дополнительно исследовано их различие и взаимодополняющие отношения в системе Децентрализации AI обучения.
![Крипто ИИ святой грааль: Децентрализация обучения на переднем крае])https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(
) Prime Intellect: Проверяемая траектория обучения в сетях совместного обучения.
Prime Intellect стремится создать сеть обучения ИИ, которая не требует доверия, позволяя каждому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать систему децентрализованного обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
01、Структура и ключевые модули протокола Prime Intellect
![Святой Грааль Crypto AI: передовые исследования децентрализованного обучения]###https://img-cdn.gateio.im/webp-social/moments-0a322ea8b70c3d00d8d99606559c1864.webp(
)# 02, Подробное объяснение ключевых механизмов тренировки Prime Intellect
#PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с разделением
PRIME-RL является фреймворком для моделирования задач и их выполнения, разработанным Prime Intellect для Децентрализация тренировочных сценариев, специально созданным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного адаптивного объекта, структурно декомпозируя процессы обучения, вывода и загрузки весов, позволяя каждому учебному узлу независимо выполнять циклы задач на локальном уровне и сотрудничать через стандартизированные интерфейсы с механизмами проверки и агрегирования. По сравнению с традиционными процессами обучения с учителем, PRIME-RL лучше подходит для достижения гибкого обучения в условиях без центрального управления, что снижает сложность системы и создает основы для поддержки многозадачности и эволюции стратегий.
#TOPLOC:Легковесный механизм верификации поведения тренировки
TOPLOC###Доверенное Наблюдение & Проверка Политики-Локальности( является основной механизмом проверки обучаемости, предложенным Prime Intellect, используемым для определения, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от полного пересчета модели, а завершает верификацию легковесной структуры, анализируя локальные согласованные траектории между "наблюдательной последовательностью↔обновлением стратегии". Впервые он преобразует траектории поведения в процессе обучения в проверяемые объекты, что является ключевым инновационным решением для реализации распределения наград за обучение без доверия, предоставляя жизнеспособный путь для построения可审计,可激励的 Децентрализация协作训练网络.
#SHARDCAST: Асинхронная агрегация весов и протокол распространения
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронностью, ограниченной пропускной способностью и изменяющимся состоянием узлов. Он сочетает в себе механизм gossip-распространения и локальную синхронизацию, позволяя нескольким узлам продолжать отправлять частичные обновления в состоянии несинхронизации, достигая постепенной сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно улучшает масштабируемость и отказоустойчивость децентрализованного обучения и является основой для построения стабильного консенсуса по весам и постоянной итерации обучения.
OpenDiLoCo — это оптимизированная для связи платформа, разработанная командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Она специально создана для решения таких проблем, как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы, которые часто встречаются в децентрализованном обучении. Архитектура основана на параллельной обработке данных и использует разреженные топологические структуры, такие как Ring, Expander, Small-World, чтобы избежать высоких затрат на глобальную синхронизацию, полагаясь только на локальных соседей для совместного обучения модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в обучающих задачах, значительно повышая доступность глобального совместного обучения и являясь одной из ключевых коммуникационных инфраструктур для построения децентрализованной сети обучения.
#PCCL:Библиотека совместной связи
PCCL)Prime Collective Communication Library( — это легковесная коммуникационная библиотека, созданная Prime Intellect для децентрализованной среды обучения ИИ, предназначенная для решения проблем адаптации традиционных коммуникационных библиотек ), таких как NCCL и Gloo(, в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, является основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Он значительно улучшает устойчивость к пропускной способности сети для обучения и совместимость устройств, прокладывая "последнюю милю" коммуникационной инфраструктуры для создания действительно открытой, ненадежной сети совместного обучения.
)# 03, Сеть стимулов Prime Intellect и распределение ролей
Prime Intellect создал разрешённую, проверяемую сеть обучения с экономическими стимулами, позволяющую любому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол работает на основе трёх категорий основных ролей:
Инициатор задачи: определить среду обучения, начальную модель, функцию вознаграждения и критерии валидации
Узел обучения: выполнение локального обучения, отправка обновлений весов и наблюдаемых траекторий
Верификационные узлы: использование механизма TOPLOC для проверки достоверности тренировочного поведения и участие в расчетах вознаграждений и агрегации стратегий
核心 процесса протокола включает в себя публикацию задач, обучение узлов, валидацию траекторий, агрегацию весов ###SHARDCAST( и распределение вознаграждений, формируя стимулирующий замкнутый круг вокруг "реальных тренировочных действий".
![Святой Грааль Crypto AI: Децентрализация обучения на переднем крае])
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
19 Лайков
Награда
19
6
Поделиться
комментарий
0/400
RugpullTherapist
· 07-07 16:17
Просто этот Алгоритм поддерживает копирование, не могу понять.
Посмотреть ОригиналОтветить0
WinterWarmthCat
· 07-07 11:56
Святой Грааль - это полное безумие.
Посмотреть ОригиналОтветить0
WhaleMinion
· 07-05 14:08
Что такое тяжелая промышленность, если деньги приходят слишком медленно?
Посмотреть ОригиналОтветить0
BlockchainDecoder
· 07-05 14:08
Согласно определению Шмидхубера (2015), это по сути все еще ложная проблема масштабирования.
Посмотреть ОригиналОтветить0
SnapshotBot
· 07-05 14:06
Не занимайтесь этой чепухой.
Посмотреть ОригиналОтветить0
DefiSecurityGuard
· 07-05 13:53
хм... централизованное обучение = единая точка отказа. классический кошмар безопасности, если честно. DYOR, но это в основном просьба о неприятностях.
Исследование новых парадигм ИИ: передовые прорывы и вызовы Децентрализации в обучении
Священный Грааль Crypto AI: передовые исследования в области Децентрализации обучения
В полной цепочке создания ценности ИИ обучение моделей является наиболее ресурсозатратным и технологически сложным этапом, который напрямую определяет верхний предел возможностей модели и фактическую эффективность применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных вложений в мощные вычислительные ресурсы, сложные процессы обработки данных и высокоинтенсивную поддержку оптимизационных алгоритмов, что делает его настоящей "тяжелой промышленностью" в построении ИИ-систем. С точки зрения архитектурных парадигм способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, на котором сосредоточено внимание данной статьи.
Централизованное обучение - это наиболее распространенный традиционный способ, при котором весь процесс обучения выполняется одним учреждением на локальном высокопроизводительном кластере. Все компоненты, от аппаратного обеспечения и базового программного обеспечения до системы управления кластером и фреймворка обучения, координируются единой управляющей системой. Эта глубоко согласованная архитектура обеспечивает оптимальную эффективность общего использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что очень подходит для обучения крупных моделей, таких как GPT и Gemini, с преимуществами высокой эффективности и управляемости ресурсов. Однако при этом существуют проблемы, такие как монополия на данные, барьеры для доступа к ресурсам, потребление энергии и риски единственной точки отказа.
Распределённое обучение является основным способом обучения крупных моделей на сегодняшний день, его суть заключается в том, чтобы разбить задачу обучения модели на части и распределить их на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Несмотря на то, что физически он обладает характеристиками "Децентрализации", в целом он по-прежнему контролируется и координируется централизованной организацией, часто работает в среде высокоскоростной локальной сети, с помощью технологии высокоскоростной межсоединительной шины NVLink, где главный узел координирует подзадачи. Основные методы включают:
Распределенное обучение – это комбинация "централизованного контроля + распределенного выполнения", аналогично тому, как один и тот же начальник удаленно управляет несколькими "офисами", чтобы сотрудники сотрудничали в выполнении задач. В настоящее время почти все основные большие модели (GPT-4, Gemini, LLaMA и другие ) обучаются таким образом.
Децентрализация тренировки представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевая особенность заключается в том, что множество недоверяющих друг другу узлов ( могут быть домашними компьютерами, облачными GPU или крайними устройствами ), которые совместно выполняют задачи тренировки без центрального координатора, обычно через протоколы, управляющие распределением задач и сотрудничеством, и с использованием криптостимулов для обеспечения честности вкладов. Основные проблемы, с которыми сталкивается эта модель, включают:
Децентрализация тренировки может пониматься как: группа глобальных волонтеров, каждый из которых вносит свои вычислительные мощности для совместной тренировки модели, но "действительно осуществимая крупномасштабная децентрализация тренировки" по-прежнему представляет собой системную инженерную задачу, которая затрагивает несколько уровней, включая системную архитектуру, коммуникационные протоколы, криптографическую безопасность, экономические механизмы и валидацию моделей, однако возможность "совместного эффекта + стимулов к честности + правильных результатов" все еще находится на ранней стадии прототипирования.
Федеративное обучение как переходная форма между распределённым и Децентрализация подчеркивает локальное хранение данных, централизованную агрегацию параметров модели и подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности, таких как здравоохранение, финансы (. Федеративное обучение имеет инженерную структуру распределенного обучения и локальные кооперативные способности, одновременно обладая преимуществами распределенных данных для Децентрализация, но все же зависит от доверенной координирующей стороны и не обладает полностью открытыми и антикоррупционными характеристиками. Это можно рассматривать как "контролируемую децентрализацию" в условиях соблюдения конфиденциальности, где задачи обучения, структура доверия и механизмы коммуникации относительно мягкие, и это более подходящая архитектура для переходного развертывания в промышленности.
![Священный Грааль Crypto AI: передовые исследования децентрализованного обучения])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задачи, крайне высоких требований к ресурсам или трудностей в сотрудничестве, она естественно не подходит для эффективного выполнения на гетерогенных, децентрализованных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разбиение и синхронизацию в открытой сети; задачи с сильными ограничениями на конфиденциальность данных и суверенитет ), такие как медицина, финансы, конфиденциальные данные ( ограничены юридическими и этическими нормами, что делает невозможным открытое共享; а задачи ), которые не имеют основы для сотрудничества, такие как закрытые модели предприятий или внутреннее обучение прототипов (, лишены внешнего стимула для участия. Эти границы составляют реальные ограничения современных Децентрализованных обучение.
Но это не означает, что Децентрализация обучения является ложным понятием. На самом деле, в типах задач с легкой структурой, легкой параллелизацией и возможностью стимулирования, Децентрализация обучения демонстрирует явные перспективы применения. Включая, но не ограничиваясь: дообучение LoRA, задачи дообучения типа выравнивания поведения ), такие как RLHF, DPO (, задачи обучения и аннотирования данных с краудсорсингом, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связностью и способностью к толерантности к гетерогенным вычислительным мощностям, что делает их очень подходящими для совместного обучения через P2P-сети, протокол Swarm, распределенные оптимизаторы и другие способы.
![Крипто ИИ Святой Грааль: Децентрализация обучения на переднем крае исследований])https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(
Децентрализация тренировки классических проектов
В настоящее время в области Децентрализации обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и проектирования алгоритмов, представляя передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, уже можно увидеть начальный прогресс в инженерной реализации. В данной статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры, стоящие за этими пятью проектами, а также будет дополнительно исследовано их различие и взаимодополняющие отношения в системе Децентрализации AI обучения.
![Крипто ИИ святой грааль: Децентрализация обучения на переднем крае])https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(
) Prime Intellect: Проверяемая траектория обучения в сетях совместного обучения.
Prime Intellect стремится создать сеть обучения ИИ, которая не требует доверия, позволяя каждому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать систему децентрализованного обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
01、Структура и ключевые модули протокола Prime Intellect
![Святой Грааль Crypto AI: передовые исследования децентрализованного обучения]###https://img-cdn.gateio.im/webp-social/moments-0a322ea8b70c3d00d8d99606559c1864.webp(
)# 02, Подробное объяснение ключевых механизмов тренировки Prime Intellect
#PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с разделением
PRIME-RL является фреймворком для моделирования задач и их выполнения, разработанным Prime Intellect для Децентрализация тренировочных сценариев, специально созданным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного адаптивного объекта, структурно декомпозируя процессы обучения, вывода и загрузки весов, позволяя каждому учебному узлу независимо выполнять циклы задач на локальном уровне и сотрудничать через стандартизированные интерфейсы с механизмами проверки и агрегирования. По сравнению с традиционными процессами обучения с учителем, PRIME-RL лучше подходит для достижения гибкого обучения в условиях без центрального управления, что снижает сложность системы и создает основы для поддержки многозадачности и эволюции стратегий.
#TOPLOC:Легковесный механизм верификации поведения тренировки
TOPLOC###Доверенное Наблюдение & Проверка Политики-Локальности( является основной механизмом проверки обучаемости, предложенным Prime Intellect, используемым для определения, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от полного пересчета модели, а завершает верификацию легковесной структуры, анализируя локальные согласованные траектории между "наблюдательной последовательностью↔обновлением стратегии". Впервые он преобразует траектории поведения в процессе обучения в проверяемые объекты, что является ключевым инновационным решением для реализации распределения наград за обучение без доверия, предоставляя жизнеспособный путь для построения可审计,可激励的 Децентрализация协作训练网络.
#SHARDCAST: Асинхронная агрегация весов и протокол распространения
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронностью, ограниченной пропускной способностью и изменяющимся состоянием узлов. Он сочетает в себе механизм gossip-распространения и локальную синхронизацию, позволяя нескольким узлам продолжать отправлять частичные обновления в состоянии несинхронизации, достигая постепенной сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно улучшает масштабируемость и отказоустойчивость децентрализованного обучения и является основой для построения стабильного консенсуса по весам и постоянной итерации обучения.
#OpenDiLoCo:Редкий асинхронный коммуникационный фреймворк
OpenDiLoCo — это оптимизированная для связи платформа, разработанная командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Она специально создана для решения таких проблем, как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы, которые часто встречаются в децентрализованном обучении. Архитектура основана на параллельной обработке данных и использует разреженные топологические структуры, такие как Ring, Expander, Small-World, чтобы избежать высоких затрат на глобальную синхронизацию, полагаясь только на локальных соседей для совместного обучения модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в обучающих задачах, значительно повышая доступность глобального совместного обучения и являясь одной из ключевых коммуникационных инфраструктур для построения децентрализованной сети обучения.
#PCCL:Библиотека совместной связи
PCCL)Prime Collective Communication Library( — это легковесная коммуникационная библиотека, созданная Prime Intellect для децентрализованной среды обучения ИИ, предназначенная для решения проблем адаптации традиционных коммуникационных библиотек ), таких как NCCL и Gloo(, в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, является основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Он значительно улучшает устойчивость к пропускной способности сети для обучения и совместимость устройств, прокладывая "последнюю милю" коммуникационной инфраструктуры для создания действительно открытой, ненадежной сети совместного обучения.
)# 03, Сеть стимулов Prime Intellect и распределение ролей
Prime Intellect создал разрешённую, проверяемую сеть обучения с экономическими стимулами, позволяющую любому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол работает на основе трёх категорий основных ролей:
核心 процесса протокола включает в себя публикацию задач, обучение узлов, валидацию траекторий, агрегацию весов ###SHARDCAST( и распределение вознаграждений, формируя стимулирующий замкнутый круг вокруг "реальных тренировочных действий".
![Святой Грааль Crypto AI: Децентрализация обучения на переднем крае])