Tether выпустила кроссплатформный фреймворк BitNet LoRA, модель с миллиардом параметров может выполнить тонкую настройку на потребительских устройствах

Новости Techub: Tether объявила о запуске кроссплатформенного фреймворка для тонкой настройки BitNet LoRA в QVAC Fabric, который оптимизирует обучение и вывод Microsoft BitNet (1-битный LLM). Этот фреймворк значительно снижает требования к вычислительным ресурсам и памяти, позволяя обучать и донастраивать модели с миллиардом параметров на ноутбуках, потребительских GPU и смартфонах. Впервые реализована возможность донастройки модели BitNet на мобильных GPU (включая Adreno, Mali и Apple Bionic). Тесты показали, что модель с 125 миллионами параметров может быть донастроена примерно за 10 минут, модель с 1 миллиардом — примерно за час, а также возможно масштабирование до 13 миллиардов параметров на смартфонах. Кроме того, фреймворк поддерживает разнородное оборудование, такое как Intel, AMD и Apple Silicon, и впервые реализована тонкая настройка 1-битных LLM LoRA на устройствах без NVIDIA. В плане производительности, вывод модели BitNet на мобильных GPU в 2–11 раз быстрее, чем на CPU, а использование видеопамяти сокращается до 77,8% по сравнению с традиционными 16-битными моделями. Tether отмечает, что эта технология может разрушить зависимость от высокопроизводительных вычислительных мощностей и облачной инфраструктуры, способствуя развитию децентрализованного и локального обучения ИИ, а также создавая основу для новых сценариев, таких как федеративное обучение.