Успешно заставил моего робота-омара использовать локально развернутую большую модель deepseek на моем игровом ноутбуке с 3060.

Мое устройство — урезанная версия 3060 laptop.
Модель — deepseek-r1-8b.
Это дистиллированная версия большой модели deepseek, полностью справляется с такими простыми задачами, как сбор и обработка информации из групп в tg.
Это значительно снизило затраты и решило проблему 50% тревог по поводу токенов.