Итак, теперь, где это будет иметь смысл для вывода, мы едва помещаем количественно квантованные Q8 Qwen Coder 3 и Kimi K2 на наши H200. Kimi K2 @ Q8 не оставил места для кеша kv для контекста. Могут ли эти модели поместиться на одном экземпляре 8xB200? Вероятно, мы попробуем на этой неделе.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
16 Лайков
Награда
16
4
Поделиться
комментарий
0/400
NonFungibleDegen
· 23ч назад
ngmi с этой спецификацией fr fr
Посмотреть ОригиналОтветить0
FlippedSignal
· 23ч назад
Этот Q8 слишком плохой.
Посмотреть ОригиналОтветить0
NotGonnaMakeIt
· 23ч назад
Эта оптимизация не работает, она вообще не может справиться.
Итак, теперь, где это будет иметь смысл для вывода, мы едва помещаем количественно квантованные Q8 Qwen Coder 3 и Kimi K2 на наши H200. Kimi K2 @ Q8 не оставил места для кеша kv для контекста. Могут ли эти модели поместиться на одном экземпляре 8xB200? Вероятно, мы попробуем на этой неделе.