Então agora onde isso fará sentido para inferência, mal conseguimos encaixar os codificadores Q8 Qwen Coder 3 e Kimi K2 nas nossas H200s. Kimi K2 @ Q8 não deixou espaço para um cache kv para o contexto. Esses modelos poderiam caber em uma única instância 8xB200? Provavelmente, vamos tentar esta semana.
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
16 Curtidas
Recompensa
16
5
Compartilhar
Comentário
0/400
DefiVeteran
· 52m atrás
A quantificação é bastante trabalhosa.
Ver originalResponder0
NonFungibleDegen
· 07-27 12:20
ngmi com estas especificações fr fr
Ver originalResponder0
FlippedSignal
· 07-27 12:18
Este Q8 é mesmo uma porcaria!
Ver originalResponder0
NotGonnaMakeIt
· 07-27 12:06
Esta otimização não está a funcionar, não consegue aguentar.
Então agora onde isso fará sentido para inferência, mal conseguimos encaixar os codificadores Q8 Qwen Coder 3 e Kimi K2 nas nossas H200s. Kimi K2 @ Q8 não deixou espaço para um cache kv para o contexto. Esses modelos poderiam caber em uma única instância 8xB200? Provavelmente, vamos tentar esta semana.