Estamos entusiasmados por compartilhar os resultados da nossa colaboração com a SGLang. 🎉
Juntos, otimizámos a inferência do DeepSeek R1 para implementação no GB200 NVL72—oferecendo um aumento de 2x e 3x por GPU em comparação com clusters H100 quase duas vezes maiores.
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
8 Curtidas
Recompensa
8
6
Compartilhar
Comentário
0/400
WhaleWatcher
· 13h atrás
A performance dobrou, incrível!
Ver originalResponder0
Rugpull幸存者
· 13h atrás
Está a falar de desempenho novamente, certo?
Ver originalResponder0
OnChainDetective
· 13h atrás
hum, tracei essas métricas de gpu... algo não está batendo aqui
Estamos entusiasmados por compartilhar os resultados da nossa colaboração com a SGLang. 🎉
Juntos, otimizámos a inferência do DeepSeek R1 para implementação no GB200 NVL72—oferecendo um aumento de 2x e 3x por GPU em comparação com clusters H100 quase duas vezes maiores.
É assim que parece a inferência MoE de fronteira.