Estamos emocionados de compartir los resultados de nuestra colaboración con SGLang. 🎉
Juntos, optimizamos la inferencia de DeepSeek R1 para su implementación en GB200 NVL72, logrando un aumento de 2x y 3x por GPU en comparación con clústeres H100 casi del doble de tamaño.
Esto es cómo se ve la inferencia de MoE en la frontera.
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
8 me gusta
Recompensa
8
6
Compartir
Comentar
0/400
WhaleWatcher
· hace21h
¡El rendimiento se ha duplicado, increíble!
Ver originalesResponder0
Rugpull幸存者
· hace21h
¿Está de nuevo en la mejora del rendimiento, verdad?
Ver originalesResponder0
OnChainDetective
· hace21h
hmm rastreé esas métricas de gpu... algo no cuadra aquí
Estamos emocionados de compartir los resultados de nuestra colaboración con SGLang. 🎉
Juntos, optimizamos la inferencia de DeepSeek R1 para su implementación en GB200 NVL72, logrando un aumento de 2x y 3x por GPU en comparación con clústeres H100 casi del doble de tamaño.
Esto es cómo se ve la inferencia de MoE en la frontera.