Kami sangat senang untuk membagikan hasil kolaborasi kami dengan SGLang. 🎉
Bersama-sama, kami mengoptimalkan inferensi DeepSeek R1 untuk penyebaran di GB200 NVL72—memberikan peningkatan 2x dan 3x per GPU dibandingkan dengan kluster H100 yang hampir dua kali lipat ukuran.
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
8 Suka
Hadiah
8
6
Bagikan
Komentar
0/400
WhaleWatcher
· 17jam yang lalu
Kinerja meningkat dua kali lipat, luar biasa!
Lihat AsliBalas0
Rugpull幸存者
· 17jam yang lalu
Jadi, kamu sedang membahas performa lagi, ya?
Lihat AsliBalas0
OnChainDetective
· 17jam yang lalu
hmm melacak metrik gpu itu... ada yang tidak sesuai di sini
Kami sangat senang untuk membagikan hasil kolaborasi kami dengan SGLang. 🎉
Bersama-sama, kami mengoptimalkan inferensi DeepSeek R1 untuk penyebaran di GB200 NVL72—memberikan peningkatan 2x dan 3x per GPU dibandingkan dengan kluster H100 yang hampir dua kali lipat ukuran.
Inilah seperti apa inferensi MoE perbatasan.