Asteras Labs mengumumkan 'Seri Scorpio X'…… Mengurangi kemacetan koneksi pusat data AI

Salah satu tantangan terbesar pusat data AI adalah “koneksi”. Jika terjadi penundaan dalam transmisi data antar semikonduktor, akselerator AI yang mahal hanya akan menunggu dengan sia-sia. Untuk mengatasi hal ini, Astera Labs meluncurkan rangkaian produk switch baru untuk mengurangi penundaan tersebut.

Perusahaan chip jaringan Astera Labs mengumumkan peluncuran switch struktur data pintar terbaru “Scorpio X Series”. Perusahaan menyatakan bahwa produk ini adalah switch struktur “memori semantik” terbuka terbesar di industri. Dijelaskan bahwa produk ini berfokus pada membantu operator pusat data skala besar dalam memperluas sumber daya komputasi secara lebih besar sambil mengurangi masalah penundaan.

Seiring peluncuran ini, lini produk switch struktur PCIe “Scorpio P Series” yang sebelumnya juga diperluas. Seri P baru menawarkan berbagai konfigurasi mulai dari 32 saluran hingga 320 saluran. Ini memberikan lebih banyak pilihan bagi perancang pusat data yang membutuhkan transmisi data skala besar secara efisien antar cluster prosesor AI.

Di era AI skala besar, hambatan bukan lagi GPU tetapi transmisi data

Astera Labs berpendapat bahwa dalam pengembangan sistem AI, masalah inti saat ini bukan lagi performa chip semata, melainkan efisiensi koneksi antar chip. Model bahasa besar terbaru menjadi sangat besar, dengan triliunan parameter, sehingga sulit memasukkan semua perhitungan ke dalam satu rak server. Akhirnya, ratusan hingga ribuan GPU harus digabungkan menjadi satu cluster besar untuk menjalankan.

Masalahnya adalah, selama proses ini, data terus-menerus bolak-balik antar chip, menyebabkan kemacetan meningkat. Ketika data yang dibutuhkan menunggu kedatangan dari bagian lain, GPU akan berada dalam keadaan idle. Mengingat biaya operasional AI cluster bisa mencapai ribuan dolar per jam, setara dengan jutaan won Korea, waktu tunggu ini secara serius akan menurunkan profitabilitas dan efisiensi pusat data.

Akses struktur seperti “akses memori”… mengurangi penundaan, meningkatkan efisiensi pemrosesan

Produk utama “Scorpio X Series 320 Channel Smart Structure Switch” menampilkan desain ulang cara switch berinteraksi dengan chip. Produk ini berbasis arsitektur “memori semantik”, memungkinkan GPU dan akselerator AI lain mengakses sumber daya yang tersebar di seluruh struktur melalui metode load/store sederhana. Singkatnya, ini adalah struktur yang memungkinkan sumber daya jarak jauh diakses seperti memori lokal.

Dengan demikian, seluruh struktur beroperasi seperti satu kolam memori terpadu. Diharapkan ini akan mengurangi overhead yang dihasilkan selama konversi paket data tradisional, sehingga menurunkan penundaan. Bagi pusat data AI, ini berarti peluang untuk memproses lebih banyak tugas dengan sumber daya komputasi yang sama menjadi lebih besar.

Selain itu, produk ini juga menerapkan teknologi mandiri Astera Labs “Hypercast” dan “In-Network Compute”. Ini adalah struktur switch yang tidak hanya mampu mentransfer data, tetapi juga dapat langsung menjalankan sebagian pekerjaan pemrosesan. Secara khusus, dapat melakukan operasi “koleksi” seperti penggabungan atau distribusi data di tingkat jaringan. Perusahaan menjelaskan bahwa kecepatan operasi ini bisa dua kali lebih cepat dari sebelumnya. Ini berpotensi langsung mempengaruhi “ekonomi token” beban kerja AI, yaitu efisiensi biaya per unit.

Desain 320 saluran berkapasitas tinggi menggantikan switch tradisional… juga mendukung standar terbuka

Keunggulan lain dari Scorpio X Series adalah desain “basis tinggi”. Ia menyediakan koneksi 320 saluran berbasis PCIe 6 dalam satu chip, yang dapat menggantikan beberapa switch pusat data tradisional. Ini membuat struktur jaringan lebih sederhana, jarak fisik transmisi data juga lebih pendek, sehingga mengurangi kompleksitas seluruh sistem.

Seri Scorpio P yang diperluas berfungsi sebagai pelengkap Seri X. Astera Labs menyatakan bahwa produk ini dirancang untuk mendukung pembangunan jaringan front-end dan sistem komputasi AI secara bersamaan. Perusahaan menekankan bahwa produk ini tidak hanya mendukung standar terbuka, tetapi juga mendukung protokol khusus platform seperti NVLink Fusion dari NVIDIA, UALink, dan lainnya, sehingga mampu menyediakan struktur jaringan yang benar-benar dapat diterapkan pada berbagai prosesor AI.

CEO Jitendra Mohan mengatakan, “Model-model terdepan yang memimpin aplikasi AI paling menuntut saat ini membutuhkan infrastruktur koneksi yang sepadan dengan performa akseleratornya.” Ini berarti, agar industri AI terus berkembang, harus dihindari hambatan koneksi chip.

Peluncuran Astera Labs ini menunjukkan bahwa fokus kompetisi AI kini beralih dari performa semikonduktor itu sendiri ke struktur koneksi seluruh sistem. Ke depan, di pusat data AI, selain chip yang lebih cepat, cara mengintegrasikan chip tersebut secara efisien kemungkinan besar akan menjadi kekuatan kompetitif utama.

Catatan TP AI Artikel ini dirangkum berdasarkan model bahasa TokenPost.ai. Isi utama mungkin terlewatkan atau tidak sesuai fakta.