PyTorch 2.0: Makine Öğreniminde Büyük Bir Sıçrama

PyTorch 2.0 versiyonunu duyurdu. Büyük haber. Veri bilimi dünyası bu açık kaynaklı makine öğrenimi çerçevesi güncellemesini bekliyordu ve sonunda burada.

PyTorch, ilk ortaya çıktığından beri çok büyüdü. Versiyon 2.0? Bu oldukça önemli.

İnsanlar bu platformu her yerde kullanıyor - bilgisayarla görme, doğal dil şeyleri. Şu anda Linux Vakfı altında yaşıyor. Sistem, otomatik türev alma ile GPU destekli tensör hesaplamaları ve sinir ağları sunuyor. Tesla Otomatik Pilot'u bunun üzerinde çalışıyor. Pyro da öyle. Ve Transformers. Hatta PyTorch Lightning ve Catalyst.

2.0 güncellemesi, şık bir yeni Transformer API'si getiriyor. Bu, karmaşık Transformer modellerini eğitmek ve dağıtmak için daha kolay hale getirmek üzere tasarlanmış gibi görünüyor. Ancak asıl yıldız? Yeni torch.compile fonksiyonu. Bu, PyTorch modellerinin çok daha hızlı çalışmasını sağlıyor. İlginç bir şekilde, bazı mimarileri C++'dan Python'a geri kaydırmışlar.

TorchInductor da dahil edildi - TorchDynamo için bir derleyici arka ucu. PyTorch programlarını alır ve süper optimize eder. GPU'lar için bu Triton çekirdeklerini oluşturur. Paylaşılan bellek kullanırlar. Warp seviyesinde paralellik. Nasıl çalıştığı tam olarak net değil, ama bu popüler jeneratif AI modelleri için ayarlanmış.

PyTorch ayrıca OpenXLA ve PyTorch/XLA 2.0'ı başlattı. Birlikte, hem eğitim hem de çıkarım işlemlerini yöneten bir yığın oluşturuyorlar. Mantıklı - PyTorch popüler ve XLA'nın harika derleyici özellikleri var.

Büyük modeller için, PyTorch/XLA karışık hassasiyetle eğitim odaklanmaktadır. Çalışma zamanı performansı da. Model parçalama. Daha hızlı veri yükleme. Bazı özellikler şu anda hazır. Diğerleri daha sonra OpenXLA aracılığıyla gelecek.

Çıkarım hakkında ne dersiniz? PyTorch/XLA, PyTorch 2.0'daki Dynamo'nun performansını eşleştirmek istiyor. Model sunumu desteği ekliyorlar. Parçalı büyük modeller için Dynamo. Kuantizasyon ile ilgili şeyler.

Ekosistem genişliyor. Daha fazla Hugging Face entegrasyonu. Daha iyi PyTorch Lightning desteği. Kullanıcılar, yeni OpenXLA yeteneklerine erişirken tanıdık API'leri kullanma fırsatı buluyor. Hugging Face'de FSDP desteği. OpenXLA'da kuantizasyon.

Hepsi açık kaynak. Yardımcı olabilirsiniz. Hataları bildirin. Çekme istekleri gönderin. GitHub'da RFC'ler gönderin.