PyTorch 2.0 : Une grande avancée dans l'apprentissage automatique

PyTorch vient de Goutte la version 2.0. Grande nouvelle. Le monde de la science des données attendait cette mise à jour du framework de machine learning open-source, et elle est enfin là.

PyTorch a beaucoup évolué depuis ses débuts. La version 2.0 ? C'est un peu important.

Les gens utilisent cette plateforme partout - vision par ordinateur, traitement du langage naturel. Elle est maintenant sous la Fondation Linux. Le système offre des calculs tensoriels boostés par GPU et des réseaux neuronaux avec différentiation automatique. Tesla Autopilot fonctionne dessus. Il en va de même pour Pyro. Et Transformers. Même PyTorch Lightning et Catalyst.

La mise à jour 2.0 apporte une nouvelle API Transformer élégante. Semble conçue pour rendre ces modèles Transformer complexes plus faciles à entraîner et à déployer. Mais la vraie vedette ? La nouvelle fonction torch.compile. Elle permet aux modèles PyTorch de s'exécuter beaucoup plus rapidement. Fait intéressant, ils ont réintégré une partie de l'architecture de C++ vers Python.

Ils ont également inclus TorchInductor - un backend de compilateur pour TorchDynamo. Il prend des programmes PyTorch et les rend super optimisés. Pour les GPU, il crée ces noyaux Triton. Ils utilisent la mémoire partagée. Le parallélisme au niveau des warps. Ce n'est pas tout à fait clair comment tout cela fonctionne, mais c'est adapté pour ces modèles d'IA générative à la mode.

PyTorch a également lancé OpenXLA et PyTorch/XLA 2.0. Ensemble, ils forment une pile qui gère à la fois l'entraînement et l'inférence. Cela a du sens - PyTorch est populaire, et XLA dispose de superbes fonctionnalités de compilateur.

Pour les grands modèles, PyTorch/XLA se concentre sur l'entraînement en précision mixte. Performance d'exécution également. Partage de modèles. Chargement de données plus rapide. Certaines fonctionnalités sont prêtes maintenant. D'autres viendront plus tard via OpenXLA.

Qu'en est-il de l'inférence ? PyTorch/XLA veut égaler les performances de Dynamo dans PyTorch 2.0. Ils ajoutent un support pour le service de modèles. Dynamo pour les grands modèles shardés. Des choses de quantification.

L'écosystème s'étend. Plus d'intégration avec Hugging Face. Un meilleur support de PyTorch Lightning. Les utilisateurs peuvent utiliser des API familières tout en accédant à de nouvelles capacités OpenXLA. Support FSDP dans Hugging Face. Quantification dans OpenXLA.

Tout est open-source. Vous pouvez aider. Signalez des bogues. Soumettez des demandes de tirage. Envoyez des RFC sur GitHub.