PyTorch 2.0: Gran avance en el aprendizaje automático

PyTorch acaba de soltar la versión 2.0. Grandes noticias. El mundo de la ciencia de datos ha estado esperando esta actualización del marco de aprendizaje automático de código abierto, y finalmente está aquí.

PyTorch ha crecido mucho desde que apareció por primera vez. ¿La versión 2.0? Es un gran problema.

La gente usa esta plataforma en todas partes: visión por computadora, cosas de lenguaje natural. Ahora vive bajo la Fundación Linux. El sistema ofrece cálculos de tensores potenciados por GPU y redes neuronales con diferenciación automática. Tesla Autopilot funciona en ello. También lo hace Pyro. Y Transformers. Incluso PyTorch Lightning y Catalyst.

La actualización 2.0 trae una nueva API de Transformer elegante. Parece diseñada para hacer que esos complejos modelos de Transformer sean más fáciles de entrenar y desplegar. Pero, ¿la verdadera estrella? La nueva función torch.compile. Hace que los modelos de PyTorch se ejecuten mucho más rápido. Curiosamente, han trasladado parte de la arquitectura de C++ a Python.

También han incluido TorchInductor: un backend de compilador para TorchDynamo. Toma programas de PyTorch y los hace súper optimizados. Para GPUs, crea estos núcleos de Triton. Utilizan memoria compartida. Paralelismo a nivel de warp. No está del todo claro cómo funciona todo, pero está ajustado para esos modelos de IA generativa de moda.

PyTorch también lanzó OpenXLA y PyTorch/XLA 2.0. Juntos forman un stack que maneja tanto el entrenamiento como la inferencia. Tiene sentido: PyTorch es popular y XLA tiene excelentes características de compilador.

Para modelos grandes, PyTorch/XLA se centra en el entrenamiento de precisión mixta. Rendimiento en tiempo de ejecución también. Fragmentación del modelo. Carga de datos más rápida. Algunas características están listas ahora. Otras llegarán más tarde a través de OpenXLA.

¿Qué pasa con la inferencia? PyTorch/XLA quiere igualar el rendimiento de Dynamo en PyTorch 2.0. Están añadiendo soporte para el servicio de modelos. Dynamo para modelos grandes fragmentados. Cosas de cuantización.

El ecosistema está en expansión. Más integración de Hugging Face. Mejor soporte para PyTorch Lightning. Los usuarios pueden utilizar APIs familiares mientras acceden a nuevas capacidades de OpenXLA. Soporte de FSDP en Hugging Face. Cuantización en OpenXLA.

Todo es de código abierto. Puedes ayudar. Reportar errores. Enviar solicitudes de extracción. Enviar RFCs en GitHub.