PyTorch 2.0: Grande Avanço no Aprendizado de Máquina

O PyTorch acaba de lançar a versão 2.0. Grandes novidades. O mundo da ciência de dados estava à espera desta atualização do framework de aprendizagem de máquina de código aberto, e ela finalmente chegou.

O PyTorch cresceu muito desde que apareceu pela primeira vez. A versão 2.0? É um grande acontecimento.

As pessoas usam esta plataforma em todo o lado - visão computacional, coisas de linguagem natural. Agora faz parte da Linux Foundation. O sistema oferece cálculos de tensor acelerados por GPU e redes neurais com diferenciação automática. O Autopilot da Tesla funciona nela. Assim como o Pyro. E os Transformers. Até o PyTorch Lightning e o Catalyst.

A atualização 2.0 traz uma nova API Transformer sofisticada. Parece ter sido projetada para tornar esses modelos Transformer complexos mais fáceis de treinar e implementar. Mas a verdadeira estrela? A nova função torch.compile. Ela faz com que os modelos PyTorch rodem muito mais rápido. Curiosamente, eles mudaram parte da arquitetura de volta para Python a partir do C++.

Eles também incluíram o TorchInductor - um backend de compilador para o TorchDynamo. Ele pega programas PyTorch e os torna super otimizados. Para GPUs, cria esses núcleos Triton. Eles usam memória compartilhada. Paralelismo em nível de warp. Não está totalmente claro como tudo funciona, mas é ajustado para aqueles modelos de IA generativa na moda.

A PyTorch também lançou o OpenXLA e o PyTorch/XLA 2.0. Juntos, eles formam uma pilha que lida tanto com o treinamento quanto com a inferência. Faz sentido - o PyTorch é popular e o XLA tem ótimas características de compilador.

Para grandes modelos, o PyTorch/XLA foca no treino em precisão mista. Desempenho em tempo de execução também. Fragmentação de modelos. Carregamento de dados mais rápido. Algumas funcionalidades estão prontas agora. Outras virão mais tarde através do OpenXLA.

E quanto à inferência? O PyTorch/XLA quer igualar o desempenho do Dynamo no PyTorch 2.0. Estão a adicionar suporte para servir modelos. Dynamo para modelos grandes fragmentados. Coisas de quantização.

O ecossistema está a expandir-se. Mais integração com o Hugging Face. Melhor suporte para o PyTorch Lightning. Os utilizadores conseguem utilizar APIs familiares enquanto acedem a novas capacidades do OpenXLA. Suporte FSDP no Hugging Face. Quantização no OpenXLA.

É tudo de código aberto. Você pode ajudar. Reportar bugs. Submeter pull requests. Enviar RFCs no GitHub.