PyTorch 2.0：机器学习的重大飞跃

PyTorch刚刚降低了版本2.0。大新闻。数据科学界一直在等待这个开源机器学习框架的更新，现在终于来了。

自从PyTorch首次出现以来，它发展了很多。版本2.0？这确实是个大事情。

人们在各个地方使用这个平台——计算机视觉、自然语言处理等。它现在隶属于Linux基金会。该系统提供GPU加速的张量计算和具有自动微分的神经网络。Tesla Autopilot在其上运行。Pyro也是如此。还有Transformers。甚至PyTorch Lightning和Catalyst。

2.0 更新带来了一个华丽的新 Transformer API。似乎旨在使那些复杂的 Transformer 模型更易于训练和部署。但真正的明星是什么？新的 torch.compile 函数。它使 PyTorch 模型运行得更快。有趣的是，他们将一些架构从 C++ 转回到 Python。

他们还包括了 TorchInductor - 一个用于 TorchDynamo 的编译器后端。它将 PyTorch 程序进行超级优化。对于 GPU，它创建这些 Triton 内核。它们使用共享内存。Warp 级并行性。具体如何运作尚不完全清楚，但它是为那些时髦的生成式 AI 模型进行调优的。

PyTorch还推出了OpenXLA和PyTorch/XLA 2.0。它们一起构成了一个处理训练和推理的栈。很合理——PyTorch很受欢迎，而XLA具有出色的编译器特性。

对于大模型，PyTorch/XLA 专注于混合精度训练。运行时性能也很重要。模型分片。更快的数据加载。有些功能现在已经准备好。其他功能将通过 OpenXLA 在稍后推出。

推理怎么样？PyTorch/XLA希望在PyTorch 2.0中匹配Dynamo的性能。他们正在添加模型服务支持。Dynamo用于分片的大型模型。量化相关的内容。

生态系统正在扩展。更多的Hugging Face集成。更好的PyTorch Lightning支持。用户可以使用熟悉的API，同时访问新的OpenXLA功能。在Hugging Face中支持FSDP。在OpenXLA中进行量化。

它是完全开源的。你可以参与进来。报告错误。提交拉取请求。在 GitHub 上发送 RFC。