PyTorch 2.0: Bước nhảy vọt lớn trong Học máy

PyTorch vừa phát hành phiên bản 2.0. Tin lớn. Thế giới khoa học dữ liệu đã chờ đợi bản cập nhật cho framework học máy mã nguồn mở này, và cuối cùng nó cũng đã đến.

PyTorch đã phát triển rất nhiều kể từ khi lần đầu xuất hiện. Phiên bản 2.0? Nó khá quan trọng.

Mọi người sử dụng nền tảng này ở mọi nơi - thị giác máy tính, các thứ về ngôn ngữ tự nhiên. Nó hiện thuộc về Quỹ Linux. Hệ thống cung cấp các phép toán tensor được tăng cường bằng GPU và mạng nơ-ron với sự phân biệt tự động. Tesla Autopilot chạy trên đó. Pyro cũng vậy. Và Transformers. Thậm chí cả PyTorch Lightning và Catalyst.

Bản cập nhật 2.0 mang đến một API Transformer mới đẹp mắt. Dường như được thiết kế để giúp những mô hình Transformer phức tạp dễ dàng hơn để đào tạo và triển khai. Nhưng ngôi sao thực sự? Hàm torch.compile mới. Nó giúp các mô hình PyTorch chạy nhanh hơn rất nhiều. Thú vị thay, họ đã chuyển một số kiến trúc trở lại Python từ C++.

Họ cũng đã bao gồm TorchInductor - một backend biên dịch cho TorchDynamo. Nó nhận các chương trình PyTorch và tối ưu hóa chúng một cách siêu. Đối với GPU, nó tạo ra các kernel Triton này. Chúng sử dụng bộ nhớ chia sẻ. Tính song song cấp warp. Không hoàn toàn rõ ràng cách mà tất cả hoạt động, nhưng nó được điều chỉnh cho những mô hình AI sinh tạo đang thịnh hành.

PyTorch cũng đã ra mắt OpenXLA và PyTorch/XLA 2.0. Cùng nhau, chúng tạo thành một stack xử lý cả đào tạo và suy diễn. Thật hợp lý - PyTorch rất phổ biến, và XLA có những tính năng biên dịch tuyệt vời.

Đối với các mô hình lớn, PyTorch/XLA tập trung vào việc đào tạo với độ chính xác hỗn hợp. Hiệu suất thời gian chạy cũng vậy. Phân mảnh mô hình. Tải dữ liệu nhanh hơn. Một số tính năng đã sẵn sàng bây giờ. Những tính năng khác sẽ đến sau qua OpenXLA.

Thế nào về suy diễn? PyTorch/XLA muốn đạt được hiệu suất của Dynamo trong PyTorch 2.0. Họ đang thêm hỗ trợ phục vụ mô hình. Dynamo cho các mô hình lớn phân tán. Các vấn đề về lượng tử hóa.

Hệ sinh thái đang mở rộng. Tích hợp Hugging Face nhiều hơn. Hỗ trợ PyTorch Lightning tốt hơn. Người dùng có thể sử dụng các API quen thuộc trong khi truy cập các khả năng mới của OpenXLA. Hỗ trợ FSDP trong Hugging Face. Định lượng trong OpenXLA.

Mọi thứ đều là mã nguồn mở. Bạn có thể giúp đỡ. Báo cáo lỗi. Gửi yêu cầu kéo. Gửi RFC trên GitHub.