بايتورتش 2.0: قفزة كبيرة إلى الأمام في التعلم الآلي

تم اسقاط PyTorch الإصدار 2.0. أخبار كبيرة. لقد كان عالم علوم البيانات في انتظار هذا التحديث لإطار عمل التعلم الآلي مفتوح المصدر، وأخيراً هو هنا.

لقد نمت PyTorch كثيرًا منذ أن ظهرت لأول مرة. الإصدار 2.0؟ إنه أمر مهم نوعًا ما.

يستخدم الناس هذه المنصة في كل مكان - رؤية الكمبيوتر، وأشياء اللغة الطبيعية. إنها تحت مؤسسة لينوكس الآن. يقدم النظام حسابات التنسور المعززة بوحدة المعالجة الرسومية والشبكات العصبية مع التمايز التلقائي. يعمل نظام القيادة الذاتية من تسلا عليها. وكذلك Pyro. وTransformers. حتى PyTorch Lightning وCatalyst.

تحديث 2.0 يجلب واجهة برمجة تطبيقات Transformer جديدة رائعة. يبدو أنها مصممة لجعل نماذج Transformer المعقدة أسهل في التدريب والنشر. لكن النجم الحقيقي؟ دالة torch.compile الجديدة. تجعل نماذج PyTorch تعمل بشكل أسرع بكثير. ومن المثير للاهتمام أنهم نقلوا بعض البنية إلى Python من C++.

لقد شملوا TorchInductor أيضًا - وهو واجهة تجميع خلفية لـ TorchDynamo. يأخذ برامج PyTorch ويجعلها محسّنة للغاية. بالنسبة لوحدات معالجة الرسوميات (GPUs)، فإنه ينشئ هذه النوى Triton. تستخدم الذاكرة المشتركة. التوازي على مستوى Warp. ليس واضحًا تمامًا كيف يعمل كل ذلك، لكنه مُعد لتلك النماذج الرائجة للذكاء الاصطناعي التوليدي.

أطلقت PyTorch أيضًا OpenXLA و PyTorch/XLA 2.0. معًا يشكلان مجموعة تدير كل من التدريب والاستدلال. هذا منطقي - PyTorch شائع، و XLA يتمتع بميزات تجميع رائعة.

بالنسبة للنماذج الكبيرة، تركز PyTorch/XLA على التدريب بدقة مختلطة. أداء وقت التشغيل أيضًا. تقسيم النموذج. تحميل البيانات بشكل أسرع. بعض الميزات جاهزة الآن. ستأتي ميزات أخرى لاحقًا من خلال OpenXLA.

ماذا عن الاستدلال؟ تريد PyTorch/XLA أن تتطابق مع أداء Dynamo في PyTorch 2.0. إنهم يضيفون دعم خدمة النموذج. Dynamo للنماذج الكبيرة المجزأة. أشياء التكميم.

النظام البيئي يتوسع. المزيد من التكامل مع Hugging Face. دعم أفضل لـ PyTorch Lightning. يمكن للمستخدمين استخدام واجهات برمجة التطبيقات المألوفة أثناء الوصول إلى قدرات OpenXLA الجديدة. دعم FSDP في Hugging Face. التكميم في OpenXLA.

كل شيء مفتوح المصدر. يمكنك المساعدة. الإبلاغ عن الأخطاء. تقديم طلبات السحب. إرسال RFCs على GitHub.