تقنية النصوص الطويلة تصبح ساحة المعركة الجديدة للنماذج الكبيرة، 400000 توكن قد تكون مجرد البداية

تعمل النماذج الكبيرة على تحسين قدرتها على معالجة النصوص الطويلة بسرعة مذهلة، من 4000 توكن إلى 400000 توكن. يبدو أن القدرة على معالجة النصوص الطويلة أصبحت "المعيار الجديد" لمصنعي النماذج الكبيرة.

سواء داخل البلاد أو خارجها، تركز العديد من شركات التكنولوجيا والنماذج الكبرى الرائدة ومراكز البحث على توسيع طول السياق كاتجاه رئيسي للتحديث. معظم هذه الشركات هي المفضلة في سوق رأس المال، وقد حصلت على استثمارات كبيرة.

تتضمن أسباب تركيز شركات النماذج الكبيرة على تقنية النصوص الطويلة جوانب متعددة:

1. معالجة صعوبات تطبيق الحلول. النصوص القصيرة تحد من تطبيق العديد من السيناريوهات، مثل الشخصيات الافتراضية، تطوير الألعاب، التحليل في المجالات التخصصية، إلخ.

2. تمهيد الطريق لتطبيقات Agent و AI الأصلية في المستقبل. تحتاج هذه التطبيقات إلى الاعتماد على كمية كبيرة من المعلومات التاريخية والسياق للحفاظ على التماسك وتجربة مخصصة.

3. زيادة دقة النموذج. يمكن أن توفر النصوص الطويلة مزيدًا من السياق ومعلومات التفاصيل، مما يقلل من الغموض ويعزز القدرة على الاستنتاج.

4. تعزيز تطبيق الصناعة. تساعد تقنيات النصوص الطويلة النماذج الكبيرة في مجالات متخصصة مثل المالية والقانون.

ومع ذلك، تواجه تقنيات النصوص الطويلة معضلة "مثلث الاستحالة": من الصعب الموازنة بين طول النص والانتباه وقدرة الحوسبة. السبب الرئيسي هو أن معظم النماذج تعتمد على بنية Transformer، حيث يزيد حجم حساب آلية الانتباه الذاتي بشكل تربيعي مع طول السياق.

حاليا هناك ثلاثة حلول رئيسية:

1. استخدام أدوات خارجية للمساعدة في معالجة النصوص الطويلة
2. تحسين حساب آلية الانتباه الذاتي
3. استخدام طرق تحسين النموذج

على الرغم من أن تقنية النصوص الطويلة لا تزال تواجه تحديات، إلا أن شركات النماذج الكبيرة تستمر في استكشاف النقاط المثلى لتحقيق توازن بين معالجة معلومات كافية مع مراعاة حسابات الانتباه وتكاليف القدرة الحاسوبية. قد تكون القدرة على معالجة 400,000 توكن مجرد بداية، ولا يزال هناك طريق طويل لنقطعه في المستقبل.