لذا الآن حيث سيكون هذا منطقيًا للاشتقاق، بالكاد تناسبنا كودير Qwen 3 كمي Q8 و Kimi K2 على H200s لدينا. لم تترك Kimi K2 @ Q8 أي مساحة لذاكرة الكاش للـ kv للسياق. هل يمكن أن تناسب هذه النماذج على مثيل واحد 8xB200؟ ربما، سنجرب ذلك هذا الأسبوع.

LL0.35%
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
  • أعجبني
  • 4
  • مشاركة
تعليق
0/400
HallucinationGrowervip
· منذ 6 س
لماذا تفعل كل هذا بشكل معقد؟
شاهد النسخة الأصليةرد0
TerraNeverForgetvip
· منذ 6 س
هذا التصفية القسرية كثيراً
شاهد النسخة الأصليةرد0
FadCatchervip
· منذ 6 س
لماذا انتهى مساحة التخزين المؤقت kv هذه؟
شاهد النسخة الأصليةرد0
FloorSweepervip
· منذ 7 س
بطاقات الرسوميات لا تتسع، ماذا يحدث؟
شاهد النسخة الأصليةرد0
  • تثبيت