Khi nói đến việc triển khai các mô hình ngôn ngữ trong các tình huống thực tế, các đánh đổi về phần cứng và hiệu suất quan trọng không kém gì khả năng thuần túy.

OSS120B mang lại khả năng suy luận cục bộ ấn tượng nhưng đi kèm với chi phí—bạn cần khoảng 120GB RAM chỉ để chạy mượt mà. Điều đó không thực sự di động. OSS20B đạt điểm tối ưu cho hầu hết các trường hợp sử dụng; bạn có hiệu suất ổn định mà không cần một trung tâm dữ liệu trong nhà để xe.

Mistral-7B hoạt động tốt cho các nhiệm vụ hội thoại, mặc dù nó gặp khó khăn với việc căn cứ tài liệu và có xu hướng ảo tưởng nếu bạn cung cấp cho nó thông tin mà nó không được huấn luyện rõ ràng. Llama, thành thật mà nói? Nó cảm thấy không ấn tượng so với các lựa chọn mã nguồn mở mới hơn có kích thước tương tự. Hệ sinh thái đã phát triển nhanh chóng, và một số đối thủ mới hơn đang làm tốt hơn.

Bài học thực sự: kích thước không phải là tất cả. Ngữ cảnh, chất lượng dữ liệu huấn luyện và hiệu quả thực tế quan trọng hơn bạn nghĩ.