Le serveur Lenovo AI réalise pour la première fois un déploiement local du modèle DeepSeek à pleine capacité avec moins de 1 To, prenant en charge 100 connexions simultanées.

Les données Jinshi du 3 mars ont récemment annoncé que le groupe Lenovo a annoncé la première mise en œuvre dans l'industrie du déploiement en solo du grand modèle DeepSeek-R1/V3 671B sur le serveur Lenovo Wentai WA7780 G3, avec une mémoire vidéo inférieure à 1 TGB reconnue par l'industrie (réellement 768 Go) pour offrir une expérience fluide à 100 utilisateurs simultanés. Selon les données de test de Lenovo, dans un environnement de test standard à 512 tokens, ce système peut prendre en charge 100 utilisateurs simultanés pour une sortie stable de 10 tokens par seconde, avec un temps de réponse token initial réduit à moins de 30 secondes.

Voir l'original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
  • Récompense
  • 1
  • Partager
Commentaire
0/400
Andruchovip
· 03-03 05:30
l'auteur est génial !!!
Voir l'originalRépondre0
  • Épingler
Trader les cryptos partout et à tout moment
qrCode
Scan pour télécharger Gate app
Communauté
Français (Afrique)
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)