La technologie des longs textes devient un nouveau champ de bataille pour les grands modèles, 400 000 tokens pourraient n'être que le début.

Les grands modèles améliorent leur capacité à traiter des longs textes à une vitesse incroyable, passant de 4000 tokens à 400 000 tokens. La capacité aux longs textes semble être devenue la nouvelle "norme" pour les fournisseurs de grands modèles.

Que ce soit au niveau national ou international, de nombreuses entreprises et institutions de recherche de premier plan dans le domaine des technologies de grands modèles considèrent l'extension de la longueur de contexte comme une priorité pour leurs mises à niveau. La plupart de ces entreprises sont les chouchous des marchés financiers et ont reçu d'importants investissements.

Les entreprises de grands modèles se concentrent sur la technologie des longs textes pour plusieurs raisons :

1. Résoudre les difficultés de mise en œuvre des applications. Les courts textes limitent l'application dans de nombreux scénarios, tels que les personnages virtuels, le développement de jeux, l'analyse dans des domaines spécialisés, etc.

2. Préparer le terrain pour les applications natives d'Agent et d'IA. Ces applications doivent s'appuyer sur une grande quantité d'informations historiques et de contexte pour maintenir la cohérence et une expérience personnalisée.

3. Améliorer la précision du modèle. Les longs textes peuvent fournir plus de contexte et d'informations détaillées, réduisant ainsi l'ambiguïté et améliorant la capacité de raisonnement.

4. Promouvoir l'implantation industrielle. La technologie des longs textes aide à l'application de grands modèles dans des domaines professionnels tels que la finance et le droit.

Cependant, la technologie des longs textes est confrontée au dilemme du "triangle impossible" : il est difficile de concilier la longueur du texte, l'attention et la puissance de calcul. La principale raison en est que la plupart des modèles sont basés sur la structure Transformer, dont le mécanisme d'auto-attention augmente de manière quadratique en fonction de la longueur du contexte.

Actuellement, il existe principalement trois solutions :

1. Utiliser des outils externes pour traiter des longs textes
2. Optimiser le calcul du mécanisme d'attention auto
3. Utiliser des méthodes d'optimisation de modèle

Bien que la technologie des longs textes ait encore des défis à relever, les entreprises de grands modèles explorent constamment le meilleur équilibre pour traiter suffisamment d'informations tout en prenant en compte le calcul de l'attention et le coût de la puissance de calcul. La capacité de traitement de 400 000 tokens n'est peut-être qu'un début, et il reste encore un long chemin à parcourir.