A tecnologia de long text torna-se o novo campo de batalha dos grandes modelos, 400 mil tokens podem ser apenas o começo

Os grandes modelos estão a melhorar a sua capacidade de processar textos longos a uma velocidade impressionante, passando de 4000 tokens para 400000 tokens. A capacidade de textos longos parece ter-se tornado um novo "standard" para os fornecedores de grandes modelos.

Quer seja a nível nacional ou internacional, muitas empresas e instituições de investigação de topo em tecnologias de modelos de grande escala estão a focar na expansão do comprimento do contexto como uma direção de atualização prioritária. A maioria dessas empresas são queridas do mercado de capitais, tendo recebido um grande investimento.

As empresas de grandes modelos concentram-se na tecnologia de texto longo por várias razões:

1. Resolver a dificuldade de implementação de aplicações. Textos curtos limitam a aplicação em muitos cenários, como personagens virtuais, desenvolvimento de jogos, análise em áreas profissionais, etc.

2. Preparar o caminho para aplicações nativas de Agent e AI no futuro. Estas aplicações precisam de depender de uma grande quantidade de informações históricas e contexto para manter a coerência e a experiência personalizada.

3. Melhorar a precisão do modelo. Textos longos podem fornecer mais contexto e detalhes, reduzindo a ambiguidade e melhorando a capacidade de raciocínio.

4. Impulsionar a implementação da indústria. A tecnologia de texto longo ajuda na aplicação de grandes modelos em áreas profissionais como finanças e direito.

No entanto, a tecnologia de textos longos enfrenta o dilema do "triângulo impossível": é difícil equilibrar o comprimento do texto, a atenção e o poder computacional. A principal razão é que a maioria dos modelos é baseada na estrutura Transformer, cuja mecânica de autoatenção tem um aumento quadrático na carga computacional com o comprimento do contexto.

Atualmente, existem três soluções principais:

1. Usar ferramentas externas para ajudar a processar textos longos
2. Otimização do cálculo do mecanismo de autoatenção
3. Utilizar métodos de otimização de modelos

Embora a tecnologia de longos textos ainda enfrente desafios, as empresas de modelos grandes estão constantemente explorando o melhor ponto de equilíbrio para processar informações suficientes, ao mesmo tempo em que consideram os custos de cálculo de atenção e de computação. A capacidade de processamento de 400 mil tokens pode ser apenas um começo; há um longo caminho a percorrer no futuro.