Por que 256 dimensões? Na verdade, é um ponto ideal que encontrei após testar.

Suficientemente alto para que não percas informações geométricas críticas ao comprimir esses enormes espaços de incorporação. Suficientemente baixo para que o processamento se mantenha gerível—ninguém quer que a sua linha de produção esteja a arrastar-se.

O verdadeiro teste veio ao fazer a ponte entre as incorporações da OpenAI e do Gemini. O 256D lidou com a transformação de forma surpreendentemente bem. Poderia ter ido mais alto, mas as compensações não valeram a pena. Às vezes, a resposta certa não é o maior número.