Почему 256 измерений? На самом деле, это оптимальное значение, к которому я пришел после тестирования.

Достаточно высоко, чтобы вы не теряли критическую геометрическую информацию при сжатии этих огромных пространств вложений. Достаточно низко, чтобы вычисления оставались управляемыми — никто не хочет, чтобы их конвейер полз.

Настоящий тест пришел, когда нужно было объединить векторы OpenAI и Gemini. 256D удивительно хорошо справился с преобразованием. Можно было бы увеличить размерность, но компромиссы не стоили того. Иногда правильный ответ - это не самое большое число.