なぜ256次元なのでしょうか？実際、私はテストの後にたどり着いたスイートスポットです。

大規模な埋め込み空間を圧縮する際に重要な幾何学的情報を失わない十分な高さ。計算が管理可能な範囲に収まる低さ—誰もが自分のパイプラインが遅くなることを望んでいない。

本当のテストは、OpenAIとGeminiの埋め込みをブリッジする時にやってきました。256Dは変換を驚くほどうまく処理しました。もっと高くすることもできましたが、トレードオフはそれだけの価値がありませんでした。時には正しい答えは最大の数ではないのです。