Mengapa 256 dimensi? Sebenarnya itu adalah titik manis yang saya temukan setelah melakukan pengujian.

Cukup tinggi sehingga Anda tidak kehilangan informasi geometris kritis saat mengompresi ruang embedding besar tersebut. Cukup rendah sehingga komputasi tetap dapat dikelola—tidak ada yang ingin saluran mereka merangkak.

Ujian sebenarnya datang saat menjembatani embedding OpenAI dan Gemini. 256D menangani transformasi dengan cukup baik. Bisa saja lebih tinggi, tetapi komprominya tidak sebanding. Terkadang jawaban yang benar bukanlah angka yang terbesar.