Mengapa menjalankan model secara lokal?

Biasanya ada dua alasan utama - privasi dan biaya
Mari kita jelajahi sisi biaya dengan contoh dan lihat bagaimana perhitungannya
Katakanlah Anda ingin menjalankan loop Autoresearch semalaman seperti @karpathy
Jika Anda memiliki akses ke H100, Anda dapat menjalankan 100 eksperimen semalaman menggunakan Opus-4.6 dan biaya API kemungkinan akan berada di kisaran $10-25
Tetapi kebanyakan dari kita tidak cukup beruntung memiliki akses ke H100
Kita masih dapat menjalankan 100 eksperimen Autoresearch di MacBook dengan harga yang sama $10-25, tetapi itu tidak akan sebanding
H100 akan menyelesaikan 50-100x lebih banyak langkah pelatihan dalam jangka waktu yang sama
Jadi jika Anda ingin mereproduksi jumlah langkah pelatihan yang sama, Anda bisa menghabiskan biaya API $1000+ atau lebih, dan tentu saja akan memakan waktu jauh lebih lama dari semalaman
Ini tidak akan sangat cerdas karena Anda dapat menyewa H100 dengan biaya jauh lebih rendah dan menyelesaikan pekerjaan yang sama dengan lebih cepat
Tetapi ini mulai melukiskan gambaran tentang mengapa Anda ingin menjalankan model secara lokal - ini memungkinkan Anda melakukan eksperimen yang sebaliknya akan terlalu mahal bagi kebanyakan orang
Ini mulai menyamakan peluang bermain
Saya menjalankan Qwen3.5 9B di PC yang lebih lama dan sekarang masuk akal untuk bereksperimen dengan hal-hal yang sebaliknya tidak akan saya lakukan jika saya harus menanggung biaya API
Dan itu adalah pembuka besar dan akan terus berkembang seiring waktu karena model menjadi lebih baik dan lebih kecil