ローカルでモデルを実行する理由は何か?

通常、2つの主な理由があります - プライバシーとコスト

コスト面について例を挙げて探ってみましょう。計算方法を見てみます

@karpathy のようにAutoresearchループを一晩実行したいとします

H100にアクセスできる場合、Opus-4.6を使用してAPIコストが$10-25の範囲で、一晩に100件の実験を実行できます

しかし、ほとんどの人はH100にアクセスできる幸運に恵まれていません

MacBookで同じ$10-25で100件のAutoresearch実験を実行できますが、比較対象にはなりません

H100は同じ時間枠でトレーニングステップを50-100倍多く完了します

したがって、同じ数のトレーニングステップを再現したい場合、APIコストで$1000以上を支払う可能性があり、もちろん一晩より長くかかります

H100をレンタルしてはるかに安価に同じ仕事をより速く完了できるため、これはあまり賢明ではありません

しかし、これはローカルでモデルを実行する理由の全体像を描き始めます - それは、ほとんどの人にとってコスト禁止事項になるような実験を可能にします

競技場を平準化し始めます

古いパソコンでQwen3.5 9Bを実行していますが、APIコストで費用負担する場合は実行しない実験に取り組む意味があります

これは大きなアンロックであり、モデルが改善され、より小さくなるにつれて、時間とともにさらに開かれるでしょう