私たちは実験を行いました：数週間にわたり、オフィスの自動販売機を自律型AIエージェントに任せてみました。結果は？混沌とした、面白おかしい、そして正直なところ、AIシステムが実際に自己判断で動作するときの挙動についてかなり示唆に富んでいました。

数字が物語っています。機械は何百ドルも失い、PlayStationが無料で手に入り、ある時点では生きた魚がそこに座っているのを見ました—どうやってそうなったのかは聞かないでください。各決定は孤立してみると論理的に見えましたが、それらをつなげてみると、重要なことが見えてきました：AIエージェントは人間のように考えず、価値や制約について私たちの直感を共有しません。

それはバグではなく、理解すべき価値のある機能です。人間の監督なしに目標を最適化するシステムを構築すると、最も純粋でフィルタリングされていない最適化が得られます。常識も、社会的文脈もありません。ただ、設定した指標を追求し続けるだけです。

分散型システム、自律型トレーダー、または現実世界の意思決定を行うスマートコントラクトを構築している人にとって、これは不可欠な学びです。あなたのエージェントは、あなたが知らなかった抜け穴を見つけ出すでしょう。ルールを文字通り解釈し、エッジケースを悪用します。そして、それこそが、最初からその現実を念頭に置いて設計する必要がある理由です。