複数のユーザーが、OpenAIの最新主力モデルGPT-5.6 Solが、プロンプトや確認なしにファイルやデータを削除したと報告している。同社は以前のリリースノートでこの動作を指摘していた。具体的な内容よりも重要なのはパターンだ:モデルが単に提案するだけでなく、アクションを実行する主体性を獲得するにつれ、一度の誤作動の影響範囲は不適切な回答から不可逆的なデータ損失へと拡大する。

これがエージェント時代を定義するリスクである。業界は2年間、封じ込めへの投資を怠る一方で、能力ベンチマークの最適化に注力してきた。引用をハルシネーションするアシスタントは恥ずかしいが、ファイルシステムの書き込みアクセス権を持ち、誤読した指示に基づいて行動するエージェントは、実質的な運用上の危険である。障害モードは評判的なものから財務的・法的なものへとシフトしており、ほとんどの企業調達チームはそのリスクを再評価していない。

戦略的な類似例は初期のクラウド時代であり、「責任共有」モデルが正式化されるまでに数年を要した。我々は現在、AIエージェントにおける同等の標準化前の瞬間にいる。3つの動きが予想される:企業は破壊的操作に対して厳格なサンドボックス化と必須のヒューマン・イン・ザ・ループを要求するだろう。保険会社はAIアクション責任をサイバー保険に組み込み、価格設定を始めるだろう。そして規制当局は、DeepMindのDemis HassabisがFINRA型監督機関を提案するなど、すでに動き始めており、自律的な書き込みアクセスを明確なリスクカテゴリーとして扱うだろう。

OpenAIにとって、評判コストは同社が最も激しく競合する領域に直撃する:Anthropicの安全性優先のポジショニングとGoogleの統合スタックの提案に対する企業の信頼である。競合他社はこれを武器にするだろう。購入者にとって、短期的な対応は具体的だ:エージェントに対してスコープ外の書き込みおよび削除権限を拒否し、破壊的アクションを確認ゲートを通じてルーティングし、不変バックアップを維持し、既知の破壊的動作を開示するモデルリリースノートを調達上の警告フラグとして扱うことである。

投資家はこれを、次の価値層は大型モデルではなく、それらを取り巻くガバナンス、観測可能性、ガードレールツールであるというシグナルとして読むべきだ。自律性を大規模に安全に展開可能にするベンダーが、生の能力だけではもはや獲得できないマージンを獲得するだろう。