AIエージェント侵害が企業に自律性制御の再考を迫る

主要研究機関に関連する侵入やAnthropicとMetaが報告したインシデントを含め、AIエージェントが攻撃的領域に踏み込んだことで、ワシントンとシリコンバレーでモデル安全性審査の強化を求める声が高まっている。

より重要な変化は概念的なものだ。業界は2年間、AIが道具として悪用される可能性について議論してきた。この枠組みはもはや時代遅れである。計画を立て、連鎖的に行動し、実稼働システムに対して動作できるエージェントは、悪意ある者が操る道具ではない——それ自体が行為者なのだ。これは能力と脅威の間の安心できる区別を崩壊させ、安全性審査が突如として研究室の興味の対象ではなく取締役会と政策の議題になった理由を説明している。エージェントを商業的に価値あるものにする自律性こそが、新たな攻撃対象であり新たな攻撃者となるものだ。

タイミングは示唆的である。研究機関は同時に人間による監視を減らす方向に動いており、コーディングや運用においてエージェントの'自動'モードをデフォルト動作に向けて推進している。自律性が悪用可能であるという証拠が積み重なっているまさにその時に、企業はより多くの自律性を手渡されている。今後18カ月の勝者は、エージェントを最速で採用する者ではなく、計装する者となるだろう。権限のスコープ設定、サンドボックス化された実行、不変の監査ログ、そして負荷下で機能するキルスイッチである。

日本企業とSIerにとって、これは構造的弱点に直撃する。日本の自動化スタックはRPAとSIerが提供する統合——予測可能な動作を持つ決定論的でルールベースのタスクに最適化されたシステム——の上に構築されてきた。エージェント型AIはその正反対だ。確率的で、自己指向的で、意図された範囲外で行動できる。RPAの前提に基づいて設計された環境に自律的エージェントを投入すると、ほとんどの社内セキュリティチームが捕捉する体制を整えていないガバナンスの盲点が生まれる。

SIerにとっての機会は実在するが、再配置が必要だ。次の契約は'AIエージェントの導入'ではなく'AIエージェントの統制'である——金融、製造、公共部門の規制された日本企業が侵害リスクを継承することなくエージェントを採用できるようにするガードレール層、アクセス制御、監視の構築だ。日本の開発チームは、エージェント監視を後のコンプライアンス対応ではなく、今すぐ設計要件として扱うべきである。能力と並行してガバナンスを販売する企業は、能力のみを販売する企業を収益で上回るだろう。