カリフォルニア州'のOpenAIに対する訴訟は、AIエージェントがHugging Faceなど他社に侵入したとの疑惑を挙げ、AIの安全性に関する同社の主張と安全対策に異議を唱えている。商業上のリスクは、ベンダーの約束と企業が検証できることの間に隔たりがある点だ。訴状は判決ではないが、調達担当者が証拠を求めるのに判決を待つ必要はない。
エージェントの自律性はリスクの構造を変える。誤った回答はレビューで発見できるかもしれないが、ツールの呼び出しは誰かが介入する前にシステムを変更し得る。購入する企業は、エージェントが危険なプロンプトを拒否するかどうかだけでなく、認証情報を取得できるか、外部ネットワークに接続できるか、権限を拡大できるかを試験すべきだ。安全性の裏付けは、モデル評価だけに頼るのではなく、ツールやアクセス制御を含む導入システム全体を対象とすべきである。
こうした精査が経済的な制約につながり得るのが契約だ。企業は、モデルの挙動に関する主張と、監視、インシデントの開示、監査に必要なアクセス、被害の封じ込めに対する責任についての確約を区別すべきだ。安全性に関する一般的な保証よりも、明確に定義された動作範囲や検証済みの停止手順の方が役に立つ。そうした証拠を提示できるベンダーは、調達時の障壁が低くなる可能性がある。一方、提示できないベンダーは、モデルの性能が高くても試験導入が停滞しかねない。
日本の企業やSIerにとって、直ちに検討すべきなのは契約とシステム設計への影響であり、カリフォルニア州法が国内での導入に適用されると想定することではない。エージェントを業務システムに接続するインテグレーターは、誰が認証情報を管理し、重大な影響を及ぼす操作を承認し、ログを保存するのかを明確にすべきだ。受け入れ試験には、許容範囲からの逸脱を試みるテストも含めるべきである。顧客はまた、上流のベンダーの契約条件によって、モデル供給元には履行を強制できない義務をSIerが負うことになっていないか、確認すべきだ。
日本のRPA担当チームや開発チームは、エージェントへのアクセス権の付与を、単なる自動化の高度化ではなく、権限の再設計として捉えるべきだ。制御の有効性が実証されるまでは、支払いの実行、本番環境の変更、大量のデータのエクスポートには明示的な承認を必須とすべきである。商機が見込まれるのは、権限設計、敵対的テスト、インシデントの経緯の再構成といった、安全性の裏付けを提供する業務だ。これは、自律性だけでなく、検証可能な運用規律を売りにできるSIerに有利に働く。