GoogleのAI Overviewsは最近、"disregard"、"ignore"、"skip"のような検索語を、情報を求めるクエリではなくモデルへ向けられた指示と誤認した。このインシデントは表面的な不具合ではない。生成AIを既存の検索製品へ後付けするたびに現れる、基礎的な設計問題を浮かび上がらせている。

中核の問題は意味の曖昧さである。検索ボックスは昔から意図を含む言葉を受け入れてきたが、その背後にLLMが置かれると、同じ文字列を指示として解釈し得る。このクエリとコマンドの境界崩壊は、典型的なプロンプトインジェクション隣接の問題であり、AIが回答を生成するあらゆる消費者向け表面を脅かす。BingのMicrosoft Copilot、AmazonのRufusショッピングアシスタント、Perplexity、そして主要マーケットプレイスが運用する推薦エンジンが該当する。露出はトラフィックとともに拡大する。1日数十億件のクエリでは、わずかな誤作動率でも、壊れたブランド毀損的な出力が絶えず生まれる。

規制対象や取引を伴う文脈では、利害はさらに鋭くなる。ECの買い物客が"cancel"と入力したり、健康情報を探す人が"stop"と入力したりすると、セッション終了、安全でない助言、消費者保護や医薬品広告ルール違反など、異常なモデル挙動を誘発しかねない。英語以外や形態的に豊かな言語は問題をさらに複雑にする。日常動詞がクエリとコマンドの二重の意味を持ち、主に英語で訓練された分類器が判別に失敗するからだ。

商業上の爆風は検索広告にも及ぶ。AI回答が目に見えて壊れた瞬間、その画面の信頼と広告価値は同時に劣化する。広告主とアドテックプラットフォームは、AI回答面のブランドセーフティ基準を再定義しなければならない。これはディスプレイ枠ではなく、従来のビューアビリティ指標では新しい失敗モードを捉えられない。回答品質のガードレールを認証できるベンダーは本物の差別化要因を得る。

推奨される行動は3つある。第一に、LLMの前段に決定論的なクエリ分類器を置くこと。モデルの自己判別を信じるのではなく、業界で共有されたコマンド動詞リストを持つ2段階アーキテクチャにする。第二に、エンタープライズ系システムインテグレーターは、"指示耐性テスト"をRAGサービスのSLAに組み込み、堅牢性をGoogle級インシデントへの保険として位置づけるべきだ。第三に、経営者は生成AIが確率的に失敗することを前提とし、訂正と謝罪のプロトコルを事前構築しなければならない。Googleほどの資源を持つ企業が本番で露出したなら、誰も免疫はない。この事例を無料の教訓として扱う方が、同じ過ちを急いで再現するよりよい。