臨床医たちは、AI開発者に対し、急性の精神的苦痛を抱えるユーザーに対して自社システムがどのように対応しているかを開示するよう迫っている。根本的な問題は、モデルが時折有害な応答を生成することではなく、外部の第三者がその頻度、発生条件、あるいは長時間の会話において安全策が劣化するかどうかを測定できないことにある。
この不透明性は、倫理上の脚注から急速に商業的責任へと変わりつつある。同じ週、New Mexico州の裁判所はMetaに対し、児童保護に関する公害訴訟で5億6,700万ドルの支払いを命じ、総額は10億ドルに迫る勢いとなった。会話型AIを提供するあらゆる企業へのシグナルは明確だ。裁判所は製品設計を予見可能な損害の源泉として扱う用意があり、「知らなかった」という弁解は、知るためのデータが社内に存在し、それが一度も検証されなかった場合には通用しない。
戦略的な類似例は、タバコおよび製薬業界の前例である。そこでは隠蔽された社内安全データが最終的に壊滅的な和解金と義務的開示体制へと転じた。EU(AI Actの高リスク規定を通じて)、英国、および米国の州司法長官が、今後18~24カ月以内に危機対応の監査証跡を要求することが予想される。OpenAI、Anthropic、Google、Character.AI、Metaはいずれも非対称的な下方リスクに直面している。数億人の消費者ユーザーを抱える企業ほど最大のテールリスクを負い、無料プランの拡大(OpenAIの無制限チャット)が脆弱な相互作用を増幅させる。
経営幹部にとって、今重要な行動は3つある。第一に、危機検知テレメトリーを実装し、防御可能な形で保持すること。証拠開示手続きがいずれそれを要求するからだ。第二に、第三者による安全性ベンチマークをコストセンターではなくレピュテーション保険として扱うこと。自発的な透明性は、強制開示とは裁判所での印象が大きく異なる。第三に、高リスク集団(未成年者、自傷行為の兆候)を人間または臨床リソースへのエスカレーションで隔離すること。無差別なエンゲージメント最適化こそが、訴訟弁護士が標的とする典型的なパターンだからだ。
投資家は、消費者向けAIプラットフォームを規制による足かせを考慮して再評価すべきである。勝者となるのは、監査可能性を製品機能とするベンダーであり、エンゲージメント指標を法的に敵対的な領域へと競争させる企業ではない。
