顔認証の「93%一致」で投獄されたフロリダ州の男性が警察を提訴し、警察官がエラーの多いアルゴリズムを実際の捜査の代わりに用い、無罪を示す証拠を無視したと主張している。この事案は地域的に見えるが、その先例は世界的なものだ。

ここでの戦略的な論点は逮捕そのものではなく、AI主導の意思決定を巡って形成されつつある責任体系にある。長年、認証およびリスク評価システムのベンダーは、確率スコアを販売する一方で、顧客がそれをどう利用するかについての責任を否認してきた。その取り決めが今、法廷で試されている。不適切なデータで較正された基盤マッチャーの場合、ほぼ確実と提示された信頼度パーセンテージは、システムが主張するものと運用者が理解したものとの間に、文書化されたギャップを生み出す。原告側弁護士はまさにそのギャップを標的にすることを学び、証拠開示プロセスはモデル文書、エラー率、内部警告を公的記録に引き出すだろう。

グローバル企業幹部にとって、3つの示唆が重要だ。第一に、これは広がるテンプレートである。EU AI法はすでに遠隔生体認証を高リスクと分類し、ログ記録、人間の監督、精度開示を要求している。米国の不法行為訴訟が「AIが捜査に取って代わった」ことを有効な主張として確立すれば、欧州の規制当局や集団訴訟の法律事務所に既製の論拠を与える。Clearview AI、NEC、Idemiaなどのベンダーや、それらを展開する公的機関は、複数の管轄区域にわたる法的圧力の収束に直面する。

第二に、リスクは法執行機関に限定されない。重大な決定を下すために確率的AIを使用する企業——フィンテックにおける不正拒否、自動採用スクリーニング、保険金請求のトリアージ、与信判断——は、同じ構造的リスクを引き継ぐ。不透明なスコア、それに従う人間、そして後にその従属が不合理だったと示せる被害当事者である。防御可能な立場はもはや「モデルがそう言った」ではなく、モデルを上書きできる、文書化され監査可能な人間の判断である。「ループ内の人間」は「結果に責任を持つ人間」にならなければならず、異議を唱える権限とインセンティブを伴う必要がある。

第三に、これはベンダー契約を再定義する。免責条項、精度表明、人口統計学的サブグループ別のエラー率監査権は、あれば良いものから取締役会レベルの要件へと移行している。保険会社も注視している。AI固有の賠償責任特約と、高リスク展開に対する保険料の上昇が予想される。

推奨される措置:事業におけるあらゆる重大なAI意思決定のインベントリを作成し、それぞれを潜在的な害によって分類し、高リスクの判断については記録された理由付きの強制的な人間による上書きプロトコルを課す。更新前にベンダーからサブグループ別の精度データを要求し、信頼度スコアを実行すべき評決ではなく、検証すべき入力として扱う。防御可能なAIガバナンスを今制度化する企業は、次の証拠開示の展示物になることを回避できるだろう。