AIの書籍スキャン競争がトレーニングデータを巡るFTC闘争を引き起こす

擁護団体は米連邦取引委員会に対し、AI企業がモデル訓練用に物理的な書籍を調達する方法について調査を求め、破壊的なスキャン行為に警鐘を鳴らしている。表向きの訴えは感情的だが、戦略的な本質は地味で重要だ。業界は安価で高品質なテキストが枯渇しつつある。

ここでの世界的なシグナルは、スクレイピングの時代から取得の時代への移行である。ウェブデータは掘り尽くされ、合成出力による汚染が進み、法的に争われている。書籍は密度が高く、編集された長文の散文の最後の貯蔵庫の一つとして残っており、それは推論を改善し幻覚を減らすのに正確に必要なものだ。この希少性こそが、先端研究所がカタログを静かに購入、ライセンス、または物理的にデジタル化しようと動いている理由だ。FTCの調査はこれを止めることはないが、データの出所を事務的な懸念からガバナンスと開示要件へと押し上げるだろう。初期のデータスキャンダル後にプライバシー監査が標準となったのと同様に。

3つの下流効果が予想される。第一に、クリーンなライセンス化されたコーパスを購入できる研究所とそれ以外との間のコスト格差の拡大で、既存企業の優位性を強化する。第二に、データ系譜、同意追跡、権利処理のためのコンプライアンス市場の形成。第三に、過去3年間を特徴づけた「まず訓練し、後で謝罪する」姿勢への圧力の高まり。

日本にとって、その影響は有利な方向と警告的な方向の両方に及ぶ。日本の著作権法は機械学習のためのテキストおよびデータマイニングについて異例なほど寛容であり、これは国内のモデル構築者にとっての競争上の優位性として売り込まれてきた。しかし寛容な入力規則は、モデルが世界的に展開される日本企業を保護しない。米国のデータ調達に関する規制基準は事実上、輸出要件となる。国内LLMを基盤に構築する企業は、データサプライチェーンが国内の規制当局だけでなく海外顧客によっても監査されると想定すべきだ。

SIerと企業ITチームにとって、これは調達上の問題を再定義する。サードパーティのモデルをクライアントシステムに統合する際、見落とされがちなリスクはモデルの品質ではなく、トレーニングデータの出所に関する責任が統合業者や最終顧客に下流に流れることだ。日本のSIerはデータ系譜の文書化を契約上の成果物として扱い始めるべきであり、スキャンされた文書を扱うRPAや自動化ベンダーは、明確にライセンス化された企業コンテンツと曖昧に調達されたコーパスを明確に分離すべきだ。今、出所管理の規律を構築する企業が、コンプライアンスに敏感な購入者が求め始めようとしている企業向け案件を獲得するだろう。