Albert Liuが2015年に創業したKneronは、集中型データセンターではなくデバイス上で直接AI推論を実行するように設計されたニューラル処理シリコンを開発している。このインタビューは、今や業界の断層線として固まりつつある命題を改めて述べている。

世界的な経済性がその理由を説明する。訓練が見出しを飾るが、推論こそが継続的なコストの所在であり、すべてのクエリをクラウドGPU経由でルーティングすることは、高コストで、レイテンシに制約があり、データが露出する。モデルが量子化と蒸留によって縮小するにつれ、より多くの有用な処理がエッジで数ワット以内に収まるようになる。これは競争地図を再定義する。データセンターアクセラレータの既存勢力は訓練で優位に立つ一方、カメラ、自動車、家電、産業センサーにおける低消費電力推論をめぐる別の競争が開かれる。そこで勝利するには、生のスループットよりも、ワットあたりの性能、ツールチェーンの成熟度、現場で異種モデルを確実に実行する能力に依存する。

購入者にとっての戦略的リスクはロックインである。エッジNPUはそれぞれ独自のコンパイラと量子化の癖を持つため、1つのベンダーのスタックへの賭けは覆すのが困難だ。ポータブルランタイムで標準化する企業は交渉力を維持する。チップにハードコードする企業は移行負債を継承する。

日本にとって、これは真の構造的強みを発揮する場となる。同国の優位性は常に、ハイパースケールクラウドよりも、デバイス、工場設備、自動車システム、ロボット工学にあった。エッジ推論により、日本の製造業は、マージンやデータを外国のクラウドプラットフォームに明け渡すことなく、既に支配している製品にAIを追加できる。これは、データ居住性への期待が厳しくなる中で意味のある点である。

SIerや国内開発チームにとって、このシフトは機会と警告の両方である。工場現場の自動化やオンプレミス検査は自然な適合であり、組み込みML統合、モデル最適化、エッジでのMLOpsへの需要は増加するはずだ。特にRPAベンダーは選択を迫られている。画面スクレイピングボットは、ローカルで知覚し判断するシステムと比べて脆弱に見え、信頼できる前進の道は、ルールベースの自動化とデバイス上モデルの組み合わせである。今エッジ推論能力を構築するSIerはバリューチェーンを上ることができる。クラウドAPI統合に留まる者は、経済的に重要な層がデバイスに戻る中で圧迫されるリスクがある。