ある中国企業が、560 TOPS、256GBメモリを備えたAI推論アプライアンスを発表した。230Bパラメータの量子化モデルを完全オンプレミスで動かし、エージェント型ワークフローもローカルで実行できる。ハードウェア仕様より重要なのは設計思想だ。クラウドAPIのトークン課金から明示的に逃れることである。
これは、グローバル経営者が過小評価してきた構造転換の最初の信頼できるシグナルだ。エンタープライズAI市場は実質的に、NVIDIA DGX級の設備投資か、OpenAI、Anthropic、ハイパースケーラーによるトークン単位のクラウドAPIかの二択だった。中価格帯で推論専用のオンプレミスセグメントは明白な空白地帯であり、予測不能な月次API支出はすでにCFOに、所有ハードウェアが勝つ3年TCOの交差点をモデル化させている。銀行、病院、政府、研究機関のように、安定した大量推論を行う組織はすべて、その閾値に近づいている。
リスクの次元は地政学的だ。中国製AIアクセラレーターは、厳格化する米国輸出規制と同盟国の審査制度の下で、西側の政府、防衛、重要インフラ調達から事実上排除されている。機密データを扱う買い手はこのハードウェアに触れられない。それでも第三のサプライチェーン極が出現しただけで、NVIDIAの独占に圧力がかかり、既存企業が見過ごしてきた市場セグメントの妥当性が証明される。AMD、Groq、Cerebras、Tenstorrent、SambaNovaが、オープンウェイトモデルと組み合わせたターンキーのオンプレミス推論ボックスを出荷する余地が開く。
機会は垂直統合にある。ソブリンLLMと国内または信頼されたシリコンを組み合わせ、プラグアンドプレイのアプライアンスとして束ねる者は、データ所在地と予測可能なコストにプレミアムを払う規制対象の買い手を獲得できる。欧州プレイヤーとナショナルチャンピオンは、'sovereign AI in a box'の提供を加速し、政策補助金はモデル学習から推論ハードウェアのローカル化へ移ると予想される。
推奨アクション：SIとインテグレーターは、ハイブリッドなクラウド＋オンプレミス参照アーキテクチャを今構築すべきだ。機密のエージェント型ワークフローをオンプレミスで実行する能力は、今後3年で最も希少なシステム統合スキルになる。取締役会はトークンベースのクラウドAIをガバナンスを要する財務リスクとして扱うべきであり、投資家は学習GPUの次に争われる戦場として、中堅市場向け推論アプライアンスカテゴリを注視すべきだ。
