d-MatrixはRaptorを発表した。これはTSMCの4nmコンピュートダイをカスタムDRAMダイに36マイクロピッチでフェイス・ツー・フェイス接合した推論アクセラレーターであり、カード1枚あたり約100 TB/sの帯域幅を目指している。しかし、仕様書の数字よりも、その根底にある賭けのほうが重要だ。

生成AIの推論はもはやコンピュート律速ではなく、メモリ律速になりつつある。大規模モデルへのデータ供給とは、高価なロジック回路を遊ばせないために、ウェイトとKVキャッシュのデータを十分な速さで転送し続けることを意味する。そしてこれこそが、HBMベースのGPUがコスト・電力・供給不足という壁に突き当たる点だ。d-MatrixはDRAMをダイの隣に置くのではなく、同じ3Dパッケージ内に収めることで、「コストあたり帯域幅」と「電力あたり帯域幅」という、トークンを大規模に提供する際の経済性を実質的に左右する2つの指標に切り込んでいる。これが量産段階でも通用するならば、戦略的な示唆は大きい。Nvidiaが盤石な地位を築くトレーニング向けシリコンと、真に競争が可能な推論向けシリコンの間で、分断がさらに深まることになる。ハイパースケーラーや推論特化型スタートアップには、HBM依存を緩和するセカンドソースに投資する強い動機がある。

リスクも同様に現実的だ。カスタムDRAMと先進ハイブリッドボンディングの組み合わせは、歩留まりの確保も、テストも、スケールアップも容易ではない。パッケージング複雑性で勝負するスタートアップは、量が重要になった瞬間にコストカーブで脆弱さを露呈する。こうした競争を最終的に決するのは、シリコンではなくソフトウェアの成熟度であることが多い。

日本にとってのポイントは、Raptorを購入するかどうかよりも、この変化を誰が支えるかという点にある。先進パッケージングと3Dスタッキングは、日本の強みに直接訴求する。Discoをはじめとする企業のボンディング・ダイシング装置、さらにはバックエンドの工程全般、そしてインターポーザー、薄ウェーハハンドリング、熱管理向けの材料などだ。モノリシックなGPUから積層型コンピュート・オン・メモリへとアーキテクチャが移行するたびに、日本の装置・化学メーカーが支配するプロセスステップへの需要が高まる。

日本の大手企業やSIerは、これを推論コストの問題として注視すべきだ。メモリ中心のアクセラレーターが成熟するにつれ、オンプレミスや国内クラウドでの推論コストが十分に低下し、データを海外に送ることを嫌う規制業種における「自社構築か外部調達か」の判断を塗り替える可能性がある。AIプラットフォームを設計するSIerは、GPUのみを前提としたハードコーディングを避け、ヘテロジニアスな推論バックエンドに対応できるアーキテクチャを採用すべきだ。モデルの提供で最適なシリコンは、トレーニングで最適なシリコンと異なる可能性があるからだ。