現代のコンピューティングにおける静かなボトルネックはGPUではなく、プロセッサとメモリの間の経路である。ETH Zürich、CISPA、NYUの研究チームは、学術論文で終わることなく新しいDRAM技術を実際に製品化できるよう設計されたプログラマブルメモリコントローラーと柔軟なDRAMインターフェース「Terracotta」を提案した。

このフレーミングは表面以上に重要である。10年間、研究者たちはDRAM内演算と信頼性スキームを発表してきたが、DRAMインターフェースが事実上凍結されているため、シリコンには到達しなかった。JEDECによって標準化され、コントローラーロジックに固定され、実験に対して経済的に敵対的だからだ。プログラマブルな経路は、メモリスタック全体を再設計することなく新しいアイデアを試すコストを下げる。戦略的な意味合いとしては、業界はメモリの動作が固定されたハードウェア契約ではなく、ソフトウェアで更新可能なレイヤーになる段階に近づいている可能性がある。

グローバルに見ると、これはAIコンピューティング論争の核心に直撃する。大規模モデルの学習と推論における真の制約は、生のFLOPsではなく、メモリ帯域幅と移動ビットあたりのエネルギーである。HBMの不足と消費電力がデータセンター経済における拘束条件となっている。メモリをよりスマートにするもの―プロセッシング・イン・メモリ、より優れたリフレッシュとエラー処理、適応的スケジューリング―は、現在少数のハイパースケーラーに有利なエネルギーとコストの曲線を直接攻撃する。柔軟性がこれらの技術の展開障壁を下げれば、カスタムメモリエンジニアリングを巡る競争上の堀は狭まる。

日本にとって、リスクは異例なほど具体的である。メモリは日本企業が真のグローバルな重みを保持する数少ない半導体領域の一つだ―NANDにおけるKioxia、そして世界中のDRAM製造を支える広範な材料および装置エコシステム。プログラマブルで技術豊富なメモリへのシフトは、ハードウェアとその周辺の制御ロジックを共同設計できるプレイヤーに報いる。リスクは、日本の強みが製造と材料にある一方で、価値がコントローラーとソフトウェアインターフェースを支配する者にますます集中することであり、これは国内エコシステムが薄い層である。

日本の企業とSIerにとって、教訓はより長期的だが現実的である。AIインフラストラクチャにおける次の効率向上は、より多くのアクセラレーターを購入することだけからは来ない。メモリサブシステムから来る。規制対象のクライアント―金融、製造、公共部門―向けにオンプレミスAIプラットフォームを構築するSIerは、クラウドとサーバーベンダーがこれらのプログラマブルメモリ機能を公開するかどうかを追跡すべきだ。なぜなら、それらはオンプレミス対クラウドを正当化する推論あたりのコスト計算を再構築するからだ。国内の開発チームにとって、これはパフォーマンスチューニングがスタックの下位に移行していることを思い起こさせる。メモリが「単に動作する」という抽象化は開き始めており、その境界を理解するチームが他者には設計できないシステムを設計するだろう。