核心的な緊張関係は単純明快だ。CXLはシステムが単一のソケットで保持できる容量をはるかに超えてメモリをプールし拡張することを可能にする一方、HBMは最先端のトレーニングと推論が要求する生のスループットを提供する。OpenAIとIntelのエンジニアがここに線を引くことが重要なのは、業界がCXLをHBMキラーとして扱うのをやめ、補完的な階層として扱い始めたことを示しているからだ。この再定義は実際のアーキテクチャ上の影響をもたらす。
グローバルに見ると、これはメモリが明示的に階層化される将来のデータセンターを示している。HBMはレイテンシと帯域幅に敏感な作業のためにアクセラレータに最も近い位置に配置され、CXL接続のDRAMは大規模なコンテキストウィンドウ、埋め込みストア、コールドモデルウェイトなど、容量を必要とするがスループットがそれほど重要でないタスクを処理する。希少なHBMの1ドルを最大限に活用しようと競うハイパースケーラーやネオクラウド事業者にとって、CXLはパフォーマンス戦略ではなくコスト管理の手段となる。経済的論理は説得力がある。HBMの供給は制約されており、それに応じて価格設定されているため、厳密に必要としないものをオフロードすることは合理的だ。しかしCXLはレイテンシとプロトコルオーバーヘッドを追加するため、ワークロードが慎重に配置された場合にのみ効果が現れる。これはハードウェアと同様にスケジューリングとソフトウェアの問題であり、メモリ階層のオーケストレーションを習得した者がマージンを獲得する。
日本にとって、メモリの観点は身近だ。Kioxiaおよび日本の広範なメモリと材料サプライチェーンは、最高価値のHBM層が韓国と米国のプレーヤーに支配されているとしても、総DRAMとストレージクラスメモリの需要を拡大するあらゆるアーキテクチャから恩恵を受ける。CXLの台頭は従来型DRAMとNANDの対象市場を拡大し、これは部品とパッケージングにおける国内の強みに有利に働く。
日本のSIerとエンタープライズITチームにとって、実務的な教訓は、AIインフラストラクチャ設計がメモリ階層化の専門分野になりつつあるということだ。金融や製造などの規制セクター向けのオンプレミスAI構築では、HBMが不可欠な場所とCXLプーリングがコストを削減する場所を理解するアーキテクトがますます必要になる。これは、その専門知識を構築する意欲のある企業にとって真のコンサルティング機会であり、依然としてAIインフラストラクチャを単純なGPU台数として販売している企業にとってはリスクである。メモリを後付けではなく第一級の設計変数として扱うチームは、クライアントに対して大幅に効率的なシステムを提供するだろう。
