米国が示唆している海外のAIデータセンターへの課税が政策として導入されれば、設備費の削減よりも、計算資源をどこに配置するかが重要になり得る。Marvell TechnologyとPenguin Solutionsは、CXLによるメモリー拡張と光通信を使ったメモリー共有で協業している。この協業が取り組むのは利用効率の改善であり、税負担リスクへの対応ではない。
メモリーの増強をアクセラレーターの調達から切り離せる点に商機がある。利用可能なメモリーがワークロードの制約となっている場合、拡張や共有によって既存の計算資源の生産性を高められる可能性がある。ただし、容量と帯域幅は別物であり、光技術を導入しただけでアプリケーションの遅延が許容範囲に収まるとは限らない。導入企業は、自社の推論ソフトウエアが追加メモリーを利用でき、データ移動によってその効果が相殺されないかを見極める必要がある。
商業面での試金石は、こうした効果が接続回線、コントローラー、ソフトウエア、運用にかかるコストを上回るかどうかだ。追加のメモリー階層には、アクセラレーター側のメモリーを置き換えることなく、遅延の影響を受けにくいデータを格納できる可能性がある。共有によって、障害の影響範囲やテナント間の分離要件も変わる。このため、インフラ供給企業はメモリー容量だけでなく、合意したサービス水準で完了できる推論処理の量を競うべきだ。アドレス指定可能なメモリーが増えることに価値があるのは、アプリケーションがそれを採算の合う形で活用できる場合に限られる。
日本企業が国内展開を判断する際には、引き続き顧客の所在地、データの取り扱いに関する義務、電力の確保、運用コストを考慮すべきだ。外国が課税を示唆しただけで、国内施設に一律の負担が生じると決まるわけではなく、適用の可否を判断するには明確な規則が必要となる。メモリー拡張は、より小さなモデルの採用、ワークロードのスケジューリング改善、従来型のサーバー増強と比較し、課税問題とは切り離して評価する必要がある。導入の合理性が最も高いのは、プライベートAIのワークロードが、計算能力や非効率なソフトウエアではなく、メモリーによって制約されていることを実証できる場合だ。
日本のSIerは、プロファイリング、メモリー配置、分離、復旧を軸にシステム統合事業を築ける可能性がある。開発チームは、メモリープールの拡大が応答時間を悪化させずにスループットを高めるかどうかも含め、実際の日本語アプリケーションをピーク負荷の下で検証すべきだ。契約では、検収条件をこうした結果と障害からの復旧に連動させる必要がある。これにより、SIer'sの役割は、ハードウエアの再販から、新たなメモリー階層によってサービス提供コストが下がることの実証へと移る。あらゆるAIワークロードに必要だとの前提でメモリー容量を売るよりも、確かな裏付けのある提案となる。