Georgia Tech、NVIDIA Research、Stanford Universityの研究は、GPUシステムがレイテンシーとSRAMのオーバーヘッドを抑えながら、NANDベースの高帯域幅フラッシュを利用する方法を検討している。世界のAI運用事業者にとって、利用可能なメモリーが増えることは好機となる一方、データ待ちの時間が長くなるアクセラレーターに費用を投じるリスクもある。事業上の合理性を左右するのは、単に容量を増やせるかではなく、応答時間の制約内でより多くの処理をこなせるかどうかだ。
帯域幅は高速なアクセスの代わりにはならない。フラッシュを利用したメモリーは、データを事前に配置できるワークロードには適している可能性がある一方、予測できないリクエストでは遅延が顕在化しかねない。バッファリングやスケジューリングにメモリー、エネルギー、開発労力を費やしすぎれば、利点の一部が相殺される可能性がある。購入側は、メモリープールの拡大が自動的にコスト削減につながると考えるのではなく、実態に即したリクエストパターンの下で、有効な推論スループットを評価すべきだ。
サプライチェーンにとって、これはNANDの専門技術を生かす機会となり得るが、DRAMを見限る理由にはならない。複数の種類を組み合わせたメモリー階層によって、コントローラー、パッケージング、ランタイムソフトウエアに価値が移る可能性がある。投資家は、オーバーヘッドを減らすための手法と、製造し、認定を取得し、サポートを提供できる製品とを区別する必要がある。研究の進展だけで、商用化できる状態にあることや、運用面で魅力的な採算性が得られることが裏付けられるわけではない。
日本にとっての戦略的な機会は、フラッシュの容量だけを売り込むのではなく、NANDとパッケージングの技術力をシステムレベルの検証につなげることにある。日本のサプライヤーが、容量拡大の効果が実際のサービス提供条件でも維持されることを実証するには、アクセラレーターとソフトウエアの分野でパートナーが必要になる。それは、より付加価値の高い設計業務につながる可能性がある一方、プラットフォームへのアクセスや顧客の認定取得への依存も生む。
日本企業とシステムインテグレーターは、バッチ推論を、厳しい応答要件のある対話型アシスタントやAIを組み込んだRPAのワークフローとは分けて評価すべきだ。試験では、待ち行列、キャッシュミス、データ配置の調整に必要な労力も検証対象に含める必要がある。導入計画を、実証されていないメモリーのロードマップに依存させるべきではない。当面の助言業務の機会は、ワークロードの特性分析とアーキテクチャーの選定にあり、近い将来のハードウエア値下がりを顧客に約束することではない。