SemiFiveと日本'のPreferred Networks(PFN)は、ロジックダイの上にDRAMを配置した推論プロセッサーを開発している。従来のHBMパッケージングに代わる方式だ。世界のインフラ調達企業にとって戦略上の焦点は、メモリー配置を変えることで、容量や応答時間の予測可能性を犠牲にせず、モデルの推論を提供するコストを引き下げられるかどうかにある。メモリーと演算部の間の経路が短くなれば、データ移動に要するエネルギーを削減できる可能性がある。特に、演算ではなくメモリーアクセスが性能を制約する場面で効果が見込まれる。
リスクは積層構造へと移る。稼働するロジック回路の上にメモリーを置くと排熱が難しくなる可能性がある一方、生産工程で利用可能なハードウェアをどれだけ確保できるかは、組み立て時の歩留まりと検査に左右される。メモリー容量や、変化するモデルの要件への対応も重要だ。HBMの代替方式が、パッケージング上の制約や供給元の集中を自動的に解消するわけではない。既知のボトルネックを、成熟度の低い技術に由来する別のボトルネックに置き換えるだけになる可能性もある。調達企業は、配置だけから商業的な実現可能性を判断するのではなく、継続的に負荷がかかる状況での推論提供の総コストを比較すべきだ。
日本にとって、PFN'の関与は、半導体設計を国内企業のワークロードと結び付ける機会となる。有益な検証となるのは、そのプロセッサーが日本製かどうかではなく、企業が実際に導入するモデルを、遅延、消費電力、データ管理の要件を満たしながら、採算の合う形で稼働させられるかどうかだ。オンプレミスでの推論が求められる場合、効率的なアクセラレーターは導入の選択肢を広げ得る。ただし、日本が設計を担うだけでサプライチェーンの独立性が確立されるわけではない。製造、パッケージング、メモリーに関する依存関係は、なお精査する必要がある。
日本のSIerや開発チームは、ソフトウェアの準備状況を調達要件に組み込むべきだ。モデルへの対応、コンパイラーの挙動、監視、システム統合にかかる手間によって、ハードウェアのコスト削減分が相殺されることもある。モデルに基づく推論を組み込むRPAの導入では、推論処理が一連の業務全体のコストの相当部分を占める場合に限り、チップの効率が重要になる。むしろ、アプリケーションの遅延や人による確認が支配的な要因となる可能性がある。当初の商機として可能性が高いのは、HBMベースのシステムの全面的な置き換えではなく、適合性が確認された限定的な推論ワークロードだ。商業的な成功を左右するのは、魅力的なチップ仕様ではなく、サポート体制を備え、運用コストを削減できるシステムを提供できるかどうかである。