IBM Research Europeは、複数のニューラルネットワークベクトルを重ね合わせて格納するアナログ相変化メモリ設計を発表し、実効密度を高めながら、設計者が精度と容量をトレードオフできるようにした。プロトタイプPCMハードウェアでは、推論精度は完全精度ソフトウェアに近い水準を維持した。
戦略的なポイントはデバイス物理学の上位にある。今日のAIにおける支配的なコストはメモリとコンピュート間のデータ移動であり、推論が現在、継続的な支出の大部分を占めている。メモリ内およびアナログアプローチは、重みが既に存在する場所で計算を行うことで、このボトルネックを直接攻撃する。これはNVIDIAが引く梃子とは異なる梃子である。これは非GPU推論スタートアップの波に資金を提供しているのと同じ論点だ。すなわち、大規模推論ではトークンあたりのエネルギーとクエリあたりのコストが、ピークトレーニングスループットよりもはるかに重要だという信念である。IBMの結果は研究であり、製品ではない。プロセスのばらつき、アナログドリフト、歩留まり、成熟したソフトウェアスタックの欠如といった通常の注意事項が当てはまる。信頼できる生産への道のりは何年も先だ。
投資家やプラットフォーム購入者にとって、シグナルは推論レイヤーが断片化しているということだ。問題はもはやGPUの代替手段が存在するかどうかではなく、どのワークロードが調整可能な精度と低エネルギーの基盤を許容し、どれが依然として決定論的なデジタル精度を必要とするかである。検索スタイルや埋め込みを多用するパイプライン、つまりベクトルがペイロードであるものが、自然な最初のターゲットとなる。
日本にとって、機会はこれらのチップの設計よりも、その周辺のレイヤーにある。相変化およびアナログメモリは、特殊材料、成膜装置、精密計測に大きく依存しており、これらは日本のサプライヤーがグローバルメモリサプライチェーンで既に強い地位を占めている分野だ。新規メモリスタックへのシフトは、生のロジックノード競争よりも、その強みを活かすものとなる。
日本の企業やSIerにとって、短期的な影響は調達ではなく計画である。推論の経済性がAI展開を生産規模で手頃なものにできるかどうかを決定し、GPUのみのロードマップはコストとサプライリスクを集中させる。SIerは推論基盤をアーキテクチャ上の変数として扱い、ワークロードを1つのベンダーにハードワイヤリングするのではなく、ハードウェア間で移行できるシステムを設計すべきだ。オンプレミスおよびエッジ推論に移行しているRPAやローカル自動化ベンダーにとって、エネルギー効率の高いメモリ中心のコンピュートは、最終的に組み込みAIをビジネスプロセス自体に近い場所で実行できるほど安価にする可能性のある開発の種類である。
