Tencentによると、同社のHunyuan Hy4 Flashは11月16日の提供開始後、初日に50兆を超えるトークンを処理した。Hunyuanシリーズで初日の利用量としては過去最高だ。
戦略面で示唆されるのは、モデルの名声から推論の経済性への重心の移動だ。業務でモデルが繰り返し呼び出されるようになると、応答時間、スループット、信頼性、タスク完了1件当たりのコストが、ベンチマーク性能と同じくらい重要になる。情報抽出、分類、文書の草稿作成、コーディング支援、定型的な業務フローでの判断に十分な性能を備える高速モデルは、難しいプロンプト向けに限定して使われる、より大規模なモデルよりも、大規模運用で大きな価値を生み出す可能性がある。AIの競争は、タスクの種類に応じてモデルの性能水準を使い分ける、ポートフォリオ構築の問題になりつつある。
推論の処理量が増えれば、AIは業務ソフトウエアに標準的に組み込まれる基盤となり得る。一方で、応答遅延の急増、出力のばらつき、レート制限、計算コストといった課題も表面化する。トークン数は普及の兆候ではあっても、精度や継続的な利用、経済的なリターンの証明にはならない。支出額当たりでどれだけの業務を適切に完了できたかが、有用な指標となる。企業には、モデルに加えて、ルーティング、キャッシュ、評価、可観測性、利用量の計測が必要になる。集中もリスクだ。単一のエンドポイントへの依存は、障害や価格変更、ポリシー改定の影響を多くの業務フローに波及させかねない。
世界的に有望なのは、階層型のアーキテクチャだ。高コストの推論は曖昧さのある案件や影響の大きい案件に限定し、頻度が高くリスクの低い業務は、エスカレーションとフォールバックのルールを明確にしたうえで、より高速なモデルに振り向ける。これにより、ソフトウエアにAIを組み込むハードルは下がり得るが、見えにくい呼び出しが増え、予算管理が難しくなる可能性もある。提供企業には、単に提供初日の利用量を示すだけでなく、サービスの安定した動作、透明性の高い利用量の集計、データ管理機能、移行のしやすさを示すことが求められるようになる。
日本企業の調達は、単一の旗艦モデルを選ぶ方式から、タスクごとに適切なモデルへ処理を振り分ける方式へ移行すべきだ。システムインテグレーターは、企業システムやRPAプログラムにモデルゲートウェイ、日本語での評価、監査証跡、代替処理経路、コスト管理機能を加えることで差別化できる。開発チームは、自社の環境で応答遅延、精度、エスカレーション率、業務タスク完了1件当たりのコストを測定したうえで、モデルへの依存部分を切り離し、可用性や利用条件の変更によってコードの書き直しを迫られないようにすべきだ。トークン数は導入の経済性を検討するきっかけにはなるが、それ自体で導入の妥当性を裏付けるものではない。