TencentはHy4 flashを投入し、社内ベンチマークのWorkIndexでタスク処理コストがHy4より95%低いと説明した。同モデルは総数2240億のパラメーターのうち120億を有効化する。導入企業にとっては、推論コストの低下により、従来は採算の取れなかった自動化プロジェクトが実現可能になるかもしれない。AIベンダーにとっての脅威は、推論サービスの利幅や、主にモデルへのアクセスを根拠に上乗せ料金を設定している企業向けパッケージに圧力がかかることだ。
重視すべき指標は、トークン当たりのコストではなく、採用された結果1件当たりのコストだ。社内テストだけでは、顧客のさまざまなワークロードでも同等の品質を確保できるとは言えない。再試行、文書検索、ツール実行、人手によるレビューが、推論コストの削減分を相殺する可能性がある。調達側は、判断の難しいケースをより高性能なモデルや人に引き継ぎつつ、低価格のモデルが範囲を限定したタスクを処理できるか検証すべきだ。これにより、処理の振り分けと評価が戦略的な価値を持つ。ただし、それらに伴う追加コストが削減効果を打ち消さないことが条件となる。調達時には、失敗を修正するコストも含め、ワークフロー全体を比較する必要がある。
日本企業が検証を始める際は、汎用的なチャットの評価スコアではなく、日本語の指示、表計算シートの運用慣行、承認経路を出発点とすべきだ。機密性の高いワークフローを移行する前に、APIの利用可否、データの保管場所や保持条件、契約上の保護措置も確認する必要がある。RPAの導入では、非構造化入力の解釈をモデルに任せる一方、権限、検証、システムの更新は決定論的な制御の下に置くという線引きが有効だ。低価格のモデルを、運用上の安全措置を緩める理由にしてはならない。
日本'のSIerは、これを導入の採算性を問い直す課題と捉えるべきであり、既存の提案に安価なAPIを追加するだけでは不十分だ。再利用可能なコネクター、顧客ごとの評価、監査証跡は、導入工数を減らし、信頼性を可視化するのに役立つ。モデルが国内での試験で良好な性能を示せば、顧客がAIの追加料金に疑問を呈する根拠は一段と強まる。価格引き下げ圧力は、モデルへのアクセス料に利ざやを上乗せすることに依存する業者よりも、レビュー工数の削減と完了までの時間短縮を実証できるインテグレーターに有利に働く可能性が高い。競争力を維持できるのは、統制された業務プロセスを提供することであり、安価なトークンへのアクセスではない。