BaiduのDuMateBenchがAIエージェントを完成した作業で評価

BaiduはDuMateBenchを発表した。これは、AIエージェントが実際のオフィス業務を完了し、使用可能な成果物を提出するかどうかで評価するリーダーボードであり、6つのカテゴリーにわたる200以上のタスクを対象に、タスク理解力、ツール使用、継続的実行、最終成果物の品質を採点する。

戦略的シグナルは、リーダーボード自体よりも重要だ。業界は静かに、チャットボット時代を定義した質問への正確性パラダイムを引退させ、配信パラダイムに置き換えている。すなわち、エージェントがレポート、データ入力済みのスプレッドシート、人間が実際に使用できる完了したワークフローを生成したかどうかだ。この再定義こそが企業価値の所在だ。同時にハードルも上がる――継続的実行とツール統制は、単一ターンのQ&Aベンチマークでは決して表面化しなかった故障モードを露呈する。これこそが、ベンダー発表のリーダーボードが独立した再現が存在するまで懐疑的に扱われるべき理由だ。BaiduがこれをDaziと組み合わせ、アプリケーション主導のERNIE戦略の下で最も急成長しているデスクトップ作業エージェントとして位置づけていることは、プレイブックを示している。評価の物語を支配し、それを流通製品に導くのだ。Google、Microsoft、OpenAIも同じループの変種を実行しているため、'エージェントが実際の作業を行う'ベンチマークの急増が予想され、それぞれが作成者を引き立てるように調整される。

日本企業にとって、回答から成果への移行は、既存のRPA基盤に直接影響する。日本のバックオフィス自動化の一世代は、画面レイアウトが変わると壊れる脆弱なルールベースのスクリプトで構築された。成果達成可能なエージェントは、そのレイヤーを吸収する恐れがあり、圧力は、日本のオフィスが手作業を集中させている文書中心でフォーム駆動のワークフロー――経費処理、調達、社内報告――において最も強くなるだろう。

SIerにとって、これはリスクであり機会でもある。マージンはもはや決定論的ボットを配線することにあるのではなく、統合、評価、ガバナンスへと移動する――特定のクライアントにとって'使用可能な成果物'が何を意味するかを定義し、ガードレールを構築し、契約上結果に責任を持つことだ。これには、ほとんどのインテグレーターがまだ構築していない内部評価規律が必要だ。金融、製造、公共部門の業務向けに日本語でドメイン固有のベンチマークを開発する企業が、クライアントが対価を支払う信頼レイヤーを支配するだろう。汎用エージェントライセンスを転売し続ける企業は、モデルベンダー自身の製品と価格で競争することになる。

地元の意思決定者への一つの注意点:中国由来のエージェントスタックは、生の能力に関係なく採用を形作る調達とデータ居住性の問題を抱えている。持続可能な教訓は、ベンダーではなく方法論である――あらゆるエージェントパイロットが配信された検証可能な作業で測定されることを主張し、すべての自己発表リーダーボードを証明されるまでマーケティングとして扱うべきだ。