企業向けAIエージェントシステムのベンチマーク指標「Enterprise Bench」が発表 データベースにおけるTPCベンチマークのような存在を目指す

AIエージェントシステムのベンチマーク「Enterprise Bench」を、米DevRevがオープンソースとして公開した。非営利法人とともに開発したもので、企業の複雑な環境における動作の正確さや安全性、トークン消費の効率性を評価する。

[三木泉，＠IT]

　米DevRevは2026年7月9日（米国時間）、AIエージェントシステムが実業務でどの程度信頼できるかを客観的に評価する新たな標準指標、「Enterprise Bench」をオープンソースとして公開した。このベンチマークは、従来の技術タスクの難易度だけでなく、企業特有の複雑な環境における実用性の測定を目的としている。

「TPCのような標準指標を企業AIエージェントにもたらす」

　Enterprise Benchは、AIエージェントが実際の企業環境でどの程度確実に動作するかを評価する、ベンダー中立の評価フレームワーク。

　従来のAIベンチマークの多くは、単一ユーザー規模での推論能力やコーディング能力といったタスクの複雑性に焦点を当ててきた。しかし実際の企業環境では、「データが複数システムに分散している」「厳格な権限管理が求められる」などの課題がある。DevRevによれば、Enterprise Benchはこうした組織特有の複雑性にAIがどう対応するかを検証するために設計された。

　同社は本指標について、1990年代にデータベース業界で標準となった「TPC」や、機械学習分野の「ImageNet」のように、ベンダー独自の主張に依存せず性能を比較できる共通基準を市場にもたらすと説明している。

　Enterprise Benchは非営利団体Laude Instituteと共同開発され、カリフォルニア大学バークレー校のアレクサンドロス・ディマキス（Alexandros Dimakis）教授らによって検証されている。

評価対象はLLMではなく企業向けAIエージェント

　Enterprise Benchが評価するのは、単体の大規模言語モデル（LLM）ではなく、それらを活用して業務を遂行するAIエージェントシステム。企業内の複数ツールをどのように連携させ、権限を順守しながらサイロ化されたデータから正確な情報を取得できるかといった、システム全体の能力を評価する。

　評価は「精度」「効率性」「安全性」の3つの観点から総合的に行う。

　精度では、正しい情報源から一貫して正確な回答を導けるかを測定する。効率性では、回答生成に要するトークン量や、データ量の増加に対するコストの伸びを評価する。安全性では、ユーザー権限の順守やアクションの監査可能性などを検証する。

　Enterprise Benchは、AIの能力を単純なデータ取得（L1）から完全な自律動作（L4）までの4段階で定義する。さらに「回答保持データスケーリング」と呼ぶ手法により、データ量（ノイズ）が増加しても埋もれた正解を正確に抽出できるかを測定する。

中立性はどう担保されているか

　Enterprise Benchは、特定ベンダーに依存しない透明性の高い評価環境により、中立性を担保しているという。

　ベンチマーク用データセット、評価手法、判定基準、評価用ハーネス（Harborを利用）は全て公開されており、誰でも独立して再現・検証・比較が可能。

　また、カリフォルニア大学バークレー校の研究者による独立検証が行われている。さらに、評価には独立したLLMジャッジを用い、公開基準に基づいて判定する。

　実行結果は証拠とともに公開リーダーボードに提出でき、透明性の高い比較を実現している。