「1週間の開発タスク」でAIの限界を検証 Googleが「Android Bench 2.0」公開：「新規作成は得意でも改修が苦手」 最高通過率は「28％」に

Googleは、AIモデルやエージェントのコーディング能力を測る「Android Bench 2.0」を公開した。エンジニアが数日を要する複雑な長期タスクを課す仕様に刷新。最高通過率は従来の約91％から約28％に急落した。

[＠IT]

　Googleは2026年9月17日（米国時間）、大規模言語モデル（LLM）やAIエージェントのAndroid開発能力を評価するベンチマークの最新版「Android Bench 2.0」を公開した。エンジニアが数日から1週間ほどかけて取り組む複雑な長期タスク（Long-Horizon Tasks：LHT）を課す仕様へと大幅に刷新した。

　従来のタスクにおける最高通過率は約91％に達していたが、今回の長期タスク群における最高通過率は約28％へと急落した。同社はベンチマークの基盤を、LLM評価の枠組みである「Harbor」フレームワークに適合させるとともに、モデル単体だけでなく開発環境と組み合わせたAIエージェントの評価も導入している。

数日規模の「長期タスク」へ移行　0か1かの合否判定を廃止

　従来の「Android Bench」や初期のAIコーディングベンチマークは、既存のリポジトリに対する小規模な変更やバグ修正、機能追加といった限定的な作業の評価に焦点を当てていた。これは当時のAI支援機能の性能水準を反映したものだった。

　Android Bench 2.0では、開発者がAIに委託する作業の実態に合わせて難易度を引き上げた。導入された長期タスクには、ライブラリなどの依存関係のアップグレード、新機能の追加、スクラッチからのアプリケーション構築、クロスプラットフォームアプリケーションのAndroid向け移植といった、エンジニアが数日から1週間程度を要する作業が含まれる。

　数日間に及ぶ開発タスクの評価では、従来の二者択一による合否判定（バイナリスコアリング）は実態を正しく反映できない。例として40画面を宣言型UI（ユーザーインタフェース）ツールキット「Jetpack Compose」にリファクタリングし、データベースのテーブルを構築して要求の90％を満たしたエージェントがあったとする。

　このエージェントがエッジケースの検証を1つ失敗しただけで、その回の評価（スコア）を0点と判定してしまうと、モデルが持つアーキテクチャ設計能力を見落とすことになる。

　そこでGoogleは、より有意義な評価指標を提供するために「完了率（Completion Rate）」を算出する連続スコアリング方式を採用した。完了率は機能性、UIの忠実度、リグレッションの防止といった要素を組み合わせて計算する。

　評価手順からの逸脱や構造上の制約に違反した場合は、客観的な減点ペナルティーを適用する。この新たな評価基準により、モデル開発者は強みや弱点を正確に把握できるようになり、開発チームは自社のワークフローに適したモデルやコーディングエージェントを選定しやすくなる。

「新規作成」は得意だが「リファクタリング」で苦戦　AIの弱点

　長期タスクのデータセットにより、テスト対象となったAIモデルの得意分野と課題が浮き彫りになった。

　モデルの規模や性能（軽量モデルからフロンティアモデルまで）を問わず、AIは既存コードのリファクタリングよりも新規コードの作成で高い性能を示した。リファクタリングや移行作業では、コードの総量ではなくアーキテクチャの複雑さが成否を分けるため、難易度が跳ね上がる傾向がある。

　一方で、定型的な変換作業には高い適性を示した。JavaからKotlinへのコード変換、HTTPクライアント「Retrofit」から「Ktor」への置き換え、ViewModel層の導入といった、手法が確立された確定的な変換処理においては、125以上のファイルや8000行を超えるコードベースでも一貫したパターンを適用できる能力が確認された。

　しかし、実行時の検証が必要なタスク（依存関係注入グラフの欠落など）や、フレームワークの破壊的変更を伴うタスク、未公開ライブラリなど「知識の空白」に直面するタスクでは性能が大幅に低下する。

　クロスプラットフォームアプリケーションのAndroid移植は依然として難易度が高く、通過率100％を達成したモデルは存在せず、最先端のモデルでも完了率は最大80％にとどまった。

エージェント評価を初導入　OpenAIの「GPT-6 Astra」が首位

　Android Bench 2.0では、開発現場のワークフローに合わせた「エージェント評価」も組み込まれた。まずはモデル提供元が用意するエージェントツールと組み合わせた検証から開始している。

　OpenAIの「GPT 5.6 Sol」を「Codex」で実行し、Googleの「Gemini 3.8 Flash」をエージェント環境「Google Antigravity」で稼働させて検証した。実行環境の設計が開発効率に与える影響は大きく、プロンプトキャッシングやツールのコンテキスト枠の最適化により、消費トークン数を削減できることが確認されている。

　リーダーボードには最新のモデル群が追加された。Googleの「Gemini 3.8 Flash」「Gemini 3.7 Flash」、OpenAIの「GPT-6」、Anthropicの「Fable 5.1」、Moonshot AIの「Kimi K3」、Alibaba Cloudの「Qwen 3.8 Max」などが並ぶ。

　長期タスクにおいて最高通過率を記録したのはOpenAIの「GPT-6 Astra」で、通過率は28％だった。従来のタスクで記録されていた約91％と比較すると、大幅に低い水準となっている。

　Googleは今後、さまざまなモデルとエージェントツールの組み合わせによる評価結果の拡充を予定している。長期タスク、マルチモーダル評価、エージェント環境、連続スコアリングを組み合わせることで、開発者が最適なAIツールを選択できる透明性の高い環境を整える方針だ。