AIコーディングを「より速く省トークンに」 VS Codeチームが実証、“GPT-5.5向けプロンプト”の改善効果：Microsoftが報告、“無駄な探索”を減らす実験（2/2 ページ）

[＠IT]

2週間のスコアカードが示した結果

　Microsoftは、品質（コードが定着するか）、レイテンシ（最初の編集がどれだけ速く行われるか）、効率（トークン数とツール呼び出し回数）という3つの観点から、処理AおよびB群のトラフィックについて、以下の指標を追跡した。

• 10分後生存率（ユーザー別）：モデルが生成したコードのうち、10分後もファイルに残っている文字の割合
• コミット時生存率（ユーザー別）：モデルが生成したコードのうち、gitコミットまで残った文字の割合 |
• p50初回編集時間（ターン別）：リクエストから、コードに最初の変更が反映されるまでの時間の中央値 |
• p95初回編集時間（ターン別）：個々のターンの中でこの初回編集時間が最も長い下位5％のケースの値
• p50総トークン数（ユーザー別）：1ユーザーが1日にモデルに対して読み書きする総トークン数の中央値
• p95総トークン数（ターン別）：個々のターンの中で最も負荷の高い上位5%のケースのトークン数
• 平均ツール呼び出し回数（ターン別）：エージェントがリクエスト1件当たりに実行するアクション（ファイルの読み込み、検索、ターミナルの実行、編集など）の数の平均

　Microsoftは、処理AおよびB群のトラフィックに関するこれらの指標の追跡結果を、対照群のベースラインと比較し、以下の表とグラフで示している。

指標	処理 A群（PRPT_SRCH）	処理 B群（PRPT_LRG）
10分後生存率	0.40％低い（統計的に有意ではない）	0.44％低い（統計的に有意）
コミット時生存率	0.48％低い（統計的に有意ではない）	0.68％高い（統計的に有意ではない）
p50初回編集時間	2.88％短い（2.0秒高速化、有意）	5.68％短い（3.9秒高速化、極めて有意）
p95初回編集時間	1.93％短い（統計的に有意ではない）	9.30％短い（38.8秒高速化、極めて有意）
p50総トークン数	2.54％少ない（統計的に有意ではない）	3.25％少ない（統計的に有意ではない）
P95総トークン数	5.19％（有意）	7.64％少ない（極めて有意）
平均ツール呼び出し回数	3.19％少ない（0.77回減少、有意）	8.54％少ない（2.04回減少、極めて有意）
処理AおよびB群が示した指標の対照群との比較 注：Microsoftは、処理AおよびB群の各指標について、p値を計算しており、p値が0.05未満の場合に統計的に有意、0.001未満の場合に極めて有意としている。

処理AおよびB群が示した指標の対照群との比較：処理B群の方がA群よりも、対照群に対してレイテンシ、トークン数、ツール呼び出し回数が大幅に少ない（提供：Microsoft）

　Microsoftは、これらの比較結果の要点を以下のように説明している。

• 品質

　ガードレール指標はおおむね健全だった。処理B群の10分後生存率、処理A群、処理B群のコミット時生存率は、対照群に対して有意な差がなかった。処理A群の10分後生存率は、対照群に対して有意に低かったが、p値は0.0493で、統計的有意性のしきい値0.05との差はごくわずかだ。

• レイテンシ

　処理B群の初回編集時間は、対照群と比べて極めて有意な改善を示した。初回編集時間の中央値は5.68％（3.9秒）短縮され、下位5％では9.30％（38.8秒）短縮されている。処理A群も改善を示したが、効果はより弱かった。

• トークン効率

　処理B群は対照群と比べて、最も負荷の高い上位5％のターンの総トークン数が7.64％減、平均ツール呼び出し回数も8.54％（2.04回）減となり、極めて有意な改善を達成した。処理A群もそれぞれ5.19％減、3.19％（0.77回）減だった。

処理B群に適用されたプロンプト再構成が新しいデフォルトに

　処理B群には、前述のように「<Before_the_first_edit>」および「<After_the_first_edit>」セクションによるプロンプトの広範な再構成が適用された。Microsoftは、明確なレイテンシ改善、負荷の高い上位5％の処理での有意なトークン削減、ツール呼び出しの減少、おおむね安定した品質ガードレールという点で、このプロンプト変更を高く評価し、VS CodeにおけるGPT-5.5のデフォルトシステムプロンプトに導入している。

　この変更は、モデルプロバイダーのフィードバックから導かれた検証可能な仮説に結び付いている。Microsoftは、これをオフラインおよび本番環境で検証、確認した今回の実験のように、モデルのリリース以降もプロバイダーとの連携に基づき、モデル、プロンプト、ツール、VS Codeのコーディングハーネスの全体にわたって、こうした改善を続けていくと述べている。