生成AIの品質を“AIで測る”――「LLM as a Judge」を機能させる3つの要素：従来型テストは通用しない（2/2 ページ）

AIの出力を別のAIが評価する手法「LLM as a Judge」。その基礎をdotDataがブログで解説した。AIにAIを評価させながら、その品質を確保するにはどのような手法が有効なのか。

[＠IT]

Good例、Bad例に加えて「グレーケース」を用意する

　評価データセットは、入力データ、期待する出力例（Good例）、避けたい出力例（Bad例）の3つで構成する。テストケースは代表的なケースとエッジケースだけでは足りず、人間でも判断が分かれやすいグレーケースを含めることが重要だとdotDataは述べている。

　「正確だが専門的過ぎる」「分かりやすいが厳密さに欠ける」といった出力は単純なOK／NGでは扱いにくく、評価基準を改善する材料になる。こうしたケースを蓄積し、人間のレビュー結果と照らし合わせながら基準を更新することで、評価AIの判断が安定しやすくなる。

スコアは1回で判断せず、ばらつきまで見る

　生成AIは、同じ入力でも毎回同じ出力を返すとは限らない。これは評価する側のAIも同様で、特に判断が難しいケースでは評価結果が揺れることがある。そのためdotDataは、1回の評価スコアだけで品質を判断せず、複数回評価して結果のばらつきまで確認することが重要だとしている。

　前述のカラム提案機能を3回評価した例では、ハードルールの達成率はいずれも100％だった。一方、解釈性（0〜3点）は平均2.7、標準偏差0.5、説明文の品質（同）は平均2.3、標準偏差0.6、総合スコア（100点満点）は平均92.7、標準偏差3.2となった。

同じ機能を3回評価した結果。ハードルール達成率は全て100％だった一方、解釈性や説明文品質、総合スコアにはばらつきが見られた（提供：dotData）

　こうした評価では、平均スコアだけでなく、結果のばらつきやハードルール違反の有無、評価コメントの傾向、人間による評価との一致度も確認する。ばらつきが大きければ、機能AIの出力が不安定なだけでなく、評価基準そのものに曖昧さが残っている可能性もある。

評価AIには機能AIより高性能なモデルを使う

　dotDataは、評価AIには機能AIよりも推論能力の高いモデルを使うことを推奨している。評価AIの判断が不正確であれば、その結果を基にした機能AIの改善も適切に進められないためだ。機能AIはユーザー向けに提供するため、応答速度やコストの制約を受ける。一方、評価AIは開発・検証環境でバックグラウンド実行されることが多く、多少時間がかかっても評価精度を優先しやすい。

　ただし、高性能なモデルを使えば評価が必ず正しくなるわけではない。評価AI自体の精度についても、人間があらかじめ評価した正解データ（Golden Set）と結果がどの程度一致するかを定期的に確認する必要がある。

　LLM as a Judgeでは、人間が「何を良い出力とするか」を定義し、AIがその基準に基づいて大量の出力を評価するという役割分担が重要になる。dotDataは、評価の仕組みも一度作って終わりにせず、プロダクトや業務の変化に合わせて継続的に見直す必要があるとしている。