［評価指標］PR-AUC（Area Under the Precision-Recall Curve：PR曲線の下の面積）／AP（Average Precision）とは？：AI・機械学習の用語辞典
用語「PR-AUC」、別名「AP」について説明。二値分類タスク（問題）に対する評価指標の一つで、「PR曲線の下の面積」を意味し、PR-AUC値が1.0に近いほど分類を予測する機械学習モデルの性能が高い。
用語解説
統計学／機械学習におけるPR-AUC（Area Under the Precision-Recall Curve、AUPRC、AUC-PR）とは、（基本的に）二値分類のタスク（問題）に対する評価指標の一つで、「PR曲線（後述）の下の面積」を意味する。別名でAP（Average Precision：平均適合率）とも呼ばれる。0.0（＝0％）〜1.0（＝100％）の範囲の値になり、1.0に近づくほどより良い。例えば機械学習のモデルによる予測が全て正解（＝図1のideal curve：理想の曲線）だった場合、PR-AUC値は1.0になる（＝予測性能が高い）。
PR曲線（Precision-Recall Curve、適合率-再現率の曲線）とは、縦軸に適合率（Precision）、横軸に再現率（Recall）を取ってプロットした場合の曲線、つまり適合率と再現率の関係を表現したグラフのことである（図1）。こちらの記事で説明したように、通常、適合率と再現率はトレードオフ関係にあるため、再現率（横軸）の数値が大きくなるにつれて、適合率（縦軸）は小さくなる。
PR曲線の描き方の詳細は、「機械学習の評価関数（二値分類／多クラス分類用）を理解しよう」という記事におけるPR-AUCの説明を参考にしてほしい。
なお“AUC”（Area Under the xxx Curve）には、下記の2種類がある。
- ROC曲線を使ったAUC（こちらの記事で解説）
- PR曲線を使ったAUC（PR-AUC、本稿で解説）
単にAUCという場合、通常は「ROC曲線を使ったAUC」を意味する。
AUC（Area Under the ROC Curve：ROC曲線の下の面積）の用語解説でも説明したように、不均衡データ（Imbalanced Data）の場合は、ROC曲線ではなくPR曲線を使ったAUCを評価指標として用いる方が好ましい。不均衡データの例としては、例えば「メールがスパムかどうか」という二値分類などが考えられる。スパムメール（陽性）の数が通常のメール（陰性）よりも極端に少ない、つまり不均衡なデータである場合は、その評価指標としてROC曲線を使ったAUCは向いていない可能性がある。このような場合に、PR曲線を使ったAUCを使うとよい。
「ROC曲線を使ったAUC」と「PR曲線を使ったAUC」のグラフを比べると、ROC曲線のグラフが右肩上がりであるのに対し、PR曲線のグラフは右肩下がりになっているという違いはあるが、AUC値の範囲や意味は基本的に同じである。ROC曲線では、ランダムに推測（randam guess）すると、基本的にAUC値は0.5となった。しかしPR曲線では、ランダムに予測しても、PR-AUC値が0.5になるとは限らず、陽性と陰性のデータ数の割合によって数値が変わる。よってPR-AUCは、ROC曲線を使ったAUCと比べて、モデル性能の汎用（はんよう）的な測定や比較という用途にはあまり向いていない。正解率と比べて「しきい値の影響を受けない」というメリットは、ROC曲線のAUCと同じである。
適合率（Precision）や再現率（Recall）の計算方法は、それぞれのリンク先でも説明しているが、以下のようになる。
Copyright© Digital Advantage Corp. All Rights Reserved.