ROC曲線・AUC あーるおーしーきょくせん・えーゆーしー
ROCAUC分類評価真陽性率偽陽性率閾値
ROC曲線・AUCについて教えて
簡単に言うとこんな感じ！
AIの「閾値をどう変えても追いかけられる成績グラフ」だよ！「陽性」と判定する厳しさを色々変えながら、「本物を正しく見つける率（TPR）」と「間違えて陽性と言う率（FPR）」をプロットした曲線がROC曲線。その曲線の下の面積がAUC——1.0に近いほど優秀なモデルってことなんだ！
ROC曲線・AUCとは
ROC曲線（Receiver Operating Characteristic Curve）とは、二値分類モデルの閾値（しきい値）を0から1まで変化させたときの、真陽性率（TPR = Recall） と偽陽性率（FPR） のトレードオフを可視化したグラフです。もとはレーダー探知機の信号検出研究に由来します。
AUC（Area Under the Curve）はROC曲線の下の面積のことで、0から1の値をとります。AUC = 1.0 は完璧な分類器、AUC = 0.5 はランダムな予測（コインで当てるのと同じ）を意味します。実務では AUC 0.7 以上で実用的、0.9 以上で非常に良好な性能と見なすことが多いです。
ROC-AUCの最大の特徴は閾値に依存しないモデル全体の性能評価ができることです。また、クラスの不均衡（陽性サンプルが極端に少ない場合）では代わりにPR曲線（Precision-Recall Curve）のAUC（AP：Average Precision）が推奨されます。
ROC曲線の読み方
| 指標 | 計算式 | 説明 |
|---|---|---|
| TPR（真陽性率） | TP / (TP+FN) | 本物の陽性を検出できた割合（＝Recall） |
| FPR（偽陽性率） | FP / (FP+TN) | 陰性をうっかり陽性と判定してしまう割合 |
| AUC | ROC曲線の下の面積 | 1.0が最高・0.5がランダム・0.5以下は逆転モデル |
AUCの目安
| AUC値 | 意味 | 実務評価 |
|---|---|---|
| 1.0 | 完璧な分類 | 理論値（過学習の可能性も） |
| 0.9〜1.0 | 非常に優秀 | 本番利用に適する |
| 0.8〜0.9 | 良好 | 多くの実用タスクで十分 |
| 0.7〜0.8 | 普通 | 改善の余地あり |
| 0.5〜0.7 | 低い | 実用には難しい |
| 0.5 | ランダム | モデルが意味を持たない |
歴史と背景
- 第二次世界大戦中（1940年代）：レーダー技術者が「真の信号」と「雑音」を区別するために ROC 解析を開発したのが起源
- 1950〜60年代：心理物理学・信号検出理論に応用される
- 1970〜80年代：放射線医学・診断医学で検査精度の評価ツールとして普及
- 1990年代後半：機械学習コミュニティに導入。不均衡データへの対応として注目される
- 2000年代：生物医学情報学・医療AI分野でAUCが標準評価指標として定着
- 2010年代：ディープラーニングモデルの評価でも標準的に使われるようになる
- 現在：信用スコアリング・医療診断・不正検知など「誤検知・見逃しのコストが非対称な」タスクで特に重視される
ROC曲線のイメージ
関連する規格・RFC
| 規格・RFC番号 | 内容 |
|---|---|
| ISO/IEC 22989:2022 | AI概念・用語（モデル評価指標の定義を含む） |
| ISO 15189 | 臨床検査でのROC解析の適用 |