モデル評価指標 もでるひょうかしひょう
モデル評価精度再現率F1スコアROC曲線交差検証
AIの精度って何%あれば合格なの？
簡単に言うとこんな感じ！
「精度○%」の一つの数字だけ見ても不十分なんだよ！例えば「病気の検出AI」では「見逃し（見つけるべきものを見逃す率）」が大事で、「迷惑メールフィルタ」では「誤検知（普通のメールを迷惑と判定する率）」が大事。用途によって何を重視するかが変わるんだ。
モデル評価指標とは
モデル評価指標 とは、機械学習モデルの性能をどの観点から測るかを定量化した数値です。ビジネス上の目標や問題の性質によって、最適な指標は異なります。
評価指標を誤ると「数字は良いが実際は役に立たないモデル」になるリスクがあります。ベンダーから「精度XX%」と提示されたとき、「何の精度か」を必ず確認することが重要です。
分類問題の主要指標
混同行列
| 予測: Positive | 予測: Negative | |
|---|---|---|
| 実際: Positive | TP（真陽性） | FN（偽陰性）← 見逃し |
| 実際: Negative | FP（偽陽性）← 誤検知 | TN（真陰性） |
| 指標 | 計算式 | 重視する場面 |
|---|---|---|
| 精度（Accuracy） | (TP+TN)/(全体) | クラスが均等な場合 |
| 適合率（Precision） | TP/(TP+FP) | 誤検知を減らしたい場合 |
| 再現率（Recall） | TP/(TP+FN) | 見逃しを減らしたい場合 |
| F1スコア | 2×(P×R)/(P+R) | 両方のバランスが必要な場合 |
| AUC-ROC | ROC曲線下の面積 | 閾値に依存しない総合評価 |
回帰問題の主要指標
| 指標 | 内容 |
|---|---|
| MAE（平均絶対誤差） | 予測値と実際値の絶対差の平均 |
| RMSE（二乗平均平方根誤差） | 大きな誤差をより重視した指標 |
| R²（決定係数） | モデルがデータのばらつきを説明できる割合 |
歴史と背景
- 統計学の歴史：感度・特異度はROC曲線とともに1950年代の信号検知理論から
- 深層学習ブーム（2010年代）：画像認識コンテスト（ILSVRC）でTop-5精度が標準指標に