精度(Accuracy) せいど・あきゅらしー
精度Accuracy正解率評価指標分類評価
精度(Accuracy)について教えて
簡単に言うとこんな感じ!
「全部の予測のうち、正解した割合」がAccuracyだよ。100件中95件正解なら95%。シンプルで分かりやすいけど、「99%がスパムじゃないデータで全部非スパムと予測しても99%Accuracy」みたいに、不均衡データだと大きく誤解を招く指標なんだ!
精度(Accuracy)とは
精度(Accuracy)は、分類モデルの評価指標で、全予測のうち正しく予測できた割合を示します。「正解率」とも呼ばれます。
Accuracy = (TP + TN) / (TP + TN + FP + FN)
= 正解した予測数 / 全予測数
直感的に理解しやすく、最もよく使われる指標ですが、クラス不均衡データでは信頼できないという重大な欠点があります。
Accuracyの限界
例:不正検知(99%が正常取引、1%が不正)
「全部正常」と予測するだけのモデル:
Accuracy = 99% ← 高精度に見える!
でもこのモデルは不正を1件も検出できていない
→ 実際には完全に役立たず
このため、クラス不均衡問題ではF1スコア、AUC-ROC、PR曲線などを使うことが推奨されます。
Accuracyが有効な場面
| 場面 | 理由 |
|---|---|
| クラス数が均等 | 各クラスの重要性が同等で偏りがない |
| 全体の正解率が重要 | 総合的なパフォーマンスを一数値で見たい |
| ベースラインの確認 | モデルの初期評価に手っ取り早い |
多クラス分類での精度
2値だけでなく、3クラス以上の分類でも同じ式で計算できます。
例:猫・犬・鳥の3クラス分類(100件)
正しく予測した数 = 85件
Accuracy = 85 / 100 = 85%
歴史と背景
- 分類問題の評価指標として最も古くから使われている
- 2000年代〜:不均衡データへの問題意識からF1スコアやAUCが主流に
- 現在:単独では不十分、複数指標と組み合わせて使うのが標準