評価指標

精度(Accuracy) せいど・あきゅらしー

精度Accuracy正解率評価指標分類評価
精度(Accuracy)について教えて

簡単に言うとこんな感じ!

「全部の予測のうち、正解した割合」がAccuracyだよ。100件中95件正解なら95%。シンプルで分かりやすいけど、「99%がスパムじゃないデータで全部非スパムと予測しても99%Accuracy」みたいに、不均衡データだと大きく誤解を招く指標なんだ!


精度(Accuracy)とは

精度(Accuracy)は、分類モデルの評価指標で、全予測のうち正しく予測できた割合を示します。「正解率」とも呼ばれます。

Accuracy = (TP + TN) / (TP + TN + FP + FN)
         = 正解した予測数 / 全予測数

直感的に理解しやすく、最もよく使われる指標ですが、クラス不均衡データでは信頼できないという重大な欠点があります。


Accuracyの限界

例:不正検知(99%が正常取引、1%が不正)

「全部正常」と予測するだけのモデル:
  Accuracy = 99% ← 高精度に見える!

でもこのモデルは不正を1件も検出できていない
→ 実際には完全に役立たず

このため、クラス不均衡問題ではF1スコアAUC-ROCPR曲線などを使うことが推奨されます。


Accuracyが有効な場面

場面理由
クラス数が均等各クラスの重要性が同等で偏りがない
全体の正解率が重要総合的なパフォーマンスを一数値で見たい
ベースラインの確認モデルの初期評価に手っ取り早い

多クラス分類での精度

2値だけでなく、3クラス以上の分類でも同じ式で計算できます。

例:猫・犬・鳥の3クラス分類(100件)
  正しく予測した数 = 85件
  Accuracy = 85 / 100 = 85%

歴史と背景

  • 分類問題の評価指標として最も古くから使われている
  • 2000年代〜:不均衡データへの問題意識からF1スコアやAUCが主流に
  • 現在:単独では不十分、複数指標と組み合わせて使うのが標準

関連用語