// シス担のミカタ
古典的機械学習

ロジスティック回帰 ろじすてぃっくかいき

ロジスティック回帰2値分類シグモイド関数確率予測分類アルゴリズム
ロジスティック回帰について教えて

簡単に言うとこんな感じ！

名前に「回帰」とついてるけど、実際は分類のアルゴリズムだよ。「このメールはスパムか否か」「この顧客は解約するか否か」みたいな「はい/いいえ」を確率で予測する。「60%の確率でスパム」という形で出力できるのが特徴なんだ！

ロジスティック回帰とは

ロジスティック回帰（Logistic Regression）は、2値分類（バイナリ分類）のための代表的なアルゴリズムです。名前は「回帰」ですが、分類モデルです。線形回帰の出力にシグモイド関数を適用し、0〜1の確率値に変換します。

p = σ(w₁x₁ + w₂x₂ + ... + b)

σ(z) = 1 / (1 + e^(-z))  ← シグモイド関数

線形回帰との違い

線形回帰 出力：連続値（-∞〜+∞） 用途：数値予測 例：家賃 = 15万円 ロジスティック回帰 出力：確率（0〜1） 用途：2値分類 例：スパム確率 = 0.87

シグモイド関数の役割

シグモイド関数 σ(z) = 1 / (1 + e^(-z))

z = -∞ → σ(z) → 0.0
z =  0  → σ(z) = 0.5
z = +∞ → σ(z) → 1.0

→ 任意の実数値を「確率」（0〜1）に変換する

多クラス分類への拡張

  • One-vs-Rest（OvR）：各クラスを「それ vs それ以外」に分割
  • Softmax（多項ロジスティック回帰）：全クラスを同時にモデル化

特徴と利点

✓ 出力が確率なのでビジネス判断に使いやすい
✓ 係数から特徴量の影響を解釈できる
✓ 学習が高速
✓ 正則化（Ridge/Lasso）が容易

✗ 非線形な決定境界は表現できない
✗ 特徴量間の交互作用は手動で追加する必要がある

歴史と背景

  • 1830年代：ベルギーの数学者ヴェルフルストが生態学でロジスティック関数を提案
  • 1944年：生物学的バイナリ応答モデルとして統計学に導入
  • 現在：シンプルながらも強力で、医療・金融・マーケティングで現役のモデル

関連用語