アンサンブル学習 あんさんぶるがくしゅう
アンサンブル学習バギングブースティングスタッキング多数決
アンサンブル学習について教えて
簡単に言うとこんな感じ！
「1つの賢い専門家より、多くの普通の専門家の多数決の方が正確」という考え方を機械学習に応用したものだよ。複数のモデルを組み合わせることで、単体モデルよりも高い精度と安定性を実現できる。ランダムフォレストやXGBoostもこの考え方がベースなんだ！
アンサンブル学習とは
アンサンブル学習（Ensemble Learning）は、複数のモデル（弱学習器）を組み合わせて、より精度の高い予測を行う手法です。
単一のモデルは過学習・バイアス・分散のいずれかに悩まされますが、多様なモデルを組み合わせることでこれらを補い合います。
3つの代表的な手法
3手法の比較
| 手法 | 組み方 | 代表実装 | 強み |
|---|---|---|---|
| バギング | 並列・独立 | ランダムフォレスト | 分散を下げる（安定化） |
| ブースティング | 直列・修正 | XGBoost、LightGBM | バイアスを下げる（精度向上） |
| スタッキング | メタ学習 | Kaggle上位の定番 | 複数異種モデルを統合 |
歴史と背景
- 1979年：初期のアンサンブル理論（投票）
- 1990年代：Bagging（Breiman 1994）、AdaBoost（Freund 1995）が登場
- 現在：ディープラーニングとのアンサンブルも一般的