フューショット学習 ふゅーしょっとがくしゅう
フューショット学習Few-Shot Learning少数事例プロンプトIn-Context LearningLLM
フューショット学習について教えて
簡単に言うとこんな感じ!
「少ない例(Few Shot)を見せるだけで新しいタスクができる」のがフューショット学習だよ!数件の良い例をプロンプトに入れれば、AIがそのパターンを把握して同じようにやってくれる。「ゼロショットより精度が出やすく、ファインチューニングより手軽」なちょうどいい手法なんだ!
フューショット学習とは
フューショット学習(Few-Shot Learning) とは、少数(通常1〜10件程度)の例示(デモンストレーション)をプロンプトに含めることで、LLMが対象タスクのパターンを把握し、新しい入力に対して適切な出力を返す手法です。コンテキスト内学習(ICL)の一形式で、モデルの重みは更新しません。
フューショット学習の効果は、例の質と多様性に大きく依存します。例えばセンチメント分析なら「ポジティブ・ネガティブ・ニュートラル」を各1〜2件ずつ含めることで、ゼロショットより精度が上がりやすいです。また例の順序も影響する場合があり、最後に示した例の影響が強い傾向(近接効果)があります。
フューショット学習のプロンプト例
【3ショット(3件例示)の感情分析】
例1:
入力: 「このレストランは最高でした!」
出力: ポジティブ
例2:
入力: 「二度と行きたくない店でした。」
出力: ネガティブ
例3:
入力: 「普通のファミレスでした。」
出力: ニュートラル
では、以下を分類してください:
入力: 「料理は美味しかったけど、待ち時間が長すぎた。」
出力: ?
→ LLMの回答: ネガティブ(またはニュートラル)
歴史と背景
- 2020年:GPT-3論文でフューショット能力を大規模に実証(175Bパラメータで顕著)
- 2022年:Chain-of-Thought(CoT)プロンプトでフューショット推論精度が向上
- 2023年:命令チューニングの改善でゼロショットがフューショットに追いつく
- 現在:ゼロショットとフューショットの差が縮小傾向だが、特定タスクではフューショットが依然有効
ショット数と精度の関係
| ショット数 | 名称 | コンテキスト消費 | 精度の傾向 |
|---|---|---|---|
| 0 | ゼロショット | 少ない | タスクによる |
| 1 | ワンショット | 中程度 | やや向上 |
| 3〜5 | フューショット | 中程度 | さらに向上 |
| 10以上 | メニーショット | 多い | 精度は高いがコスト増 |
例示の品質が重要な理由
悪い例示(ランダムなラベル):
「晴れ → ネガティブ」「雨 → ポジティブ」
→ フューショットでも精度低下
良い例示(典型的・多様なケース):
各カテゴリの代表的な例を均等に
→ フューショットの効果が最大化
関連用語
- ゼロショット学習 — 例示なしのフューショットの前段階
- コンテキスト内学習 — フューショットが属する学習パラダイム
- チェーン・オブ・ソート — フューショットの例示に思考プロセスを加えた手法
- コンテキスト長 — フューショットの例示が消費するリソース
- プロンプトエンジニアリング — フューショット例示の設計を含む技術