LLM活用・プロンプト

フューショット学習 ふゅーしょっとがくしゅう

フューショット学習Few-Shot Learning少数事例プロンプトIn-Context LearningLLM
フューショット学習について教えて

簡単に言うとこんな感じ!

「少ない例(Few Shot)を見せるだけで新しいタスクができる」のがフューショット学習だよ!数件の良い例をプロンプトに入れれば、AIがそのパターンを把握して同じようにやってくれる。「ゼロショットより精度が出やすく、ファインチューニングより手軽」なちょうどいい手法なんだ!


フューショット学習とは

フューショット学習(Few-Shot Learning) とは、少数(通常1〜10件程度)の例示(デモンストレーション)をプロンプトに含めることで、LLMが対象タスクのパターンを把握し、新しい入力に対して適切な出力を返す手法です。コンテキスト内学習(ICL)の一形式で、モデルの重みは更新しません。

フューショット学習の効果は、例の質と多様性に大きく依存します。例えばセンチメント分析なら「ポジティブ・ネガティブ・ニュートラル」を各1〜2件ずつ含めることで、ゼロショットより精度が上がりやすいです。また例の順序も影響する場合があり、最後に示した例の影響が強い傾向(近接効果)があります。


フューショット学習のプロンプト例

【3ショット(3件例示)の感情分析】

例1:
  入力: 「このレストランは最高でした!」
  出力: ポジティブ

例2:
  入力: 「二度と行きたくない店でした。」
  出力: ネガティブ

例3:
  入力: 「普通のファミレスでした。」
  出力: ニュートラル

では、以下を分類してください:
  入力: 「料理は美味しかったけど、待ち時間が長すぎた。」
  出力: ?

→ LLMの回答: ネガティブ(またはニュートラル)

歴史と背景

  • 2020年:GPT-3論文でフューショット能力を大規模に実証(175Bパラメータで顕著)
  • 2022年:Chain-of-Thought(CoT)プロンプトでフューショット推論精度が向上
  • 2023年:命令チューニングの改善でゼロショットがフューショットに追いつく
  • 現在:ゼロショットとフューショットの差が縮小傾向だが、特定タスクではフューショットが依然有効

ショット数と精度の関係

ショット数名称コンテキスト消費精度の傾向
0ゼロショット少ないタスクによる
1ワンショット中程度やや向上
3〜5フューショット中程度さらに向上
10以上メニーショット多い精度は高いがコスト増

例示の品質が重要な理由

悪い例示(ランダムなラベル):
  「晴れ → ネガティブ」「雨 → ポジティブ」
  → フューショットでも精度低下

良い例示(典型的・多様なケース):
  各カテゴリの代表的な例を均等に
  → フューショットの効果が最大化

関連用語