LLM活用・プロンプト

コンテキスト内学習(In-Context Learning) こんてきすとないがくしゅう

In-Context Learningコンテキスト内学習Few-ShotプロンプトファインチューニングLLM
コンテキスト内学習について教えて

簡単に言うとこんな感じ!

AI に「お手本」をいくつか見せるだけで、その場でやり方をまねしてくれる力のことだよ。新人さんに記入済みの見本を渡して「同じように書いて」と頼む感じ。AI の中身を作り直さなくても、指示文を工夫するだけで新しい仕事を任せられるってこと!


コンテキスト内学習とは

コンテキスト内学習(In-Context Learning、ICL) とは、大規模言語モデル(LLM)に渡す入力(プロンプト)の中に、指示や例(お手本)を書いておくだけで、新しい課題をこなせる能力 のことです。「コンテキスト」は、AI が一度に読み込む入力全体のことを指します。

ふつうの機械学習では、AI に新しいことを覚えさせるには、大量のデータで中身の数字(重み・パラメータ)を調整し直す「学習」が必要です。ところが ICL では、重みは一切変わりません。入力の中の例を読んで、その場でパターンをつかみ、次の入力に同じやり方を当てはめます。会話が終われば、その「学び」は残りません。

この能力が広く知られたのは、2020年の GPT-3 の論文「Language Models are Few-Shot Learners」です。大きなモデルほど、数個の例を見せるだけで翻訳・分類・計算などをこなせることが示されました。今では、ChatGPT や Claude などに指示を書くこと自体が、ICL を使っているとも言えます。

お手本を見せて AI にやり方を伝えるイメージ

仕組み:重みを変えずに、その場でまねる

プロンプト(コンテキスト) 指示:感想を3つに分類して 例1:最高だった → 良い 例2:遅すぎる → 悪い 本題:まあ普通かな → ? LLM 重みは変わらない 例からその場で推測 普通 例の形式で答える

例の数によって、呼び方が変わります。

呼び方例の数イメージ詳しくは
ゼロショット0個(指示だけ)「感想を分類して」とだけ頼むゼロショット学習
ワンショット1個見本を1つ見せる—
フューショット数個見本を数個見せるフューショット学習
メニーショット数十〜数百個長い入力に多くの例を入れる—

なぜうまくいくのか

はっきりした答えはまだ研究の途中です。「大量の文章で事前学習するうちに、文脈から課題を推測する力が身につく」という見方が有力で、2022年には、例のラベルを一部でたらめにしても成績があまり落ちない場合があるという研究も出ました。つまりモデルは、例の正解そのものより 「どんな形式で、どんな答えの候補があるか」 を強く参考にしている、と考えられています。


例って、何個くらい入れればいいの?

まずは 3〜5個 から試すのがおすすめだよ。Anthropic の Claude 向けの手引きでも、そのくらいの数が勧められているんだ。

大事なのは数より バラエティ。「良い」の例ばかり並べると、AI も「良い」と答えがちになっちゃう。いろんなパターンを混ぜて、例と指示の区切りがはっきり分かるように書くのがコツってこと!

それなら、わざわざお金をかけてファインチューニングしなくていいの?

多くの場合は、まず ICL で十分か試すのが正解だよ。準備がほぼいらないし、例を書き換えるだけで直せるからね。

ただ、毎回たくさんの例を入れると、そのぶん 読み込む量(トークン)が増えて、料金も待ち時間も増える。同じ使い方を大量に回すなら、ファインチューニングのほうが安くつくこともあるんだ。


歴史と背景

  • 2020年:GPT-3 の論文で、例を見せるだけで多様な課題をこなす能力が「In-Context Learning」として広く知られる
  • 2021年:例の選び方や並べる順番で結果が大きく変わることが報告され、プロンプトの工夫が注目される
  • 2022年:例に「考え方の手順」を書く チェーン・オブ・ソート(CoT) が登場。仕組みの研究(例のラベルの影響、モデル内部の「まねる回路」など)も進む
  • 2023年:検索した文書を入力に入れる RAG が広まり、「入力で知識や手本を渡す」使い方が実務の中心に
  • 2024年〜:一度に読める量(コンテキスト長)が大きく伸び、数百個の例を入れるメニーショットも研究される。一方で、大量の例で安全対策をすり抜けさせる攻撃も報告される

ほかの方法との比較

項目ICL(プロンプトに例)RAGファインチューニング
何を渡すかやり方の見本答えの根拠になる文書大量の学習データ
モデルの重み変えない変えない変える
準備の手間小さい中くらい(検索の仕組み)大きい
直しやすさ例を書き換えるだけ文書を差し替えるだけ学習し直し
向いていること出力の形式・口調・分類の基準社内の最新情報に答える大量・定型の処理、独自の言い回し

実際には、「RAG で文書を渡し、ICL で答え方の見本を見せる」のように組み合わせて使うのが一般的です。


実務のポイント

  • まず ICL で試す:ファインチューニングの前に、例を入れたプロンプトで十分な品質が出ないか確かめたか
  • 例の質:例は正確で、実際の入力に近く、パターンが偏っていないか
  • 形式をそろえる:例と本題の書き方・区切り方がそろっているか
  • 費用:例を毎回入れることで増えるトークン量と料金を見積もったか
  • 評価:例を変えたときに結果がどう変わるか、テスト用の問題セットで比べているか
  • 個人情報:例に実在の顧客名や個人情報を入れていないか

参考文献・外部リンク


関連用語

シス担のミカタ メールマガジン

セキュリティの速報とシステムの最新情報をメールで受け取る

登録すると、次の配信からお届けします。配信はメールの下のリンクから、いつでも解除できます。個人情報の取り扱い