コンテキスト内学習(In-Context Learning) こんてきすとないがくしゅう
簡単に言うとこんな感じ!
AI に「お手本」をいくつか見せるだけで、その場でやり方をまねしてくれる力のことだよ。新人さんに記入済みの見本を渡して「同じように書いて」と頼む感じ。AI の中身を作り直さなくても、指示文を工夫するだけで新しい仕事を任せられるってこと!
コンテキスト内学習とは
コンテキスト内学習(In-Context Learning、ICL) とは、大規模言語モデル(LLM)に渡す入力(プロンプト)の中に、指示や例(お手本)を書いておくだけで、新しい課題をこなせる能力 のことです。「コンテキスト」は、AI が一度に読み込む入力全体のことを指します。
ふつうの機械学習では、AI に新しいことを覚えさせるには、大量のデータで中身の数字(重み・パラメータ)を調整し直す「学習」が必要です。ところが ICL では、重みは一切変わりません。入力の中の例を読んで、その場でパターンをつかみ、次の入力に同じやり方を当てはめます。会話が終われば、その「学び」は残りません。
この能力が広く知られたのは、2020年の GPT-3 の論文「Language Models are Few-Shot Learners」です。大きなモデルほど、数個の例を見せるだけで翻訳・分類・計算などをこなせることが示されました。今では、ChatGPT や Claude などに指示を書くこと自体が、ICL を使っているとも言えます。
仕組み:重みを変えずに、その場でまねる
例の数によって、呼び方が変わります。
| 呼び方 | 例の数 | イメージ | 詳しくは |
|---|---|---|---|
| ゼロショット | 0個(指示だけ) | 「感想を分類して」とだけ頼む | ゼロショット学習 |
| ワンショット | 1個 | 見本を1つ見せる | — |
| フューショット | 数個 | 見本を数個見せる | フューショット学習 |
| メニーショット | 数十〜数百個 | 長い入力に多くの例を入れる | — |
なぜうまくいくのか
はっきりした答えはまだ研究の途中です。「大量の文章で事前学習するうちに、文脈から課題を推測する力が身につく」という見方が有力で、2022年には、例のラベルを一部でたらめにしても成績があまり落ちない場合があるという研究も出ました。つまりモデルは、例の正解そのものより 「どんな形式で、どんな答えの候補があるか」 を強く参考にしている、と考えられています。
まずは 3〜5個 から試すのがおすすめだよ。Anthropic の Claude 向けの手引きでも、そのくらいの数が勧められているんだ。
大事なのは数より バラエティ。「良い」の例ばかり並べると、AI も「良い」と答えがちになっちゃう。いろんなパターンを混ぜて、例と指示の区切りがはっきり分かるように書くのがコツってこと!
多くの場合は、まず ICL で十分か試すのが正解だよ。準備がほぼいらないし、例を書き換えるだけで直せるからね。
ただ、毎回たくさんの例を入れると、そのぶん 読み込む量(トークン)が増えて、料金も待ち時間も増える。同じ使い方を大量に回すなら、ファインチューニングのほうが安くつくこともあるんだ。
歴史と背景
- 2020年:GPT-3 の論文で、例を見せるだけで多様な課題をこなす能力が「In-Context Learning」として広く知られる
- 2021年:例の選び方や並べる順番で結果が大きく変わることが報告され、プロンプトの工夫が注目される
- 2022年:例に「考え方の手順」を書く チェーン・オブ・ソート(CoT) が登場。仕組みの研究(例のラベルの影響、モデル内部の「まねる回路」など)も進む
- 2023年:検索した文書を入力に入れる RAG が広まり、「入力で知識や手本を渡す」使い方が実務の中心に
- 2024年〜:一度に読める量(コンテキスト長)が大きく伸び、数百個の例を入れるメニーショットも研究される。一方で、大量の例で安全対策をすり抜けさせる攻撃も報告される
ほかの方法との比較
| 項目 | ICL(プロンプトに例) | RAG | ファインチューニング |
|---|---|---|---|
| 何を渡すか | やり方の見本 | 答えの根拠になる文書 | 大量の学習データ |
| モデルの重み | 変えない | 変えない | 変える |
| 準備の手間 | 小さい | 中くらい(検索の仕組み) | 大きい |
| 直しやすさ | 例を書き換えるだけ | 文書を差し替えるだけ | 学習し直し |
| 向いていること | 出力の形式・口調・分類の基準 | 社内の最新情報に答える | 大量・定型の処理、独自の言い回し |
実際には、「RAG で文書を渡し、ICL で答え方の見本を見せる」のように組み合わせて使うのが一般的です。
実務のポイント
- まず ICL で試す:ファインチューニングの前に、例を入れたプロンプトで十分な品質が出ないか確かめたか
- 例の質:例は正確で、実際の入力に近く、パターンが偏っていないか
- 形式をそろえる:例と本題の書き方・区切り方がそろっているか
- 費用:例を毎回入れることで増えるトークン量と料金を見積もったか
- 評価:例を変えたときに結果がどう変わるか、テスト用の問題セットで比べているか
- 個人情報:例に実在の顧客名や個人情報を入れていないか
参考文献・外部リンク
- Language Models are Few-Shot Learners(arXiv) — ICL を広く知らしめた GPT-3 の論文
- Rethinking the Role of Demonstrations(arXiv) — 例のどこが効いているかを調べた研究
- In-context Learning and Induction Heads(Transformer Circuits) — モデル内部で ICL を支える仕組みの研究
- Many-Shot In-Context Learning(arXiv) — 数百個の例を入れたときの効果を調べた研究
- Prompting best practices(Claude Docs) — 例の数や書き方についての実務の手引き
関連用語
- ゼロショット学習 — 例を見せずに指示だけで課題をこなすこと
- フューショット学習 — 少数の例を見せて課題をこなすこと
- プロンプトエンジニアリング — 指示や例の書き方を工夫する技術
- チェーン・オブ・ソート(CoT) — 例に考え方の手順を書いて推論させる方法
- コンテキスト長 — 一度に入れられる例や文書の量の上限
- ファインチューニング — 重みを調整し直してモデルを特化させる方法
- RAG(検索拡張生成) — 検索した文書を入力に入れて答えさせる仕組み
- 大規模言語モデル(LLM) — ICL の能力を持つ AI モデル