LLM活用・プロンプト

ゼロショット学習 ぜろしょっとがくしゅう

ゼロショット学習Zero-Shot LearningプロンプトCLIPLLMフューショット
ゼロショット学習について教えて

簡単に言うとこんな感じ!

お手本を1つも見せずに「このレビューが褒めてるか怒ってるか分けて」と頼むだけで、AI がこなしてくれることだよ。いろんな文章や画像を山ほど読んで物知りになったAIだから、初めての頼みごとでも見当をつけられるんだ!


ゼロショット学習とは

ゼロショット学習(Zero-Shot Learning) は、そのタスク専用の例や学習データを1件も与えずに、モデルに仕事をさせることです。「ショット」は見せるお手本の数のこと。お手本ゼロなので「ゼロショット」、数件見せるならフューショットと呼びます。

もともとは画像認識の研究で、学習のときに一度も見ていない種類を当てる技術を指していました。たとえば「シマウマ」の写真を見せたことがなくても、「馬に似ていて、白黒のしま模様」という説明と結びつけて言い当てる、という考え方です。

いまよく耳にするのは、大規模言語モデル(LLM)に指示文だけで仕事を頼む使い方です。翻訳・要約・分類などを、専用の学習なしにプロンプト(指示文)一つで試せます。事前学習で身につけた幅広い知識と、指示に従うよう仕上げる命令チューニングが、これを可能にしています。

辞書や言葉をイメージしたイラスト

ゼロショットの2つのかたち

① 指示だけで頼む(LLM) 「次の問い合わせを 請求・故障・その他に分けて」 →「故障」 ② 画像と言葉を照らし合わせる 写真 「段ボール箱」 0.08 「フォークリフト」 0.85 「台車」 0.07 候補の名前と近さを比べて選ぶ
かたち仕組み業務での例
指示だけで頼むLLM が指示文を読み、知識をもとに答える問い合わせの振り分け、議事録の要約、文章の翻訳
言葉と照らし合わせる画像や文章と、候補の名前を同じ物差しの数値(埋め込み)にして近いものを選ぶ商品写真の分類、文書のタグ付け

②の代表が、2021年に発表された CLIP です。ネット上の画像と説明文の組を大量に学んだことで、「〇〇の写真」という候補の言葉を並べるだけで、専用の学習なしに画像を分類できました。

学習データを用意しなくていいなら、もう全部ゼロショットでいいんじゃない?

そこが落とし穴なんだ!ゼロショットは「すぐ試せる」のが強みで、精度がいちばん高いとは限らないよ。

AI は「請求」と「故障」の境目を、あなたの会社のルールどおりに知っているわけじゃない。社内の言葉や細かい判断基準が絡むと、外れやすくなるんだ。まずゼロショットで試して、足りなければお手本を数件見せる→それでも足りなければ追加の学習、と段階を踏むのがおすすめだよ!


歴史と背景

  • 2009年ごろ:画像認識で、「しま模様」「4本足」などの特徴の説明を手がかりに、見たことのない動物を当てる研究が注目される
  • 2013年前後:単語を数値で表す技術と画像を結びつけ、名前だけで新しい種類を見分ける研究が進む
  • 2020年:GPT-3 の論文が、例ゼロ・数件でも多くの仕事をこなせることを大規模に示す
  • 2021年:CLIP が画像分類でゼロショットを実用的な水準に。同じ年、命令チューニングで LLM のゼロショット性能が上がることも示される(FLAN)
  • 2022年:「ステップごとに考えよう」と一言添えるだけで推論の正答率が上がる、という報告が話題に。同年末の ChatGPT で一般にも広く体験される

ゼロショット・フューショット・追加学習の比較

方法お手本追加の学習準備の手間向いている場面
ゼロショットなしなし指示文を書くだけまず試す、ありふれた仕事
フューショット数件なし良い例を選ぶ出力の形や基準をそろえたい
ファインチューニング数百件〜ありデータ作り・費用・管理社内独自の基準、大量処理

ゼロショットとフューショットは、どちらもプロンプトの中で仕事を伝えるコンテキスト内学習の一種です。モデル自体は変わらないので、指示文を直せばすぐにやり方を変えられます。

ゼロショットで業務に入れるとき、何に気をつければいい?

まず選択肢と判断基準をはっきり書くこと!「その他」の選び方や、迷ったときのルールも指示文に入れておこう。

それと、自社のデータ100件くらいで正解率を測るのが大事。ゼロショットはそれっぽい答えを自信満々に返すことがあるから(ハルシネーション)、数字で確かめてから任せる範囲を決めてね。モデルの版が変わると結果も変わるから、定期的に測り直すと安心だよ!


実務のポイント

  • 任せたい仕事の選択肢・出力の形・迷ったときのルールを指示文に書いたか
  • 自社の実データで、ゼロショットの正解率を数字で確かめたか
  • 足りない場合に、フューショット→追加学習と進む判断の基準を決めたか
  • 社内の専門用語や略語の意味を、指示文や参考資料で補っているか
  • 外れたときに人が確認・修正する流れを用意したか
  • 使うモデルの版を記録し、版が変わったら測り直すか
  • 送るデータに個人情報や機密が含まれる場合、利用規約とデータの扱いを確かめたか

参考文献・外部リンク


関連用語

シス担のミカタ メールマガジン

セキュリティの速報とシステムの最新情報をメールで受け取る

登録すると、次の配信からお届けします。配信はメールの下のリンクから、いつでも解除できます。個人情報の取り扱い