AI・機械学習

GPT じーぴーてぃー

生成型事前学習自己回帰モデルOpenAIChatGPTテキスト生成大規模言語モデル

GPTについて教えて

簡単に言うとこんな感じ！

「次の単語を予測し続ける」ことで文章を生成するAIの仕組みだよ！「今日は天気が」→「良い」→「ですね」→「！」のように、トークンをひとつずつ予測して文章を作っていくんだ。ChatGPTの「GPT」はまさにこれ。OpenAIが開発してきたモデルシリーズの名前でもあるよ！

GPTとは

GPT（Generative Pre-trained Transformer） とは、OpenAIが開発した Transformerのデコーダーアーキテクチャ を使い、大量のテキストで事前学習した言語モデルシリーズです。「G（Generative：生成）」「P（Pre-trained：事前学習）」「T（Transformer）」の略です。

GPTの動作原理は 自己回帰（Autoregressive） と呼ばれるシンプルな考え方です。入力されたテキスト（プロンプト）を受け取り、「次に来る可能性が最も高い単語（トークン）」を逐次的に予測・生成します。これを繰り返すことで、文章・コード・詩・メール・コードなど多様なテキストを生成できます。

GPT-1（2018年）から始まり、GPT-2・GPT-3・GPT-4と規模を拡大するたびに能力が飛躍的に向上しました。特に ChatGPT（GPT-3.5/4ベース） は2022年11月の公開後5日で100万ユーザーを突破し、AIの社会普及を加速させた歴史的プロダクトです。現在はAPIとして多くのサービスに組み込まれており、システム発注の文脈でも「OpenAI APIを使ったチャットボット」という形でよく登場します。

GPTシリーズの進化

バージョン	発表年	パラメータ数	主な特徴
GPT-1	2018年	1.17億	Transformerデコーダーの有効性実証
GPT-2	2019年	15億	文章生成品質が高く「危険」と評価される
GPT-3	2020年	1,750億	Few-shot学習・APIの商用提供開始
GPT-3.5	2022年	非公開	ChatGPTのベース。RLHFで対話特化
GPT-4	2023年	非公開	マルチモーダル（画像入力対応）・高精度
GPT-4o	2024年	非公開	音声・画像・テキスト統合。高速・低コスト

GPTの生成フロー

歴史と背景

2018年 — OpenAIがGPT-1発表。事前学習＋ファインチューニングの有効性を実証
2019年 — GPT-2（15億パラメータ）発表。生成能力が高すぎると公開を一部制限
2020年 — GPT-3（1,750億パラメータ）発表。数例提示だけで多様タスクをこなす「Few-shot学習」を実証
2021年 — OpenAI API商用提供開始。多くのスタートアップがGPTを組み込んだサービスを構築
2022年11月 — ChatGPT（GPT-3.5ベース）公開。5日で100万ユーザー、2ヶ月で1億ユーザー突破
2023年3月 — GPT-4発表。画像入力対応・複雑な推論能力が大幅向上
2024年5月 — GPT-4o発表。音声・画像・テキストのリアルタイム統合処理

RLHF（人間フィードバックによる強化学習）

ChatGPTが「役立つ・安全・無害」な応答をするのは、RLHF（Reinforcement Learning from Human Feedback） という学習手法のおかげです。

ステップ	内容
1. 事前学習	大量のテキストで基本的な言語能力を習得
2. 指示学習（SFT）	「良い応答の例」でファインチューニング
3. 報酬モデル学習	人間が「A・Bどちらが良い応答か」を評価
4. 強化学習（PPO）	報酬を最大化するよう生成を最適化