AI・機械学習

自然言語処理（NLP）しぜんげんごしょり

テキスト解析形態素解析感情分析機械翻訳チャットボット大規模言語モデル

自然言語処理（NLP）について教えて

簡単に言うとこんな感じ！

人間が普段使う言葉（文章や会話）をコンピューターに理解・操作させる技術だよ！機械翻訳・チャットボット・感情分析・文書要約など、テキストに関わるAI機能はほぼ全部これ。ChatGPTだって、NLPの最先端技術の結晶なんだよ！

自然言語処理（NLP）とは

自然言語処理（NLP: Natural Language Processing） とは、人間が日常的に使う言語（自然言語）をコンピューターで処理・理解・生成する技術・研究分野の総称です。「自然言語」とは人工的なプログラミング言語と対比した概念で、日本語・英語・中国語など人間が自然に使う言語を指します。

NLPの技術は大きく分けると 言語の「理解」（NLU: Natural Language Understanding） と 言語の「生成」（NLG: Natural Language Generation） に分かれます。理解では文書分類・感情分析・情報抽出・質問応答などが対象で、生成では機械翻訳・文書要約・チャットボット・文章生成などが対象です。

現代のNLPはほぼすべて Transformer ベースのモデル（BERTやGPTシリーズ）で高精度が実現されています。企業がチャットボット・自動要約・レビュー分析・FAQ自動化などを導入する際は、必ずこのNLP技術が中核に使われています。発注・選定時は「どのNLPタスクを解くか」を明確にすることが重要です。

NLPのタスク分類

NLP処理の基本パイプライン

ステップ	処理内容	例
1. テキスト前処理	クリーニング・正規化	記号除去・大文字統一
2. トークナイゼーション	単語・サブワード分割	「東京都」→「東京」「都」
3. ベクトル化	テキストを数値に変換	Word2Vec・BERT埋め込み
4. モデル推論	タスクに応じた処理	分類・生成・抽出
5. 後処理	出力の整形・フィルタリング	スコアしきい値適用

歴史と背景

1950年代 — アラン・チューリングが「機械翻訳」の可能性を提唱
1960年代 — ルールベースの機械翻訳プロジェクト開始（精度は低い）
1990年代 — 統計的手法（確率モデル）が主流に。コーパス（文章データベース）活用
2013年 — Word2Vec 発表。単語の意味をベクトルで表現する手法が登場
2017年 — Google がTransformer アーキテクチャを発表。NLPに革命
2018年 — BERT 発表。多くのNLPベンチマークで人間を超える精度
2019年〜 — GPT-2/3/4 シリーズが文章生成の精度を飛躍的に向上
2022年〜 — ChatGPT 公開でNLPが一般に広まり、業務活用が爆発的に拡大

日本語NLPの特徴

課題	内容	対応手法
分かち書き不要の文字体系	英語と違い単語間にスペースなし	形態素解析（MeCab・SudachiなどのOSSが必要）
漢字・ひらがな・カタカナ混在	同じ意味でも複数の表記パターン	正規化処理・多言語対応モデル
敬語・口語の多様性	書き言葉と話し言葉の差が大きい	ドメイン特化ファインチューニング
少ない学習データ	英語と比べて日本語のデータセットが少ない	多言語モデル（mBERT・XLM-R）活用

規格・RFC番号	内容
ISO 24616	言語資源管理の国際規格
Unicode	多言語テキストの文字コード標準