RNN（再帰型ニューラルネットワーク） あーるえぬえぬ（さいきがたにゅーらるねっとわーく）

---

RNN（再帰型ニューラルネットワーク）とは

RNN（Recurrent Neural Network：再帰型ニューラルネットワーク） は、系列データ（テキスト・音声・時系列データ）を処理するために設計されたニューラルネットワークです。通常のニューラルネットワークと異なり、前のステップの出力（隠れ状態 h）を現在のステップの入力と合わせて使うことで、過去の情報を「記憶」しながら処理します。

テキスト処理では「猫が魚を食べた」という文章を1単語ずつ読み込み、各ステップで前の単語の文脈を保持しながら次の単語を予測します。音声認識では音声波形を時系列として処理し、時系列予測では過去のデータを記憶しながら次の値を予測します。

ただし、長い系列では遠い過去の情報が薄れる勾配消失問題があり、これを解決するためにLSTM・GRUが開発されました。現在では多くのNLPタスクでTransformerに置き換えられていますが、時系列や組み込みデバイスでの利用はまだ多いです。

---

RNNの計算ステップ

時刻 t での計算:
  h_t = tanh(W_h × h_{t-1} + W_x × x_t + b)
  y_t = W_y × h_t + b_y

  h_t     : 現在の隠れ状態（記憶）
  h_{t-1} : 前の隠れ状態（過去の記憶）
  x_t     : 現在の入力
  y_t     : 現在の出力

import torch.nn as nn

# PyTorchのRNN
rnn = nn.RNN(
    input_size=100,   # 入力特徴量の次元数
    hidden_size=256,  # 隠れ状態の次元数
    num_layers=2,     # RNN層の積み重ね数
    batch_first=True  # (batch, seq, feature)の形式
)

# output: 各ステップの出力, h_n: 最終隠れ状態
output, h_n = rnn(x)

---

歴史と背景

• 1986年：Rumelhart・Hintonがバックプロパゲーションを提案。RNNの学習が可能に
• 1991年：勾配消失問題が報告される。長い系列の学習が困難と判明
• 1997年：LSTMが提案され、勾配消失問題に対処
• 2014年：GRUがよりシンプルな代替手法として提案
• 2017年：Transformerの登場でRNN系はNLPの主役を譲るが、時系列での利用は継続

---

RNNのバリアント

モデル	特徴	向いている用途
Vanilla RNN	シンプルだが勾配消失問題あり	短い系列の学習
LSTM	ゲート機構で長期依存関係を保持	長文・音声認識
GRU	LSTMを簡略化。速い	LSTMと同用途で高速版
双方向RNN	過去と未来の両方向から処理	感情分析・固有表現認識

---

関連用語

• LSTM — RNNの勾配消失問題を解決したモデル
• GRU — LSTMを簡略化したRNNのバリアント
• 双方向RNN — 両方向から処理するRNNの拡張
• 勾配消失 / 勾配爆発 — RNNで起きやすい問題
• 自己回帰モデル — RNNが使われた系列生成モデル