ハッシュ関数 はっしゅかんすう
簡単に言うとこんな感じ!
どんなデータも、決まった長さの「整理番号」に変える計算だよ。同じデータからはいつも同じ番号が出るから、ファイルが壊れていないかの確認や、データの置き場所決め、サーバーへの振り分けに大活躍。ネットワークの裏方の大黒柱ってこと!
ハッシュ関数とは
ハッシュ関数(Hash Function) は、文章・ファイル・IP アドレスなど、どんな長さのデータからも 決まった長さの値(ハッシュ値) を返す計算です。大事なのは 同じ入力からは必ず同じ値が出る こと。入力が少しでも違えば、ほぼ確実に違う値になります。
セキュリティでは、改ざんを見抜く「データの指紋」として注目されます(セキュリティの分類の ハッシュ関数 を参照)。一方、ネットワークやデータの実務では、もっと地味で大量の仕事をしています。①データが壊れずに届いたかの確認、②大量のデータから一瞬で目当てを探す仕組み(ハッシュテーブル)、③複数のサーバーへの公平な振り分け の3つです。
たとえるなら図書館の 分類番号 です。決まった計算で番号を出せば、どの棚に置くか・探すかがすぐわかり、番号が台帳と違えば取り違えにも気づけます。
実務での3つの使い道
| 使い道 | やっていること | 身近な例 |
|---|---|---|
| 整合性の確認 | 送る前後のハッシュ値を比べ、違えば「壊れた」と判断 | ダウンロードの SHA-256 値、クラウドへのアップロード確認 |
| ハッシュテーブル | キーのハッシュ値から置き場所を直接計算する | キー・バリュー型DB、キャッシュ |
| 負荷分散 | 接続元やキーのハッシュ値で担当サーバーを決める | ロードバランサー、経路選択(ECMP)、シャーディング |
用途で選ぶハッシュ関数の種類
| 種類 | 代表例 | 特徴 | 向いている用途 |
|---|---|---|---|
| CRC | CRC32 | とても速い。偶然の壊れは見抜くが、わざとの改ざんは見抜けない | 通信やディスクの誤り検出 |
| 高速ハッシュ | xxHash など | 速く、値がよくばらつく。安全性はない | ハッシュテーブル、振り分け |
| 暗号学的ハッシュ | SHA-256 など | 遅めだが、狙って同じ値を作れない | 改ざん検知、署名 |
イーサネットのデータの末尾には CRC が付き、途中で壊れたものは捨てられます。ただし中身と CRC をいっしょに書き換えられるとすり抜けます。「事故」なら CRC、「悪意」まで防ぐなら暗号学的ハッシュ と覚えましょう。
振り分けの仕組み:余りで決める方法と、輪で決める方法
いちばん単純な振り分けは、「ハッシュ値をサーバーの台数で割った 余り」で担当を決める方法です。3台なら余りの0・1・2で担当が決まります。同じ接続元は毎回同じサーバーに行くので、ログイン状態を保つのにも便利です。
困るのは台数が変わったときです。3台を4台にすると割る数が変わり、ほとんどのデータの担当が入れ替わり、キャッシュの中身が一斉に使えなくなります。
これを解決したのが コンシステントハッシュ です。ハッシュ値の範囲を時計のような 輪 に見立て、サーバーもデータも輪に置き、データは「時計回りで最初に出会うサーバー」が担当します。1台増えても、動くのは隣の区間のデータだけです。
あるよ!これを 衝突 っていうんだ。長いデータを決まった長さに縮めるんだから、理屈の上では必ず起きる。
ハッシュテーブルや振り分けでは、同じ棚に複数入れられるように作ってあるから大丈夫。困るのは改ざん確認で、MD5 や SHA-1 は わざと衝突を作る方法 が見つかっちゃった。だから確認用には SHA-256 以上を使うってこと!
意外とあるよ。ファイル連携 で「受け取ったデータが欠けていないか、どう確かめますか?」と聞くと、ハッシュ値を一緒に送る作りかがわかるんだ。
あとは「サーバーを増やしたら、ログイン中の人やキャッシュはどうなりますか?」って聞いてみて。振り分けをちゃんと考えている業者さんなら、すぐ答えが返ってくるはずだよ!
歴史と背景
- 1950年代:IBM でハッシュによる検索の考え方が生まれ、ハッシュテーブルとして広まる
- 1960年代:誤り検出の CRC が考案され、のちにイーサネットやディスクで広く使われる
- 1992年:MD5 が RFC 1321 として公開され、長く使われる
- 1997年:Karger らがコンシステントハッシュを発表。Web キャッシュを分散する研究で、CDN の基礎になる
- 2000年:RFC 2992 が、ハッシュで経路を選ぶ ECMP(等コストマルチパス)の動きを分析
- 2001〜2002年:米国 NIST が SHA-256 を含む SHA-2 を公表
- 2016年:Google が、ハッシュで振り分けるロードバランサー Maglev を論文で公開
実務のポイント
- ファイル連携・データ移行で、送る前後のハッシュ値を比べる手順を決めたか
- 改ざん対策が要る場面で、CRC や MD5 で済ませていないか
- バックアップ の検証に、ハッシュ値の照合を入れているか
- ロードバランサーの振り分け方式と、サーバー増減時の影響を確認したか
- キャッシュや分散 DB の台数を変えたとき、データがどれだけ動くか説明を受けたか
関連する規格・RFC
| 規格・RFC番号 | 内容 |
|---|---|
| RFC 6234 | SHA-2 系のハッシュ関数と参照用のプログラム |
| RFC 2992 | ハッシュで経路を選ぶ ECMP の分析 |
| RFC 9530 | HTTP でデータのハッシュ値を送る Digest Fields |
| FIPS 180-4 | NIST による SHA-1・SHA-2 の標準 |
参考文献・外部リンク
- Hash Functions(NIST CSRC) — 米国 NIST が認めるハッシュ関数と方針
- Checking object integrity(Amazon S3) — クラウドでのチェックサムの使い方
- ngx_http_upstream_module(nginx) — hash や ip_hash による振り分けの設定
- Maglev: A Fast and Reliable Software Network Load Balancer(Google Research) — ハッシュで振り分ける大規模ロードバランサーの論文
関連用語
- ハッシュ関数(セキュリティ) — 改ざん検知など、安全性の面からの解説
- SHA-256 — ファイル確認で標準的なハッシュ関数
- ロードバランサー — ハッシュで接続先のサーバーを選ぶ装置
- CDN — コンシステントハッシュを使う配信網
- キー・バリュー型DB — ハッシュテーブルの考え方で速く読み書きする DB
- シャーディング — ハッシュでデータを複数のサーバーに分ける方法