NewSQL にゅーえすきゅーえる
簡単に言うとこんな感じ!
いつものSQLで使えて、お金の計算みたいな「絶対に食い違っちゃダメ」な処理も守れるのに、サーバーを横に並べて増やせるデータベースだよ!1軒の大きな銀行の支店を、同じ帳簿を共有するたくさんの小さな窓口に分けたイメージなんだ。
NewSQLとは
NewSQL は、リレーショナルデータベース(RDB)の使い勝手と「ACID特性(取引が中途半端に終わらず、矛盾なく記録されること)」を保ったまま、サーバーを何台も並べて性能と容量を増やせる(スケールアウト) ようにしたデータベースの総称です。最近は「分散SQL(Distributed SQL)」とも呼ばれます。
従来の RDB は基本的に1台で書き込みを受けるため、大きなサーバーに買い替える(スケールアップ)しかなく、いずれ限界が来ます。一方 NoSQL は台数を増やしやすい代わりに、SQL が使えなかったり、書いた直後に古い値が読めたりするものが多くありました。NewSQL は「SQL と取引の正しさ」と「台数で伸ばせること」の両立を狙っています。
特定の製品名ではなく、考え方による分類の名前です。
仕組み:データを小分けにして、3つずつコピーする
表のデータは「A」「B」「C」のような小さな区切りに自動で分けられ(シャーディング)、それぞれが複数のサーバーにコピーされます(レプリケーション)。★は書き込みを取りまとめるリーダーです。
| 仕組み | やっていること | 利用者から見た効果 |
|---|---|---|
| 自動の分割 | データが増えたら区切りを分け、空いたサーバーへ移す | サーバーを足すだけで容量と性能が伸びる |
| 合意(Raft・Paxos) | 書き込みは過半数のコピーが「受け取った」と答えたら確定 | 1台が壊れてもデータを失わず動き続ける |
| 分散トランザクション | 複数の区切りにまたがる更新を、全部成功か全部取り消しにする | 送金も普通の RDB と同じ感覚で書ける |
「過半数で確定」がポイントで、3台なら1台、5台なら2台まで止まっても動き続けます。
そこは慎重にね!NewSQL は書き込みのたびにサーバー同士の確認が入るから、小さなシステムだとかえって遅くなるんだ。
1台の RDB とリードレプリカで足りているなら、それがいちばん安くて簡単。「書き込みが1台で受け切れない」悩みが出てから候補にすれば十分だよ!
歴史と背景
- 2006年:Google が分散ストレージ Bigtable の論文を発表。大規模データは NoSQL で、という流れが強まる
- 2011年:調査会社 451 Group の Matthew Aslett が「NewSQL」という呼び名を使い始める
- 2012年:Google が世界規模の分散 RDB「Spanner」の論文を発表。原子時計と GPS で時刻をそろえる TrueTime が話題に
- 2015年ごろ:Spanner に影響を受けた CockroachDB や、MySQL 互換の TiDB の開発が始まる
- 2017年:Google Cloud Spanner が一般向けに提供開始
- 2020年代:YugabyteDB なども広がり、「分散SQL」としてクラウドで選べるようになる
RDB・NoSQL・NewSQLの比べ方
| 観点 | 従来のRDB | NoSQL | NewSQL |
|---|---|---|---|
| SQL | そのまま使える | 製品ごとの独自の書き方が多い | ほぼ使える(一部未対応) |
| 取引の正しさ(ACID) | 強い | 弱めの製品が多い | 強い |
| 台数で伸ばす | 書き込みは苦手 | 得意 | 得意 |
| 1件あたりの速さ | 速い | 速い | 確認の往復があり、やや遅め |
主な製品
| 製品 | 特徴 |
|---|---|
| Google Cloud Spanner | Google のクラウド専用。地域をまたいでも矛盾しない |
| CockroachDB | PostgreSQL に近い書き方。自社運用も可 |
| TiDB | MySQL 互換。分析向けの仕組みも持つ |
| YugabyteDB | PostgreSQL 互換 |
世界の複数の地域にまたがる グローバル分散DB として使える製品も多くあります。
「だいたい動く」と思っておくのが安全だよ!互換といっても、ストアドプロシージャや一部の関数、ロックの細かい動きが違うことがあるんだ。
連番の ID だと書き込みが1つの区切りに集中することもあるから、本番並みのデータと負荷で試験移行してもらおう!
実務のポイント
- 今の RDB で何が足りないのかを数字で説明できるか
- 既存のアプリで使う SQL の機能が互換の範囲に入っているかを一覧で確認したか
- 連番のキーなど、書き込みが一か所に偏る設計になっていないか
- コピーを何台・どの地域に置くかと、その分の料金を見積もりに入れたか
- 運用できる技術者がいるか。マネージドサービスにするか決めたか
- バックアップと、特定の時点に戻す手順(PITR)があるか
関連する規格・RFC
| 規格 | 内容 |
|---|---|
| ISO/IEC 9075 | SQL 言語の国際規格。NewSQL の SQL もこれがもと |
参考文献・外部リンク
- What’s Really New with NewSQL?(PDF) — 名付け親の Aslett らが NewSQL を整理した 2016年の論文
- Spanner: Google’s Globally-Distributed Database(Google Research) — Spanner の論文
- TrueTime and external consistency(Google Cloud) — Spanner が時刻で一貫性を守る仕組みの公式解説
- Architecture Overview(CockroachDB Docs) — 分割・複製・合意の仕組みの公式解説
- The Raft Consensus Algorithm — 多くの NewSQL が使う合意の仕組み Raft の解説
関連用語
- リレーショナルデータベース — 表と SQL で扱う従来の DB。NewSQL の出発点
- NoSQL — 台数で伸ばしやすい代わりに一貫性を緩めがちな DB の総称
- ACID特性 — NewSQL が守ろうとする取引の正しさの4条件
- シャーディング — データを複数のサーバーに分けて置く方法
- レプリケーション — データのコピーを別のサーバーに持つ仕組み
- スケールアップ/スケールアウト — サーバーを大きくするか、台数を増やすか
- グローバル分散DB — 世界の複数の地域にまたがって置くデータベース
- DBaaS — NewSQL もクラウドのマネージドサービスで使うことが多い