データベース基本概念

OLTP・OLAP おーえるてぃーぴー・おーえるえーぴー

トランザクション処理分析処理データウェアハウス行指向・列指向HTAPBI
OLTP・OLAPについて教えて

簡単に言うとこんな感じ!

OLTP は「レジ係」、OLAP は「売上を分析する店長」だよ。レジは1件ずつの会計を素早く大量にこなし、店長は1年分のレシートをまとめて眺めて傾向を探す。仕事の中身が違うから、得意なデータベースも違うんだ!


OLTP・OLAPとは

OLTP(オーエルティーピー、Online Transaction Processing:オンライン取引処理)は、注文の登録、在庫の引き当て、入金の記録のように、小さな処理を大量に・すぐにこなす使い方です。1回の処理で触るのは数件だけですが、同時に何百人・何千人が使い、1件あたり数ミリ秒〜数十ミリ秒で返すことが求められます。データが途中で食い違わないよう、トランザクションと ACID 特性で守るのが基本です。

OLAP(オーエルエーピー、Online Analytical Processing:オンライン分析処理)は、「過去3年の商品別・地域別・月別の売上」のように、大量のデータを集計して傾向を見る使い方です。1回の問い合わせで何千万〜何十億行を読むこともあり、数秒〜数分かかっても許されます。使うのは経営企画やマーケティングの担当者など、比較的少人数です。

この2つは得意な仕組みが正反対なので、1つのデータベースで両方をやらせると、お互いの足を引っ張ります。月末に重い集計を業務用の DB で流したら、レジ(受注画面)が固まった——というのはよくある事故です。そのため多くの会社では、業務用の DB(OLTP)から分析用の基盤(OLAP)へデータを写して使い分けます。

クラウドのデータベースサービスをイメージしたイラスト

OLTP と OLAP の違い

観点OLTPOLAP
主な処理登録・更新・削除と、少しの読み取り大量の読み取りと集計
1回で触る行数数件〜数十件数百万〜数十億行
返す速さミリ秒秒〜分
使う人数多い(顧客・現場の全員)少ない(分析担当・経営層)
データの新しさ今この瞬間前日まで、数分前まで など
表の設計正規化して重複をなくす非正規化・スタースキーマで集計しやすく
保存のしかた行指向(1件分をまとめて置く)列指向(列ごとにまとめて置く)
代表例MySQL、PostgreSQL、Oracle、SQL ServerBigQuery、Amazon Redshift、Snowflake

行指向と列指向

行指向は、1件の注文の「日時・顧客・商品・金額」を隣どうしに置きます。1件をまるごと読み書きする OLTP に向いています。列指向は、「金額」なら金額だけを何億件分まとめて置きます。「売上の合計」なら金額の列だけ読めばよく、同じ種類の値が並ぶので圧縮もよく効きます。100列ある表で5列だけ使う集計なら、読む量はおよそ20分の1です。

業務システム 受注・在庫 会計・顧客 OLTP(行指向) ETL・ELT 写す・整える データウェアハウス 集計・分析 BI のグラフ OLAP(列指向)
うちは社員50人くらい。分析用の基盤なんて大げさじゃない?

規模によってはその感覚で正しいよ!データが数百万件程度なら、業務 DB の読み取り専用のコピー(リードレプリカ)に集計をさせるだけで、受注画面への影響はかなり防げるんだ。

分析専用の基盤が効いてくるのは、複数のシステムのデータを掛け合わせたいとき。販売と会計と広告のデータを1か所にそろえたくなったら、検討のタイミングってこと!

「リアルタイムで分析したい」って言ったら、開発会社が困った顔をしたんだけど……

「リアルタイム」の中身があいまいだからかも!何分前のデータまで見えればいいかを数字で伝えるといいよ。

前日分で足りるなら夜間の一括コピーで安く済むし、数分前が必要なら変更をすぐ写す仕組み(CDC)が要る。秒単位なら両方を1台でこなす HTAP 型の DB も候補になるけど、費用は上がるんだ。


歴史と背景

  • 1960年代:航空会社の座席予約システム(SABRE)など、端末から即座に処理するオンライン処理が実用化
  • 1960年代末:IBM がオンライン取引処理の基盤 CICS を出す。銀行や保険の勘定系で長く使われる
  • 1992年:ビル・インモンが『Building the Data Warehouse』で、分析用データを業務系と分けて集める考え方を広める
  • 1993年:E.F.コッドが「OLAP」という言葉と、その評価のための12のルールを示す
  • 1996年:ラルフ・キンボールが、集計しやすい表の形「スタースキーマ」などの設計法を本にまとめる
  • 2000年代半ば:列指向のデータベースの研究と製品化が進む
  • 2010年代:BigQuery、Amazon Redshift、Snowflake など、クラウドの列指向データウェアハウスが普及
  • 2014年ごろ:両方を1つで担う HTAP(Hybrid Transactional/Analytical Processing)という言葉が広まる

使い分けの選択肢

構成しくみ向くケース
業務 DB で直接集計そのまま SQL で集計データが少ない、たまにしか集計しない
リードレプリカで集計業務 DB の読み取り専用コピーを使う業務画面への影響だけは避けたい
データウェアハウスETL・ELT で写して集める複数システムの横断分析、長期間の集計
HTAP 型の DB1つの DB の中に行指向と列指向を持つ秒単位の新しさで分析したい

実務のポイント

  • 重い集計や帳票の出力が、業務 DB で直接動いていないか(月末・期末に画面が遅くならないか)
  • 「分析で見たいデータは何分前まで新しければよいか」を数字で決めたか
  • 分析に使うシステムの一覧(販売、会計、顧客管理、広告など)と、つなぐ順番を決めたか
  • 分析基盤の料金が「読んだデータの量」で決まる場合、上限や見積もりの方法を確認したか
  • 個人情報を分析基盤に写すとき、伏せる・絞る・権限を分けるといった扱いを決めたか
  • 数字の定義(「売上」は税込か、返品を引くか)を部署間でそろえたか

関連する規格・RFC

OLTP・OLAP そのものを定める公的な規格はありません。性能を比べる業界共通のものさしとして、次のベンチマークがよく使われます。

ベンチマーク内容
TPC-C受注処理を模した OLTP の性能のベンチマーク
TPC-H意思決定支援(分析)向けのベンチマーク
TPC-DSより複雑な分析処理を想定したベンチマーク

参考文献・外部リンク


関連用語

シス担のミカタ メールマガジン

セキュリティの速報とシステムの最新情報をメールで受け取る

登録すると、次の配信からお届けします。配信はメールの下のリンクから、いつでも解除できます。個人情報の取り扱い