データウェアハウス でーたうぇあはうす
簡単に言うとこんな感じ!
販売・会計・ECサイトなど、あちこちのシステムに散らばったデータを1か所に集めて、分析しやすく並べ直した「分析専用の倉庫」だよ。「先月、どの地域で何が売れた?」みたいな質問に、グラフでさっと答えられるようにするための土台なんだ!
データウェアハウスとは
データウェアハウス(Data Warehouse、略して DWH) は、社内の複数の業務システムからデータを集めて整理し、分析や経営判断に使うことに特化した データベースです。ウェアハウスは英語で「倉庫」の意味です。
業務システム(受発注や会計など)は「1件の注文を素早く記録する」のが得意ですが、「過去3年分の売上を商品別・月別に集計する」ような重い処理をさせると、画面が遅くなり業務に支障が出ます。そこで、分析用のデータを別の倉庫にコピーして、そちらで集計するのが DWH の考え方です。この「記録する処理(OLTP)」と「分析する処理(OLAP)」のちがいは OLTP・OLAP を見てください。
DWH の父と呼ばれる Bill Inmon は、DWH を次の4つの性質で説明しました。
| 性質 | 意味 | 例 |
|---|---|---|
| 主題別 | 業務の手順ではなく、分析のテーマごとに整理する | 「売上」「顧客」「商品」 |
| 統合 | システムごとにバラバラな形式をそろえる | 「男/女」と「1/2」を統一 |
| 時系列 | 過去の状態も履歴として残す | 去年の会員ランクも見られる |
| 不揮発 | 基本は追加だけで、上書き・削除しない | 過去の数字が勝手に変わらない |
データが分析に届くまで
各システムからデータを取り出し、形をそろえて DWH に入れる処理を ETL・ELT と呼びます。DWH のデータは、Tableau や Power BI などの BIツール(グラフや表にして見せるソフト)で使います。
スタースキーマ:分析しやすい並べ方
DWH の中の表は、スタースキーマ という形で設計するのが定番です。真ん中に 数字の記録(ファクト表) を置き、周りに「いつ・何を・誰が・どこで」の 切り口の表(ディメンション表) を星形に並べます。
| 表の種類 | 中身 | 例 |
|---|---|---|
| ファクト表 | 取引ごとの数字 | 売上金額、数量 |
| ディメンション表(日付) | 「いつ」の切り口 | 年・月・曜日・祝日かどうか |
| ディメンション表(商品) | 「何を」の切り口 | 商品名・カテゴリ・ブランド |
| ディメンション表(顧客) | 「誰が」の切り口 | 年代・地域・会員ランク |
業務システムでは、同じ情報を何度も書かないよう表を細かく分けます(正規化)。DWH ではあえて少しまとめて、集計を速く・わかりやすくします(非正規化)。
いい質問!システムが1つだけで、Excel の集計で困っていないなら、急がなくて大丈夫だよ。
でも「販売と会計とECの数字を毎月手作業で突き合わせてる」「担当者によって売上の数字が違う」なら、検討する価値ありなんだ。今はクラウドの DWH なら 使った分だけの料金 で小さく始められるから、昔みたいに何千万円もかける必要はないってこと!
歴史と背景
- 1992年:Bill Inmon が著書『Building the Data Warehouse』で DWH を体系化
- 1996年:Ralph Kimball が『The Data Warehouse Toolkit』でスタースキーマを中心とする設計手法をまとめる
- 2000年代:Teradata・Oracle などの専用機(アプライアンス)が大企業に広まる
- 2010年代:Google BigQuery、Amazon Redshift、Snowflake などの クラウドDWH が登場。保存と計算を分けて、必要なときだけ計算資源を使える形が主流に
- 2020年代:データレイク と DWH の良いところを合わせた レイクハウス という考え方が広まる
主なクラウドDWHと比較
| 製品 | 提供元 | 特徴 |
|---|---|---|
| BigQuery | Google Cloud | サーバー管理が不要。読み込んだデータ量に応じた料金も選べる |
| Snowflake | Snowflake | AWS・Azure・Google Cloud の上で使える。他社とのデータ共有に強い |
| Amazon Redshift | AWS | AWS のほかのサービスと組み合わせやすい |
| Azure Synapse Analytics | Microsoft | Microsoft 製品(Power BI など)と組み合わせやすい |
まず「何の数字を、誰が、どのくらいの頻度で見たいか」をこちらから伝えることが大事だよ。ここがあいまいだと、立派な倉庫だけできて誰も使わない…ってことになりがちなんだ。
それから「月の費用はデータ量や使い方でどう変わるか」も必ず聞こう。クラウド DWH は使った分だけの料金だから、重い集計を何度も回すと請求が想定より増えることがあるってこと!
実務のポイント
- 見たい指標(KPI)と、その定義(「売上」に返品を含むか等)を決めたか
- どのシステムから、どの頻度(毎日・毎時など)でデータを集めるか決めたか
- データの持ち主と、品質に責任を持つ人を決めたか
- 個人情報を含むデータの扱いと、見られる人の権限を決めたか
- クラウドの料金の上限やアラートを設定したか
- 表の意味を説明する データカタログ を用意するか
参考文献・外部リンク
- What is BigQuery?(Google Cloud) — BigQuery の公式の概要
- Snowflake Documentation — Snowflake の公式ドキュメント
- Amazon Redshift(AWS) — Redshift の公式サイト
- Azure Synapse Analytics(Microsoft Learn) — Synapse の公式ドキュメント
- Dimensional Modeling Techniques(Kimball Group) — スタースキーマなど設計手法の解説