データベース基本概念

データウェアハウス でーたうぇあはうす

DWHスタースキーマBI分析基盤BigQuerySnowflake
データウェアハウスについて教えて

簡単に言うとこんな感じ!

販売・会計・ECサイトなど、あちこちのシステムに散らばったデータを1か所に集めて、分析しやすく並べ直した「分析専用の倉庫」だよ。「先月、どの地域で何が売れた?」みたいな質問に、グラフでさっと答えられるようにするための土台なんだ!


データウェアハウスとは

データウェアハウス(Data Warehouse、略して DWH) は、社内の複数の業務システムからデータを集めて整理し、分析や経営判断に使うことに特化した データベースです。ウェアハウスは英語で「倉庫」の意味です。

業務システム(受発注や会計など)は「1件の注文を素早く記録する」のが得意ですが、「過去3年分の売上を商品別・月別に集計する」ような重い処理をさせると、画面が遅くなり業務に支障が出ます。そこで、分析用のデータを別の倉庫にコピーして、そちらで集計するのが DWH の考え方です。この「記録する処理(OLTP)」と「分析する処理(OLAP)」のちがいは OLTP・OLAP を見てください。

DWH の父と呼ばれる Bill Inmon は、DWH を次の4つの性質で説明しました。

性質意味例
主題別業務の手順ではなく、分析のテーマごとに整理する「売上」「顧客」「商品」
統合システムごとにバラバラな形式をそろえる「男/女」と「1/2」を統一
時系列過去の状態も履歴として残す去年の会員ランクも見られる
不揮発基本は追加だけで、上書き・削除しない過去の数字が勝手に変わらない
クラウドのサービスをイメージしたイラスト

データが分析に届くまで

販売システム 会計・ERP ECサイト ETL / ELT 集める・整える DWH 分析用の倉庫 BIツール グラフ・表

各システムからデータを取り出し、形をそろえて DWH に入れる処理を ETL・ELT と呼びます。DWH のデータは、Tableau や Power BI などの BIツール(グラフや表にして見せるソフト)で使います。


スタースキーマ:分析しやすい並べ方

DWH の中の表は、スタースキーマ という形で設計するのが定番です。真ん中に 数字の記録(ファクト表) を置き、周りに「いつ・何を・誰が・どこで」の 切り口の表(ディメンション表) を星形に並べます。

表の種類中身例
ファクト表取引ごとの数字売上金額、数量
ディメンション表(日付)「いつ」の切り口年・月・曜日・祝日かどうか
ディメンション表(商品)「何を」の切り口商品名・カテゴリ・ブランド
ディメンション表(顧客)「誰が」の切り口年代・地域・会員ランク

業務システムでは、同じ情報を何度も書かないよう表を細かく分けます(正規化)。DWH ではあえて少しまとめて、集計を速く・わかりやすくします(非正規化)。

うちみたいな中小企業でも DWH って必要なの?

いい質問!システムが1つだけで、Excel の集計で困っていないなら、急がなくて大丈夫だよ。

でも「販売と会計とECの数字を毎月手作業で突き合わせてる」「担当者によって売上の数字が違う」なら、検討する価値ありなんだ。今はクラウドの DWH なら 使った分だけの料金 で小さく始められるから、昔みたいに何千万円もかける必要はないってこと!


歴史と背景

  • 1992年:Bill Inmon が著書『Building the Data Warehouse』で DWH を体系化
  • 1996年:Ralph Kimball が『The Data Warehouse Toolkit』でスタースキーマを中心とする設計手法をまとめる
  • 2000年代:Teradata・Oracle などの専用機(アプライアンス)が大企業に広まる
  • 2010年代:Google BigQuery、Amazon Redshift、Snowflake などの クラウドDWH が登場。保存と計算を分けて、必要なときだけ計算資源を使える形が主流に
  • 2020年代:データレイク と DWH の良いところを合わせた レイクハウス という考え方が広まる

主なクラウドDWHと比較

製品提供元特徴
BigQueryGoogle Cloudサーバー管理が不要。読み込んだデータ量に応じた料金も選べる
SnowflakeSnowflakeAWS・Azure・Google Cloud の上で使える。他社とのデータ共有に強い
Amazon RedshiftAWSAWS のほかのサービスと組み合わせやすい
Azure Synapse AnalyticsMicrosoftMicrosoft 製品(Power BI など)と組み合わせやすい
ベンダーに「DWH を作りましょう」と言われたら、何を確認すればいい?

まず「何の数字を、誰が、どのくらいの頻度で見たいか」をこちらから伝えることが大事だよ。ここがあいまいだと、立派な倉庫だけできて誰も使わない…ってことになりがちなんだ。

それから「月の費用はデータ量や使い方でどう変わるか」も必ず聞こう。クラウド DWH は使った分だけの料金だから、重い集計を何度も回すと請求が想定より増えることがあるってこと!


実務のポイント

  • 見たい指標(KPI)と、その定義(「売上」に返品を含むか等)を決めたか
  • どのシステムから、どの頻度(毎日・毎時など)でデータを集めるか決めたか
  • データの持ち主と、品質に責任を持つ人を決めたか
  • 個人情報を含むデータの扱いと、見られる人の権限を決めたか
  • クラウドの料金の上限やアラートを設定したか
  • 表の意味を説明する データカタログ を用意するか

参考文献・外部リンク


関連用語

シス担のミカタ メールマガジン

セキュリティの速報とシステムの最新情報をメールで受け取る

登録すると、次の配信からお届けします。配信はメールの下のリンクから、いつでも解除できます。個人情報の取り扱い