データメッシュ でーためっしゅ
簡単に言うとこんな感じ!
全社のデータを情報システム部門が1か所に集めて面倒を見るんじゃなくて、「営業のデータは営業が、物流のデータは物流が、責任を持って使いやすく整えて出す」という分担のやり方だよ。製品の名前じゃなくて、組織とルールの考え方なんだ。共通のルールと道具だけは全社でそろえるってこと!
データメッシュとは
データメッシュ(Data Mesh) は、分析用のデータを事業部門(ドメイン)ごとに分担して持ち、責任を持って提供するというデータ管理の考え方です。2019年に、コンサルティング会社 Thoughtworks の Zhamak Dehghani が提唱しました。「メッシュ」は網の目のことで、各部門のデータが網のようにつながるイメージです。
これまでの一般的なやり方は、全社のデータをデータウェアハウスやデータレイクに集め、中央のデータチームが整えて配るものでした。ところが会社が大きくなると、各部門から「このデータを使えるようにして」という依頼が中央に集中し、何か月も待たされる、ということが起きます。しかも中央のチームは、各業務の細かい事情に気づきにくいのです。
データメッシュは、この中央のボトルネックを解くために、データを一番よく知っている部門に責任を持たせます。たとえるなら、各店舗が料理を作り、衛生ルールと厨房の設備は本部が共通で用意する、という形です。
データメッシュの4つの原則
| 原則 | 内容 | たとえ |
|---|---|---|
| ① ドメインによる所有 | データを生み出す部門が、そのデータに責任を持つ | 料理は各店舗が作る |
| ② プロダクトとしてのデータ | 他部門が使いやすいよう、説明・品質・更新時期を決めて提供する | メニューに材料と量を書いて出す |
| ③ セルフサービスの基盤 | 保存・加工・公開の道具を共通で用意し、各部門が自分で使える | 厨房の設備は本部がそろえる |
| ④ 連邦型のガバナンス | 命名・セキュリティ・個人情報の扱いなど、全社共通のルールを代表者の合議で決める | 衛生ルールは全店共通 |
②のデータプロダクトとは、データを「作って置いておくもの」ではなく「利用者のいる製品」として扱う考え方です。担当者(オーナー)、項目の意味、更新のタイミング、品質の約束などをはっきりさせ、データカタログで探せるようにします。
正直、多くの場合はまだ要らないと思うよ!データメッシュは、部門がたくさんあって、中央のデータチームがパンクしている大きな組織のための考え方なんだ。
各部門にデータを任せるには、部門の中にデータを扱える人が必要だよね。その人がいないのに形だけ分散すると、ルールがばらばらのデータが散らばるだけになっちゃう。まずは中央でしっかり整えて、「データの持ち主を決める」「項目の意味を書き残す」といった考え方の一部だけ取り入れるのがおすすめってこと!
歴史と背景
- 2010年代:データレイクが普及する一方、整理されないまま「データの沼」になる失敗も増える
- 2019年:Dehghani が Martin Fowler のサイトで、集中型のデータレイクから分散型のデータメッシュへ移る考え方を発表
- 2020年:同じサイトで4つの原則を整理した記事を公開
- 2022年:Dehghani が書籍『Data Mesh』(O’Reilly)を出版
- 現在:大企業を中心に取り入れる例がある一方、一部の原則だけを採る会社も多い
データウェアハウス・データレイクとの比較
| 比べる点 | データウェアハウス | データレイク | データメッシュ |
|---|---|---|---|
| データの持ち主 | 中央のデータチーム | 中央のデータチーム | 各事業部門 |
| 強み | 品質がそろう、分析が速い | 何でも安くためられる | 部門の知識が生きる、待ちが減る |
| 弱み | 中央に依頼が集中する | 整理しないと沼になる | 部門に人と予算が必要 |
データメッシュは、データウェアハウスやデータレイクを置き換えるものではありません。各部門が自分のデータプロダクトをデータウェアハウスの中に作る、というように、技術としては組み合わせて使うのがふつうです。考え方の土台は、システムを業務の単位で分けるドメイン駆動設計やマイクロサービスと共通しています。
ちょっと注意してね!データメッシュは製品を買えば実現するものじゃないんだ。製品が手伝えるのは③の共通の基盤くらいで、①の「どの部門が持つか」や④の「全社のルールを誰が決めるか」は、社内で決めることなんだよ。
だから「製品を入れたあと、どの部門の誰が何の責任を持つのか」「そのための人と予算はあるか」を先に話し合ってね。そこが決まらないままだと、高い道具だけが残るってこと!
実務のポイント
- 中央のデータチームへの依頼が実際に滞っているか、課題を数字で確認したか
- 各部門にデータを扱える担当者(データプロダクトのオーナー)を置けるか
- 命名・権限・個人情報の扱いなど、全社共通のルールを決める会議体があるか
- データプロダクトごとに、項目の意味・更新時期・品質の約束を書き残す決まりがあるか
- データカタログで、他部門がデータを探して使えるようになっているか
- 会社全体のITガバナンスと矛盾していないか
関連する規格・RFC
| 規格 | 内容 |
|---|---|
| ISO/IEC 38505-1 | データのガバナンスについて、経営陣が果たすべき役割を示す国際規格 |
参考文献・外部リンク
- How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh(martinfowler.com) — データメッシュを最初に提唱した記事(2019年)
- Data Mesh Principles and Logical Architecture(martinfowler.com) — 4つの原則を整理した記事(2020年)
- Data mesh(Thoughtworks Technology Radar) — 提唱元の会社による技術評価
- Data Mesh Architecture — 実装の例や構成をまとめた解説サイト
- データ利活用の推進(IPA) — 情報処理推進機構のデータ活用に関する情報