データメッシュ でーためっしゅ
データメッシュデータプロダクトドメイン駆動データガバナンス分散データ管理データオーナーシップ
データメッシュってデータウェアハウスと何が違うの？
簡単に言うとこんな感じ！
データウェアハウスが「全データを一箇所に集める中央集権型」なら、データメッシュは「各部門がそれぞれ自分たちのデータを責任を持って管理・提供する分散型」だよ！中央のデータチームが全部やるとボトルネックになるから、データの「所有権」を各ドメインに分散させるんだ。
データメッシュとは
データメッシュ（Data Mesh） とは、2019年にZhamak Dehghaniが提唱したデータアーキテクチャの考え方で、データの所有権と管理をドメイン（事業部門）ごとに分散させるアプローチです。
従来のデータアーキテクチャは「中央集権型」で、全データを一元管理するデータエンジニアリングチームがボトルネックになりがちでした。データメッシュは、各ドメインがデータプロダクト（利用者が使いやすい形で提供するデータ）を自律的に管理・提供します。
データメッシュの4原則
| 原則 | 内容 |
|---|---|
| 1. ドメイン指向のデータオーナーシップ | 各ビジネスドメインが自分たちのデータを所有・管理 |
| 2. データをプロダクトとして扱う | データを使いやすい形で提供する責任を持つ |
| 3. セルフサービスデータプラットフォーム | 各ドメインが独立してデータを管理できるインフラ |
| 4. フェデレーテッドガバナンス | 標準は全社共通で、実装はドメインに委譲 |
データウェアハウスとデータメッシュの比較
| 比較軸 | データウェアハウス | データメッシュ |
|---|---|---|
| 管理方式 | 中央集権 | 分散・ドメイン |
| データ所有者 | 中央データチーム | 各ビジネスドメイン |
| スケール | ボトルネックになりやすい | 水平スケールしやすい |
| 俊敏性 | 遅い | 速い |
| ガバナンス | 一元管理 | フェデレーテッド |
歴史と背景
- 2019年：Zhamak Dehghaniが「How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh」を発表
- 2020〜2022年：Thoughtworks Technology Radarでの掲載により大企業に普及