データアーキテクチャ

データメッシュ でーためっしゅ

データメッシュデータプロダクトドメインオーナーシップフェデレーテッドガバナンスセルフサービス基盤
データメッシュってデータウェアハウスと何が違うの?

簡単に言うとこんな感じ!

全社のデータを情報システム部門が1か所に集めて面倒を見るんじゃなくて、「営業のデータは営業が、物流のデータは物流が、責任を持って使いやすく整えて出す」という分担のやり方だよ。製品の名前じゃなくて、組織とルールの考え方なんだ。共通のルールと道具だけは全社でそろえるってこと!


データメッシュとは

データメッシュ(Data Mesh) は、分析用のデータを事業部門(ドメイン)ごとに分担して持ち、責任を持って提供するというデータ管理の考え方です。2019年に、コンサルティング会社 Thoughtworks の Zhamak Dehghani が提唱しました。「メッシュ」は網の目のことで、各部門のデータが網のようにつながるイメージです。

これまでの一般的なやり方は、全社のデータをデータウェアハウスやデータレイクに集め、中央のデータチームが整えて配るものでした。ところが会社が大きくなると、各部門から「このデータを使えるようにして」という依頼が中央に集中し、何か月も待たされる、ということが起きます。しかも中央のチームは、各業務の細かい事情に気づきにくいのです。

データメッシュは、この中央のボトルネックを解くために、データを一番よく知っている部門に責任を持たせます。たとえるなら、各店舗が料理を作り、衛生ルールと厨房の設備は本部が共通で用意する、という形です。

クラウドのサービスをイメージしたイラスト

データメッシュの4つの原則

原則内容たとえ
① ドメインによる所有データを生み出す部門が、そのデータに責任を持つ料理は各店舗が作る
② プロダクトとしてのデータ他部門が使いやすいよう、説明・品質・更新時期を決めて提供するメニューに材料と量を書いて出す
③ セルフサービスの基盤保存・加工・公開の道具を共通で用意し、各部門が自分で使える厨房の設備は本部がそろえる
④ 連邦型のガバナンス命名・セキュリティ・個人情報の扱いなど、全社共通のルールを代表者の合議で決める衛生ルールは全店共通

②のデータプロダクトとは、データを「作って置いておくもの」ではなく「利用者のいる製品」として扱う考え方です。担当者(オーナー)、項目の意味、更新のタイミング、品質の約束などをはっきりさせ、データカタログで探せるようにします。

営業部門受注データ 物流部門出荷データ マーケティング部門顧客の反応データ 共通の基盤(保存・加工・公開・カタログ) 全社共通のルール(命名・権限・個人情報・品質)
うちは社員300人くらいなんだけど、データメッシュにしたほうがいいの?

正直、多くの場合はまだ要らないと思うよ!データメッシュは、部門がたくさんあって、中央のデータチームがパンクしている大きな組織のための考え方なんだ。

各部門にデータを任せるには、部門の中にデータを扱える人が必要だよね。その人がいないのに形だけ分散すると、ルールがばらばらのデータが散らばるだけになっちゃう。まずは中央でしっかり整えて、「データの持ち主を決める」「項目の意味を書き残す」といった考え方の一部だけ取り入れるのがおすすめってこと!


歴史と背景

  • 2010年代:データレイクが普及する一方、整理されないまま「データの沼」になる失敗も増える
  • 2019年:Dehghani が Martin Fowler のサイトで、集中型のデータレイクから分散型のデータメッシュへ移る考え方を発表
  • 2020年:同じサイトで4つの原則を整理した記事を公開
  • 2022年:Dehghani が書籍『Data Mesh』(O’Reilly)を出版
  • 現在:大企業を中心に取り入れる例がある一方、一部の原則だけを採る会社も多い

データウェアハウス・データレイクとの比較

比べる点データウェアハウスデータレイクデータメッシュ
データの持ち主中央のデータチーム中央のデータチーム各事業部門
強み品質がそろう、分析が速い何でも安くためられる部門の知識が生きる、待ちが減る
弱み中央に依頼が集中する整理しないと沼になる部門に人と予算が必要

データメッシュは、データウェアハウスやデータレイクを置き換えるものではありません。各部門が自分のデータプロダクトをデータウェアハウスの中に作る、というように、技術としては組み合わせて使うのがふつうです。考え方の土台は、システムを業務の単位で分けるドメイン駆動設計やマイクロサービスと共通しています。

ベンダーから「データメッシュ対応の製品です」って提案されたら?

ちょっと注意してね!データメッシュは製品を買えば実現するものじゃないんだ。製品が手伝えるのは③の共通の基盤くらいで、①の「どの部門が持つか」や④の「全社のルールを誰が決めるか」は、社内で決めることなんだよ。

だから「製品を入れたあと、どの部門の誰が何の責任を持つのか」「そのための人と予算はあるか」を先に話し合ってね。そこが決まらないままだと、高い道具だけが残るってこと!


実務のポイント

  • 中央のデータチームへの依頼が実際に滞っているか、課題を数字で確認したか
  • 各部門にデータを扱える担当者(データプロダクトのオーナー)を置けるか
  • 命名・権限・個人情報の扱いなど、全社共通のルールを決める会議体があるか
  • データプロダクトごとに、項目の意味・更新時期・品質の約束を書き残す決まりがあるか
  • データカタログで、他部門がデータを探して使えるようになっているか
  • 会社全体のITガバナンスと矛盾していないか

関連する規格・RFC

規格内容
ISO/IEC 38505-1データのガバナンスについて、経営陣が果たすべき役割を示す国際規格

参考文献・外部リンク


関連用語

シス担のミカタ メールマガジン

セキュリティの速報とシステムの最新情報をメールで受け取る

登録すると、次の配信からお届けします。配信はメールの下のリンクから、いつでも解除できます。個人情報の取り扱い