データカタログ でーたかたろぐ
簡単に言うとこんな感じ!
図書館の蔵書検索みたいなものだよ!「売上のデータはどこ?」「この『顧客数』ってどう数えてるの?」を調べると、置き場所・意味・担当者がすぐ出てくる。正しいデータを迷わず使えるようにする仕組みなんだ!
データカタログとは
データカタログ(Data Catalog) は、社内のデータ(データベースの表、ファイル、ダッシュボードなど)を一覧にして、検索・説明・管理ができるようにした目録です。データそのものではなく、「どこに・何が・どんな意味で・誰の責任で」あるかという メタデータ(データについてのデータ) を集めて管理します。
会社が大きくなると、基幹システム、データウェアハウス、データレイクなどにデータが散らばり、「似た名前の表が3つあってどれが正しいか分からない」「担当者が辞めて意味が分からない列がある」といったデータの迷子が起きます。
データカタログはこの迷子を減らし、現場の人が自分でデータを見つけて使える状態(セルフサービス分析)を支えます。個人情報を含む列に印を付けるなど、データガバナンス(データを正しく安全に使うためのルールと体制) の土台にもなります。
仕組み:集める・整える・探す
多くの製品はクローラー(自動で巡回して情報を集めるプログラム) で表の名前や列の型を集め、そこに人が「この列は税込みの売上」といった説明を足します。集める情報は大きく4種類です。
| メタデータの種類 | 中身の例 | 主に書く人 |
|---|---|---|
| 技術メタデータ | 表・列の名前、データの型、置き場所 | 自動収集 |
| ビジネスメタデータ | 用語の定義、計算方法、利用上の注意 | 業務部門 |
| 運用メタデータ | 最終更新日時、件数、品質チェックの結果 | 自動収集 |
| 管理メタデータ | 担当者(データオーナー)、機密区分、利用条件 | 管理部門 |
ビジネス用語集
「売上」「有効会員」のような言葉を会社としての定義で1か所にまとめたものがビジネス用語集です。部署ごとに数え方が違うと会議で数字が合いません。技術者向けの列の説明書であるデータディクショナリと違い、業務の言葉まで含めて誰でも探せるのがカタログの特徴です。
リネージ(データの系譜)
データリネージは「この数字はどの表から、どう加工されて作られたか」をたどる情報で、元の表を変えるときの影響調べに役立ちます。
いきなり大きな製品を買う必要はないよ!まずはよく使うデータ10〜20個の「置き場所・意味・担当者・更新のタイミング」を表計算ソフトにまとめるだけでも、立派な第一歩なんだ。
「同じ質問が何度も情シスに来る」「部署ごとに数字が合わない」と感じたら始めどき。データがクラウドにあるなら、付属のカタログ機能から試すのが手軽だよ!
歴史と背景
- 2010年代前半:データレイクの流行で「入れたけど誰も見つけられない」状態が問題になる
- 2010年代半ば:Alation、Collibra、Apache Atlas などが登場
- 2014年:W3C がデータの目録を記述する語彙 DCAT を勧告(2024年に第3版)
- 2019〜2020年:Lyft の Amundsen、LinkedIn の DataHub など、IT 企業の社内ツールがオープンソースとして公開される
- 2020年代:データメッシュや生成 AI の普及で、「AI に正しいデータを渡す地図」としても注目される
主な製品と選び方
| 種類 | 代表例 | 向いている会社 |
|---|---|---|
| クラウド付属 | AWS Glue Data Catalog、Google Cloud の Knowledge Catalog(旧 Dataplex)、Microsoft Purview | データが特定のクラウドに集まっている |
| 専業の商用製品 | Alation、Collibra、Informatica | 全社で本格的に管理したい |
| オープンソース | Apache Atlas、DataHub、OpenMetadata | 自社で運用できる技術者がいる |
選ぶときは「自社のデータの置き場所につながるか」と「業務部門の人が使える画面か」が特に大事です。技術者向けの画面だけだと説明を書く人が増えません。
いちばん多い失敗は「入れて満足」なんだ。表の名前が何千件並んでも、説明が空っぽだと誰も使わないよね。
だからデータごとに担当者(オーナー)を決めて、よく使うものから順に説明を埋めていこう。全部を完璧にしようとすると終わらないよ!
実務のポイント
- まず載せるデータの範囲を決めたか
- データごとにオーナー(意味と品質に責任を持つ人) を決めたか
- 「売上」などの用語の定義を部署をまたいで合わせたか
- 個人情報を含む列に**データ分類のタグ**を付け、見られる人を絞ったか
- 定期的な見直しの担当と頻度を決めたか
関連する規格・RFC
| 規格 | 内容 |
|---|---|
| W3C DCAT(Data Catalog Vocabulary)Version 3 | データの目録を Web で記述・公開するための語彙 |
| ISO/IEC 11179 | メタデータを登録・管理する「メタデータレジストリ」の国際規格 |
参考文献・外部リンク
- Data Catalog Vocabulary (DCAT) - Version 3(W3C) — データカタログの記述方法の W3C 勧告
- Data Catalog and crawlers in AWS Glue — クローラーでメタデータを集める仕組みの公式解説
- About metadata in Knowledge Catalog(Google Cloud) — Google Cloud のカタログ機能の公式解説
- Learn about Microsoft Purview Unified Catalog — Microsoft のデータカタログ・ガバナンス機能の公式解説
- Apache Atlas — オープンソースのメタデータ管理・ガバナンス基盤