AI/MLインフラ（クラウド）

データカタログでーたかたろぐ

メタデータデータガバナンスデータ検索データリネージデータマネジメントデータ品質

データカタログについて教えて

簡単に言うとこんな感じ！

会社の中に散らばってる大量のデータを「図書館の目録」みたいに整理したシステムだよ！「あのデータ、どこにあるっけ？」「これ、誰が作ったやつ？」が一発で検索できるようになるんだ。データ探しにかかる時間をぐっと減らしてくれる便利なツールってこと！

データカタログとは

データカタログとは、組織が保有するデータ資産を体系的に整理・管理し、誰でも必要なデータを検索・発見できるようにするシステムです。データベース、ファイル、APIなど社内のあらゆるデータについて「どこにあるか」「何が入っているか」「誰が管理しているか」といった情報（メタデータ）を一元的に集約します。

たとえば「先月の東日本エリアの売上データ」を探したいとき、従来は各部署に問い合わせたり、複数のシステムをたぐり寄せたりする必要がありました。データカタログがあれば、キーワード検索するだけで「どのサーバーの、どのテーブルに、どんな形式で、誰の承認があれば使えるか」まで即座にわかります。

近年、AI・機械学習プロジェクトの増加やクラウド活用の拡大によって、扱うデータの種類と量が爆発的に増えています。データカタログはデータガバナンス（データの品質・セキュリティ・利活用を管理する取り組み）の中核ツールとして、データドリブン経営を支える重要なインフラになっています。

データカタログが管理する情報

データカタログが扱う情報は大きく3種類に分類できます。

種類	内容	具体例
技術メタデータ	データの構造・形式・保存場所	テーブル名、カラム定義、ファイル形式、データベースのURL
ビジネスメタデータ	データの意味・用途・オーナー	「この列は税込み価格」「管理者: 経理部田中さん」
運用メタデータ	データの更新履歴・品質情報	最終更新日時、データ件数、欠損率、アクセスログ

データリネージ（血統情報）とは

データリネージとは「このデータがどこから来て、どう加工され、どこで使われているか」を追跡する機能です。家系図のように、データの出所から現在地までの流れを可視化します。

[基幹システム] → [ETL加工] → [データウェアハウス] → [BIレポート]
     ↑ 元データ          ↑ 変換処理           ↑ 分析用DB         ↑ 最終利用

たとえば売上レポートに誤りが発覚したとき、リネージを辿れば「どの処理で誤りが混入したか」を素早く特定できます。

データカタログの主な機能まとめ

機能	説明
データ検索	キーワードやタグでデータ資産を検索
データプロファイリング	データの統計情報・品質を自動計測
データリネージ	データの流れ（源流→加工→利用）を追跡
アクセス管理	誰がどのデータを使えるかを定義
コラボレーション	データの説明・評価をチームで書き込む
自動クロール	接続したシステムからメタデータを自動収集

歴史と背景

〜2000年代: データカタログの概念はなく、Excelで手動管理する「データ台帳」が主流。メンテナンスが追いつかず形骸化しがちだった
2010年代前半: ビッグデータブームでデータレイク（大量の生データを格納する巨大な保管庫）が普及。「データはあるが、中身がわからない」問題が深刻化
2015年頃: LinkedInが社内データ管理ツール「WhereHows」をオープンソース化。データカタログという概念が注目を集め始める
2016〜2018年: Alation、Collibra、Ataccama などの専業ベンダーが台頭。エンタープライズ向けデータカタログ市場が形成される
2019〜: クラウド各社がマネージドサービスとして提供開始（AWS Glue Data Catalog、Google Cloud Dataplex、Azure Purview など）
2022年〜現在: AIによるメタデータ自動生成・自動タグ付けが実装され、「アクティブメタデータ管理」と呼ばれる次世代型データカタログへ進化中

主要なデータカタログサービスの比較

主要なクラウドプロバイダーやSaaSベンダーのデータカタログを比較します。

サービス名	提供元	特徴
AWS Glue Data Catalog	Amazon	AWSサービス（S3・Redshiftなど）との親和性が高い。ETL処理と一体運用
Google Cloud Dataplex	Google	BigQueryとの連携に強み。データ品質チェックを自動化
Microsoft Purview	Microsoft	Azure・Microsoft 365と深く統合。コンプライアンス管理に強い
Collibra	Collibra社	マルチクラウド対応のエンタープライズ向け。データガバナンス機能が充実
Alation	Alation社	機械学習による検索精度が高い。ユーザーの使い勝手重視
Apache Atlas	OSS	オープンソース。Hadoopエコシステムとの連携向け

データカタログとデータウェアハウスの違い

よく混同されますが、役割がまったく異なります。

規格・標準	内容
DCAT (W3C)	データカタログ記述のためのW3C標準語彙。異なるカタログ間でのメタデータ交換を容易にする
Dublin Core	タイトル・作成者・日付など基本的なメタデータの記述標準。データカタログの基礎語彙として使われる
ISO/IEC 11179	メタデータレジストリの国際標準。データ要素の登録・管理方法を規定
Open Metadata Standard	Collibra社などが推進するオープンなメタデータ交換フォーマット