メタデータ コネクタについて

このドキュメントでは、Knowledge Catalog（以前の Dataplex Universal Catalog）コネクタを使用して、外部のサードパーティ データソースから Knowledge Catalog にメタデータをインポートする方法について説明します。

Knowledge Catalog コネクタは、BigQuery Data Transfer Service を活用して、ソースシステムからメタデータを自動的に抽出し、Knowledge Catalog エントリ グループ内のエントリにマッピングする事前構築済みの統合を提供します。

コネクタは次の種類のメタデータを抽出します。

  • 技術メタデータ: スキーマ、データ型、列名の定義。
  • 運用メタデータ: 作成日時、変更日時、リネージ、使用状況の統計情報、データ品質の結果。
  • ビジネス メタデータ: タグ/ラベル、オーナー、アノテーション。
  • セマンティック メタデータ: ディメンション、指標、KPI、ゴールデン クエリ、リレーションシップ。

コネクタを構成すると、Knowledge Catalog は指定したスケジュールでメタデータ インポート実行をスケジュールし、カタログとソースシステムの同期を維持します。

サポートされるデータソース

Knowledge Catalog コネクタを使用して、次のソースからメタデータをインポートできます。

  • dbt Core
  • Oracle
  • MySQL
  • PostgreSQL
  • SQL Server

データ ガバナンス パートナーとの統合

Knowledge Catalog は、他のエンタープライズ データ カタログとガバナンス プラットフォームと統合できます。これらの統合により、組織のデータ環境全体でメタデータを検出して一貫性を保つことができます。また、Knowledge Catalog のメタデータを拡充したり、サードパーティ製ツール内で Knowledge Catalog のメタデータを表示したりすることもできます。

次のパートナーは、Knowledge Catalog の統合を提供しています。

仕組み

Knowledge Catalog コネクタは、BigQuery Data Transfer Service によって管理される転送構成を使用してデータソースに接続し、メタデータを抽出して、指定した Knowledge Catalog エントリ グループに取り込みます。

メタデータのインポート実行が行われるたびに、その構成で管理されている宛先エントリ グループのエントリの完全な上書きが行われます。ソースに存在しなくなったメタデータ オブジェクトはエントリ グループから削除され、新しいオブジェクトが追加されます。コネクタ構成によってインポートされなかったエントリ グループ内のオブジェクトは影響を受けません。

これらの構成は、 Google Cloud コンソールの Knowledge Catalog セクションの [コネクタ] ページで構成および管理します。

用語

このドキュメントでは、次の用語を使用します。

  • メタデータ インポート構成: BigQuery Data Transfer Service を使用してソースからメタデータを抽出し、Knowledge Catalog に読み込むスケジュール設定されたタスクまたはオンデマンド タスクの設定。
  • 実行: メタデータ インポート構成の単一の実行インスタンス。
  • エントリ グループ: メタデータ エントリを含む Knowledge Catalog のリソース。コネクタを構成するときに、インポートされたメタデータの宛先としてエントリ グループを指定します。
  • エントリ: テーブルやビューなどのデータアセットを表す Knowledge Catalog のリソース。

料金

コネクタを使用してメタデータをインポートする場合、Knowledge Catalog または BigQuery Data Transfer Service から追加料金は発生しません。

他の Knowledge Catalog の使用（メタデータ ストレージなど）には標準料金が適用されます。詳細については、Knowledge Catalog の料金をご覧ください。

制限事項

  • インポートされるのはメタデータのみで、ソーステーブルまたはビューの基になるデータはインポートされません。基盤となるデータを転送するには、BigQuery Data Transfer Service を使用します。
  • 各実行では、宛先エントリ グループ内のコネクタ管理エントリが完全に上書きされます。増分メタデータの更新は対象外です。
  • 実行履歴は 90 日間保持されます。

次のステップ