Voraussetzungen und Einrichtung

Führen Sie die folgenden Einrichtungsschritte aus, um die Anleitungen zu Anwendungsfällen für Data Lineage durchzuarbeiten:

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

    4.

  4. Enable the BigQuery, Data lineage, Dataform, BigQuery Data Transfer, and Secret Manager APIs.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

    For new projects, the BigQuery API is automatically enabled.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihre Projekte zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Ausführen der Anleitungen zu Anwendungsfällen für Data Lineage benötigen:

  • Data Lineage-Betrachter (roles/datalineage.viewer) für das Projekt, in dem die Lineage aufgezeichnet und angezeigt wird.
  • BigQuery-Datenbetrachter (roles/bigquery.dataViewer) für das Speicherprojekt der Tabelle.
  • BigQuery-Ressourcenbetrachter (roles/bigquery.resourceViewer) für das Compute-Projekt des Jobs.
  • Dataplex Catalog Viewer (roles/dataplex.catalogViewer) für das Projekt, in dem Katalogeinträge gespeichert sind.
  • Dataform-Bearbeiter (roles/dataform.editor) für das Projekt, in dem sich Ihre Arbeitsbereiche und Repositories befinden.

In der folgenden Liste werden die Projekttypen und Dienste beschrieben, die mit den erforderlichen Rollen verknüpft sind:

  • Im Speicherprojekt werden die BigQuery-Datasets und -Tabellen gespeichert.
  • Im Compute-Projekt werden Ihre Daten verarbeitet und die Lineage-Metadaten gespeichert. Es wird verwendet, um BigQuery-Jobs und Datentransformationen auszuführen.
  • Katalogeinträge enthalten Metadaten, die Ihre Tabellen beschreiben. So können Sie sie finden und organisieren, ohne auf die zugrunde liegenden Daten zuzugreifen.
  • Im Lineage-Projekt werden der Verlauf Ihrer Daten und die zugehörigen Transformationen aufgezeichnet und visualisiert.
  • Dataform ist ein Dienst zum Erstellen, Verwalten von Versionen und Ausführen von SQL-basierten Datenpipelines. Er wandelt Rohdaten in bereinigte, dokumentierte Datasets um.

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten. Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Jetzt starten

Verwenden Sie das Repository Anwendungsfälle für Data Lineage, um die Anleitungen durchzuarbeiten. Dieses Repository enthält vordefinierten Code zum Einrichten von Datasets und Ausführen von Datentransformationen.

Datasets – Übersicht

In jeder Anleitung wird ein anderes Dataset aus der Praxis verwendet, z. B. Daten zu Gesundheitsdienstleistern, Beschäftigung oder Geschäftsdaten, um Data Lineage in realistischen Szenarien zu veranschaulichen.

Datasets einrichten

Führen Sie diese einmalige Einrichtung aus, um Datenänderungen mit Data Lineage nachzuverfolgen:

  1. Erstellen Sie ein persönliches Zugriffstoken und speichern Sie es in Secret Manager.
  2. Verknüpfen Sie das Repository mit Dataform.

Führen Sie nach der Einrichtung die Datentransformationen aus, um die Daten zu verarbeiten und die Lineage zu generieren.