Migration mit Migrationsverlauf planen

Mit dem Migrations-Lineage-Dienst können Sie den Datenfluss und die Verbindungen in Ihrer Quelldatenbank visualisieren, wenn Sie eine BigQuery-Data-Warehouse-Migration planen.

Wenn Sie eine Migrationslinie erstellen, stellt der Lineage-Dienst ein Diagramm bereit, in dem visualisiert wird, wie Daten durch Ihr Quellsystem fließen und wie jede Tabelle oder Ansicht in Ihrem Quellsystem verbunden ist. Das folgende Diagramm zeigt ein Beispiel:

Der Dienst für Migrationsherkunft unterstützt die folgenden SQL-Dialekte:

• Amazon Redshift-SQL
• Snowflock-SQL
• Teradata SQL
• GoogleSQL (BigQuery)

Beschränkungen

Der Lineage-Dienst verarbeitet die ersten 5 GB der ältesten Logs aus Ihrer Quelldatenbank.

Unterstützte Standorte

Der Migrations-Lineage-Dienst ist an ausgewählten Standorten verfügbar. Weitere Informationen finden Sie unter Standorte für BigQuery SQL Translator und Lineage Service.

Erforderliche Berechtigungen

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle MigrationWorkflow-Bearbeiter (roles/bigquerymigration.editor) für das Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie für die Verwendung des Migrations-Lineage-Dienstes benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigungen, die für die Verwendung des Migrations-Lineage-Dienstes erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen zu IAM-Rollen und Berechtigungen in BigQuery finden Sie unter BigQuery-IAM-Rollen und -Berechtigungen.

Migrationslinie erstellen

Zum Erstellen einer Migrationslinie führen Sie zuerst das Tool dwh-migration-dumper aus, um SQL-Logdateien für die Quelleingabe zu generieren, die Sie in Cloud Storage hochladen. Nachdem Sie die Eingabedateien in Cloud Storage hochgeladen haben, können Sie die Migrationsherkunft mit der Google Cloud Console oder der BigQuery Migration API generieren.

dwh-migration-dumper-Tool ausführen

Wählen Sie eine der folgenden Optionen aus:

Migrationsverlauf generieren

Nachdem Sie die ZIP-Dateien mit den Metadaten und Abfragelogs in Cloud Storage hochgeladen haben, können Sie die Migrationslinie generieren. Wählen Sie eine der folgenden Optionen aus:

  curl -d "{
    \"tasks\": {
      \"TASK_NAME\": {
        \"type\": \"Experimental_Lineage\",
        \"translation_details\": {
          \"target_base_uri\": \"BUCKET_PATH\",
          \"source_target_mapping\": {
            \"source_spec\": {
              \"base_uri\": \"BUCKET_PATH\"
            }
          },
          \"target_types\": \"LINEAGE\"
        }
      }
    }
  }
  " \
    -H "Content-Type:application/json" \
    -H "Authorization: Bearer TOKEN" -X POST https://bigquerymigration.googleapis.com/v2/projects/PROJECT_ID/locations/LOCATION/workflows

  {
    "name": "projects/PROJECT_ID/locations/LOCATION/workflows/WORKFLOW_ID",
    "tasks": {
      "task_name": { /*...*/ }
    },
    "state": "RUNNING"
  }

  curl \
  -H "Content-Type:application/json" \
  -H "Authorization:Bearer " -X GET https://bigquerymigration.googleapis.com/v2/projects/PROJECT_ID/locations/LOCATION/workflows/WORKFLOW_ID

Migrations-Lineage öffnen

Nachdem Sie eine Migrationslinie erstellt haben, können Sie sie mit einer der folgenden Optionen öffnen:

  curl \
  -H "Content-Type:application/json" \
  -H "Authorization:Bearer " -X GET https://bigquerymigration.googleapis.com/v2/projects/PROJECT_ID/locations/LOCATION/workflows/WORKFLOW_ID

Migrationsverlauf verwenden

In den folgenden Abschnitten wird beschrieben, wie Sie die Migrationsherkunft verwenden können, um mit Ihren Quelldaten und Ihrer Quelldatenbank zu arbeiten.

Begriffe für die Migrations-Lineage

Die folgenden Begriffe werden in einer Migrationslinie verwendet:

In den folgenden Abschnitten werden die verschiedenen Seiten in einer Migrationslinie beschrieben.

Landingpage prüfen

Auf der Landingpage des Migrations-Lineage-Diagramms sehen Sie die ID des Lineage-Jobs, ein Suchfeld zum Suchen von Lineage-Objekten nach Namen und eine Vorschlagsliste mit einigen Lineage-Objekten, die für Sie von Interesse sein könnten. Die Seite enthält auch die Gesamtzahl der Tabellen, Pipelines und Nutzer in der Migrationslinie.

Wenn Sie zu einer bestimmten Tabelle, Ansicht oder Spalte wechseln möchten, suchen Sie im Suchfeld nach dem Objekt oder klicken Sie auf der Landingpage auf eines der vorgeschlagenen Objekte.

Knotenseite aufrufen

Klicken Sie auf einen der folgenden Tabs, um die Knoten in Ihrem Migrationsverlauf zu sehen.

Tab „Data Flow“ (Datenfluss)

Auf dem Tab Data Flow (Datenfluss) wird ein Teil des Lineage-Diagramms visualisiert. Sie ist die Standardseite, wenn Sie sich zum ersten Mal eine Tabelle oder Spalte im Lineage-Dienst ansehen. Das Diagramm veranschaulicht, wie Daten durch Ihr Quellsystem fließen. Knoten in diesem Diagramm stellen Tabellen oder Ansichten dar, während Kanten zwischen den Knoten Daten darstellen, die von den Knoten auf der linken Seite zu den Knoten auf der rechten Seite fließen.

In jeder Tabelle im Diagramm Datenfluss wird der nicht qualifizierte Name angezeigt. Wenn Sie den voll qualifizierten Namen einer Tabelle mit dem Datenbank- und Schemapräfix sehen möchten, halten Sie den Mauszeiger auf den Knoten, um die Kurzinfo aufzurufen. Jede Tabelle gibt ihr Schema an, wie durch den vertikalen Balken auf dem Knoten angegeben. Alle Schemas in der Lineage werden alphabetisch sortiert und ihnen wird eine Farbe zugewiesen. Tabellen im selben Schema haben also Balken in derselben Farbe und Tabellen in Schemas mit ähnlichen Namen haben Balken in ähnlichen Farben.

Jeder Knoten hat ein Symbol, das seine Eigenschaften angibt:

• monitor: eine Ansicht, keine Tabelle.
• cached: Eine Tabelle, die immer vollständig aktualisiert wird (gekürzt und dann neu geschrieben). Klicken Sie auf das Symbol, um Skripts neben dieser Tabelle aufzurufen.
• Im Cache: Eine Tabelle, die nicht immer vollständig aktualisiert wird (sie wird gekürzt und dann neu geschrieben). Klicken Sie auf das Symbol, um Skripts neben dieser Tabelle aufzurufen.
• timer: Eine Tabelle, die nur kurzlebig war. Bewegen Sie den Mauszeiger auf das Symbol, um die Dauer anzuzeigen, für die die Tabelle vorhanden war.
• Schneeflocke: Eine Tabelle, in die vor mehr als sieben Tagen zuletzt geschrieben wurde. Dies deutet auf eine Tabelle mit statischen oder selten geschriebenen Daten hin.

So prüfen Sie die Objekte im Diagramm Data Flow (Datenfluss):

• Wenn Sie eine Liste der Tabellenspalten aufrufen möchten, klicken Sie auf eine Tabelle. Diese Ansicht enthält den Namen jeder Spalte sowie ihren Datentyp, der aus einem bereitgestellten Metadaten-Dump ermittelt oder aus dem SQL in den Abfragelogs abgeleitet wurde.
• Wenn Sie das Herkunftsdiagramm auf Spaltenebene für eine Spalte aufrufen möchten, klicken Sie auf die Spalte. Im Herkunftsgraphen auf Spaltenebene stellen die Kanten Datenflüsse dar, die sich auf die Zielspalte auswirken.

• Wenn Sie Details zu einer Kante aufrufen möchten, klicken Sie im Diagramm auf die entsprechende Kante. Diese Ansicht enthält Links zu den SQL-Scripts, die den Edge ausgelöst haben.

  Eine Kante wird von einem Quellknoten zu einem Zielknoten generiert, wenn in einer SQL-Anweisung auf den Quellknoten verwiesen wird, während mit der Anweisung Daten berechnet werden, die in den Zielknoten eingefügt werden. In der Regel werden dabei Daten von der Quelle zum Ziel übertragen. Auf dem Tab Data Flow (Datenfluss) wird jedoch auch eine Kante angezeigt, wenn der Quellknoten in einer WHERE- oder GROUP BY-Klausel verwendet wird, die sich auf das Ziel auswirkt. Wenn Sie nur Datenübertragungen filtern möchten, aktivieren Sie in der Symbolleiste die Schaltfläche Nicht datenbezogene Kanten einblenden.

Tab „Verbindungen“

Auf dem Tab Verbindungen eines Lineage-Knotens wird eine Liste der benachbarten Knoten im Lineage-Diagramm angezeigt. Standardmäßig werden verbundene Knoten nach der Entfernung des kürzesten Pfads vom aktuellen Knoten sortiert. Knoten, die weniger Kanten benötigen, um vom aktuellen Knoten aus erreicht zu werden, werden zuerst aufgeführt. Mit der Option Sortieren können Sie die Sortierung ändern.

Die Verbindungsliste enthält standardmäßig sowohl Upstream- (Ersteller-) als auch Downstream- (Nutzer-)Knoten des aktuellen Knotens. Sie können diesen Filter mit dem Steuerelement Typ ändern. In der Spalte Entfernung werden Knoten, die sich vor dem aktuellen Knoten befinden, mit einem Aufwärtspfeil und der Entfernung des kürzesten Rückwärtspfads zu diesem Knoten vom aktuellen Knoten aus angezeigt. Knoten, die sich hinter dem aktuellen Knoten befinden, werden mit einem Abwärtspfeil und der Entfernung des kürzesten Vorwärtspfads zu diesem Knoten vom aktuellen Knoten aus angezeigt. Ein Knoten kann sowohl vorgelagert als auch nachgelagert vom aktuellen Knoten sein, wenn er Teil eines Zyklus ist.

Wenn Sie eine Datei mit allen angezeigten Knoten herunterladen möchten, klicken Sie auf CSV-Datei herunterladen.

Tab "Users" ("Nutzer")

Auf dem Tab Nutzer eines Knotens werden Nutzer angezeigt, die Skripts ausgeführt haben, mit denen der Knoten oder Knoten, die vor- oder nachgelagert sind, gelesen oder geschrieben wurden. Standardmäßig wird der Nutzer, der die meisten einzelnen Aktionen ausgeführt hat, zuerst aufgeführt. Sie können die Sortierung mit der Option Sortieren ändern.

Wenn Sie eine Datei mit allen angezeigten Nutzern herunterladen möchten, klicken Sie auf CSV-Datei herunterladen.

Tab „Pipelines“

Auf dem Tab Pipelines eines Knotens werden die Pipelines angezeigt, in denen Skripts ausgeführt wurden, die den Knoten oder Knoten, die sich upstream oder downstream davon befinden, gelesen oder in die Knoten geschrieben haben. Standardmäßig wird die Pipeline, in der die meisten separaten Aktionen ausgeführt wurden, zuerst aufgeführt. Mit der Option Sortieren können Sie die Sortierung ändern.

Wenn Sie eine Datei mit allen angezeigten Pipelines herunterladen möchten, klicken Sie auf CSV-Datei herunterladen.

Tab „Code“

Auf dem Tab Code für einen Knoten werden alle SQL-Scripts angezeigt, die in den Eingabedateien enthalten sind und mit denen Daten aus diesem Knoten gelesen oder in diesen Knoten geschrieben wurden. Erwähnungen des Knotens werden im SQL-Text hervorgehoben. Klicken Sie auf ein Skript, um den vollständigen Text zu maximieren. Sie können die Filtereinstellungen ändern, um die Liste der angezeigten Skripts zu filtern.

Wenn Sie eine Datei mit allen angezeigten Skripts herunterladen möchten, klicken Sie auf CSV-Datei herunterladen.

Edge-Seite prüfen

Klicken Sie auf einen der folgenden Tabs, um die Knotenverbindungen in Ihrem Herkunftsdiagramm zu sehen.

Tab „Details“

Auf dem Tab Details für eine Kante werden Prädikate und Kategorien angezeigt, die die Vorgänge beschreiben, die von Skripts ausgeführt wurden, die die Kante verursacht haben.

Prädikate werden als dreiteilige Codes angegeben, die durch Bindestriche getrennt sind. Der erste Teil ist entweder r, was darauf hinweist, dass die Quelle der Kante eine Beziehung ist, oder a, was darauf hinweist, dass die Quelle der Kante ein Attribut ist. Der zweite Teil ist eine der folgenden Abkürzungen, die angibt, wie sich der Quellknoten auf die Daten im Zielknoten ausgewirkt hat:

• has: Die Quellbeziehung enthält das Zielattribut.
• dat: Die Quelle kopiert oder überträgt Daten an das Ziel.
• res: Die Quelle filtert oder schränkt die Kardinalität des Ziels in einer Klausel wie WHERE, HAVING oder JOIN ON ein.
• grp: Die Quelle wird in einer GROUP BY-Klausel verwendet, die sich auf das Ziel auswirkt.

Der dritte Teil ist entweder r oder a. Er gibt an, ob das Ziel des Edge eine Beziehung oder ein Attribut ist.

Kantenkategorien können Folgendes umfassen:

• dat Prädikate:
  • AGGREGATE: Die Quelle wurde in einer aggregierten Berechnung verwendet, mit der das Ziel geschrieben wurde.
  • EXACT_COPY: Daten aus der Quelle wurden vollständig in das Ziel kopiert.
  • FUNCTION: Die Quelle wurde zum Berechnen des Ziels verwendet.
  • IDENTITY_COPY: Das Ziel wurde nicht berechnet. Das Ziel war eine wörtliche Kopie der Quelle ohne Casts oder Konvertierungen.
  • PARTITION_PROMOTION: Das Ziel enthält Daten aus der Quelle, weil eine Partition der Quelle in das Ziel übertragen wurde.
  • WEAK_COPY: Daten aus der Quelle wurden zumindest teilweise in das Ziel kopiert.
• res Prädikate:
  • FILTER: Die Quelle wurde in einem Vergleich verwendet, bei dem das Ziel geschrieben wurde.
  • KEY: Daten aus der Quelle wurden als Schlüssel in einem Join-Vergleich verwendet, bei dem das Ziel geschrieben wurde.
• grp Prädikate:
  • GROUP: Daten aus der Quelle wurden als Schlüssel in einer GROUP BY-Klausel verwendet, die sich auf das Ziel auswirkt.

Tab „Code“

Auf dem Tab Code für einen Knoten werden die SQL-Scripts angezeigt, die diesen Knoten verursacht haben. Die Quell- und Zielknoten der Kante werden hervorgehoben, wenn sie im SQL-Text erwähnt werden.

Nächste Schritte

• Führen Sie eine Migrationsbewertung durch, um die Machbarkeit und die potenziellen Vorteile der Migration Ihres Data Warehouse zu BigQuery zu bewerten.
• Verwenden Sie den SQL-Übersetzungsdienst, z. B. den interaktiven SQL-Übersetzer, die Translation API und den Batch-SQL-Übersetzer, um die Konvertierung Ihrer SQL-Abfragen in GoogleSQL zu automatisieren, einschließlich der Gemini-optimierten SQL-Anpassung.