Informazioni sulla visualizzazione della derivazione dei dati in Knowledge Catalog

La tracciabilità dei dati ti aiuta a capire come i dati si spostano nei tuoi sistemi monitorando le relazioni tra gli asset di dati e i processi che li trasformano. Puoi visualizzare queste informazioni sulla tracciabilità come grafici ed elenchi nella console Google Cloud .

Questo documento descrive la granularità della tracciabilità dei dati a livello di tabella e di colonna e fornisce istruzioni per l'utilizzo delle visualizzazioni grafico ed elenco per esplorare la tracciabilità dei dati nella console Google Cloud .

Per informazioni dettagliate sul modello dei dati sottostante, consulta il modello informativo della lineage dei dati.

Differenze tra la derivazione a livello di tabella e a livello di colonna

La tracciabilità dei dati consente di tracciare l'origine e il percorso di trasformazione dei dati a livello di tabella e colonna.

Quando utilizzare la derivazione a livello di tabella

La derivazione a livello di tabella fornisce una panoramica generale delle pipeline di dati mostrando le relazioni tra intere tabelle. Utilizza la derivazione a livello di tabella per attività a livello macro, ad esempio:

• Rilevamento dei dati. Un analista che crea una nuova dashboard può utilizzare la tracciabilità a livello di tabella per risalire a una tabella riepilogativa fino alle sue origini e confermare che i dati provengono da un database autorevole.

• Pianificazione della migrazione. Un amministratore di database che prevede di eseguire la migrazione di un database principale può utilizzare la tracciabilità a livello di tabella per identificare ogni report e dashboard downstream che dipende da esso.

• Controllo e governance. Un responsabile della governance dei dati può utilizzare la tracciabilità a livello di tabella e colonna per verificare il flusso dei dati di una tabella che contiene informazioni che consentono l'identificazione personale (PII) in una pipeline.

Quando utilizzare la tracciabilità a livello di colonna

La derivazione a livello di colonna fornisce una visualizzazione più granulare monitorando il flusso di dati tra le singole colonne. In questa visualizzazione, i link all'interno di un evento di lineage rappresentano la relazione tra una colonna di origine e una colonna di destinazione. Ciascuno di questi link a livello di colonna ha un tipo di dipendenza che descrive la trasformazione:

• Exact copy: i valori vengono copiati tra le colonne.

• Other: altri tipi di dipendenze tra le colonne.

Utilizza la tracciabilità a livello di colonna per attività come le seguenti:

• Analisi delle cause principali. Se un analista dei dati trova un valore errato in una colonna, può utilizzare la tracciabilità a livello di colonna per risalire alle colonne di origine e trovare la causa principale.

• Analisi dell'impatto. Prima che un data engineer ritiri una colonna, può utilizzare la tracciabilità a livello di colonna per trovare ogni colonna downstream che dipende da essa.

• Verifica dell'origine dati per le metriche. Un analista di dati può utilizzare la tracciabilità a livello di colonna per identificare le colonne di origine utilizzate per calcolare una metrica senza decifrare una query SQL complessa.

La tracciabilità a livello di colonna viene raccolta automaticamente per i seguenti tipi di job BigQuery:

• CREATE TABLE
• CREATE TABLE COPY
• INSERT
• UPDATE
• MERGE
• DELETE
• SELECT con una tabella di destinazione

Per i job Managed Service for Apache Spark, l'assistenza dipende dal tipo e dalla versione della dipendenza Open Lineage utilizzata da Managed Service for Apache Spark. La versione minima supportata è la 1.34. Di seguito sono riportate le versioni minime supportate delle immagini del cluster Managed Service for Apache Spark:

• 3.0.3
• 2.3.22
• 2.2.75
• 2.1.107

Di seguito sono riportate le versioni minime supportate del runtime di Managed Service for Apache Spark:

• 3.0.3
• 2.3.20

Visualizzazioni della tracciabilità nella console Google Cloud

La tracciabilità dei dati nella console Google Cloud ti consente di interagire con le informazioni sulla tracciabilità in due modi: puoi esplorare il grafico della tracciabilità in più regioni disponibili oppure puoi utilizzare il riquadro Esplora tracciabilità per ottenere una visualizzazione più mirata all'interno di una regione specifica. Puoi anche passare dalla visualizzazione Grafico alla visualizzazione Elenco per analizzare il flusso di dati a diversi livelli di dettaglio.

Le visualizzazioni della tracciabilità sono disponibili solo per le voci di Knowledge Catalog (in precedenza Dataplex Universal Catalog), per gli asset BigQuery e per le risorse Vertex AI (modelli, set di dati, visualizzazioni dello store di funzionalità e gruppi di funzionalità).

Per visualizzare le diverse visualizzazioni descritte in questo documento, consulta Utilizzare la tracciabilità dei dati con i sistemi Google Cloud .

Visualizzazione del grafico di derivazione

La visualizzazione Grafico mostra il flusso e le relazioni degli asset di dati tra sistemi e regioni, aiutandoti a comprendere l'architettura dei dati, tracciare le origini e le destinazioni e identificare i pattern. Questi grafici di derivazione, generati dal servizio API Data Lineage per una voce specifica di Knowledge Catalog, mostrano come i dati vengono trasformati nel tempo, visualizzando i flussi a monte, a valle o entrambi da una voce radice selezionata.

L'API Data Lineage riceve automaticamente le informazioni sugli asset dai sistemi supportati e tramite chiamate API per le origini personalizzate.

Gli elementi chiave del grafico sono i seguenti:

• Nodi. I nodi rappresentano le entità di dati. In una visualizzazione a livello di tabella, un nodo mostra il nome della tabella e le relative colonne. In una visualizzazione a livello di colonna, ogni nodo rappresenta una tabella e una colonna specifiche.

• Bordi. Gli archi sono le linee che collegano i nodi e rappresentano i processi che si verificano tra di essi. L'aspetto di un bordo dipende dalla visualizzazione della derivazione:

  • Nella visualizzazione a livello di tabella, i bordi hanno icone che indicano le trasformazioni dei dati.
  • Nella visualizzazione a livello di colonna, gli archi hanno etichette che indicano le trasformazioni dei dati. Ad esempio, un'etichetta del bordo potrebbe indicare Exact copy per descrivere come una colonna di origine è stata copiata in una colonna di destinazione.

• Icone ed etichette di processo. Le icone e le etichette di elaborazione vengono visualizzate sui bordi per fornire maggiori informazioni sulla trasformazione.

  • Icone. Le icone rappresentano il processo di trasformazione. Quando esplori manualmente il grafico, le icone sui bordi rappresentano il sistema di origine del processo (ad esempio BigQuery o Vertex AI). Se sono coinvolti più processi, viene visualizzata un'icona "Più processi". Se il sistema di origine del processo è sconosciuto, viene utilizzata un'icona a forma di ingranaggio. Quando applichi i filtri, viene utilizzata un'icona a forma di ingranaggio per tutti i processi.
  • Etichette. Nella visualizzazione della derivazione a livello di colonna, un'etichetta descrive il tipo di dipendenza tra le colonne: Exact copy o Other.

Esplorare il grafico della derivazione

Quando apri la scheda Tracciabilità, viene visualizzata la visualizzazione predefinita Grafico. La visualizzazione predefinita fornisce una panoramica di alto livello dei sistemi e delle regioni, con un'espansione manuale e incrementale del grafico che può caricare cinque nodi alla volta. Le icone dei processi sui bordi rappresentano il sistema di origine o indicano più processi.

Filtrare ed evidenziare le visualizzazioni della derivazione dei dati

Per i grafici di tracciabilità grandi e complessi, puoi applicare filtri o evidenziazioni per ridurre il rumore visivo e concentrarti sull'esplorazione della tracciabilità all'interno di una regione specifica. Utilizza il riquadro Esplora derivazioni per impostare i criteri. Quando vengono applicati i filtri, nella parte superiore delle visualizzazioni Grafico ed Elenco viene visualizzata una barra dei filtri che mostra i filtri attivi come chip.

Per perfezionare la visualizzazione della tracciabilità, puoi scegliere una delle seguenti modalità:

• Evidenzia: i nodi corrispondenti vengono evidenziati visivamente con colori e bordi, mentre il grafico completo rimane visibile. In questo modo è più facile individuare asset specifici senza perdere il contesto generale del grafico della derivazione.

• Filtro: i nodi non corrispondenti vengono nascosti e il grafico viene semplificato per mostrare solo i nodi corrispondenti e i percorsi tra loro. Gli asset non corrispondenti che fanno parte di un percorso tra i nodi corrispondenti vengono raggruppati in nodi compressi. Questa modalità è utile per ridurre la complessità e concentrarsi solo sugli asset pertinenti e sulle loro relazioni dirette.

Per filtrare o evidenziare la tracciabilità, utilizza i seguenti criteri:

• Progetto: filtra per ID progetto Google Cloud .
• Sistema: filtra in base al sistema in cui si trova l'asset di dati (ad esempio BigQuery o Cloud Storage).
• Nome entità: filtra in base al nome dell'asset. Puoi utilizzare * per le ricerche con caratteri jolly (solo prefisso e suffisso, ad esempio *table o test*).
• Sottotipo: filtra in base al sottotipo di asset (ad esempio, dashboard o model).
• Nome colonna: filtra la tracciabilità in base al nome della colonna per visualizzare i dettagli a livello di colonna.
• Direzione: mostra la tracciabilità upstream o downstream oppure entrambe.
• Intervallo di tempo: filtra la tracciabilità in base a un'ora di inizio o di fine specifica.
• Tipo di dipendenza: filtra la tracciabilità a livello di colonna in base al tipo di dipendenza. Esempi di opzioni disponibili includono All o Exact copy.

Per ridurre ulteriormente il disordine, puoi selezionare Nascondi tabelle BigQuery temporanee per nascondere gli asset temporanei creati da BigQuery, ad esempio le tabelle nei set di dati i cui nomi iniziano con _script.

La visualizzazione mirata nella scheda Grafico espande automaticamente il grafico fino a tre livelli, caricando tutta la tracciabilità corrispondente ai criteri di filtro. Esploratore della derivazione recupera fino a 10 livelli del grafico della derivazione, ma solo i primi tre livelli vengono espansi per impostazione predefinita. Puoi espandere il grafico per visualizzare i livelli rimanenti facendo clic sulle frecce.

La visualizzazione mirata supporta la tracciabilità a livello di tabella e di colonna, inclusa la visualizzazione del percorso da qualsiasi nodo selezionato alla radice. In questa visualizzazione mirata, viene utilizzata un'icona a forma di ingranaggio generica per tutti i processi.

Per visualizzare la tracciabilità a livello di colonna, utilizza uno dei seguenti metodi:

• In una visualizzazione Grafico mirata, fai clic sull'icona della colonna in una tabella per passare alla tracciabilità a livello di colonna.

  

• Nella visualizzazione Grafico predefinita o in quella Grafico messa a fuoco, applica un nome di colonna nel riquadro Esplora derivazioni.

Per rimuovere tutti i filtri e tornare alla visualizzazione predefinita, fai clic su restart_alt Reimposta.

Per passare dalla modalità di evidenziazione a quella di filtro, consulta Perfeziona la visualizzazione della tracciabilità.

Visualizza i dettagli del nodo di tracciabilità

Per visualizzare i dettagli di un nodo, fai clic sul nodo. Viene visualizzato un riquadro laterale che mostra informazioni dettagliate sull'asset di dati selezionato. Ad esempio, in una visualizzazione della tracciabilità a livello di tabella, se fai clic su un nodo vengono visualizzate informazioni come il nome completo, il tipo e altri attributi pertinenti dell'asset.

Visualizzare la cronologia delle esecuzioni della derivazione

Un grafico della derivazione completo è il risultato di esecuzioni di molti job diversi. Ogni job crea un link specifico nel grafico. Le esecuzioni multiple vengono registrate come nuove esecuzioni, ma non modificano l'aspetto statico del grafico.

Per visualizzare i dettagli di queste singole esecuzioni, fai clic su un bordo con un processo nel grafico. Nel riquadro Query visualizzato, fai clic sulla scheda Esecuzioni.

Ispeziona la logica di trasformazione dei dati

Per comprendere la logica di business di una trasformazione senza cercare il codice, puoi visualizzare la query SQL esatta eseguita. Per visualizzare il codice SQL, fai clic su un bordo con un processo nel grafico. Nel riquadro laterale visualizzato, fai clic sulla scheda Dettagli.

Visualizzare un percorso di derivazione dei dati

La visualizzazione del percorso di tracciabilità ti aiuta a tracciare il percorso da qualsiasi nodo selezionato nel grafico fino alla voce principale. Quando selezioni un nodo e fai clic su Visualizza percorso, il grafico evidenzia solo i nodi e i processi che formano il percorso di derivazione diretto alla voce principale.

Per visualizzare la visualizzazione del percorso di tracciabilità, nel riquadro Esplora tracciabilità, applica un filtro per creare una visualizzazione Grafico mirata. Poi, nella visualizzazione Grafico, seleziona un nodo. Nel riquadro dei dettagli del nodo selezionato, fai clic su Visualizza percorso.

La visualizzazione del percorso di derivazione è disponibile per la derivazione a livello di tabella e di colonna. Puoi anche utilizzare la visualizzazione del percorso di derivazione nella visualizzazione Elenco.

Visualizzazione elenco tracciabilità

La visualizzazione Elenco offre una rappresentazione tabellare e strutturata della tracciabilità, sincronizzata con la visualizzazione Grafico. Ti aiuta a ordinare, filtrare e scaricare gli asset di dati. Questa visualizzazione è ideale per analizzare le relazioni tra origine e destinazione, dettagliare gli asset coinvolti ed esportare i dati di tracciabilità.

La visualizzazione Elenco è disponibile per la tracciabilità a livello di tabella e di colonna. Puoi alternare le seguenti visualizzazioni elenco dettagliate e semplificate:

• Visualizzazione elenco semplificata: questa visualizzazione è utile per ottenere un elenco compresso e univoco di tutti gli asset coinvolti nella tracciabilità. Le colonne come Sistema, Progetto, Entità, FQN (nome completo), Direzione e Profondità ti aiutano a visualizzare tutti gli asset di dati nella tracciabilità, dove si trovano, la loro origine e la loro distanza dall'asset centrale in fase di analisi. È ideale per una panoramica generale di tutte le entità che partecipano al flusso di dati. È la visualizzazione predefinita.

• Visualizzazione elenco dettagliato: questa visualizzazione è progettata per analizzare le singole relazioni origine-destinazione. Fornendo colonne separate per Origine e Destinazione, puoi visualizzare ogni collegamento specifico di trasformazione dei dati. Questa visualizzazione è ideale per le attività che richiedono una profonda comprensione di come si spostano i dati tra coppie specifiche di asset, ad esempio il controllo dei singoli flussi di dati, la comprensione delle dipendenze tra le tabelle o l'esportazione di record di lineage dettagliati per ogni connessione.

Visualizzazione elenco della tracciabilità a livello di tabella

Questa visualizzazione mostra le relazioni tra le tabelle nel loro complesso. Utilizza i filtri forniti per selezionare le colonne che ti servono.

Espandi le sezioni seguenti per visualizzare le colonne disponibili nelle visualizzazioni elenco a livello di tabella.

Visualizzazione elenco della tracciabilità a livello di colonna

Questa visualizzazione mostra le relazioni tra le singole colonne delle tabelle di origine e di destinazione. Utilizza i filtri forniti per selezionare le colonne che ti interessano.

Espandi le sezioni seguenti per visualizzare le colonne disponibili nelle visualizzazioni elenco a livello di colonna.

Passaggi successivi

• Scopri di più sulle origini della derivazione.

• Scopri come monitorare la tracciabilità dei dati per una copia della tabella BigQuery e per i job di query.

• Scopri come utilizzare la derivazione dei dati con i sistemi Google Cloud .