Risolvere i problemi relativi alla cronologia dei dati

Questo documento ti aiuta a risolvere i problemi più comuni relativi alla mancata visualizzazione dei grafici di derivazione dei dati di Knowledge Catalog (in precedenza Dataplex Universal Catalog). La risoluzione di questi problemi ti consente di monitorare correttamente lo spostamento dei dati, comprendere le origini dei dati ed eseguire il debug delle pipeline di dati.

Tipi di progetto

Gli asset di dati possono risiedere in progetti diversi. Di seguito è riportato un riepilogo dei possibili progetti e dei relativi nomi degli asset.

Progetto di archiviazione BigQuery

Questo progetto archivia gli asset di dati BigQuery. Puoi trovarlo nei dettagli dell'asset come parte di Table ID, prima del primo punto.

Nell'interfaccia utente BigQuery, il nome del progetto di archiviazione viene visualizzato nel campo ID tabella, prima del primo punto nel nome della tabella completo.
Figura 1. Il nome di un progetto di archiviazione BigQuery.

Progetto Compute

Questo progetto archivia i metadati di Data Lineage. Per BigQuery, è qui che esegui un job. Se esegui un job utilizzando la console Google Cloud , puoi trovare il nome del progetto di calcolo nel selettore dei progetti:

La UI di BigQuery mostra un progetto di calcolo denominato docs-compute nella pagina in cui esegui le query SQL.
Figura 2. Il nome di un progetto di computing che esegue job BigQuery.

Quando invii richieste all'API BigQuery, specifica il progetto di calcolo nell'URL, ad esempio:

POST /bigquery/v2/projects/docs-compute/jobs HTTP/1.1
Host: bigquery.googleapis.com
User-Agent: Go-http-client/1.1
Authorization: <REDACTED 1031 BYTES>
Accept-Encoding: gzip
{
  "configuration": {
    "query": {
      "useLegacySql": false,
      "query": "CREATE OR REPLACE TABLE `docs-target.dataset.target-002` AS SELECT * FROM `docs-source.dataset.source-002`;"
    }
  },
  "jobReference": {
    "projectId": "docs-compute",
    "jobId": "docs-compute-job-id",
    "location": "us",
  }
}

Progetto attivo

Questo è il progetto da cui stai visualizzando la derivazione dei dati. La console Google Cloud mostra il progetto attivo nel selettore di progetti. Se utilizzi l'API, il progetto attivo è quello da cui effettui chiamate API.

La UI di BigQuery mostra la tracciabilità dei dati per un set di dati chiamato source-001, che si trova in un progetto chiamato docs-source.
Figura 3. Il progetto attivo nella console Google Cloud .

La derivazione dei dati BigQuery non viene visualizzata

Il seguente problema si verifica dopo l'esecuzione di un job BigQuery. In questo caso, il problema può essere causato da tre scenari:

  • L'API Data Lineage è disabilitata nel progetto attivo o nel progetto di calcolo.
  • Non hai il ruolo Visualizzatore Data Lineage (roles/datalineage.viewer) nel progetto attivo o compute.
  • La tracciabilità dei dati non è ancora arrivata. A seconda del volume e della complessità dei dati in fase di elaborazione, la visualizzazione della tracciabilità dei dati può richiedere da 30 minuti a 24 ore.

Se viene visualizzato il messaggio "Impossibile recuperare la tracciabilità a causa di autorizzazioni mancanti", non disponi delle autorizzazioni per il progetto attivo. In caso contrario, non disponi delle autorizzazioni per il progetto di calcolo.

Un grafico di derivazione vuoto.
Figura 4. Esempio di tracciabilità non visualizzata nell'interfaccia utente BigQuery.

Per risolvere il problema, verifica se l'API Data Lineage è abilitata per il progetto di calcolo. Dopo aver abilitato l'API, devi eseguire un job per visualizzare la derivazione dei dati. A seconda del volume e della complessità dei dati in fase di elaborazione, possono essere necessari da 30 minuti a 24 ore prima che venga visualizzata la tracciabilità dei dati.

Successivamente, verifica se l'API Data Lineage è abilitata per il progetto attivo.

Quando l'API Data Lineage è abilitata, concedi il ruolo Visualizzatore Data Lineage (roles/datalineage.viewer) sia nel progetto attivo sia in quello compute.

I metadati di processo BigQuery non vengono visualizzati

Il seguente problema si verifica quando apri il riquadro dei dettagli della tabella, che non mostra tutti i dettagli, ad esempio l'istruzione SQL o la proprietà Process type. Ciò si verifica anche se la tracciabilità dei dati viene visualizzata correttamente.

Ciò può verificarsi quando non disponi delle autorizzazioni per visualizzare i metadati nel progetto di calcolo.

Esempio:

  • Tabella di origine BigQuery: docs-source.dataset.source-001
  • Tabella BigQuery di destinazione: docs-target.dataset.target-001
  • Derivazione dei dati tra docs-source.dataset.source-001 e docs-target.dataset.target-001 nel progetto di calcolo docs-compute
  • Devi disporre del ruolo Visualizzatore Data Lineage per i progetti attivi e compute docs-compute.

Se fai clic sui dettagli del processo BigQuery, nella console Google Cloud viene visualizzato il seguente messaggio:

You don't have permission to view BigQuery process metadata in project X.
Nella UI di BigQuery, nella scheda Tracciabilità, il riquadro dei dettagli mostra un messaggio di errore.
Figura 5. Esempio di dettagli del processo BigQuery non visualizzati nell'interfaccia utente BigQuery.

Per risolvere il problema, concedi all'utente l'autorizzazione bigquery.jobs.get (ad esempio, inclusa nel ruolo Visualizzatore risorse BigQuery) nel progetto di calcolo.

I dettagli della tabella BigQuery non vengono visualizzati

Il seguente problema si verifica quando apri il riquadro dei dettagli della tabella, che mostra solo la proprietà Fully qualified name. Ciò si verifica anche se la provenienza dei dati viene visualizzata correttamente. Ciò può verificarsi quando non disponi di tutte le autorizzazioni richieste nei progetti di archiviazione della tabella.

Esempio:

In questo caso, quando fai clic sui dettagli del nodo BigQuery, viene visualizzato il messaggio Entry with this fully qualified name is not available in Knowledge Catalog or you do not have permissions to view it.

I dettagli della tabella BigQuery non vengono visualizzati.
Figura 6. Esempio di dettagli della tabella BigQuery che non vengono visualizzati nell'interfaccia utente BigQuery.

Per risolvere il problema, concedi l'autorizzazione bigquery.tables.get (ad esempio, inclusa nel ruolo Visualizzatore dati BigQuery) nel progetto di archiviazione.

Addebiti imprevisti per l'elaborazione di Knowledge Catalog Premium

Hai disattivato l'API Dataplex (dataplex.googleapis.com) per interrompere gli addebiti, ma continui a visualizzare addebiti giornalieri per lo SKU "Elaborazione premium del Knowledge Catalog".

Questo problema può verificarsi se l'API Data Lineage (datalineage.googleapis.com) rimane abilitata. L'API Data Lineage viene fatturata in base allo SKU "Elaborazione premium di Knowledge Catalog", ma viene gestita come API separata nella console Google Cloud . La disattivazione dell'API Dataplex non disattiva l'API Data Lineage né interrompe gli addebiti.

Per identificare se la derivazione dei dati è l'origine degli addebiti, controlla il report sulla fatturazione Cloud per l'etichetta goog-dataplex-workload-type con il valore LINEAGE.

Per interrompere gli addebiti, disattiva la derivazione dei dati disabilitando l'API Data Lineage nei tuoi progetti.