Ajouter des métadonnées à une table BigQuery

Découvrez comment gérer les métadonnées dans Knowledge Catalog (anciennement Dataplex Universal Catalog).

Ce guide de démarrage rapide vous explique comment ajouter des métadonnées à une table BigQuery. Dans ce guide de démarrage rapide, vous allez effectuer les opérations suivantes :

  1. Créer un ensemble de données et une table BigQuery à partir d'un ensemble de données public

  2. Créer un modèle qui définit un ensemble de champs de métadonnées associés

    Ce modèle est appelé type d'aspect. L'ensemble des champs de métadonnées associés qui décrivent les métadonnées métier et techniques de vos éléments de données est appelé aspect.

  3. Ajouter des métadonnées à la table

    Dans Knowledge Catalog, chaque élément de données est représenté par une entrée. Pour associer des métadonnées à un élément de données, vous devez ajouter des aspects à l'entrée.

Avant de commencer

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Dataplex and BigQuery APIs.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

Rôles requis

Pour obtenir les autorisations nécessaires pour ajouter des métadonnées à une table BigQuery, demandez à votre administrateur de vous accorder les rôles IAM suivants sur le projet :

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Créer un ensemble de données et une table

  1. Dans la console Google Cloud , accédez à la page BigQuery Studio.

    Accéder à BigQuery Studio

  2. Créez un ensemble de données :

    1. Dans le volet de gauche, cliquez sur Explorateur :

      Bouton du volet Explorateur mis en évidence.

      Si le volet de gauche ne s'affiche pas, cliquez sur Développer le volet de gauche pour l'ouvrir.

    2. Dans le volet Explorateur, recherchez votre projet. Cliquez sur Afficher les actions, puis sur Créer un ensemble de données.

    3. Dans le champ ID de l'ensemble de données, saisissez catalog_demo_dataset.

      Conservez les valeurs par défaut des autres champs.

    4. Cliquez sur Créer un ensemble de données.

  3. Copiez une table publique dans votre ensemble de données :

    1. Dans le volet Explorateur, recherchez la table nommée bigquery-public-data.new_york_citibike.citibike_stations. Vous devrez peut-être définir le champ d'application de la recherche pour inclure le projet bigquery-public-data.

      Ce tableau fait partie de l'ensemble de données NYC Citi Bike Trips, un ensemble de données public qui contient des données sur un programme de vélos en libre-service.

    2. Sélectionnez la table citibike_stations.

    3. Cliquez sur Copier. Saisissez les informations suivantes :

      • Projet : sélectionnez votre projet.
      • Ensemble de données : sélectionnez catalog_demo_dataset.
      • Table : saisissez bike_stations.

    4. Cliquez sur Copier.

  4. Dans le volet Explorateur, localisez l'ensemble de données catalog_demo_dataset et vérifiez que la table bike_stations figure dans l'ensemble de données.

Définir un modèle de métadonnées : créer un type d'aspect

  1. Dans la Google Cloud console, accédez à la page Types de métadonnées de Knowledge Catalog.

    Accéder à "Types de métadonnées"

  2. Cliquez sur l'onglet Types d'aspects et modèles de tags, puis sur l'onglet Personnalisé.

  3. Cliquez sur Créer un type d'aspect.

  4. Dans le champ ID du type d'aspect, saisissez data-governance-demo.

  5. Dans le champ Emplacement, sélectionnez global.

  6. Dans la section Modèle, cliquez sur Ajouter un champ. Utilisez les informations du tableau suivant pour ajouter plusieurs champs au type d'aspect :

    Nom Type Obligatoire Description
    source-of-data-asset Texte Non -
    retention-date Date et heure Non -
    data-classification

    Enum

    Ajoutez les valeurs Public, Sensitive et Confidential.

    		 Oui -
    has-pii Booléen Oui Whether the data asset has personally identifiable information

  7. Cliquez sur Enregistrer.

Ajouter des métadonnées à la table : ajouter un aspect à l'entrée

  1. Dans la Google Cloud console, accédez à la page Rechercher de Knowledge Catalog.

    Accéder à la recherche

  2. Dans le champ de recherche, saisissez catalog_demo_dataset.

  3. Sélectionnez la table bike_stations.

  4. Ajoutez un aspect personnalisé à l'entrée :

    1. Dans la section Tags et aspects, à côté de Tags et aspects facultatifs, cliquez sur Ajouter.

    2. Sélectionnez le type d'aspect data-governance-demo.

      Cela crée un aspect qui utilise votre type d'aspect comme modèle.

    3. Saisissez les valeurs suivantes :

      • Source de l'élément de données : Copied from NYC Citi Bike Trips public dataset
      • Date de conservation : saisissez une date.
      • Classification des données : Public
      • Comporte des informations personnelles : False

    4. Cliquez sur Enregistrer.

  5. Pour afficher les valeurs de métadonnées que vous avez ajoutées, dans la section Tags et aspects, sélectionnez l'aspect data-governance-demo.

Libérer de l'espace

Pour éviter que les ressources utilisées dans cette démonstration soient facturées sur votre Google Cloud compte pour les ressources utilisées sur cette page, procédez comme suit :

Supprimer le projet

Le moyen le plus simple d'interrompre la facturation est de supprimer le projet que vous avez créé pour ce guide de démarrage rapide.

  1. Dans la Google Cloud console, accédez à la page Gérer les ressources.

    Accéder à la page "Gérer les ressources"

  2. Dans la liste des projets, sélectionnez le projet que vous souhaitez supprimer, puis cliquez sur Supprimer.
  3. Dans la boîte de dialogue, saisissez l'ID du projet, puis cliquez Arrêter pour supprimer le projet.

Supprimer des ressources individuelles

Si vous souhaitez réutiliser votre projet, supprimez les ressources que vous avez créées.

  1. Supprimez l'ensemble de données  :

    1. Dans la console Google Cloud , accédez à la page BigQuery Studio.

      Accéder à BigQuery Studio

    2. Dans le volet de gauche, cliquez sur Explorateur :

      Bouton du volet Explorateur mis en évidence.

    3. Dans le volet Explorateur, recherchez l'ensemble de données catalog_demo_dataset.

    4. Cliquez sur Afficher les actions, puis sur Supprimer. Confirmez l'opération lorsque vous y êtes invité.

  2. Supprimez le type d'aspect :

    1. Dans la console Google Cloud , accédez à la page Types de métadonnées de Knowledge Catalog.

      Accéder à "Types de métadonnées"

    2. Cliquez sur l'onglet Types d'aspects et modèles de tags, puis sur l'onglet Personnalisé.

    3. Cliquez sur le type d'aspect data-governance-demo.

    4. Cliquez sur Supprimer. Confirmez l'opération lorsque vous y êtes invité.

Étapes suivantes