GSP729

Présentation

Data Catalog est un service de gestion des métadonnées entièrement géré et évolutif au sein de Dataplex.

Il offre une interface de recherche simple et intuitive pour la découverte de données, un système de catalogage flexible et performant pour la capture de métadonnées techniques et métier, ainsi qu'une base solide en termes de sécurité et de conformité avec les intégrations à Cloud Data Loss Prevention (DLP) et Cloud Identity and Access Management (IAM).

BigQuery est un entrepôt de données d'entreprise qui permet d'exécuter des requêtes SQL très rapidement grâce à la puissance de traitement de l'infrastructure de Google.

Il vous suffit de transférer vos données dans BigQuery. Nous nous chargeons du reste. Vous pouvez contrôler l'accès au projet et à vos données en fonction des besoins de votre entreprise, par exemple en autorisant d'autres personnes à afficher vos données ou à les interroger.

Utiliser Data Catalog

Vous pouvez interagir avec Data Catalog de deux manières :

• En recherchant des éléments de données auxquels vous avez accès
• En ajoutant des tags de métadonnées à des éléments

Cas d'utilisation de Data Catalog

Supposons que vous occupez le poste d'ingénieur de données dans votre entreprise. Votre responsabilité est de veiller à ce que vos collègues (data scientists ou analystes de veille stratégique, par exemple) puissent facilement trouver et utiliser tous les ensembles de données. Lorsqu'un nouvel ensemble de données est disponible, vous l'annotez avec les informations importantes, par exemple pour indiquer s'il contient ou non des informations permettant d'identifier personnellement les utilisateurs, qui est le propriétaire de l'ensemble de données, combien de lignes il comporte, etc.

Pour ce faire, vous ajoutez des tags à l'ensemble de données et aux tables. Data Catalog vous permet de créer des modèles de tag et de définir les types d'attributs auxquels associer ces tags. Ces modèles facilitent la consultation, le mappage et la recherche d'informations pertinentes dans vos ensembles de données et vos tables.

Objectifs de l'atelier

Dans cet atelier, vous allez apprendre à effectuer les tâches suivantes :

• Activer l'API Data Catalog de manière à pouvoir utiliser ce service dans votre projet Google Cloud
• Créer un ensemble de données avec BigQuery
• Copier une table publique des taxis new-yorkais dans votre ensemble de données
• Créer un modèle de tag Data Catalog
• Ajouter les tags que vous venez de créer à votre nouvelle table

Prérequis

Remarque : Avant de commencer cet atelier, déconnectez-vous de votre compte Gmail personnel ou professionnel, ou lancez l'atelier dans une fenêtre de navigation privée.

Cela vous évitera d'être connecté au mauvais compte.

Préparation

Avant de cliquer sur le bouton "Démarrer l'atelier"

Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Démarrer l'atelier, indique combien de temps les ressources Google Cloud resteront accessibles.

Cet atelier pratique vous permet de suivre vous-même les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Nous vous fournissons des identifiants temporaires pour vous connecter à Google Cloud le temps de l'atelier.

Pour réaliser cet atelier :

• vous devez avoir accès à un navigateur Internet standard (nous vous recommandons d'utiliser Chrome) ;

Remarque : Ouvrez une fenêtre de navigateur en mode incognito/navigation privée pour effectuer cet atelier. Vous éviterez ainsi les conflits entre votre compte personnel et le temporaire étudiant, qui pourraient entraîner des frais supplémentaires facturés sur votre compte personnel.

• vous disposez d'un temps limité ; une fois l'atelier commencé, vous ne pouvez pas le mettre en pause.

Remarque : Si vous possédez déjà votre propre compte ou projet Google Cloud, veillez à ne pas l'utiliser pour réaliser cet atelier afin d'éviter que des frais supplémentaires ne vous soient facturés.

Démarrer l'atelier et se connecter à la console Google Cloud

1. Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, un pop-up s'affiche pour vous permettre de sélectionner un mode de paiement. Sur la gauche, vous trouverez le panneau Détails concernant l'atelier, qui contient les éléments suivants :

   • Le bouton Ouvrir la console Google
   • Le temps restant
   • Les identifiants temporaires que vous devez utiliser pour cet atelier
   • Des informations complémentaires vous permettant d'effectuer l'atelier

2. Cliquez sur Ouvrir la console Google. L'atelier lance les ressources, puis ouvre la page Se connecter dans un nouvel onglet.

   Conseil : Réorganisez les onglets dans des fenêtres distinctes, placées côte à côte.

   Remarque : Si la boîte de dialogue Sélectionner un compte s'affiche, cliquez sur Utiliser un autre compte.

3. Si nécessaire, copiez le nom d'utilisateur inclus dans le panneau Détails concernant l'atelier et collez-le dans la boîte de dialogue Se connecter. Cliquez sur Suivant.

4. Copiez le mot de passe inclus dans le panneau Détails concernant l'atelier et collez-le dans la boîte de dialogue de bienvenue. Cliquez sur Suivant.

   Important : Vous devez utiliser les identifiants fournis dans le panneau de gauche. Ne saisissez pas vos identifiants Google Cloud Skills Boost. Remarque : Si vous utilisez votre propre compte Google Cloud pour cet atelier, des frais supplémentaires peuvent vous être facturés.

5. Accédez aux pages suivantes :

   • Acceptez les conditions d'utilisation.
   • N'ajoutez pas d'options de récupération ni d'authentification à deux facteurs (ce compte est temporaire).
   • Ne vous inscrivez pas aux essais offerts.

Après quelques instants, la console Cloud s'ouvre dans cet onglet.

Remarque : Vous pouvez afficher le menu qui contient la liste des produits et services Google Cloud en cliquant sur le menu de navigation en haut à gauche.

Activer Cloud Shell

Cloud Shell est une machine virtuelle qui contient de nombreux outils pour les développeurs. Elle comprend un répertoire d'accueil persistant de 5 Go et s'exécute sur Google Cloud. Cloud Shell vous permet d'accéder via une ligne de commande à vos ressources Google Cloud.

1. Cliquez sur Activer Cloud Shell  en haut de la console Google Cloud.

Une fois connecté, vous êtes en principe authentifié et le projet est défini sur votre ID_PROJET. Le résultat contient une ligne qui déclare YOUR_PROJECT_ID (VOTRE_ID_PROJET) pour cette session :

Your Cloud Platform project in this session is set to YOUR_PROJECT_ID

gcloud est l'outil de ligne de commande pour Google Cloud. Il est préinstallé sur Cloud Shell et permet la complétion par tabulation.

2. (Facultatif) Vous pouvez lister les noms des comptes actifs à l'aide de cette commande :

gcloud auth list

3. Cliquez sur Autoriser.

4. Vous devez à présent obtenir le résultat suivant :

Résultat :

ACTIVE: * ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net To set the active account, run: $ gcloud config set account `ACCOUNT`

5. (Facultatif) Vous pouvez lister les ID de projet à l'aide de cette commande :

gcloud config list project

Résultat :

[core] project = <ID_Projet>

Exemple de résultat :

[core] project = qwiklabs-gcp-44776a13dea667a6 Remarque : Pour consulter la documentation complète sur gcloud, dans Google Cloud, accédez au guide de présentation de la gcloud CLI.

Tâche 1 : Activer l'API Data Catalog

1. Dans le menu de navigation, sélectionnez API et services > Bibliothèque.

2. Dans la barre de recherche, saisissez Data Catalog et sélectionnez le premier résultat.

3. Cliquez ensuite sur Activer.

Si vous rencontrez l'erreur suivante lorsque vous essayez d'activer l'API Data Catalog :

1. Cliquez sur Fermer.
2. Actualisez l'onglet de votre navigateur.
3. Cliquez de nouveau sur Activer.

L'API Data Catalog doit alors être correctement activée :

Ouvrir la console BigQuery

1. Dans la console Google Cloud, sélectionnez le menu de navigation > BigQuery.

Le message Bienvenue sur BigQuery dans Cloud Console s'affiche. Il contient un lien vers le guide de démarrage rapide et les notes de version.

2. Cliquez sur OK.

La console BigQuery s'ouvre.

Tâche 2 : Créer un ensemble de données

1. Dans le volet de navigation de BigQuery sur la gauche, cliquez sur Afficher les actions à côté de l'ID de votre projet, puis sur CRÉER UN ENSEMBLE DE DONNÉES.

2. Dans la boîte de dialogue Créer un ensemble de données :

• Pour ID de l'ensemble de données, saisissez demo_dataset.

• Pour Emplacement des données, sélectionnez US (plusieurs régions aux États-Unis).

3. Cliquez ensuite sur Créer l'ensemble de données.

Remarque : Vous ne pouvez pas ajouter de description ni d'étiquette lorsque vous créez un ensemble de données à l'aide de la console Cloud. Vous pouvez toutefois le faire une fois l'ensemble de données créé.

Cliquez sur Vérifier ma progression pour valider l'objectif. Créer un ensemble de données

Tâche 3 : Copier une table publique des taxis new-yorkais dans votre ensemble de données

1. Dans le panneau de gauche, cliquez sur + AJOUTER > Ensembles de données publics.

2. Dans la barre de recherche, saisissez NYC TLC Trips et cliquez sur le résultat qui s'affiche :

Dans cet atelier, vous allez utiliser une table de cet ensemble de données. Celle-ci contient des données collectées en 2018 sur les courses des taxis jaunes de New York.

3. Lorsque vous êtes prêt à poursuivre, cliquez en dehors du panneau latéral pour le fermer.

4. Copiez la table tlc_yellow_trips_2018 en exécutant cette commande dans votre panneau Cloud Shell :

bq cp bigquery-public-data:new_york_taxi_trips.tlc_yellow_trips_2018 $(gcloud config get project):demo_dataset.trips

La commande précédente a utilisé l'outil de ligne de commande bq pour copier la table publique dans votre projet, puis elle a organisé cette table dans l'ensemble de données demo_dataset créé plus tôt.

5. Actualisez votre page de navigation BigQuery.

6. Vérifiez que la table trips est listée dans demo_dataset.

Dans la section suivante, vous allez ajouter des tags Data Catalog à la table.

Cliquez sur Vérifier ma progression pour valider l'objectif. Copier une table publique des taxis new-yorkais dans votre ensemble de données

Tâche 4 : Créer un modèle de tag Data Catalog

Créez un modèle de tag à partir de l'UI Data Catalog.

1. Pour cela, ouvrez le menu de navigation et cliquez sur Data Catalog > Modèles de tag. Ensuite, cliquez sur + CRÉER UN MODÈLE DE TAG :

2. Remplissez le formulaire du modèle pour définir un modèle intitulé "Modèle de tag de démonstration".

• Nom à afficher du modèle : Modèle de tag de démonstration
• ID du modèle : demo_tag_template
• Emplacement :

Créez ensuite quatre attributs de tag (également appelés "champs" de tag).

3. Cliquez sur Ajouter un champ.

Créez quatre attributs avec les valeurs indiquées ci-dessous. Notez que l'attribut "source" définit un attribut de tag obligatoire. Vous pouvez définir les noms d'attributs avec des lettres minuscules et des traits de soulignement :

• Nom à afficher du champ : Source de l'élément de données
• ID du champ : source_of_data_asset
• Rendre ce champ obligatoire : Coché
• Type : Chaîne

4. Cliquez sur OK.

5. Cliquez ensuite sur Ajouter un champ et saisissez les informations suivantes :

• Nom à afficher du champ : Nombre de lignes dans l'élément de données
• ID du champ : number_of_rows_in_data_asset
• Rendre ce champ obligatoire : Décoché
• Type : Double

6. Cliquez sur OK.

7. Ensuite, cliquez sur Ajouter un champ et saisissez les informations suivantes :

• Nom à afficher du champ : Contient des informations permettant d'identifier les utilisateurs
• ID du champ : has_pii
• Rendre ce champ obligatoire : Décoché
• Type : Booléen

8. Cliquez sur OK.

9. Ensuite, cliquez sur Ajouter un champ et saisissez les informations suivantes :

• Nom à afficher du champ : Type d'informations permettant d'identifier les utilisateurs
• ID du champ : pii_type
• Rendre ce champ obligatoire : Décoché
• Type : Énuméré

10. Ajoutez trois valeurs à cet attribut :

• E-mail
• Numéro de sécurité sociale
• Aucun

11. Cliquez ensuite sur OK.

Le formulaire de modèle de tag complété doit recenser les quatre attributs de tag :

12. Cliquez sur CRÉER.

La page Modèle de tag de Data Catalog affiche les détails et les attributs du modèle :

Cliquez sur Vérifier ma progression pour valider l'objectif. Créer un modèle de tag

Tâche 5 : Ajouter les tags que vous venez de créer à votre table

1. Pour associer un tag à une table de votre ensemble de données, cliquez sur l'icône Data Catalog en haut à gauche.

2. Dans le volet de gauche, sélectionnez Rechercher et saisissez demo_dataset dans le champ de recherche.

3. Cliquez sur Rechercher :

L'ID demo_dataset et la table "trips" que vous avez copiée dans l'ensemble de données s'affichent dans les résultats de recherche.

4. Ouvrez la table trips en cliquant sur son nom :

La page Détails de l'entrée s'ouvre.

5. Cliquez sur ASSOCIER DES TAGS.

6. Dans la boîte de dialogue Associer des tags, sous "Choisir l'élément auquel ajouter un tag", sélectionnez la table trips et cliquez sur OK.

7. Sélectionnez le modèle de tag Modèle de tag de démonstration.

8. Ajoutez ou sélectionnez ensuite les valeurs suivantes pour chaque attribut de tag :

• source_of_data_asset : tlc_yellow_trips_2018
• pii_type : AUCUN

9. Cliquez sur Enregistrer.

10. Cliquez sur Modèle de tag de démonstration pour afficher les attributs de tag listés sur la page "Détails de l'entrée".

Cliquez sur Vérifier ma progression pour valider l'objectif. Associer le tag à votre table

Félicitations !

Bravo ! Vous avez appris à associer un tag à une table avec Data Catalog.

Terminer votre quête

Cet atelier d'auto-formation fait partie des quêtes BigQuery for Marketing Analysts et Data Catalog Fundamentals. Une quête est une série d'ateliers associés qui constituent un parcours de formation. Si vous terminez une quête, vous obtenez un badge attestant de votre réussite. Vous pouvez rendre publics les badges que vous recevez et ajouter leur lien dans votre CV en ligne ou sur vos comptes de réseaux sociaux. Inscrivez-vous à n'importe quelle quête contenant cet atelier pour obtenir immédiatement les crédits associés. Découvrez toutes les quêtes disponibles dans le catalogue Google Cloud Skills Boost.

Sujets abordés

Dans cet atelier, vous avez appris à effectuer les tâches suivantes :

• Activer l'API Data Catalog
• Créer un ensemble de données
• Copier une table publique des taxis new-yorkais dans votre ensemble de données
• Créer un modèle de tag et associer le tag à votre table

Étapes suivantes et informations supplémentaires

• Consultez la présentation de Data Catalog.
• Découvrez comment effectuer des recherches avec Data Catalog.
• Consultez la présentation des API et des bibliothèques clientes.

Terminer l'atelier

Une fois l'atelier terminé, cliquez sur Terminer l'atelier. Votre compte et les ressources utilisées sont alors supprimés de la plate-forme d'atelier.

Si vous le souhaitez, vous pouvez noter l'atelier. Sélectionnez un nombre d'étoiles, saisissez un commentaire, puis cliquez sur Envoyer.

Voici à quoi correspond le nombre d'étoiles que vous pouvez attribuer à un atelier :

• 1 étoile = très insatisfait(e)
• 2 étoiles = insatisfait(e)
• 3 étoiles = ni insatisfait(e), ni satisfait(e)
• 4 étoiles = satisfait(e)
• 5 étoiles = très satisfait(e)

Si vous ne souhaitez pas donner votre avis, vous pouvez fermer la boîte de dialogue.

Pour soumettre des commentaires, suggestions ou corrections, veuillez accéder à l'onglet Assistance.

Formations et certifications Google Cloud

Les formations et certifications Google Cloud vous aident à tirer pleinement parti des technologies Google Cloud. Nos cours portent sur les compétences techniques et les bonnes pratiques à suivre pour être rapidement opérationnel et poursuivre votre apprentissage. Nous proposons des formations pour tous les niveaux, à la demande, en salle et à distance, pour nous adapter aux emplois du temps de chacun. Les certifications vous permettent de valider et de démontrer vos compétences et votre expérience en matière de technologies Google Cloud.

Dernière mise à jour du manuel : 20 septembre 2023

Dernier test de l'atelier : 20 septembre 2023

Copyright 2024 Google LLC Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.