arrow_back

Data Catalog : Qwik Start

Data Catalog : Qwik Start

30 minutes 1 crédit

GSP729

Google Cloud – Ateliers adaptés au rythme de chacun

Présentation

Data Catalog est un service de gestion des métadonnées entièrement géré et évolutif qui permet aux organisations de découvrir, d'interpréter et de gérer rapidement toutes leurs données.

Il offre une interface de recherche simple et intuitive pour la découverte de données, un système de catalogage flexible et performant pour la capture de métadonnées techniques et métier, ainsi qu'une base solide en termes de sécurité et de conformité avec les intégrations à Cloud Data Loss Prevention (DLP) et Cloud Identity and Access Management (IAM).

BigQuery est un entrepôt de données d'entreprise qui permet d'exécuter des requêtes SQL très rapidement grâce à la puissance de traitement de l'infrastructure de Google.

Il vous suffit de transférer vos données dans BigQuery. Nous nous chargeons du reste. Vous pouvez contrôler l'accès au projet et à vos données en fonction des besoins de votre entreprise, par exemple en autorisant d'autres personnes à afficher vos données ou à les interroger.

Utiliser Data Catalog

Vous pouvez interagir avec Data Catalog de deux manières :

  • En recherchant des éléments de données auxquels vous avez accès

  • En ajoutant des tags de métadonnées à des éléments

Cas d'utilisation de Data Catalog

Supposons que vous occupez le poste d'ingénieur de données dans votre entreprise. Votre responsabilité est de veiller à ce que vos collègues (data scientists ou analystes de veille stratégique, par exemple) puissent facilement trouver et utiliser tous les ensembles de données. Lorsqu'un nouvel ensemble de données est disponible, vous l'annotez avec les informations importantes, par exemple pour indiquer s'il contient ou non des informations permettant d'identifier personnellement les utilisateurs, qui est le propriétaire de l'ensemble de données, combien de lignes il comporte, etc.

Pour ce faire, vous ajoutez des tags à l'ensemble de données et aux tables. Data Catalog vous permet de créer des modèles de tag et de définir les types d'attributs auxquels associer ces tags. Ces modèles facilitent la consultation, le mappage et la recherche d'informations pertinentes dans vos ensembles de données et vos tables.

Objectifs de l'atelier

Dans cet atelier, vous allez apprendre à effectuer les tâches suivantes :

  • Activer l'API Data Catalog de manière à pouvoir utiliser ce service dans votre projet Google Cloud

  • Créer un ensemble de données avec BigQuery

  • Copier une table publique des taxis new-yorkais dans votre ensemble de données

  • Créer un modèle de tag Data Catalog

  • Ajouter les tags que vous venez de créer à votre nouvelle table

Prérequis

Très important : Avant de commencer cet atelier, déconnectez-vous de votre compte Gmail personnel ou professionnel, ou lancez l'atelier dans une fenêtre de navigation privée. Cela vous évitera d'être connecté au mauvais compte.

Préparation

Avant de cliquer sur le bouton Start Lab (Démarrer l'atelier)

Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Start Lab (Démarrer l'atelier), indique combien de temps les ressources Google Cloud resteront accessibles.

Cet atelier pratique Qwiklabs vous permet de suivre vous-même les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Des identifiants temporaires vous sont fournis pour vous permettre de vous connecter à Google Cloud le temps de l'atelier.

Conditions requises

Pour réaliser cet atelier, vous devez :

  • avoir accès à un navigateur Internet standard (nous vous recommandons d'utiliser Chrome) ;
  • disposer de suffisamment de temps pour réaliser l'atelier en une fois.

Remarque : Si vous possédez déjà votre propre compte ou projet Google Cloud, veillez à ne pas l'utiliser pour réaliser cet atelier.

Remarque : Si vous utilisez un appareil Chrome OS, exécutez cet atelier dans une fenêtre de navigation privée.

Démarrer l'atelier et se connecter à la console Google Cloud

  1. Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, un pop-up s'affiche pour vous permettre de sélectionner un mode de paiement. Sur la gauche, vous trouverez le panneau Détails concernant l'atelier, qui contient les éléments suivants :

    • Le bouton Ouvrir la console Google
    • Le temps restant
    • Les identifiants temporaires que vous devez utiliser pour cet atelier
    • Des informations complémentaires vous permettant d'effectuer l'atelier
  2. Cliquez sur Ouvrir la console Google. L'atelier lance les ressources, puis ouvre la page Se connecter dans un nouvel onglet.

    Conseil : Réorganisez les onglets dans des fenêtres distinctes, placées côte à côte.

    Remarque : Si la boîte de dialogue Sélectionner un compte s'affiche, cliquez sur Utiliser un autre compte.
  3. Si nécessaire, copiez le nom d'utilisateur inclus dans le panneau Détails concernant l'atelier et collez-le dans la boîte de dialogue Se connecter. Cliquez sur Suivant.

  4. Copiez le mot de passe inclus dans le panneau Détails concernant l'atelier et collez-le dans la boîte de dialogue de bienvenue. Cliquez sur Suivant.

    Important : Vous devez utiliser les identifiants fournis dans le panneau de gauche. Ne saisissez pas vos identifiants Google Cloud Skills Boost. Remarque : Si vous utilisez votre propre compte Google Cloud pour cet atelier, des frais supplémentaires peuvent vous être facturés.
  5. Accédez aux pages suivantes :

    • Acceptez les conditions d'utilisation.
    • N'ajoutez pas d'options de récupération ni d'authentification à deux facteurs (ce compte est temporaire).
    • Ne vous inscrivez pas aux essais offerts.

Après quelques instants, la console Cloud s'ouvre dans cet onglet.

Remarque : Vous pouvez afficher le menu qui contient la liste des produits et services Google Cloud en cliquant sur le menu de navigation en haut à gauche. Icône du menu de navigation

Activer Google Cloud Shell

Google Cloud Shell est une machine virtuelle qui contient des outils pour les développeurs. Elle comprend un répertoire d'accueil persistant de 5 Go et s'exécute sur Google Cloud. Google Cloud Shell offre un accès en ligne de commande à vos ressources GCP.

  1. Dans la console GCP, dans la barre d'outils située en haut à droite, cliquez sur le bouton Ouvrir Cloud Shell.

    Icône Cloud Shell

  2. Cliquez sur Continue (Continuez):

    cloudshell_continue

Il faut quelques instants pour mettre en service et se connecter à l'environnement. Lorsque vous êtes connecté, vous êtes déjà authentifié et le projet est défini sur votre PROJECT_ID. Par exemple:

Terminal Cloud Shell

gcloud est l'outil de ligne de commande associé à Google Cloud Platform. Pré-installé sur Cloud Shell, il est également compatible avec la saisie semi-automatique via la touche de tabulation.

Vous pouvez répertorier les noms des comptes actifs à l'aide de cette commande :

gcloud auth list

Résultat :

ACTIVE: *
ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net
To set the active account, run:
    $ gcloud config set account `ACCOUNT`
	

Pour répertorier les ID de projet, exécutez la commande suivante :

gcloud config list project
	

Résultat :

[core]
project = <ID_Projet>
	

Exemple de résultat :

[core]
project = qwiklabs-gcp-44776a13dea667a6
	

Activer l'API Data Catalog

Dans le menu de navigation, sélectionnez API et services > Bibliothèque.

Dans la barre de recherche, saisissez "Data Catalog", puis sélectionnez le premier résultat.

Cliquez ensuite sur Activer.

Si vous rencontrez l'erreur suivante lorsque vous essayez d'activer l'API Data Catalog :

Failed API Enablement.png

Cliquez sur Close (Fermer), puis actualisez l'onglet de votre navigateur. Cliquez ensuite de nouveau sur Enable (Activer). L'API Data Catalog doit alors être correctement activée :

Successful API Enablement.png

Ouvrir la console BigQuery

  1. Dans la console Google Cloud, sélectionnez le menu de navigation > BigQuery.

Le message Bienvenue sur BigQuery dans Cloud Console s'affiche. Il contient un lien vers le guide de démarrage rapide et les notes de version.

  1. Cliquez sur OK.

La console BigQuery s'ouvre.

Créer un ensemble de données

Dans le volet de navigation de BigQuery sur la gauche, cliquez sur afficher les actions à côté de l'ID de votre projet, puis sur CRÉER UN ENSEMBLE DE DONNÉES.

createdataset.png

Dans la boîte de dialogue Créer l'ensemble de données :

  • Pour ID de l'ensemble de données, saisissez demo_dataset.

  • Pour Emplacement des données, sélectionnez us (plusieurs régions aux États-Unis).

dataset.png

Cliquez ensuite sur Créer l'ensemble de données.

Remarque : Vous ne pouvez pas ajouter de description ni d'étiquette lorsque vous créez un ensemble de données à l'aide de la console Cloud. Vous pouvez toutefois le faire une fois l'ensemble de données créé.

Cliquez sur Vérifier ma progression pour valider l'objectif. Créer un ensemble de données

Copier une table publique des taxis new-yorkais dans votre ensemble de données

Dans le panneau de gauche, cliquez sur + AJOUTER DES DONNÉES > Explorer les ensembles de données publics.

Dans la barre de recherche, saisissez NYC TLC Trips et cliquez sur le résultat qui s'affiche :

taxi-trips.png

Dans cet atelier, vous allez utiliser une table de cet ensemble de données. Celle-ci contient des données collectées en 2018 sur les courses des taxis jaunes de New York. Lorsque vous êtes prêt à poursuivre, cliquez en dehors du panneau latéral pour le fermer.

Copiez la table tlc_yellow_trips_2018 en exécutant cette commande dans votre panneau Cloud Shell :

bq cp bigquery-public-data:new_york_taxi_trips.tlc_yellow_trips_2018 $(gcloud config get project):demo_dataset.trips

La commande précédente a utilisé l'outil de ligne de commande bq pour copier la table publique dans votre projet, puis elle a organisé cette table dans l'ensemble de données demo_dataset créé plus tôt.

Actualisez votre page de navigation BigQuery.

Vérifiez que la table "trips" est listée dans demo_dataset.

22bdf4407123d2d9.png

Dans la section suivante, vous allez ajouter des tags Data Catalog à la table.

Cliquez sur Vérifier ma progression pour valider l'objectif. Copier une table publique des taxis new-yorkais dans votre ensemble de données

Créer un modèle de tag Data Catalog

Créez un modèle de tag à partir de l'UI Data Catalog.

Pour cela, ouvrez le menu de navigation et cliquez sur Data Catalog > Modèles de tag. Ensuite, cliquez sur + CRÉER UN MODÈLE DE TAG :

a9e7afb5963ee272.png

Remplissez le formulaire du modèle pour définir un modèle intitulé "Modèle de tag de démonstration".

  • Nom à afficher du modèle : Modèle de tag de démonstration
  • ID du modèle : demo_tag_template
  • Emplacement : conservez le paramètre par défaut.

Créez ensuite quatre attributs de tag (également appelés "champs" de tag).

Cliquez sur Ajouter un champ. Créez quatre attributs avec les valeurs indiquées ci-dessous. Notez que l'attribut "source" définit un attribut de tag obligatoire. Vous pouvez définir les noms d'attributs avec des lettres minuscules et des traits de soulignement :

  • Nom à afficher du champ : Source de l'élément de données
  • ID du champ : source_of_data_asset
  • Rendre ce champ obligatoire : Coché
  • Type : Chaîne

Cliquez sur OK. Ensuite, cliquez sur Ajouter un champ. Saisissez ce qui suit :

  • Nom à afficher du champ : Nombre de lignes dans l'élément de données
  • ID du champ : number_of_rows_in_data_asset
  • Rendre ce champ obligatoire : Décoché
  • Type : Double

Cliquez sur OK. Ensuite, cliquez sur Ajouter un champ. Saisissez ce qui suit :

  • Nom à afficher du champ : Contient des infos personnelles sur les utilisateurs
  • ID du champ : has_pii
  • Rendre ce champ obligatoire : Décoché
  • Type : Booléen

Cliquez sur OK. Ensuite, cliquez sur Ajouter un champ. Saisissez ce qui suit :

  • Nom à afficher du champ : Type d'infos personnelles sur les utilisateurs
  • ID du champ : pii_type
  • Rendre ce champ obligatoire : Décoché
  • Type : Énuméré

Ajoutez trois valeurs à cet attribut :

  • E-mail
  • Numéro de sécurité sociale
  • Aucun

Cliquez ensuite sur OK. Le formulaire de modèle de tag complété doit recenser les quatre attributs de tag :

tag_template.png

Cliquez sur CRÉER. La page Modèle de tag de Data Catalog affiche les détails et les attributs du modèle :

77cf8eee16f56a55.png

Ajouter les tags que vous venez de créer à votre table

Pour associer un tag à une table de votre ensemble de données, cliquez sur l'icône Data Catalog en haut à gauche.

Saisissez demo_dataset dans le champ de recherche, puis cliquez sur Rechercher :

8420d3bbb9dbe5dd.png

L'ID demo_dataset et la table "trips" que vous avez copiée dans l'ensemble de données s'affichent dans les résultats de recherche. Ouvrez la table trips en cliquant sur son nom :

2e685e9021aecc80.png

La page Détails de l'entrée s'ouvre. Cliquez sur ASSOCIER DES TAGS.

attach_tags.png

Dans la boîte de dialogue Associer des tags, sous "Choisir l'élément auquel ajouter un tag", sélectionnez la table trips, puis le modèle de tag Modèle de tag de démonstration.

Ajoutez ou sélectionnez ensuite les valeurs suivantes pour chaque attribut de tag :

  • source_of_data_asset : tlc_yellow_trips_2018
  • pii_type : AUCUN

tag-attribute.png

Cliquez sur Enregistrer. Les attributs de tag sont listés sur la page "Détails de l'entrée", dans l'onglet Tags.

tags.png

Cliquez sur Vérifier ma progression pour valider l'objectif. Créer un modèle de tag et associer le tag à votre table

Félicitations !

Bravo ! Vous avez appris à associer un tag à une table avec Data Catalog.

BigQueryBasicsforMarketingAnalysists.png data-catalog-quest-badge.png

Terminer votre quête

Cet atelier d'auto-formation fait partie des quêtes Qwiklabs BigQuery for Marketing Analysts et Data Catalog Fundamentals. Une quête est une série d'ateliers associés qui constituent un parcours de formation. Si vous terminez une quête, vous obtenez un badge attestant de votre réussite. Vous pouvez rendre publics les badges que vous recevez et ajouter leur lien dans votre CV en ligne ou sur vos comptes de réseaux sociaux. Inscrivez-vous à cette quête pour obtenir immédiatement les crédits associés à cet atelier si vous l'avez suivi. Découvrez les autres quêtes Qwiklabs disponibles.

Sujets abordés

Dans cet atelier, vous avez appris à effectuer les tâches suivantes :

  • Activer l'API Data Catalog

  • Créer un ensemble de données

  • Copier une table publique des taxis new-yorkais dans votre ensemble de données

  • Créer un modèle de tag et associer le tag à votre table

Étapes suivantes et informations supplémentaires

Terminer l'atelier

Une fois l'atelier terminé, cliquez sur End Lab (Terminer l'atelier). Qwiklabs supprime les ressources que vous avez utilisées, puis efface le compte.

Vous avez alors la possibilité de noter votre expérience au cours de l'atelier. Sélectionnez le nombre d'étoiles correspondant à votre note, saisissez un commentaire, puis cliquez sur Submit (Envoyer).

Voici à quoi correspond le nombre d'étoiles que vous pouvez attribuer à un atelier :

  • 1 étoile = très insatisfait(e)
  • 2 étoiles = insatisfait(e)
  • 3 étoiles = ni insatisfait(e), ni satisfait(e)
  • 4 étoiles = satisfait(e)
  • 5 étoiles = très satisfait(e)

Si vous ne souhaitez pas donner votre avis, vous pouvez fermer la boîte de dialogue.

Pour soumettre des commentaires, suggestions ou corrections, veuillez utiliser l'onglet Support.

Google Cloud Training & Certification

...helps you make the most of Google Cloud technologies. Our classes include technical skills and best practices to help you get up to speed quickly and continue your learning journey. We offer fundamental to advanced level training, with on-demand, live, and virtual options to suit your busy schedule. Certifications help you validate and prove your skill and expertise in Google Cloud technologies.

Dernière mise à jour du manuel : 20 avril 2022
Dernier test de l'atelier : 20 avril 2022

Copyright 2020 Google LLC Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.