GSP192

Présentation

Dans cet atelier, vous allez apprendre à créer un pipeline de flux de données à l'aide d'un des modèles Cloud Dataflow de Google. Plus spécifiquement, vous allez utiliser le modèle Cloud Pub/Sub vers BigQuery, qui permet de transférer dans une table BigQuery les messages au format JSON extraits d'un sujet Pub/Sub. La documentation concernant ce modèle est disponible dans le guide Premiers pas avec les modèles fournis par Google.

Pour créer l'ensemble de données et la table BigQuery, vous pouvez utiliser la ligne de commande Cloud Shell ou la console Cloud. Choisissez une seule méthode et continuez ainsi jusqu'à la fin de l'atelier. Si vous souhaitez essayer les deux méthodes, réalisez cet atelier une seconde fois.

Prérequis

Avant de cliquer sur le bouton Start Lab (Démarrer l'atelier)

Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Start Lab (Démarrer l'atelier), indique combien de temps les ressources Google Cloud resteront accessibles.

Cet atelier pratique Qwiklabs vous permet de suivre vous-même les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Des identifiants temporaires vous sont fournis pour vous permettre de vous connecter à Google Cloud le temps de l'atelier.

Conditions requises

Pour réaliser cet atelier, vous devez :

• avoir accès à un navigateur Internet standard (nous vous recommandons d'utiliser Chrome) ;
• disposer de suffisamment de temps pour réaliser l'atelier en une fois.

Remarque : Si vous possédez déjà votre propre compte ou projet Google Cloud, veillez à ne pas l'utiliser pour réaliser cet atelier.

Remarque : Si vous utilisez un appareil Chrome OS, exécutez cet atelier dans une fenêtre de navigation privée.

Démarrer l'atelier et se connecter à la console Google Cloud

1. Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, un pop-up s'affiche pour vous permettre de sélectionner un mode de paiement. Sur la gauche, vous trouverez le panneau Détails concernant l'atelier, qui contient les éléments suivants :

   • Le bouton Ouvrir la console Google
   • Le temps restant
   • Les identifiants temporaires que vous devez utiliser pour cet atelier
   • Des informations complémentaires vous permettant d'effectuer l'atelier

2. Cliquez sur Ouvrir la console Google. L'atelier lance les ressources, puis ouvre la page Se connecter dans un nouvel onglet.

   Conseil : Réorganisez les onglets dans des fenêtres distinctes, placées côte à côte.

   Remarque : Si la boîte de dialogue Sélectionner un compte s'affiche, cliquez sur Utiliser un autre compte.

3. Si nécessaire, copiez le nom d'utilisateur inclus dans le panneau Détails concernant l'atelier et collez-le dans la boîte de dialogue Se connecter. Cliquez sur Suivant.

4. Copiez le mot de passe inclus dans le panneau Détails concernant l'atelier et collez-le dans la boîte de dialogue de bienvenue. Cliquez sur Suivant.

   Important : Vous devez utiliser les identifiants fournis dans le panneau de gauche. Ne saisissez pas vos identifiants Google Cloud Skills Boost. Remarque : Si vous utilisez votre propre compte Google Cloud pour cet atelier, des frais supplémentaires peuvent vous être facturés.

5. Accédez aux pages suivantes :

   • Acceptez les conditions d'utilisation.
   • N'ajoutez pas d'options de récupération ni d'authentification à deux facteurs (ce compte est temporaire).
   • Ne vous inscrivez pas aux essais offerts.

Après quelques instants, la console Cloud s'ouvre dans cet onglet.

Remarque : Vous pouvez afficher le menu qui contient la liste des produits et services Google Cloud en cliquant sur le menu de navigation en haut à gauche.

Activer Google Cloud Shell

Google Cloud Shell est une machine virtuelle qui contient des outils pour les développeurs. Elle comprend un répertoire d'accueil persistant de 5 Go et s'exécute sur Google Cloud. Google Cloud Shell offre un accès en ligne de commande à vos ressources GCP.

1. Dans la console GCP, dans la barre d'outils située en haut à droite, cliquez sur le bouton Ouvrir Cloud Shell.

   

2. Cliquez sur Continue (Continuez):

   

Il faut quelques instants pour mettre en service et se connecter à l'environnement. Lorsque vous êtes connecté, vous êtes déjà authentifié et le projet est défini sur votre PROJECT_ID. Par exemple:

gcloud est l'outil de ligne de commande associé à Google Cloud Platform. Pré-installé sur Cloud Shell, il est également compatible avec la saisie semi-automatique via la touche de tabulation.

Vous pouvez répertorier les noms des comptes actifs à l'aide de cette commande :

gcloud auth list

Résultat :

ACTIVE: *
ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net
To set the active account, run:
    $ gcloud config set account `ACCOUNT`
	

Pour répertorier les ID de projet, exécutez la commande suivante :

gcloud config list project
	

Résultat :

[core]
project = <ID_Projet>
	

Exemple de résultat :

[core]
project = qwiklabs-gcp-44776a13dea667a6
	

Vérifier que l'API Dataflow est activée

Pour vous assurer que vous avez bien accès à l'API requise, redémarrez la connexion à l'API Dataflow.

1. Dans la console Cloud, en haut, saisissez "API Dataflow" dans la barre de recherche. Cliquez sur API Dataflow dans les résultats.

2. Cliquez sur Gérer.

3. Cliquez sur Désactiver l'API.

Si vous êtes invité à confirmer votre choix, cliquez sur Désactiver.

4. Cliquez sur Activer.

Une fois l'API réactivée, l'option permettant de la désactiver s'affiche sur la page.

Tâche 1 : Créer un ensemble de données et une table Cloud BigQuery à l'aide de Cloud Shell

Commencez par créer la table et l'ensemble de données BigQuery.

Remarque : Cette section utilise l'outil de ligne de commande bq. Ignorez-la si vous préférez réaliser cet atelier avec la console.

1. Exécutez la commande suivante pour créer un ensemble de données nommé taxirides :

bq mk taxirides

Le résultat doit être semblable à ceci :

Dataset '' successfully created

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour vérifier la tâche exécutée. Si l'ensemble de données BigQuery a été correctement créé, vous recevez une note d'évaluation.

Créer un ensemble de données BigQuery (nom : taxirides)

Maintenant que vous avez créé votre ensemble de données, servez-vous-en pour instancier une table BigQuery dans l'étape suivante.

2. Pour ce faire, exécutez la commande suivante :

bq mk \ --time_partitioning_field timestamp \ --schema ride_id:string,point_idx:integer,latitude:float,longitude:float,\ timestamp:timestamp,meter_reading:float,meter_increment:float,ride_status:string,\ passenger_count:integer -t taxirides.realtime

Le résultat doit être semblable à ceci :

Table 'myprojectid:taxirides.realtime' successfully created

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour vérifier la tâche exécutée. Si vous avez correctement créé une table dans l'ensemble de données BigQuery, vous recevez une note d'évaluation.

Créer une table dans l'ensemble de données BigQuery

Au premier abord, la commande bq mk semble un peu compliquée, mais pour bien comprendre son fonctionnement, nous pouvons consulter la documentation sur la ligne de commande BigQuery. Elle nous éclaire par exemple sur ce qu'est un schéma :

• Il s'agit soit du chemin d'accès à un fichier de schéma JSON local, soit d'une liste de définitions de colonnes séparées par une virgule au format [FIELD]:[DATA_TYPE], [FIELD]:[DATA_TYPE].

Dans le cas présent, il s'agit d'une liste de définitions séparées par une virgule.

Créer un bucket de stockage

Maintenant que vous avez instancié la table, vous allez créer un bucket.

• Pour ce faire, exécutez les commandes suivantes :

export BUCKET_NAME=<your-unique-name> gsutil mb gs://$BUCKET_NAME/

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour vérifier la tâche exécutée. Si le bucket Cloud Storage a correctement été créé, vous recevez une note d'évaluation.

Créer un bucket de stockage

Une fois votre bucket créé, accédez plus bas à la section Exécuter le pipeline.

Tâche 2 : Créer un ensemble de données et une table Cloud BigQuery dans la console Cloud

Remarque : Vous pouvez ignorer cette section si vous avez effectué la configuration via la ligne de commande.

1. Dans la section "Big Data" du menu de gauche, cliquez sur BigQuery.

2. Cliquez ensuite sur OK.

3. Dans la section Explorateur, cliquez sur les trois points à côté du nom de votre projet, puis sur Créer un ensemble de données.

4. Saisissez l'ID taxirides pour votre ensemble de données :

5. Pour "Emplacement des données", sélectionnez us (plusieurs régions aux États-Unis).

6. Conservez les autres paramètres par défaut et cliquez sur CRÉER L'ENSEMBLE DE DONNÉES.

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour vérifier la tâche exécutée. Si l'ensemble de données BigQuery a été correctement créé, vous recevez une note d'évaluation.

Créer un ensemble de données BigQuery (nom : taxirides)

7. L'ensemble de données taxirides devrait maintenant s'afficher sous l'ID de votre projet dans la partie gauche de la console.

8. Cliquez sur les trois points à côté de taxirides, puis sélectionnez Ouvrir.

9. Ensuite, sélectionnez CRÉER UNE TABLE dans la partie droite de la console.

10. Dans la section Destination > Nom de la table, saisissez realtime.

11. Sous "Schéma", cliquez sur le bouton Modifier sous forme de texte, puis saisissez la commande suivante :

ride_id:string,point_idx:integer,latitude:float,longitude:float,timestamp:timestamp, meter_reading:float,meter_increment:float,ride_status:string,passenger_count:integer

Votre console doit se présenter comme suit :

12. Cliquez maintenant sur Créer une table.

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour vérifier la tâche exécutée. Si vous avez correctement créé une table dans l'ensemble de données BigQuery, vous recevez une note d'évaluation.

Créer une table dans l'ensemble de données BigQuery

Créer un bucket de stockage

1. Revenez dans la console Cloud puis accédez à Cloud Storage > Buckets > Créer un bucket.

2. Attribuez un nom unique à votre bucket.

3. Ne modifiez aucun autre paramètre par défaut, puis cliquez sur Créer.

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour vérifier la tâche exécutée. Si le bucket Cloud Storage a correctement été créé, vous recevez une note d'évaluation.

Créer un bucket de stockage

Tâche 3 : Exécuter le pipeline

1. Dans le menu de navigation, localisez la section "Analyse", puis cliquez sur Dataflow.

2. Cliquez sur + Créer un job à partir d'un modèle en haut de l'écran.

3. Saisissez iotflow dans le champ Nom du job pour votre job Cloud Dataflow, puis sélectionnez us-east1 comme point de terminaison régional.

4. Sous Modèle Dataflow, sélectionnez le modèle Sujet Pub/Sub vers BigQuery.

5. Sous Sujet Pub/Sub d'entrée, cliquez sur Saisir le sujet manuellement, puis saisissez :

projects/pubsub-public-data/topics/taxirides-realtime

6. Sous Table de sortie BigQuery, saisissez le nom de la table que vous avez créée :

<myprojectid>:taxirides.realtime

7. Ajoutez votre bucket en tant qu'emplacement temporaire :

gs://Your_Bucket_Name/temp

8. Cliquez sur le bouton Exécuter le job.

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour vérifier la tâche exécutée. Si le pipeline Dataflow a correctement été exécuté, vous recevez une note d'évaluation.

Exécutez le pipeline.

Vos ressources sont créées et prêtes à être utilisées.

Cliquez maintenant sur BigQuery dans le menu de navigation pour examiner les données qui y ont été écrites.

• À l'ouverture de l'UI BigQuery, la table taxirides apparaît sous le nom de votre projet, et realtime en dessous :

Tâche 4 : Envoyer une requête

Vous pouvez envoyer des requêtes à l'aide du langage SQL standard.

1. Dans le champ Éditeur, ajoutez la commande suivante, en remplaçant myprojectid par l'ID de projet inclus dans le panneau "Détails concernant l'atelier" :

SELECT * FROM `myprojectid.taxirides.realtime` LIMIT 1000

2. Cliquez à présent sur EXÉCUTER.

Si vous rencontrez des problèmes ou que des messages d'erreur s'affichent, exécutez à nouveau la requête (le démarrage du pipeline prend une minute).

3. Le résultat s'affiche ensuite dans le panneau Résultats de la requête, comme suit :

Bravo ! Vous venez de transférer dans une table BigQuery 1 000 courses de taxi extraites d'un sujet Pub/Sub. Comme vous avez pu le constater, les modèles constituent un moyen simple et pratique d'exécuter des jobs Dataflow. D'autres modèles Google sont disponibles dans le guide Premiers pas avec les modèles fournis par Google de la documentation Dataflow.

Tâche 5 : Tester vos connaissances

Voici quelques questions à choix multiples qui vous permettront de mieux maîtriser les concepts abordés lors de cet atelier. Répondez-y du mieux que vous le pouvez.

Félicitations !

Terminer votre quête

Cet atelier d'auto-formation fait partie de la quête Baseline: Data, ML, AI. Une quête est une série d'ateliers associés qui constituent un parcours de formation. Si vous terminez cette quête, vous obtenez un badge attestant de votre réussite. Vous pouvez rendre publics les badges que vous recevez et ajouter leur lien dans votre CV en ligne ou sur vos comptes de réseaux sociaux. Inscrivez-vous à cette quête ou à une autre quête contenant cet atelier pour obtenir immédiatement les crédits associés. Découvrez toutes les quêtes disponibles dans le catalogue Google Cloud Skills Boost.

Étapes suivantes et informations supplémentaires

Cet atelier fait partie d'une série appelée "Qwik Starts". Les ateliers de cette série sont conçus pour vous présenter brièvement les nombreuses fonctionnalités proposées par Google Cloud. Pour suivre un autre atelier, recherchez "Qwik Starts" dans le catalogue Google Cloud Skills Boost.

Google Cloud Training & Certification

...helps you make the most of Google Cloud technologies. Our classes include technical skills and best practices to help you get up to speed quickly and continue your learning journey. We offer fundamental to advanced level training, with on-demand, live, and virtual options to suit your busy schedule. Certifications help you validate and prove your skill and expertise in Google Cloud technologies.

Dernière modification du manuel : 27 janvier 2023

Dernier test de l'atelier : 27 janvier 2023

Copyright 2020 Google LLC Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.