GSP207

Présentation

Dans cet atelier, vous allez configurer un environnement de développement Python, récupérer le SDK Cloud Dataflow pour Python et exécuter un exemple de pipeline à l'aide de la console Cloud.

Prérequis

Avant de cliquer sur le bouton Start Lab (Démarrer l'atelier)

Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Start Lab (Démarrer l'atelier), indique combien de temps les ressources Google Cloud resteront accessibles.

Cet atelier pratique Qwiklabs vous permet de suivre vous-même les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Des identifiants temporaires vous sont fournis pour vous permettre de vous connecter à Google Cloud le temps de l'atelier.

Conditions requises

Pour réaliser cet atelier, vous devez :

• avoir accès à un navigateur Internet standard (nous vous recommandons d'utiliser Chrome) ;
• disposer de suffisamment de temps pour réaliser l'atelier en une fois.

Remarque : Si vous possédez déjà votre propre compte ou projet Google Cloud, veillez à ne pas l'utiliser pour réaliser cet atelier.

Remarque : Si vous utilisez un appareil Chrome OS, exécutez cet atelier dans une fenêtre de navigation privée.

Démarrer l'atelier et se connecter à la console Google Cloud

1. Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, un pop-up s'affiche pour vous permettre de sélectionner un mode de paiement. Sur la gauche, vous trouverez le panneau Détails concernant l'atelier, qui contient les éléments suivants :

   • Le bouton Ouvrir la console Google
   • Le temps restant
   • Les identifiants temporaires que vous devez utiliser pour cet atelier
   • Des informations complémentaires vous permettant d'effectuer l'atelier

2. Cliquez sur Ouvrir la console Google. L'atelier lance les ressources, puis ouvre la page Se connecter dans un nouvel onglet.

   Conseil : Réorganisez les onglets dans des fenêtres distinctes, placées côte à côte.

   Remarque : Si la boîte de dialogue Sélectionner un compte s'affiche, cliquez sur Utiliser un autre compte.

3. Si nécessaire, copiez le nom d'utilisateur inclus dans le panneau Détails concernant l'atelier et collez-le dans la boîte de dialogue Se connecter. Cliquez sur Suivant.

4. Copiez le mot de passe inclus dans le panneau Détails concernant l'atelier et collez-le dans la boîte de dialogue de bienvenue. Cliquez sur Suivant.

   Important : Vous devez utiliser les identifiants fournis dans le panneau de gauche. Ne saisissez pas vos identifiants Google Cloud Skills Boost. Remarque : Si vous utilisez votre propre compte Google Cloud pour cet atelier, des frais supplémentaires peuvent vous être facturés.

5. Accédez aux pages suivantes :

   • Acceptez les conditions d'utilisation.
   • N'ajoutez pas d'options de récupération ni d'authentification à deux facteurs (ce compte est temporaire).
   • Ne vous inscrivez pas aux essais offerts.

Après quelques instants, la console Cloud s'ouvre dans cet onglet.

Remarque : Vous pouvez afficher le menu qui contient la liste des produits et services Google Cloud en cliquant sur le menu de navigation en haut à gauche.

Activer Google Cloud Shell

Google Cloud Shell est une machine virtuelle qui contient des outils pour les développeurs. Elle comprend un répertoire d'accueil persistant de 5 Go et s'exécute sur Google Cloud. Google Cloud Shell offre un accès en ligne de commande à vos ressources GCP.

1. Dans la console GCP, dans la barre d'outils située en haut à droite, cliquez sur le bouton Ouvrir Cloud Shell.

   

2. Cliquez sur Continue (Continuez):

   

Il faut quelques instants pour mettre en service et se connecter à l'environnement. Lorsque vous êtes connecté, vous êtes déjà authentifié et le projet est défini sur votre PROJECT_ID. Par exemple:

gcloud est l'outil de ligne de commande associé à Google Cloud Platform. Pré-installé sur Cloud Shell, il est également compatible avec la saisie semi-automatique via la touche de tabulation.

Vous pouvez répertorier les noms des comptes actifs à l'aide de cette commande :

gcloud auth list

Résultat :

ACTIVE: *
ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net
To set the active account, run:
    $ gcloud config set account `ACCOUNT`
	

Pour répertorier les ID de projet, exécutez la commande suivante :

gcloud config list project
	

Résultat :

[core]
project = <ID_Projet>
	

Exemple de résultat :

[core]
project = qwiklabs-gcp-44776a13dea667a6
	

Tâche 1 : Créer un bucket Cloud Storage

1. Dans la console Cloud, cliquez sur le menu de navigation > Cloud Storage.

2. Cliquez sur Créer un bucket.

3. Dans la boîte de dialogue Créer un bucket, spécifiez les attributs suivants :

• Name (Nom) : nom unique du bucket. N'incluez aucune information sensible dans le nom des buckets, car leur espace de noms est global et public.

• Type d'emplacement : Multirégion

• Emplacement : us

• L'emplacement de stockage des données de bucket.

4. Cliquez sur Créer.

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour valider la tâche exécutée. Si votre tâche a bien été exécutée, vous recevez une note d'évaluation.

Créer un bucket Cloud Storage

Tâche 2 : Installer pip et le SDK Cloud Dataflow

1. Le SDK Cloud Dataflow pour Python requiert la version 3.7 de Python.

Pour vous assurer d'exécuter le processus avec la bonne version, exécutez l'image Docker Python3.7 :

docker run -it -e DEVSHELL_PROJECT_ID=$DEVSHELL_PROJECT_ID python:3.7 /bin/bash

Cette commande extrait un conteneur Docker avec la dernière version stable de Python 3.7, puis ouvre une interface vous permettant d'exécuter les commandes suivantes dans votre conteneur :

2. Une fois le conteneur exécuté, installez la dernière version d'Apache Beam pour Python en exécutant la commande suivante depuis un environnement virtuel :

pip install 'apache-beam[gcp]'

Des avertissements relatifs aux dépendances s'affichent. Vous pouvez les ignorer dans le cadre de cet atelier.

3. Exécutez l'exemple wordcount.py en local à l'aide de la commande suivante :

python -m apache_beam.examples.wordcount --output OUTPUT_FILE

Un message semblable au suivant peut s'afficher :

INFO:root:Missing pipeline option (runner). Executing pipeline using the default runner: DirectRunner. INFO:oauth2client.client:Attempting refresh to obtain initial access_token

Vous pouvez l'ignorer.

4. Listez maintenant les fichiers disponibles dans votre environnement cloud local pour obtenir le nom du fichier OUTPUT_FILE :

ls

5. Copiez le nom du fichier OUTPUT_FILE et exécutez une commande cat :

cat <nom du fichier>

Vos résultats affichent les mots contenus dans le fichier et le nombre de fois qu'ils y apparaissent.

Tâche 3 : Exécuter un exemple de pipeline à distance

1. Définissez la variable d'environnement BUCKET sur le bucket que vous venez de créer :

BUCKET=gs://<nom de bucket fourni précédemment>

2. Exécutez l'exemple wordcount.py à distance :

python -m apache_beam.examples.wordcount --project $DEVSHELL_PROJECT_ID \ --runner DataflowRunner \ --staging_location $BUCKET/staging \ --temp_location $BUCKET/temp \ --output $BUCKET/results/output \ --region us-west1

Attendez que le message suivant s'affiche dans les résultats :

JOB_MESSAGE_DETAILED: Workers have started successfully.

Poursuivez ensuite l'atelier.

Tâche 4 : Vérifier la bonne exécution de votre job

1. Ouvrez le menu de navigation et cliquez sur Dataflow dans la liste des services.

Le job wordcount s'affiche et son état initial indique En cours d'exécution.

2. Cliquez sur le nom pour accéder au traitement. Lorsque toutes les cases sont cochées, continuez à observer les journaux dans Cloud Shell.

L'opération est terminée lorsque l'état passe à Réussi :

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour valider la tâche exécutée. Si votre tâche a bien été exécutée, vous recevez une note d'évaluation.

Exécuter un exemple de pipeline à distance

3. Dans la console Cloud, cliquez sur le menu de navigation > Cloud Storage.

4. Cliquez sur le nom de votre bucket. Les répertoires résultats et préproduction devraient apparaître dans votre bucket.

5. Cliquez sur le dossier résultats pour voir les fichiers de sortie créés par votre job :

6. Cliquez sur un fichier pour afficher le nombre de mots qu'il contient.

Tâche 5 : Tester vos connaissances

Voici quelques questions à choix multiples qui vous permettront de mieux maîtriser les concepts abordés lors de cet atelier. Répondez-y du mieux que vous le pouvez.

Félicitations !

Terminer votre quête

Cet atelier d'auto-formation fait partie de la quête Baseline: Data, ML, AI. Une quête est une série d'ateliers associés qui constituent un parcours de formation. Si vous terminez cette quête, vous obtenez un badge attestant de votre réussite. Vous pouvez rendre publics les badges que vous recevez et ajouter leur lien dans votre CV en ligne ou sur vos comptes de réseaux sociaux. Inscrivez-vous à cette quête ou à une autre quête contenant cet atelier pour obtenir immédiatement les crédits associés. Découvrez toutes les quêtes disponibles dans le catalogue Google Cloud Skills Boost.

Étapes suivantes et informations supplémentaires

Cet atelier fait partie d'une série appelée "Qwik Starts". Les ateliers de cette série sont conçus pour vous présenter brièvement les nombreuses fonctionnalités proposées par Google Cloud. Pour suivre un autre atelier, recherchez "Qwik Starts" dans le catalogue Google Cloud Skills Boost.

Pour obtenir votre propre exemplaire de l'ouvrage dont est issu cet atelier : Data Science on the Google Cloud Platform: O'Reilly Media, Inc.

Google Cloud Training & Certification

...helps you make the most of Google Cloud technologies. Our classes include technical skills and best practices to help you get up to speed quickly and continue your learning journey. We offer fundamental to advanced level training, with on-demand, live, and virtual options to suit your busy schedule. Certifications help you validate and prove your skill and expertise in Google Cloud technologies.

Dernière mise à jour du manuel : 21 juillet 2022

Dernier test de l'atelier : 21 juillet 2022

Copyright 2020 Google LLC Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.