Points de contrôle
Create a Dataproc cluster (region: us-central1)
/ 50
Submit a Spark Job
/ 25
Update a cluster for 5 worker nodes
/ 25
API Explorer : Créer et mettre à jour un cluster
GSP288
Aperçu
Google API Explorer est un outil permettant d'explorer différentes API Google de façon interactive. Avec API Explorer, vous pouvez :
- parcourir rapidement les API et les versions disponibles ;
- consulter les méthodes disponibles pour chaque API, les paramètres compatibles, ainsi que la documentation intégrée ;
- exécuter des requêtes pour chaque méthode et voir les réponses en temps réel ;
- effectuer des appels d'API authentifiés et autorisés ;
- effectuer des recherches dans l'ensemble des services, des méthodes et de vos requêtes récentes afin de trouver rapidement ce dont vous avez besoin.
API Explorer utilise sa propre clé API à chaque requête. Lorsque vous l'utilisez pour faire une requête, API Explorer affiche la syntaxe de la requête, qui inclut un espace réservé portant le libellé {YOUR_API_KEY}. Si vous souhaitez réaliser la même requête dans votre application, vous devez remplacer cet espace réservé par votre propre clé API.
Dans cet atelier, vous apprendrez à utiliser un modèle Google API Explorer intégré pour appeler l'API Cloud Dataproc afin de créer un cluster et d'exécuter une tâche Spark simple dans ce dernier. Vous découvrirez également comment utiliser le modèle API Explorer pour appeler l'API Cloud Dataproc afin de mettre à jour votre cluster.
Prérequis
Avant de cliquer sur le bouton Start Lab (Démarrer l'atelier)
Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Start Lab (Démarrer l'atelier), indique combien de temps les ressources Google Cloud resteront accessibles.
Cet atelier pratique Qwiklabs vous permet de suivre vous-même les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Des identifiants temporaires vous sont fournis pour vous permettre de vous connecter à Google Cloud le temps de l'atelier.
Conditions requises
Pour réaliser cet atelier, vous devez :
- avoir accès à un navigateur Internet standard (nous vous recommandons d'utiliser Chrome) ;
- disposer de suffisamment de temps pour réaliser l'atelier en une fois.
Remarque : Si vous possédez déjà votre propre compte ou projet Google Cloud, veillez à ne pas l'utiliser pour réaliser cet atelier.
Remarque : Si vous utilisez un appareil Chrome OS, exécutez cet atelier dans une fenêtre de navigation privée.
Démarrer l'atelier et se connecter à la console Google Cloud
-
Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, un pop-up s'affiche pour vous permettre de sélectionner un mode de paiement. Sur la gauche, vous trouverez le panneau Détails concernant l'atelier, qui contient les éléments suivants :
- Le bouton Ouvrir la console Google
- Le temps restant
- Les identifiants temporaires que vous devez utiliser pour cet atelier
- Des informations complémentaires vous permettant d'effectuer l'atelier
-
Cliquez sur Ouvrir la console Google. L'atelier lance les ressources, puis ouvre la page Se connecter dans un nouvel onglet.
Conseil : Réorganisez les onglets dans des fenêtres distinctes, placées côte à côte.
Remarque : Si la boîte de dialogue Sélectionner un compte s'affiche, cliquez sur Utiliser un autre compte. -
Si nécessaire, copiez le nom d'utilisateur inclus dans le panneau Détails concernant l'atelier et collez-le dans la boîte de dialogue Se connecter. Cliquez sur Suivant.
-
Copiez le mot de passe inclus dans le panneau Détails concernant l'atelier et collez-le dans la boîte de dialogue de bienvenue. Cliquez sur Suivant.
Important : Vous devez utiliser les identifiants fournis dans le panneau de gauche. Ne saisissez pas vos identifiants Google Cloud Skills Boost. Remarque : Si vous utilisez votre propre compte Google Cloud pour cet atelier, des frais supplémentaires peuvent vous être facturés. -
Accédez aux pages suivantes :
- Acceptez les conditions d'utilisation.
- N'ajoutez pas d'options de récupération ni d'authentification à deux facteurs (ce compte est temporaire).
- Ne vous inscrivez pas aux essais offerts.
Après quelques instants, la console Cloud s'ouvre dans cet onglet.
Activer Google Cloud Shell
Google Cloud Shell est une machine virtuelle qui contient des outils pour les développeurs. Elle comprend un répertoire d'accueil persistant de 5 Go et s'exécute sur Google Cloud. Google Cloud Shell offre un accès en ligne de commande à vos ressources GCP.
-
Dans la console GCP, dans la barre d'outils située en haut à droite, cliquez sur le bouton Ouvrir Cloud Shell.
-
Cliquez sur Continue (Continuez):
Il faut quelques instants pour mettre en service et se connecter à l'environnement. Lorsque vous êtes connecté, vous êtes déjà authentifié et le projet est défini sur votre PROJECT_ID. Par exemple:
gcloud est l'outil de ligne de commande associé à Google Cloud Platform. Pré-installé sur Cloud Shell, il est également compatible avec la saisie semi-automatique via la touche de tabulation.
Vous pouvez répertorier les noms des comptes actifs à l'aide de cette commande :
gcloud auth list
Résultat :
ACTIVE: *
ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net
To set the active account, run:
$ gcloud config set account `ACCOUNT`
Pour répertorier les ID de projet, exécutez la commande suivante :
gcloud config list project
Résultat :
[core]
project = <ID_Projet>
Exemple de résultat :
[core]
project = qwiklabs-gcp-44776a13dea667a6
Ouvrir API Explorer
Accédez au menu de navigation > APIs & Services (API et services).
Faites défiler la liste jusqu'à Cloud Dataproc API (API Cloud Dataproc), puis cliquez dessus.
Assurez-vous que cette API est activée, sinon cliquez sur Activer (Enable). Maintenant que vous avez vérifié l'activation de l'API, ouvrez Rest API Reference. Cela ouvrira un nouvel onglet avec la page Référence d'API restante pour l'Cloud Dataproc API .
Créer un cluster
De la section APIs et références de gauche à REST reference > v1 > projects.regions.clusters > create à la méthode projects.regions.clusters.create
, ou utilisez ce lien pour créer un cluster.
puis remplissez et exécutez le modèle API Explorer ci-dessous, comme suit :
-
Saisissez votre ID de projet GCP Qwiklabs dans le champ "projectID".
-
Définissez le champ "region" sur global.
-
Dans le corps de la requête, cliquez entre les accolades et ajoutez la propriété
clusterName
. Saisissez le nom de cluster de votre choix. La valeur du nom de cluster (clusterName) ne doit pas contenir d'espace ni de lettre majuscule. -
Dans le menu déroulant "Add a Property" (Ajouter une propriété), choisissez
config
. -
Dans le menu déroulant "Add a Property" (Ajouter une propriété), choisissez
gceClusterConfig
. -
Dans le menu déroulant "Add a Property" (Ajouter une propriété), choisissez le champ
zoneUri
, puis ajoutez l'élément suivant, en remplaçantmy-project-id
par l'ID de projet GCP de cet atelier :
https://www.googleapis.com/compute/v1/projects/my-project-id/zones/us-central1-a
Une fois terminé, le Request Body (corps de la requête) doit ressembler à ce qui suit :
Assurez-vous que les cases à cocher Google OAuth 2.0 et API Key sont sélectionnées dans la section Credentials (Informations d'identification).
Remarque: pour consulter la FAQ sur les Credentials (informations d'identification), cliquez sur l'icône en forme de point d'interrogation en regard du titre des Credentials.
Assurez-vous que les valeurs de propriété ne contiennent aucun espace de fin.
Cliquez sur EXECUTE (EXÉCUTER).
Sélectionnez le compte étudiant avec lequel vous avez commencé l'atelier et cliquez sur Allow (Autoriser) lorsque vous y êtes invité afin d'octroyer les autorisations nécessaires à API Explorer.
Les résultats de l'API Dataproc apparaissent sous la requête et ressemblent à ce qui suit :
Pour visualiser le cluster créé, vous pouvez accéder au menu de navigation > Dataproc > Clusters.
Tester la tâche terminée
Cliquez sur Check my progress (Vérifier ma progression) pour vérifier votre tâche exécutée. Si votre tâche a bien été exécutée, vous recevez une note d'évaluation.
Exécuter une tâche Spark
Ensuite, vous exécutez une tâche Apache Spark simple qui calcule une valeur approximative de pi dans un cluster Cloud Dataproc existant.
De la section APIs et références de gauche à REST reference > v1 > projects.regions.jobs > submit à la méthode projects.regions.jobs.submit
ou utilisez ce lien pour soumettre un travail à un cluster.
Remplissez et exécutez le modèle API Explorer comme suit :
-
Saisissez l'ID de votre projet dans le champ "projectID".
-
Définissez le champ "region" sur global.
-
Dans le Request Bodycorps de la requête, cliquez entre les accolades et choisissez la
job
. -
Cliquez entre les accolades en dessous et sélectionnez
placement
. -
Cliquez entre les accolades en dessous, sélectionnez
clusterName
, puis saisissez le nom du cluster. -
Entre les accolades se trouvant sous la tâche, sélectionnez
sparkJob
. -
À présent, ajoutez trois éléments sous sparkJob :
-
Args
= 1000 -
jarFileUris
= file:///usr/lib/spark/examples/jars/spark-examples.jar -
mainClass
= org.apache.spark.examples.SparkPi
Assurez-vous que les cases à cocher Google OAuth 2.0 et API Key sont sélectionnées dans la section Credentials (Informations d'identification).
Remarque: pour consulter la FAQ sur les Credentials (informations d'identification), cliquez sur l'icône en forme de point d'interrogation en regard du titre des Credentials.
Assurez-vous que les valeurs de propriété ne contiennent aucun espace de fin.
Cliquez sur EXECUTE (EXÉCUTER).
Les résultats de l'API Dataproc apparaissent sous la requête et ressemblent à ce qui suit :
Pour trouver vos résultats, accédez à Dataproc > Clusters. Cliquez sur le nom de votre cluster, puis sur l'onglet Jobs (Tâches).
Cliquez sur l'ID de tâche et cochez la case "Line Wrapping" (Renvoi à la ligne automatique) afin que les lignes dépassant la marge à droite apparaissent dans la vue.
Tester la tâche terminée
Cliquez sur Check my progress (Vérifier ma progression) pour vérifier votre tâche exécutée. Si votre tâche a bien été exécutée, vous recevez une note d'évaluation.
Mettre à jour un cluster
De la section APIs et références de gauche à REST reference > v1 > projects.regions.clusters > patch à la méthode projects.regions.clusters.patch
ou utilisez ce lien pour mettre à jour un cluster.
Puis remplissez et exécutez le modèle API Explorer comme suit :
-
projectID = ID du projet
-
Region = global
-
clusterName = saisissez le nom du cluster
-
updateMask = config.worker_config.num_instances
-
Corps du correctif, saisissez les éléments suivants :
- Première accolade =
config
- Cliquez entre les accolades en dessous et sélectionnez
workerConfig
. - Cliquez entre les accolades en dessous, sélectionnez
numInstances
, puis saisissez 5.
Votre formulaire doit se présenter comme suit :
Assurez-vous que les cases à cocher Google OAuth 2.0 et API Key sont sélectionnées dans la section Credentials (Informations d'identification).
Remarque: pour consulter la FAQ sur les Credentials (informations d'identification), cliquez sur l'icône en forme de point d'interrogation en regard du titre des Credentials.
Assurez-vous que les valeurs de propriété ne contiennent aucun espace de fin.
Cliquez sur EXECUTE (EXÉCUTER).
Les résultats de l'API Dataproc apparaissent sous la requête et ressemblent à ce qui suit :
Afin de vérifier la mise à jour, revenez à la page Dataproc Clusters (Clusters Dataproc). Vous avez à présent un total de cinq nœuds de calcul.
Tester la tâche terminée
Cliquez sur Check my progress (Vérifier ma progression) pour vérifier votre tâche exécutée. Si votre tâche a bien été exécutée, vous recevez une note d'évaluation.
Tester vos connaissances
Voici quelques questions à choix multiples qui vous permettront de mieux maîtriser les concepts abordés lors de cet atelier. Répondez-y du mieux que vous le pouvez.
Félicitations !
Vous avez utilisé l'API Cloud Dataproc via API Explorer pour créer un cluster, exécuter une tâche Spark et mettre à jour le cluster.
Terminer votre quête
Cet atelier d'auto-formation fait partie de la quête Qwiklabs Exploring APIs. Une quête est une série d'ateliers associés qui constituent une formation. Si vous terminez cette quête, vous obtenez le badge ci-dessus attestant de votre réussite. Vous pouvez rendre publics les badges que vous recevez et ajouter leur lien dans votre CV en ligne ou sur vos comptes de réseaux sociaux. Inscrivez-vous à cette quête pour obtenir immédiatement les crédits associés à cet atelier si vous l'avez suivi. Découvrez les autres quêtes Qwiklabs disponibles.
Étapes suivantes et informations supplémentaires
- Consulter la page des questions fréquentes sur API Explorer
- En savoir plus sur l'API Cloud Dataproc
Google Cloud Training & Certification
...helps you make the most of Google Cloud technologies. Our classes include technical skills and best practices to help you get up to speed quickly and continue your learning journey. We offer fundamental to advanced level training, with on-demand, live, and virtual options to suit your busy schedule. Certifications help you validate and prove your skill and expertise in Google Cloud technologies.
Dernière mise à jour du manuel : 25 novembre 2019
Dernier test de l'atelier : 25 novembre 2019
Copyright 2020 Google LLC Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.