GSP196

Présentation

Dans cet atelier, vous importez des données dans Cloud SQL à partir de fichiers texte CSV, puis vous effectuez certaines analyses de données de base à l'aide de requêtes simples.

L'ensemble de données utilisé dans cet atelier comporte des informations historiques sur les vols intérieurs aux États-Unis provenant du Bureau des statistiques du transport américain (US Bureau of Transports Statistics). Tous les autres ateliers de la quête Data Science on the Google Cloud Platform reposent sur cet ensemble de données, qui permet d'illustrer un large éventail de concepts et techniques de science des données.

Objectifs

• Créer une instance Cloud SQL
• Créer une base de données Cloud SQL
• Importer des données textuelles dans Cloud SQL
• Créer un modèle de données initial à l'aide de requêtes

Prérequis

Avant de cliquer sur le bouton Start Lab (Démarrer l'atelier)

Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Start Lab (Démarrer l'atelier), indique combien de temps les ressources Google Cloud resteront accessibles.

Cet atelier pratique Qwiklabs vous permet de suivre vous-même les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Des identifiants temporaires vous sont fournis pour vous permettre de vous connecter à Google Cloud le temps de l'atelier.

Conditions requises

Pour réaliser cet atelier, vous devez :

• avoir accès à un navigateur Internet standard (nous vous recommandons d'utiliser Chrome) ;
• disposer de suffisamment de temps pour réaliser l'atelier en une fois.

Remarque : Si vous possédez déjà votre propre compte ou projet Google Cloud, veillez à ne pas l'utiliser pour réaliser cet atelier.

Remarque : Si vous utilisez un appareil Chrome OS, exécutez cet atelier dans une fenêtre de navigation privée.

Démarrer l'atelier et se connecter à la console Google Cloud

1. Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, un pop-up s'affiche pour vous permettre de sélectionner un mode de paiement. Sur la gauche, vous trouverez le panneau Détails concernant l'atelier, qui contient les éléments suivants :

   • Le bouton Ouvrir la console Google
   • Le temps restant
   • Les identifiants temporaires que vous devez utiliser pour cet atelier
   • Des informations complémentaires vous permettant d'effectuer l'atelier

2. Cliquez sur Ouvrir la console Google. L'atelier lance les ressources, puis ouvre la page Se connecter dans un nouvel onglet.

   Conseil : Réorganisez les onglets dans des fenêtres distinctes, placées côte à côte.

   Remarque : Si la boîte de dialogue Sélectionner un compte s'affiche, cliquez sur Utiliser un autre compte.

3. Si nécessaire, copiez le nom d'utilisateur inclus dans le panneau Détails concernant l'atelier et collez-le dans la boîte de dialogue Se connecter. Cliquez sur Suivant.

4. Copiez le mot de passe inclus dans le panneau Détails concernant l'atelier et collez-le dans la boîte de dialogue de bienvenue. Cliquez sur Suivant.

   Important : Vous devez utiliser les identifiants fournis dans le panneau de gauche. Ne saisissez pas vos identifiants Google Cloud Skills Boost. Remarque : Si vous utilisez votre propre compte Google Cloud pour cet atelier, des frais supplémentaires peuvent vous être facturés.

5. Accédez aux pages suivantes :

   • Acceptez les conditions d'utilisation.
   • N'ajoutez pas d'options de récupération ni d'authentification à deux facteurs (ce compte est temporaire).
   • Ne vous inscrivez pas aux essais offerts.

Après quelques instants, la console Cloud s'ouvre dans cet onglet.

Remarque : Vous pouvez afficher le menu qui contient la liste des produits et services Google Cloud en cliquant sur le menu de navigation en haut à gauche.

Activer Google Cloud Shell

Google Cloud Shell est une machine virtuelle qui contient des outils pour les développeurs. Elle comprend un répertoire d'accueil persistant de 5 Go et s'exécute sur Google Cloud. Google Cloud Shell offre un accès en ligne de commande à vos ressources GCP.

1. Dans la console GCP, dans la barre d'outils située en haut à droite, cliquez sur le bouton Ouvrir Cloud Shell.

   

2. Cliquez sur Continue (Continuez):

   

Il faut quelques instants pour mettre en service et se connecter à l'environnement. Lorsque vous êtes connecté, vous êtes déjà authentifié et le projet est défini sur votre PROJECT_ID. Par exemple:

gcloud est l'outil de ligne de commande associé à Google Cloud Platform. Pré-installé sur Cloud Shell, il est également compatible avec la saisie semi-automatique via la touche de tabulation.

Vous pouvez répertorier les noms des comptes actifs à l'aide de cette commande :

gcloud auth list

Résultat :

ACTIVE: *
ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net
To set the active account, run:
    $ gcloud config set account `ACCOUNT`
	

Pour répertorier les ID de projet, exécutez la commande suivante :

gcloud config list project
	

Résultat :

[core]
project = <ID_Projet>
	

Exemple de résultat :

[core]
project = qwiklabs-gcp-44776a13dea667a6
	

Tâche 1. Préparer votre environnement

Cet atelier repose sur un ensemble d'exemples de code et de scripts développés pour l'ouvrage Data Science on the Google Cloud Platform, 2nd Edition paru chez O'Reilly Media, Inc. Il aborde les tâches de configuration de Google Cloud SQL et d'importation de données présentées dans la première partie du chapitre 3, "Creating Compelling Dashboards" (Création de tableaux de bord attrayants). Vous clonez l'exemple de dépôt utilisé dans le chapitre 2 de GitHub dans Cloud Shell, où vous effectuerez toutes les tâches de l'atelier.

Cloner le dépôt "Data Science on Google Cloud"

1. Dans Cloud Shell, exécutez la commande suivante pour cloner le dépôt :

git clone \ https://github.com/GoogleCloudPlatform/data-science-on-gcp/

2. Accédez au répertoire du dépôt :

cd data-science-on-gcp/03_sqlstudio

3. Pour la suite de l'atelier, créez les variables d'environnement correspondant à l'ID du projet et au bucket de stockage qui contient vos données :

export PROJECT_ID=$(gcloud info --format='value(config.project)') export BUCKET=${PROJECT_ID}-ml

4. Saisissez la commande suivante pour copier le fichier dans le bucket Cloud Storage :

gsutil cp create_table.sql \ gs://$BUCKET/create_table.sql

Tâche 2. Créer une instance Cloud SQL

1. Saisissez les commandes suivantes pour créer une instance Cloud SQL :

gcloud sql instances create flights \ --database-version=POSTGRES_13 --cpu=2 --memory=8GiB \ --region=us-west1 --root-password=Passw0rd

Cette opération prend quelques minutes.

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour valider la tâche exécutée. Si vous avez réussi à créer une instance Cloud SQL, vous recevez une note d'évaluation.

Créer une instance Cloud SQL

2. Créez une variable d'environnement contenant l'adresse IP de Cloud Shell :

export ADDRESS=$(curl -s http://ipecho.net/plain)/32

3. Ajoutez l'instance Cloud Shell à la liste d'autorisation pour lui permettre de gérer votre instance SQL.

gcloud sql instances patch flights --authorized-networks $ADDRESS

4. Lorsque vous y êtes invité, appuyez sur Y pour accepter la modification.

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour valider la tâche exécutée. Si Cloud Shell a été correctement ajouté à la liste d'autorisation pour l'accès à l'instance SQL, vous recevez une note d'évaluation.

Ajoutez l'instance Cloud Shell à la liste d'autorisation pour lui permettre d'accéder à votre instance SQL.

Créer une base de données et un tableau

Pour importer des données dans une table Postgres, vous devez d'abord créer une base de données vide et une table avec le schéma approprié.

1. Dans Cloud Console, accédez au menu de navigation (), puis cliquez sur SQL.

2. Pour ouvrir la page "Présentation" d'une instance, cliquez sur le nom de l'instance flights.

3. Dans le menu de navigation SQL à gauche, choisissez Bases de données.

4. Cliquez sur Créer une base de données.

5. Dans la boîte de dialogue de nouvelle base de données, nommez la base de données bts.

6. Cliquez sur Créer.

7. Pour ouvrir la page "Présentation" d'une instance, sélectionnez Présentation dans le menu de navigation SQL.

8. Cliquez sur IMPORTER en haut.

9. Dans le champ de fichier Cloud Storage, cliquez sur Parcourir.

10. Dans la section Buckets, cliquez sur la flèche en regard du nom de votre bucket.

11. Sélectionnez le fichier create_table.sql.

12. Cliquez sur Sélectionner.

13. Dans la section Format de fichier, sélectionnez SQL.

14. Spécifiez la base de données bts dans votre instance Cloud SQL.

15. Cliquez sur Importer pour lancer l'importation.

Quelques secondes plus tard, une table vide est créée.

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour valider la tâche exécutée. Si vous avez réussi à créer une base de données "bts" et une table "flights" à l'aide du fichier create_table.sql, vous recevez une note d'évaluation.

Créez une base de données "bts" et une table "flights" à l'aide du fichier create_table.sql.

Tâche 3 : Ajouter des données à une instance Cloud SQL

Vous avez créé une base de données et une table vides, vous allez maintenant charger les fichiers CSV dans cette table. Vous allez charger les données pour le mois de janvier en sélectionnant le fichier 201501.csv dans votre bucket et en spécifiant comme format "CSV", comme base de données "bts" et comme table "flights".

1. Sur la page de votre instance Cloud SQL, cliquez sur IMPORTER.

2. Dans le champ du fichier Cloud Storage, cliquez sur Parcourir, puis sur la flèche en regard du nom du bucket, et enfin sur 201501.csv.

3. Cliquez sur Sélectionner.

4. Sélectionnez CSV comme format de fichier.

5. Sélectionnez la base de données bts et renseignez comme table flights.

6. Cliquez sur IMPORTER.

Tâche 4 : Interagir avec la base de données

1. Connectez-vous à l'instance Cloud SQL depuis Cloud Shell avec la commande suivante :

gcloud sql connect flights --user=postgres

2. Lorsque vous êtes invité à entrer un mot de passe, saisissez Passw0rd. Vous ne verrez peut-être pas les lettres que vous saisissez.

3. Dans l'invite qui apparaît, connectez-vous à la base de données bts :

\c bts;

4. Lorsque vous êtes invité à entrer un mot de passe, saisissez Passw0rd.

5. Exécutez alors une requête pour obtenir les cinq aéroports les plus fréquentés :

SELECT "Origin", COUNT(*) AS num_flights FROM flights GROUP BY "Origin" ORDER BY num_flights DESC LIMIT 5;

Cette requête est rapide car l'ensemble de données est relativement peu volumineux (il ne concerne que le mois de janvier). Néanmoins, à mesure que vous ajouterez d'autres mois, la base de données va ralentir.

Les bases de données relationnelles sont bien adaptées à des ensembles de données relativement peu volumineux, sur lesquels vous effectuez des requêtes ad hoc qui renvoient un petit sous-ensemble des données. Pour les ensembles de données plus volumineux, vous ajustez les performances d'une base de données relationnelle en indexant ses colonnes d'intérêt. De plus, comme les bases de données relationnelles prennent généralement en charge les transactions et garantissent une cohérence forte, elles constituent un excellent choix pour les données devant être mises à jour fréquemment.

Toutefois, une base de données relationnelle n'est pas un bon choix dans les cas suivants :

• Vos données sont principalement en lecture seule.
• La taille de votre ensemble de données dépasse le téraoctet.
• Vous devez analyser l'intégralité de la table (par exemple pour calculer la valeur maximale d'une colonne) ou vos données arrivent en flux à un débit élevé.

Ces éléments correspondent au cas d'utilisation des retards d'avion. Dans ce cas, vous passeriez d'une base de données relationnelle à un entrepôt de données d'analyse : BigQuery. L'entrepôt de données d'analyse nous permettra d'utiliser SQL, et c'est une solution bien plus adaptée pour traiter de très grands ensembles de données et des requêtes ad hoc (c'est-à-dire des requêtes qui ne nécessitent pas l'indexation des colonnes).

Félicitations !

Vous savez maintenant créer des tables et importer dans Google Cloud SQL des données textuelles stockées dans Cloud Storage.

Terminer votre quête

Cet atelier d'auto-formation fait partie des quêtes Data Science on Google Cloud et Cloud SQL. Une quête est une série d'ateliers associés qui constituent un parcours de formation. Si vous terminez cette quête, vous obtiendrez le badge ci-dessus attestant de votre réussite. Vous pouvez rendre publics les badges que vous recevez et ajouter leur lien dans votre CV en ligne ou sur vos comptes de réseaux sociaux. Inscrivez-vous à la quête Data Science on Google Cloud ou Cloud SQL pour obtenir immédiatement les crédits associés à cet atelier si vous l'avez suivi. Découvrez les autres quêtes disponibles.

Atelier suivant

Continuez votre quête en suivant l'atelier Visualiser des données avec Google Data Studio ou consultez ces suggestions :

• Traiter des données avec Google Cloud Dataflow

• Visualiser des données géospatiales en temps réel avec Google Data Studio

Étapes suivantes et informations supplémentaires

Pour aller plus loin :

• Data Science on the Google Cloud Platform (2e édition), publié par O'Reilly Media, Inc.

Google Cloud Training & Certification

...helps you make the most of Google Cloud technologies. Our classes include technical skills and best practices to help you get up to speed quickly and continue your learning journey. We offer fundamental to advanced level training, with on-demand, live, and virtual options to suit your busy schedule. Certifications help you validate and prove your skill and expertise in Google Cloud technologies.

Dernière mise à jour du manuel : 1er avril 2022

Dernier test de l'atelier : 7 mars 2022

Copyright 2020 Google LLC Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.