Présentation

Dans cet atelier, vous allez découvrir comment créer et exécuter un workflow SQL dans Dataform pour charger des données dans BigQuery.

Objectifs de la formation

1. Créer un dépôt Dataform
2. Créer et initialiser un espace de travail de développement Dataform
3. Créer et exécuter un workflow SQL
4. Afficher les journaux d'exécution dans Dataform

Prérequis

Pour chaque atelier, nous vous attribuons un nouveau projet Google Cloud et un nouvel ensemble de ressources pour une durée déterminée, sans frais.

1. Connectez-vous à Qwiklabs dans une fenêtre de navigation privée.

2. Vérifiez le temps imparti pour l'atelier (par exemple : 01:15:00) : vous devez pouvoir le terminer dans ce délai.
   Une fois l'atelier lancé, vous ne pouvez pas le mettre en pause. Si nécessaire, vous pourrez le redémarrer, mais vous devrez tout reprendre depuis le début.

3. Lorsque vous êtes prêt, cliquez sur Démarrer l'atelier.

4. Notez vos identifiants pour l'atelier (Nom d'utilisateur et Mot de passe). Ils vous serviront à vous connecter à Google Cloud Console.

5. Cliquez sur Ouvrir la console Google.

6. Cliquez sur Utiliser un autre compte, puis copiez-collez les identifiants de cet atelier lorsque vous y êtes invité.
   Si vous utilisez d'autres identifiants, des messages d'erreur s'afficheront ou des frais seront appliqués.

7. Acceptez les conditions d'utilisation et ignorez la page concernant les ressources de récupération des données.

Tâche 1 : Créer un dépôt Dataform

1. Dans la console, développez le menu de navigation, puis sélectionnez BigQuery > Dataform.

2. Cliquez sur CRÉER UN DÉPÔT.

3. Sur la page CRÉER UN DÉPÔT, procédez comme suit :

   1. Dans le champ ID du dépôt, saisissez quickstart-repository.

   2. Dans la liste Région, sélectionnez .

   3. Cliquez sur CRÉER.

   4. Une fois que le dépôt est créé, le compte de service Dataform s'affiche. Veuillez le copier pour pouvoir l'utiliser par la suite afin d'attribuer les autorisations nécessaires.

   5. Cliquez sur Accéder aux dépôts.

Remarque : Si un message d'erreur de type "autorisation refusée" lié à la requête API s'affiche, attendez quelques minutes et essayez de créer le dépôt une nouvelle fois.

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour valider l'objectif.

Créer un dépôt Dataform

Tâche 2 : Créer et initialiser un espace de travail de développement Dataform

1. Sur la page Dataform, cliquez sur le dépôt quickstart-repository que vous venez de créer.

2. Cliquez sur CRÉER UN ESPACE DE TRAVAIL DE DÉVELOPPEMENT.

3. Dans la fenêtre Créer un espace de travail de développement, procédez comme suit :

   1. Dans le champ ID de l'espace de travail, saisissez quickstart-workspace.

   2. Cliquez sur CRÉER.

4. Une fois qu'il est créé, cliquez sur l'espace de travail de développement quickstart-workspace.

5. Cliquez sur INITIALISER L'ESPACE DE TRAVAIL.

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour valider l'objectif.

Créer un espace de travail Dataform

Tâche 3 : Créer un fichier SQLX pour définir une vue

Dans cette section, vous allez définir une vue que vous utiliserez ultérieurement comme source de données pour une table.

1. Dans le volet Fichiers, à côté de definitions, cliquez sur le menu Plus.

2. Cliquez sur Créer un fichier.

3. Dans le volet Créer un fichier, procédez comme suit :

   1. Dans le champ Ajouter un chemin d'accès au fichier, saisissez definitions/quickstart-source.sqlx.

   2. Cliquez sur CRÉER UN FICHIER.

Définir une vue

1. Dans le volet Fichiers, développez le dossier definitions.

2. Cliquez sur quickstart-source.sqlx.

3. Dans le fichier, saisissez l'extrait de code suivant :

   config { type: "view" } SELECT "apples" AS fruit, 2 AS count UNION ALL SELECT "oranges" AS fruit, 5 AS count UNION ALL SELECT "pears" AS fruit, 1 AS count UNION ALL SELECT "bananas" AS fruit, 0 AS count

Tâche 4 : Créer un fichier SQLX pour définir une table

Dans les sections suivantes, vous allez définir le type de la table dans un fichier SQLX, puis écrire une instruction SELECT pour définir la structure de la table dans ce même fichier.

1. Dans le volet Fichiers, à côté de definitions, cliquez sur le menu Plus, puis sélectionnez Créer un fichier.

2. Dans le champ Ajouter un chemin d'accès au fichier, saisissez definitions/quickstart-table.sqlx.

3. Cliquez sur CRÉER UN FICHIER.

Définir le type de la table, sa structure et ses dépendances

1. Dans le volet Fichiers, développez le répertoire definitions.

2. Sélectionnez quickstart-table.sqlx, puis spécifiez le type "table" et cette instruction SELECT :

   config { type: "table" } SELECT fruit, SUM(count) as count FROM ${ref("quickstart-source")} GROUP BY 1

Remarque : Une notification d'erreur peut s'afficher dans la section des requêtes compilées. Ignorez ce message et passez aux étapes suivantes pour exécuter le workflow.

Tâche 5 : Accorder à Dataform l'accès à BigQuery

1. Dans la console Google Cloud, accédez au menu de navigation (), puis sélectionnez IAM et administration > IAM.

2. Cliquez sur AFFICHER PAR COMPTE PRINCIPAL. Ensuite, cliquez sur ACCORDER L'ACCÈS.

3. Dans le champ Nouveaux comptes principaux, saisissez l'ID de votre compte de service Dataform.

4. Dans la liste déroulante Sélectionner un rôle, choisissez le rôle Utilisateur de job BigQuery.

5. Cliquez sur Ajouter un autre rôle, puis choisissez le rôle Éditeur de données BigQuery dans la liste déroulante Sélectionner un rôle.

6. Cliquez sur Ajouter un autre rôle, puis choisissez le rôle Lecteur de données BigQuery dans la liste déroulante Sélectionner un rôle.

7. Cliquez sur Enregistrer.

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour valider l'objectif.

Accorder à Dataform l'accès à BigQuery

Tâche 6 : Exécuter le workflow

1. Dans la console, accédez au menu de navigation > BigQuery > Dataform.

2. Cliquez sur quickstart-repository pour ouvrir le dépôt.

3. Cliquez sur quickstart-workspace pour ouvrir l'espace de travail de développement.

4. Sur la page quickstart-workspace, cliquez sur DÉMARRER L'EXÉCUTION.

5. Cliquez sur Actions à exécuter.

6. Cliquez sur l'onglet Toutes les actions.

7. Dans le volet Exécuter, cliquez sur DÉMARRER L'EXÉCUTION.

   Dataform utilise les paramètres du dépôt par défaut pour créer le contenu de votre workflow dans un ensemble de données BigQuery nommé dataform.

Tester la tâche terminée

Cliquez sur Vérifier ma progression pour valider l'objectif.

Créer et exécuter le workflow SQL

Afficher les journaux d'exécution

1. Sur la page quickstart-workspace, cliquez sur EXÉCUTIONS pour ouvrir le volet "Exécutions".

2. Pour afficher les détails de votre exécution, cliquez sur la dernière exécution.

Terminer l'atelier

Une fois l'atelier terminé, cliquez sur End Lab (Terminer l'atelier). Qwiklabs supprime les ressources que vous avez utilisées, puis efface le compte.

Si vous le souhaitez, vous pouvez noter l'atelier. Sélectionnez le nombre d'étoiles correspondant à votre note, saisissez un commentaire, puis cliquez sur Submit (Envoyer).

Le nombre d'étoiles que vous pouvez attribuer à un atelier correspond à votre degré de satisfaction :

• 1 étoile = très mécontent(e)
• 2 étoiles = insatisfait(e)
• 3 étoiles = ni insatisfait(e), ni satisfait(e)
• 4 étoiles = satisfait(e)
• 5 étoiles = très satisfait(e)

Si vous ne souhaitez pas donner votre avis, vous pouvez fermer la boîte de dialogue.

Pour soumettre des commentaires, suggestions ou corrections, veuillez utiliser l'onglet Support (Assistance).

Copyright 2020 Google LLC Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.