arrow_back

Pipelines de données à la vitesse des TPU

Accédez à plus de 700 ateliers et cours

Pipelines de données à la vitesse des TPU

Atelier 2 heures universal_currency_alt 5 crédits show_chart Avancé
info Cet atelier peut intégrer des outils d'IA pour vous accompagner dans votre apprentissage.
Accédez à plus de 700 ateliers et cours

Présentation

Les TPU sont très rapides. Le flux de données d'entraînement doit suivre le rythme de leur vitesse d'entraînement. Dans cet atelier, vous allez apprendre à charger des données à partir de Cloud Storage avec l'API tf.data.Dataset pour alimenter votre TPU.

Objectifs

Vous allez découvrir comment :

  • utiliser l'API tf.data.Dataset pour charger les données d'entraînement ;
  • utiliser le format TFRecord pour charger efficacement les données d'entraînement à partir de Cloud Storage.

Avant de commencer l'atelier

Pour chaque atelier, nous vous attribuons un nouveau projet Google Cloud et un nouvel ensemble de ressources pour une durée déterminée, sans frais.

  1. Connectez-vous à Qwiklabs dans une fenêtre de navigation privée.

  2. Vérifiez le temps imparti pour l'atelier (par exemple : 01:15:00) : vous devez pouvoir le terminer dans ce délai.
    Une fois l'atelier lancé, vous ne pouvez pas le mettre en pause. Si nécessaire, vous pourrez le redémarrer, mais vous devrez tout reprendre depuis le début.

  3. Lorsque vous êtes prêt, cliquez sur Démarrer l'atelier.

  4. Notez vos identifiants pour l'atelier (Nom d'utilisateur et Mot de passe). Ils vous serviront à vous connecter à Google Cloud Console.

  5. Cliquez sur Ouvrir la console Google.

  6. Cliquez sur Utiliser un autre compte, puis copiez-collez les identifiants de cet atelier lorsque vous y êtes invité.
    Si vous utilisez d'autres identifiants, des messages d'erreur s'afficheront ou des frais seront appliqués.

  7. Acceptez les conditions d'utilisation et ignorez la page concernant les ressources de récupération des données.

Configurer votre environnement

Activer toutes les API recommandées

  1. Cliquez pour ouvrir le tableau de bord Vertex AI.

  2. Cliquez sur Activer toutes les API recommandées.

Tâche 1 : Lancer une instance de notebook Vertex AI

  1. Dans la console Google Cloud, accédez au menu de navigation et cliquez sur Vertex AI > Workbench. Sélectionnez Notebooks gérés par l'utilisateur.

  2. Sur la page "Instances de notebook", cliquez sur Créer et choisissez la dernière version de TensorFlow Enterprise 2.6 (avec LTS) dans Environnement.

  3. Dans la boîte de dialogue Nouveau notebook, vérifiez le nom de la VM deep learning. Si vous ne souhaitez pas modifier la région ni la zone, laissez tous les paramètres tels quels, puis cliquez sur Créer. Le démarrage de la nouvelle VM prend deux à trois minutes.

  4. Cliquez sur Ouvrir JupyterLab.
    Une fenêtre JupyterLab s'ouvre dans un nouvel onglet.

Tâche 2 : Cloner un dépôt du cours dans votre instance de notebook Vertex AI

Pour cloner le notebook "training-data-analyst" dans votre instance JupyterLab :

  1. Dans JupyterLab, cliquez sur l'icône Terminal pour ouvrir un nouveau terminal.

  2. À l'invite, exécutez la commande suivante :

    git clone https://github.com/GoogleCloudPlatform/training-data-analyst
  3. Pour vérifier que vous avez bien cloné le dépôt, double-cliquez sur le répertoire "training-data-analyst" et vérifiez que vous pouvez voir son contenu.
    Vous y trouverez les fichiers de tous les ateliers de ce cours basés sur des notebooks Jupyter.

Tâche 3 : Pipelines de données à la vitesse des TPU (tf.data.Dataset et TFRecords)

  1. Dans l'interface du notebook, accédez à training-data-analyst > courses > machine_learning > deepdive2 > production_ml > labs, puis ouvrez tpu_speed_data_pipelines.ipynb.

  2. Dans l'interface du notebook, cliquez sur Modifier > Supprimer tous les éléments de sortie.

  3. Lisez attentivement les instructions du notebook et complétez le code sur les lignes contenant la mention #TODO.

Conseil : Pour exécuter la cellule actuellement sélectionnée, cliquez dessus et appuyez sur MAJ+ENTRÉE. Vous trouverez les autres commandes de cellule dans l'interface du notebook, sous Exécuter.

  • Des conseils ont parfois été ajoutés pour vous aider à effectuer des tâches. Mettez le texte en surbrillance pour lire les conseils (texte en blanc).
  • Pour connaître la solution complète, accédez à training-data-analyst > courses > machine_learning > deepdive2 > production_ml > solutions, puis ouvrez tpu_speed_data_pipelines.ipynb.

Terminer l'atelier

Une fois l'atelier terminé, cliquez sur End Lab (Terminer l'atelier). Qwiklabs supprime les ressources que vous avez utilisées, puis efface le compte.

Si vous le souhaitez, vous pouvez noter l'atelier. Sélectionnez le nombre d'étoiles correspondant à votre note, saisissez un commentaire, puis cliquez sur Submit (Envoyer).

Le nombre d'étoiles que vous pouvez attribuer à un atelier correspond à votre degré de satisfaction :

  • 1 étoile = très mécontent(e)
  • 2 étoiles = insatisfait(e)
  • 3 étoiles = ni insatisfait(e), ni satisfait(e)
  • 4 étoiles = satisfait(e)
  • 5 étoiles = très satisfait(e)

Si vous ne souhaitez pas donner votre avis, vous pouvez fermer la boîte de dialogue.

Pour soumettre des commentaires, suggestions ou corrections, veuillez utiliser l'onglet Support (Assistance).

Copyright 2020 Google LLC Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.

Avant de commencer

  1. Les ateliers créent un projet Google Cloud et des ressources pour une durée déterminée.
  2. Les ateliers doivent être effectués dans le délai imparti et ne peuvent pas être mis en pause. Si vous quittez l'atelier, vous devrez le recommencer depuis le début.
  3. En haut à gauche de l'écran, cliquez sur Démarrer l'atelier pour commencer.

Utilisez la navigation privée

  1. Copiez le nom d'utilisateur et le mot de passe fournis pour l'atelier
  2. Cliquez sur Ouvrir la console en navigation privée

Connectez-vous à la console

  1. Connectez-vous à l'aide des identifiants qui vous ont été attribués pour l'atelier. L'utilisation d'autres identifiants peut entraîner des erreurs ou des frais.
  2. Acceptez les conditions d'utilisation et ignorez la page concernant les ressources de récupération des données.
  3. Ne cliquez pas sur Terminer l'atelier, à moins que vous n'ayez terminé l'atelier ou que vous ne vouliez le recommencer, car cela effacera votre travail et supprimera le projet.

Ce contenu n'est pas disponible pour le moment

Nous vous préviendrons par e-mail lorsqu'il sera disponible

Parfait !

Nous vous contacterons par e-mail s'il devient disponible

Un atelier à la fois

Confirmez pour mettre fin à tous les ateliers existants et démarrer celui-ci

Utilisez la navigation privée pour effectuer l'atelier

Ouvrez une fenêtre de navigateur en mode navigation privée pour effectuer cet atelier. Vous éviterez ainsi les conflits entre votre compte personnel et le compte temporaire de participant, qui pourraient entraîner des frais supplémentaires facturés sur votre compte personnel.