GSP691

Présentation

À l'instar de nombreuses disciplines du machine learning, l'apprentissage par renforcement évolue à un rythme effréné. Tout comme ils le font dans d'autres domaines de recherche, les chercheurs exploitent le deep learning pour obtenir des résultats de pointe.

Dans cet atelier, vous allez découvrir les concepts fondamentaux de l'apprentissage par renforcement en créant un jeu simple.

Points abordés

Dans cet atelier, vous allez :

• découvrir les concepts fondamentaux de l'apprentissage par renforcement ;
• créer une instance Vertex AI Workbench ;
• cloner le notebook de l'atelier dans l'instance Vertex AI Workbench ;
• lire, assimiler et exécuter les étapes décrites dans le notebook.

Préparation

Avant de cliquer sur le bouton "Démarrer l'atelier"

Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Démarrer l'atelier, indique combien de temps les ressources Google Cloud resteront accessibles.

Cet atelier pratique vous permet de suivre les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Des identifiants temporaires vous sont fournis pour vous permettre de vous connecter à Google Cloud le temps de l'atelier.

Pour réaliser cet atelier :

• Vous devez avoir accès à un navigateur Internet standard (nous vous recommandons d'utiliser Chrome).

Remarque : Ouvrez une fenêtre de navigateur en mode incognito (recommandé) ou de navigation privée pour effectuer cet atelier. Vous éviterez ainsi les conflits entre votre compte personnel et le compte temporaire de participant, qui pourraient entraîner des frais supplémentaires facturés sur votre compte personnel.

• Vous disposez d'un temps limité. N'oubliez pas qu'une fois l'atelier commencé, vous ne pouvez pas le mettre en pause.

Remarque : Utilisez uniquement le compte de participant pour cet atelier. Si vous utilisez un autre compte Google Cloud, des frais peuvent être facturés à ce compte.

Démarrer l'atelier et se connecter à la console Google Cloud

1. Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, une boîte de dialogue s'affiche pour vous permettre de sélectionner un mode de paiement. Sur la gauche, vous trouverez le panneau "Détails concernant l'atelier", qui contient les éléments suivants :

   • Le bouton "Ouvrir la console Google Cloud"
   • Le temps restant
   • Les identifiants temporaires que vous devez utiliser pour cet atelier
   • Des informations complémentaires vous permettant d'effectuer l'atelier

2. Cliquez sur Ouvrir la console Google Cloud (ou effectuez un clic droit et sélectionnez Ouvrir le lien dans la fenêtre de navigation privée si vous utilisez le navigateur Chrome).

   L'atelier lance les ressources, puis ouvre la page "Se connecter" dans un nouvel onglet.

   Conseil : Réorganisez les onglets dans des fenêtres distinctes, placées côte à côte.

   Remarque : Si la boîte de dialogue Sélectionner un compte s'affiche, cliquez sur Utiliser un autre compte.

3. Si nécessaire, copiez le nom d'utilisateur ci-dessous et collez-le dans la boîte de dialogue Se connecter.

   {{{user_0.username | "Username"}}}

   Vous trouverez également le nom d'utilisateur dans le panneau "Détails concernant l'atelier".

4. Cliquez sur Suivant.

5. Copiez le mot de passe ci-dessous et collez-le dans la boîte de dialogue Bienvenue.

   {{{user_0.password | "Password"}}}

   Vous trouverez également le mot de passe dans le panneau "Détails concernant l'atelier".

6. Cliquez sur Suivant.

   Important : Vous devez utiliser les identifiants fournis pour l'atelier. Ne saisissez pas ceux de votre compte Google Cloud. Remarque : Si vous utilisez votre propre compte Google Cloud pour cet atelier, des frais supplémentaires peuvent vous être facturés.

7. Accédez aux pages suivantes :

   • Acceptez les conditions d'utilisation.
   • N'ajoutez pas d'options de récupération ni d'authentification à deux facteurs (ce compte est temporaire).
   • Ne vous inscrivez pas à des essais sans frais.

Après quelques instants, la console Cloud s'ouvre dans cet onglet.

Remarque : Pour accéder aux produits et services Google Cloud, cliquez sur le menu de navigation ou saisissez le nom du service ou du produit dans le champ Recherche.

Tâche 1 : Les bases de l'apprentissage par renforcement

L'apprentissage par renforcement est un type de machine learning qui permet à un agent d'intervenir dans un environnement afin d'atteindre un objectif défini (obtention d'une récompense) grâce à une série d'étapes. Contrairement aux techniques d'apprentissage supervisé plus traditionnelles, les points de données ne comportent pas de libellé et l'agent a uniquement accès aux récompenses "creuses".

Tandis que les débuts de l'apprentissage par renforcement datent des années 50 et qu'un grand nombre d'algorithmes existent dans ce domaine, 2 algorithmes d'apprentissage par renforcement performants et faciles à mettre en œuvre sont depuis peu au centre de toutes les attentions : l'algorithme DQN (Deep Q-Network) et l'algorithme DDPG (Deep Deterministic Policy Gradient). Les algorithmes et leurs variantes sont brièvement présentés dans cette section.

Diagramme du processus conceptuel de l'apprentissage par renforcement

L'algorithme DQN (Deep Q-Network) a été présenté par le groupe Google DeepMind dans cet article de la revue Nature en 2015. Encouragés par le succès du deep learning dans le domaine de la reconnaissance d'image, les auteurs ont intégré des réseaux de neurones profonds à Q-Learning et ont testé leur algorithme dans le moteur de simulation de jeu Atari, dans lequel l'espace d'observation est très vaste.

Le réseau de neurones profond se comporte tel un outil d'approximation de fonctions qui prédit les valeurs q de sortie, ou l'attrait d'une action, en fonction d'un certain état d'entrée. Par conséquent, DQN est une méthode basée sur des valeurs : dans l'algorithme d'entraînement, DQN actualise les valeurs q en fonction de l'équation de Bellman. Pour éviter les difficultés liées à une cible mobile, il utilise un deuxième réseau de neurones profond qui estime les valeurs cibles.

D'un point de vue plus pratique, le modèle suivant met en avant les fichiers sources, la commande shell et le point de terminaison permettant d'exécuter une tâche d'apprentissage par renforcement sur Google Cloud :

Tâche 2 : Créer une instance Vertex AI Workbench

1. Dans le menu de navigation () de la console Google Cloud, sélectionnez Vertex AI.

2. Cliquez sur Activer toutes les API recommandées.

3. Sur la gauche, cliquez sur Workbench.

4. En haut de la page "Workbench", vérifiez que vous vous trouvez dans la vue Instances.

5. Cliquez sur Créer.

6. Configurez l'instance :

   • Nom : lab-workbench
   • Région : définissez la région sur
   • Zone : définissez la zone sur
   • Options avancées (facultatif) : si nécessaire, cliquez sur "Options avancées" pour une personnalisation plus avancée (par exemple, type de machine, taille du disque)

7. Cliquez sur Créer.

Remarque : La création de l'instance peut prendre quelques minutes. Une coche verte apparaît à côté de son nom quand elle est prête.

8. Cliquez sur Ouvrir JupyterLab à côté du nom de l'instance pour lancer l'interface JupyterLab. Un nouvel onglet s'ouvre alors dans votre navigateur.

9. Cliquez sur l'icône Terminal pour ouvrir une fenêtre de terminal.

La fenêtre de terminal s'ouvre dans un nouvel onglet. Vous pouvez maintenant exécuter des commandes dans le terminal pour interagir avec votre instance Workbench.

Cliquez sur Vérifier ma progression pour valider l'objectif. Créer une instance Vertex AI Workbench

Tâche 3 : Copier l'exemple de code

1. Copiez et exécutez le code suivant dans le terminal pour copier le fichier notebook  :

gcloud storage cp -r gs://{{{project_0.project_id|project_id}}}-labconfig-bucket/* .

2. Dans le menu de gauche, sélectionnez early_rl > . Un nouvel onglet s'ouvre.

Cliquez sur Vérifier ma progression pour valider l'objectif. Copier l'exemple de code

Tâche 4 : Parcourir le notebook

Remarque : Veillez à sélectionner le kernel Python 3 dans le notebook.

Le nouvel onglet devrait ressembler à ce qui suit :

1. Parcourez le notebook et exécutez tous les blocs de code en appuyant sur SHIFT+ENTRÉE.

2. Après avoir suivi toutes les instructions du notebook, revenez sur cette page.

Félicitations !

Dans cet atelier, vous avez découvert les principes de base de l'apprentissage par renforcement. Après avoir créé une instance Jupyterlab, vous avez cloné un exemple de dépôt et parcouru un notebook qui vous a permis de vous familiariser avec les concepts fondamentaux de l'apprentissage par renforcement. Vous êtes maintenant prêt à découvrir d'autres ateliers de cette série.

Formations et certifications Google Cloud

Les formations et certifications Google Cloud vous aident à tirer pleinement parti des technologies Google Cloud. Nos cours portent sur les compétences techniques et les bonnes pratiques à suivre pour être rapidement opérationnel et poursuivre votre apprentissage. Nous proposons des formations pour tous les niveaux, à la demande, en salle et à distance, pour nous adapter aux emplois du temps de chacun. Les certifications vous permettent de valider et de démontrer vos compétences et votre expérience en matière de technologies Google Cloud.

Dernière modification du manuel : 11 juillet 2025

Dernier test de l'atelier : 11 juillet 2025

Copyright 2025 Google LLC. Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.