GSP691

Aperçu

Présentation

À l'instar de nombreuses disciplines du machine learning, l'apprentissage par renforcement évolue à un rythme effréné. Tout comme ils le font dans d'autres domaines de recherche, les chercheurs exploitent le deep learning pour obtenir des résultats de pointe.

Dans le secteur du jeu, l'apprentissage par renforcement est notamment bien plus performant que les techniques de machine learning précédentes. Il permet ainsi d'atteindre des performances dignes de véritables joueurs, voire des records mondiaux, comme la victoire sur le champion de go sur Atari, et affiche des résultats prometteurs dans des jeux plus difficiles tels que Starcraft II.

Dans cet atelier, vous allez découvrir les concepts fondamentaux de l'apprentissage par renforcement en créant un jeu simple, inspiré d'un exemple mis à disposition par OpenAI Gym.

Objectifs

Au cours de cet atelier, vous allez :

• Découvrir les concepts fondamentaux de l'apprentissage par renforcement.
• Créer une instance AI Platform Tensorflow 2.1 Notebook.
• Cloner l'exemple de dépôt à partir du dépôt training-data-analyst de GitHub.
• Prendre connaissance, comprendre et mettre en pratique les étapes décrites dans le notebook.

Lorsque vous êtes prêt, faites défiler la page vers le bas pour passer à la configuration de l'atelier.

Configuration et prérequis

Configuration de Qwiklabs

Avant de cliquer sur le bouton Start Lab (Démarrer l'atelier)

Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Start Lab (Démarrer l'atelier), indique combien de temps les ressources Google Cloud resteront accessibles.

Cet atelier pratique Qwiklabs vous permet de suivre vous-même les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Des identifiants temporaires vous sont fournis pour vous permettre de vous connecter à Google Cloud le temps de l'atelier.

Conditions requises

Pour réaliser cet atelier, vous devez :

• avoir accès à un navigateur Internet standard (nous vous recommandons d'utiliser Chrome) ;
• disposer de suffisamment de temps pour réaliser l'atelier en une fois.

Remarque : Si vous possédez déjà votre propre compte ou projet Google Cloud, veillez à ne pas l'utiliser pour réaliser cet atelier.

Remarque : Si vous utilisez un appareil Chrome OS, exécutez cet atelier dans une fenêtre de navigation privée.

Console Google Cloud Platform

Démarrer l'atelier et se connecter à la console Google Cloud

1. Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, un pop-up s'affiche pour vous permettre de sélectionner un mode de paiement. Sur la gauche, vous trouverez le panneau Détails concernant l'atelier, qui contient les éléments suivants :

   • Le bouton Ouvrir la console Google
   • Le temps restant
   • Les identifiants temporaires que vous devez utiliser pour cet atelier
   • Des informations complémentaires vous permettant d'effectuer l'atelier

2. Cliquez sur Ouvrir la console Google. L'atelier lance les ressources, puis ouvre la page Se connecter dans un nouvel onglet.

   Conseil : Réorganisez les onglets dans des fenêtres distinctes, placées côte à côte.

   Remarque : Si la boîte de dialogue Sélectionner un compte s'affiche, cliquez sur Utiliser un autre compte.

3. Si nécessaire, copiez le nom d'utilisateur inclus dans le panneau Détails concernant l'atelier et collez-le dans la boîte de dialogue Se connecter. Cliquez sur Suivant.

4. Copiez le mot de passe inclus dans le panneau Détails concernant l'atelier et collez-le dans la boîte de dialogue de bienvenue. Cliquez sur Suivant.

   Important : Vous devez utiliser les identifiants fournis dans le panneau de gauche. Ne saisissez pas vos identifiants Google Cloud Skills Boost. Remarque : Si vous utilisez votre propre compte Google Cloud pour cet atelier, des frais supplémentaires peuvent vous être facturés.

5. Accédez aux pages suivantes :

   • Acceptez les conditions d'utilisation.
   • N'ajoutez pas d'options de récupération ni d'authentification à deux facteurs (ce compte est temporaire).
   • Ne vous inscrivez pas aux essais offerts.

Après quelques instants, la console Cloud s'ouvre dans cet onglet.

Remarque : Vous pouvez afficher le menu qui contient la liste des produits et services Google Cloud en cliquant sur le menu de navigation en haut à gauche.

Apprentissage par renforcement 101

L'apprentissage par renforcement est un type de machine learning qui permet à un agent d'intervenir dans un environnement afin d'atteindre un objectif défini (obtention d'une récompense) grâce à une série d'étapes. Contrairement aux techniques d'apprentissage supervisé plus traditionnelles, les points de données ne comportent pas de libellé et l'agent a uniquement accès aux récompenses "creuses".

Tandis que les débuts de l'apprentissage par renforcement datent des années 50 et qu'un grand nombre d'algorithmes existent dans ce domaine, 2 algorithmes d'apprentissage par renforcement performants et faciles à mettre en œuvre sont depuis peu au centre de toutes les attentions : l'algorithme DQN (Deep Q-Network) et l'algorithme DDPG (Deep Deterministic Policy Gradient). Les algorithmes et leurs variantes sont brièvement présentés dans cette section.

Schéma conceptuel de l'apprentissage par renforcement

L'algorithme DQN (Deep Q-Network) a été présenté par le groupe Google Deepmind dans cet article de la revue Nature en 2015. Encouragés par le succès de l'apprentissage par renforcement dans le domaine de la reconnaissance d'image, les auteurs ont intégré des réseaux de neurones profonds à Q-Learning et ont testé leur algorithme dans le moteur de simulation de jeu Atari, dans lequel l'espace d'observation est très vaste.

Le réseau de neurones profond se comporte tel un outil d'approximation de fonctions qui prédit les valeurs q de sortie, ou l'attrait d'une action, en fonction d'un certain état d'entrée. Par conséquent, DQN est une méthode qui se fonde sur des valeurs : dans l'algorithme d'entraînement, DQN actualise les valeurs q en fonction de l'équation de Bellman. Pour éviter les difficultés liées à une cible mobile, il utilise un deuxième réseau de neurones profond qui estime les valeurs cibles.

D'un point de vue plus pratique, le modèle suivant met en avant les fichiers sources, la commande de l'interface système et le point de terminaison permettant d'exécuter une tâche d'apprentissage par renforcement sur GCP :

Créer une instance AI Platform Notebook

L'ensemble des fichiers dont vous avez besoin pour cet atelier sont disponibles dans ce dépôt. Vous allez créer une instance AI Platform Tensorflow Notebook pour exécuter l'intégralité de ces commandes.

Dans le menu de navigation de gauche, sélectionnez AI Platform > Notebooks. Ensuite, dans le menu supérieur, sélectionnez + New Instance > Tensorflow 2.1 > Without GPUs (+ Nouvelle instance > Tensorflow 2.1 > Sans GPU) :

Cliquez ensuite sur Create (Créer). Quelques minutes sont nécessaires à la création de votre instance AI Platform Notebook. Actualisez la page de temps à autre. Une fois le notebook créé, cliquez sur le bouton OPEN JUPYTERLAB (OUVRIR JUPYTERLAB) :

Un nouvel onglet apparaît, il contient votre Jupyterlab.

Cliquez sur Check my progress (Vérifier ma progression) pour vérifier l'objectif. Créer une instance AI Platform Notebook

Cloner l'exemple de code

Cliquez sur l'icône Terminal. Une interface système temporaire s'affiche. Elle vous permet de saisir des commandes. Saisissez la commande suivante pour cloner l'exemple de dépôt à partir du dépôt training-data-analyst :

git clone https://github.com/GoogleCloudPlatform/training-data-analyst.git

Patientez pendant l'exécution de la commande. Ensuite, dans le menu de gauche, sélectionnez training-data-analyst > quests > rl > early_rl > early_rl.ipynb (training-data-analyst > quêtes > rl > early_rl > early_rl.ipynb). Un nouvel onglet s'affiche.

Cliquez sur Check my progress (Vérifier ma progression) pour vérifier l'objectif. Cloner l'exemple de code

Parcourir le notebook

Le nouvel onglet devrait ressembler à ce qui suit :

Parcourez le notebook et affichez tous les blocs de code en appuyant sur Maj + Entrée.

Après avoir suivi toutes les instructions du notebook, revenez sur cette page.

Félicitations !

Dans cet atelier, vous avez découvert les principes de base de l'apprentissage par renforcement. Après avoir créé une instance Jupyterlab, vous avez cloné un exemple de dépôt et parcouru un notebook qui vous a permis de vous familiariser avec les concepts fondamentaux de l'apprentissage par renforcement. Vous êtes maintenant prêt à découvrir d'autres ateliers de cette série.

Terminer votre quête

Cet atelier d'auto-formation fait partie de la quête Qwiklabs Baseline: Data, ML, AI. Une quête est une série d'ateliers associés qui constituent une formation. Si vous terminez cette quête, vous obtiendrez le badge ci-dessus attestant de votre réussite. Vous pouvez rendre publics les badges que vous recevez et ajouter leur lien dans votre CV en ligne ou sur vos comptes de réseaux sociaux. Inscrivez-vous à cette quête pour obtenir immédiatement les crédits associés à cet atelier si vous l'avez suivi.

Cet atelier ne fait pas (encore) partie d'une quête, mais vous pouvez consulter les autres quêtes Qwiklabs disponibles ici.

Google Cloud Training & Certification

...helps you make the most of Google Cloud technologies. Our classes include technical skills and best practices to help you get up to speed quickly and continue your learning journey. We offer fundamental to advanced level training, with on-demand, live, and virtual options to suit your busy schedule. Certifications help you validate and prove your skill and expertise in Google Cloud technologies.

Dernière mise à jour du manuel : 2 mars 2020

Dernier test de l'atelier : 2 mars 2020

Copyright 2020 Google LLC Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.