Présentation

La surveillance des modèles est le suivi rigoureux des performances des modèles de ML en production. Cela permet aux équipes de production et d'IA d'identifier les problèmes potentiels avant qu'ils n'affectent l'activité de l'entreprise.

Si le trafic de production diffère des données d'entraînement ou varie beaucoup au fil du temps, la qualité des réponses que votre modèle produit est probablement affectée. En pareille situation, il est souhaitable d'être alerté automatiquement et au plus vite afin de pouvoir anticiper les problèmes avant qu'ils n'affectent l'expérience de vos clients ou vos flux de revenus.

Objectifs

• Créer un notebook d'instance Workbench
• Déployer un modèle pré-entraîné
• Configurer la surveillance du modèle
• Générer du trafic artificiel
• Interpréter les données transmises par la fonctionnalité de surveillance des modèles

Vertex AI propose deux solutions de notebook, Workbench et Colab Enterprise.

Workbench

Vertex AI Workbench constitue un excellent choix pour les projets où la priorité est donnée au contrôle et à la personnalisation. Il convient particulièrement aux projets élaborés composés de plusieurs fichiers, avec des dépendances complexes. C'est également un bon choix pour un data scientist qui passe d'une station de travail ou d'un ordinateur portable au cloud.

Les instances Vertex AI Workbench sont fournies avec une suite préinstallée de packages de deep learning, compatibles avec les frameworks TensorFlow et PyTorch.

Préparation

Pour chaque atelier, nous vous attribuons un nouveau projet Google Cloud et un nouvel ensemble de ressources pour une durée déterminée, sans frais.

1. Connectez-vous à Qwiklabs dans une fenêtre de navigation privée.

2. Vérifiez le temps imparti pour l'atelier (par exemple : 01:15:00) : vous devez pouvoir le terminer dans ce délai.
   Une fois l'atelier lancé, vous ne pouvez pas le mettre en pause. Si nécessaire, vous pourrez le redémarrer, mais vous devrez tout reprendre depuis le début.

3. Lorsque vous êtes prêt, cliquez sur Démarrer l'atelier.

4. Notez vos identifiants pour l'atelier (Nom d'utilisateur et Mot de passe). Ils vous serviront à vous connecter à Google Cloud Console.

5. Cliquez sur Ouvrir la console Google.

6. Cliquez sur Utiliser un autre compte, puis copiez-collez les identifiants de cet atelier lorsque vous y êtes invité.
   Si vous utilisez d'autres identifiants, des messages d'erreur s'afficheront ou des frais seront appliqués.

7. Acceptez les conditions d'utilisation et ignorez la page concernant les ressources de récupération des données.

Tâche 1 : Lancer une instance Vertex AI Workbench

1. Dans le menu de navigation () de la console Google Cloud, sélectionnez Vertex AI.

2. Cliquez sur Activer toutes les API recommandées.

3. Dans le menu de navigation, cliquez sur Workbench.

   En haut de la page "Workbench", vérifiez que vous vous trouvez dans la vue Instances.

4. Cliquez sur Créer.

5. Configurez l'instance :

   • Nom : lab-workbench
   • Région : définissez la région sur
   • Zone : définissez la zone sur
   • Options avancées (facultatif) : si nécessaire, cliquez sur "Options avancées" pour une personnalisation plus avancée (par exemple, type de machine, taille du disque).

6. Cliquez sur Créer.

La création de l'instance prend quelques minutes. Une coche verte apparaît à côté de son nom quand elle est prête.

7. Cliquez sur Ouvrir JupyterLab à côté du nom de l'instance pour lancer l'interface JupyterLab. Un nouvel onglet s'ouvre alors dans votre navigateur.

8. Cliquez sur l'icône Python 3 pour lancer un nouveau notebook Python.

9. Effectuez un clic droit sur le fichier Untitled.ipynb dans la barre de menu et sélectionnez Renommer le notebook pour lui attribuer un nom significatif.

Votre environnement est configuré. Vous êtes maintenant prêt à utiliser votre notebook Vertex AI Workbench.

Cliquez sur Vérifier ma progression pour valider l'objectif. Lancer une instance Vertex AI Workbench

Tâche 2 : Cloner un dépôt du cours dans votre interface JupyterLab

Le dépôt GitHub contient le fichier de l'atelier et les fichiers de solution du cours.

1. Copiez et exécutez le code suivant dans la première cellule de votre notebook pour cloner le dépôt training-data-analyst.

!git clone https://github.com/GoogleCloudPlatform/training-data-analyst

2. Vérifiez que vous avez bien cloné le dépôt. Double-cliquez sur le répertoire training-data-analyst et assurez-vous que vous pouvez voir son contenu.

Cliquez sur Vérifier ma progression pour valider l'objectif. Cloner un dépôt du cours dans votre interface JupyterLab

Tâche 3 : Surveiller votre modèle Vertex AI

1. Dans l'interface du notebook, accédez à training-data-analyst > courses > machine_learning > deepdive2 > machine_learning_in_the_enterprise > labs et ouvrez model_monitoring_for_custom_model_batch_prediction_job.ipynb.

2. Un pop-up s'affiche pour vous permettre de sélectionner un kernel. Choisissez le kernel TensorFlow 2-11 (Local) parmi les options disponibles.

3. Cliquez sur Modifier > Supprimer tous les éléments de sortie.

4. Suivez les étapes du notebook et exécutez chaque cellule une par une pour afficher les résultats en dessous de chaque cellule à mesure de l'exécution.

5. Dans la cellule requise, veillez à remplacer PROJECT_ID et REGION par l'ID de votre projet Qwiklabs et la région fournie, respectivement.

Cliquez sur Vérifier ma progression pour valider l'objectif. Créer et exécuter des jobs de surveillance de modèle

Tâche 4 : Effectuer un nettoyage

1. Dans le menu de navigation de la console Google Cloud, cliquez sur Vertex AI > Prédiction par lots.
2. Cliquez sur votre point de terminaison (par exemple, bp_example), puis sur le menu à développer () et sur Supprimer le job de prédiction par lots.
3. Cliquez sur SUPPRIMER pour confirmer l'annulation du déploiement.

Terminer l'atelier

Une fois l'atelier terminé, cliquez sur End Lab (Terminer l'atelier). Qwiklabs supprime les ressources que vous avez utilisées, puis efface le compte.

Si vous le souhaitez, vous pouvez noter l'atelier. Sélectionnez le nombre d'étoiles correspondant à votre note, saisissez un commentaire, puis cliquez sur Submit (Envoyer).

Le nombre d'étoiles que vous pouvez attribuer à un atelier correspond à votre degré de satisfaction :

• 1 étoile = très mécontent(e)
• 2 étoiles = insatisfait(e)
• 3 étoiles = ni insatisfait(e), ni satisfait(e)
• 4 étoiles = satisfait(e)
• 5 étoiles = très satisfait(e)

Si vous ne souhaitez pas donner votre avis, vous pouvez fermer la boîte de dialogue.

Pour soumettre des commentaires, suggestions ou corrections, veuillez utiliser l'onglet Support (Assistance).

Copyright 2024 Google LLC Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms de société et de produit peuvent être des marques des sociétés auxquelles ils sont associés.