Aperçu

Dans cet atelier, vous allez découvrir les métadonnées du pipeline TFX, y compris les artefacts de pipeline et d'exécution. Une instance AI Platform Pipelines comprend le service ML Metadata. Dans AI Platform Pipelines, ML Metadata utilise MySQL comme backend de base de données et est accessible via un serveur GRPC.

Objectifs

Utiliser un serveur GRPC pour accéder aux artefacts du pipeline stockés dans le service ML Metadata de votre instance AI Platform Pipelines et les analyser

Préparation

Pour chaque atelier, nous vous attribuons un nouveau projet Google Cloud et un nouvel ensemble de ressources pour une durée déterminée, sans frais.

1. Connectez-vous à Qwiklabs dans une fenêtre de navigation privée.

2. Vérifiez le temps imparti pour l'atelier (par exemple : 01:15:00) : vous devez pouvoir le terminer dans ce délai.
   Une fois l'atelier lancé, vous ne pouvez pas le mettre en pause. Si nécessaire, vous pourrez le redémarrer, mais vous devrez tout reprendre depuis le début.

3. Lorsque vous êtes prêt, cliquez sur Démarrer l'atelier.

4. Notez vos identifiants pour l'atelier (Nom d'utilisateur et Mot de passe). Ils vous serviront à vous connecter à Google Cloud Console.

5. Cliquez sur Ouvrir la console Google.

6. Cliquez sur Utiliser un autre compte, puis copiez-collez les identifiants de cet atelier lorsque vous y êtes invité.
   Si vous utilisez d'autres identifiants, des messages d'erreur s'afficheront ou des frais seront appliqués.

7. Acceptez les conditions d'utilisation et ignorez la page concernant les ressources de récupération des données.

Activer Cloud Shell

Cloud Shell est une machine virtuelle qui contient des outils pour les développeurs. Elle comprend un répertoire d'accueil persistant de 5 Go et s'exécute sur Google Cloud. Google Cloud Shell vous permet d'accéder via une ligne de commande à vos ressources Google Cloud. gcloud est l'outil de ligne de commande associé à Google Cloud. Il est préinstallé sur Cloud Shell et permet la saisie semi-automatique via la touche Tabulation.

1. Dans Google Cloud Console, dans le volet de navigation, cliquez sur Activer Cloud Shell ().

2. Cliquez sur Continuer.
   Le provisionnement et la connexion à l'environnement prennent quelques instants. Une fois connecté, vous êtes en principe authentifié, et le projet est défini sur votre ID_PROJET. Exemple :

Exemples de commandes

• Afficher le nom du compte actif :

gcloud auth list

(Résultat)

Credentialed accounts: - <myaccount>@<mydomain>.com (active)

(Exemple de résultat)

Credentialed accounts: - google1623327_student@qwiklabs.net

• Afficher l'ID du projet :

gcloud config list project

(Résultat)

[core] project = <ID_Projet>

(Exemple de résultat)

[core] project = qwiklabs-gcp-44776a13dea667a6

Tâche 1 : Créez une instance AI Platform Pipelines

Dans cette tâche, vous allez déployer des pipelines Kubeflow en tant qu'application Kubernetes. Il s'agit de solutions de déploiement par clic sur Google Kubernetes Engine dans des clusters Kubernetes sur site ou dans des clouds tiers. Les pipelines Kubeflow sont intégrés dans votre environnement Google Cloud en tant qu'AI Platform Pipelines. Pour en savoir plus sur Kubeflow Pipelines, consultez la documentation de présentation de Kubeflow pendant les étapes d'installation.

1. Dans la console Google Cloud, faites défiler le menu de navigation jusqu'à AI Platform, puis épinglez la section pour pouvoir y accéder facilement plus tard dans l'atelier.

2. Accédez à AI Platform > Pipelines.

3. Ensuite, cliquez sur Nouvelle instance.

4. Cliquez sur Configurer.

5. Pour créer un cluster, sélectionnez Zone en tant que , puis cochez Autoriser l'accès aux APIs Cloud suivantes. Laissez le nom tel quel, puis cliquez sur Créer un cluster.

Remarque : La création du cluster prend entre trois et cinq minutes. Vous devez attendre qu'elle soit terminée pour passer à l'étape suivante. Remarque : Si la création du cluster échoue en raison de ressources insuffisantes dans une région ou une zone spécifique, réessayez avec une autre zone.

6. Faites défiler la page jusqu'en bas, acceptez les conditions d'utilisation de Marketplace, puis cliquez sur Déployer. Vous verrez chaque service de KFP déployé sur votre cluster GKE. Attendez la fin du déploiement avant de passer à la tâche suivante.

7. Dans Cloud Shell, exécutez la commande suivante pour configurer l'accès à la ligne de commande kubectl.

gcloud container clusters get-credentials cluster-1 --zone {{{project_0.default_zone|place_holder_text}}} --project {{{project_0.project_id|place_holder_text}}}

8. Dans Cloud Shell, exécutez la commande suivante pour obtenir le POINT DE TERMINAISON de votre déploiement KFP.

kubectl describe configmap inverse-proxy-config | grep googleusercontent.com Important : Dans une tâche ultérieure, vous devrez définir le point de terminaison de votre déploiement KFP dans l'une des cellules de votre notebook. N'oubliez pas d'utiliser la sortie ci-dessus comme POINT DE TERMINAISON.

Cliquez sur Vérifier ma progression pour valider l'objectif. Créer une instance AI Platform Pipelines

Tâche 2 : Accéder à Vertex AI Workbench

Pour lancer AI Platform Workbench :

1. Cliquez sur le menu de navigation et accédez à Vertex AI, puis à Workbench.

2. Cliquez sur NOTEBOOKS GÉRÉS PAR L'UTILISATEUR.

Le notebook tfx-on-googlecloud préprovisionné pour vous doit apparaître. Si ce n'est pas le cas, attendez quelques minutes avant d'actualiser la page.

3. Cliquez sur Ouvrir JupyterLab. Une fenêtre JupyterLab s'ouvre dans un nouvel onglet.

Tâche 3 : Cloner l'exemple de dépôt dans votre instance AI Platform Notebooks

Pour cloner le notebook mlops-on-gcp dans votre instance JupyterLab :

1. Dans JupyterLab, cliquez sur l'icône Terminal pour ouvrir un nouveau terminal.

2. À l'invite, saisissez la commande suivante, puis appuyez sur Entrée :

   git clone https://github.com/GoogleCloudPlatform/mlops-on-gcp Remarque : Si le dépôt cloné n'apparaît pas dans l'UI JupyterLab, sélectionnez Git > Clone a repository (Cloner un dépôt) dans le menu principal pour cloner le dépôt à l'aide de l'UI (https://github.com/GoogleCloudPlatform/mlops-on-gcp).

   

3. Vérifiez que vous avez bien cloné le dépôt en double-cliquant sur le répertoire mlops-on-gcp. Assurez-vous de pouvoir en lire le contenu. Vous y trouverez les fichiers de tous les ateliers de ce cours basés sur des notebooks Jupyter.

Accéder au notebook de l'atelier

1. Dans le dossier mlops-labs/workshops/tfx-caip-tf23, exécutez le script install.sh pour installer les SDK TFX et KFP :

cd mlops-on-gcp/workshops/tfx-caip-tf23 ./install.sh

2. Dans le notebook AI Platform, accédez maintenant àmlops-labs/workshops/tfx-caip-tf23/lab-04-tfx-metadata/labs, puis ouvrez lab-04.ipynb.

3. Dans la barre d'outils du notebook, effacez toutes les cellules à l'aide du bouton "Effacer", puis exécutez-les une par une.

4. Lorsque vous y êtes invité, revenez à ces instructions pour vérifier votre progression.

Si vous avez besoin d'aide, reportez-vous à la solution complète. Pour cela, accédez à mlops-on-gcp/workshops/tfx-caip-tf23/lab-04-tfx-metadata/solutions et ouvrez lab-04.ipynb.

Tâche 4 : Exécuter le job d'entraînement dans le cloud

Tester les tâches terminées – Compiler le pipeline Kubeflow

Cliquez sur Vérifier ma progression pour valider l'objectif. Compiler le pipeline Kubeflow

Tester les tâches terminées – Déployer le package du pipeline sur AI Platform Pipelines

Cliquez sur Vérifier ma progression pour valider l'objectif. Déployer le package du pipeline sur AI Platform Pipelines

Félicitations !

Dans cet atelier, vous avez découvert les métadonnées et les artefacts de ML créés par des exécutions du pipeline TFX à l'aide du composant ResolverNode.

Terminer l'atelier

Une fois l'atelier terminé, cliquez sur End Lab (Terminer l'atelier). Qwiklabs supprime les ressources que vous avez utilisées, puis efface le compte.

Si vous le souhaitez, vous pouvez noter l'atelier. Sélectionnez le nombre d'étoiles correspondant à votre note, saisissez un commentaire, puis cliquez sur Submit (Envoyer).

Le nombre d'étoiles que vous pouvez attribuer à un atelier correspond à votre degré de satisfaction :

• 1 étoile = très mécontent(e)
• 2 étoiles = insatisfait(e)
• 3 étoiles = ni insatisfait(e), ni satisfait(e)
• 4 étoiles = satisfait(e)
• 5 étoiles = très satisfait(e)

Si vous ne souhaitez pas donner votre avis, vous pouvez fermer la boîte de dialogue.

Pour soumettre des commentaires, suggestions ou corrections, veuillez utiliser l'onglet Support (Assistance).

Copyright 2020 Google LLC Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.