GSP1227

Présentation

Gemini est une famille de modèles d'IA générative développés par Google DeepMind, et conçus pour les cas d'utilisation multimodaux. L'API Gemini vous donne accès aux modèles Gemini Pro Vision et Gemini Pro. Dans cet atelier, vous allez apprendre à utiliser l'API Gemini Vertex AI pour générer des appels de fonction à partir de requêtes textuelles.

Appeler des fonctions à partir de Gemini

L'appel de fonction permet aux développeurs de créer une description de fonction dans leur code, puis de la transmettre à un modèle de langage dans une requête. La réponse du modèle inclut le nom d'une fonction correspondant à la description et les arguments avec lesquels l'appeler.

L'appel de fonction est similaire aux extensions Vertex AI, car les deux génèrent des informations sur les fonctions. La différence est que l'appel de fonction renvoie des données JSON avec le nom de la fonction et les arguments à utiliser dans votre code, tandis que les extensions Vertex AI renvoient la fonction et l'appellent à votre place.

Objectifs

Dans cet atelier, vous allez apprendre à :

• installer le SDK Vertex AI pour Python ;
• utiliser l'API Gemini Vertex AI pour interagir avec le modèle Gemini Pro (gemini-pro) ;
  • générer des appels de fonction à partir d'une requête textuelle pour aider les clients à obtenir des informations sur les produits du Google Store ;
  • générer des appels de fonction à partir d'une requête textuelle et appeler une API externe pour géocoder des adresses ;
  • générer des appels de fonction à partir d'une requête textuelle pour extraire des entités à partir de données de journaux.

Préparation

Avant de cliquer sur le bouton "Démarrer l'atelier"

Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Démarrer l'atelier, indique combien de temps les ressources Google Cloud resteront accessibles.

Cet atelier pratique vous permet de suivre vous-même les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Nous vous fournissons des identifiants temporaires pour vous connecter à Google Cloud le temps de l'atelier.

Pour réaliser cet atelier :

• vous devez avoir accès à un navigateur Internet standard (nous vous recommandons d'utiliser Chrome) ;

Remarque : Ouvrez une fenêtre de navigateur en mode incognito/navigation privée pour effectuer cet atelier. Vous éviterez ainsi les conflits entre votre compte personnel et le temporaire étudiant, qui pourraient entraîner des frais supplémentaires facturés sur votre compte personnel.

• vous disposez d'un temps limité ; une fois l'atelier commencé, vous ne pouvez pas le mettre en pause.

Remarque : Si vous possédez déjà votre propre compte ou projet Google Cloud, veillez à ne pas l'utiliser pour réaliser cet atelier afin d'éviter que des frais supplémentaires ne vous soient facturés.

Démarrer l'atelier et se connecter à la console Google Cloud

1. Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, un pop-up s'affiche pour vous permettre de sélectionner un mode de paiement. Sur la gauche, vous trouverez le panneau Détails concernant l'atelier, qui contient les éléments suivants :

   • Le bouton Ouvrir la console Google
   • Le temps restant
   • Les identifiants temporaires que vous devez utiliser pour cet atelier
   • Des informations complémentaires vous permettant d'effectuer l'atelier

2. Cliquez sur Ouvrir la console Google. L'atelier lance les ressources, puis ouvre la page Se connecter dans un nouvel onglet.

   Conseil : Réorganisez les onglets dans des fenêtres distinctes, placées côte à côte.

   Remarque : Si la boîte de dialogue Sélectionner un compte s'affiche, cliquez sur Utiliser un autre compte.

3. Si nécessaire, copiez le nom d'utilisateur inclus dans le panneau Détails concernant l'atelier et collez-le dans la boîte de dialogue Se connecter. Cliquez sur Suivant.

4. Copiez le mot de passe inclus dans le panneau Détails concernant l'atelier et collez-le dans la boîte de dialogue de bienvenue. Cliquez sur Suivant.

   Important : Vous devez utiliser les identifiants fournis dans le panneau de gauche. Ne saisissez pas vos identifiants Google Cloud Skills Boost. Remarque : Si vous utilisez votre propre compte Google Cloud pour cet atelier, des frais supplémentaires peuvent vous être facturés.

5. Accédez aux pages suivantes :

   • Acceptez les conditions d'utilisation.
   • N'ajoutez pas d'options de récupération ni d'authentification à deux facteurs (ce compte est temporaire).
   • Ne vous inscrivez pas aux essais offerts.

Après quelques instants, la console Cloud s'ouvre dans cet onglet.

Remarque : Vous pouvez afficher le menu qui contient la liste des produits et services Google Cloud en cliquant sur le menu de navigation en haut à gauche.

Tâche 1 : Ouvrir le notebook dans Vertex AI Workbench

1. Dans la console Google Cloud, accédez au menu de navigation et cliquez sur Vertex AI > Workbench.

2. Sur la page Notebooks gérés par l'utilisateur, cherchez le notebook generative-ai-jupyterlab et cliquez sur le bouton Ouvrir JupyterLab.

L'interface JupyterLab s'ouvre dans un nouvel onglet du navigateur.

Tâche 2 : Ouvrir le dossier "generative-ai"

1. Accédez au dossier generative-ai situé à gauche du notebook.

2. Accédez au dossier /gemini/function-calling.

3. Cliquez sur le fichier intro_function_calling.ipynb.

4. Parcourez les sections Getting Started (Premiers pas), Set Google Cloud project information (Définir les informations du projet Google Cloud) et Import libraries (Importer des bibliothèques) du notebook.

   • Pour Project ID, utilisez et pour Location, utilisez .

Remarque : Vous pouvez ignorer les cellules du notebook qui portent la mention Colab only.

Dans les sections suivantes, vous allez parcourir les cellules du notebook pour apprendre à utiliser l'API Gemini Vertex AI avec le SDK Vertex AI pour Python.

Cliquez sur Vérifier ma progression pour valider l'objectif. Installer le SDK Vertex AI pour Python et importer des bibliothèques

Tâche 3 : Utiliser l'appel de fonction pour les requêtes Google Store structurées

Lorsque vous travaillez avec un modèle de texte génératif, il peut être difficile de forcer le LLM à fournir des réponses cohérentes dans un format structuré comme le format JSON. Avec l'appel de fonction, il est plus facile de travailler avec les LLM à l'aide de requêtes et d'entrées non structurées, puis de faire en sorte que les LLM renvoient une réponse structurée permettant d'appeler une fonction externe.

L'appel de fonction est un moyen d'obtenir un résultat structuré à partir de requêtes utilisateur et de définitions de fonctions, d'utiliser ce résultat pour envoyer une requête API à un système, puis de transmettre la réponse de la fonction au LLM pour qu'il génère une réponse à l'utilisateur. En d'autres termes, l'appel de fonction dans Gemini extrait les paramètres structurés du texte ou des messages non structurés des utilisateurs. Dans cet exemple, vous allez utiliser un appel de fonction avec la modalité de chat du modèle Gemini pour aider les clients à obtenir des informations sur les produits du Google Store.

1. Dans cette tâche, vous allez parcourir les cellules du notebook pour apprendre à utiliser le modèle Gemini afin d'aider les clients à obtenir des informations sur les produits du Google Store.

Cliquez sur Vérifier ma progression pour valider l'objectif. Générer un appel de fonction météo simple

Tâche 4 : Utiliser l'appel de fonction pour géocoder des adresses avec une API Google Maps

Dans cet exemple, vous allez utiliser la modalité de texte de l'API Gemini pour définir une fonction qui accepte plusieurs paramètres en entrée. Vous utiliserez la réponse à l'appel de fonction pour effectuer un appel d'API direct afin de convertir une adresse en coordonnées de latitude et de longitude.

1. Dans cette tâche, vous allez parcourir les cellules du notebook pour apprendre à utiliser le modèle Gemini Pro afin de générer un appel de fonction visant à géocoder une adresse.

Ici, nous avons utilisé l'API OpenStreetMap de Nominatim pour géocoder une adresse de façon à apprendre plus facilement à utiliser le modèle dans ce notebook. Si vous travaillez sur de grands volumes de cartes ou de données de géolocalisation, vous pouvez utiliser l'API Google Maps Geocoding.

Cliquez sur Vérifier ma progression pour valider l'objectif. Générer un appel de fonction complexe

Tâche 5 : Utiliser l'appel de fonction pour extraire des entités

Dans les exemples précédents, vous avez utilisé la fonctionnalité d'extraction d'entités dans l'appel de fonction Gemini afin de pouvoir transmettre les paramètres obtenus à une API REST ou à une bibliothèque cliente. Toutefois, il est également possible de n'effectuer que l'étape d'extraction d'entités avec l'appel de fonction Gemini, sans appeler d'API par la suite. Vous pouvez voir cette fonctionnalité comme un moyen pratique de transformer des données textuelles non structurées en champs structurés.

Dans cet exemple, vous allez créer un extracteur de journaux qui transforme les données de journaux brutes en données structurées contenant des informations sur les messages d'erreur.

1. Dans cette tâche, vous allez parcourir les cellules du notebook pour apprendre à générer des appels de fonction à l'aide du modèle Gemini Pro afin d'extraire des entités à partir de données de journaux.

Cliquez sur Vérifier ma progression pour valider l'objectif. Générer des appels de fonction à partir d'une requête de chat

Félicitations !

Félicitations ! Dans cet atelier, vous avez appris à utiliser l'API Gemini Vertex AI pour générer des appels de fonction à partir de requêtes textuelles. Vous avez utilisé le modèle Gemini Pro pour générer des appels de fonction afin d'aider les clients à obtenir des informations sur les produits du Google Store, de géocoder des adresses et d'extraire des entités à partir de données de journaux.

Étapes suivantes et informations supplémentaires

• Consultez la documentation sur l'IA générative sur Vertex AI.
• Découvrez l'IA générative sur la chaîne YouTube Google Cloud Tech.
• Dépôt officiel de l'IA générative Google Cloud
• Exemples de notebook Gemini

Formations et certifications Google Cloud

Les formations et certifications Google Cloud vous aident à tirer pleinement parti des technologies Google Cloud. Nos cours portent sur les compétences techniques et les bonnes pratiques à suivre pour être rapidement opérationnel et poursuivre votre apprentissage. Nous proposons des formations pour tous les niveaux, à la demande, en salle et à distance, pour nous adapter aux emplois du temps de chacun. Les certifications vous permettent de valider et de démontrer vos compétences et votre expérience en matière de technologies Google Cloud.

Dernière mise à jour du manuel : 23 avril 2024

Dernier test de l'atelier : 23 avril 2024

Copyright 2024 Google LLC Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.