GSP1279

Présentation

Dans cet atelier, vous allez créer de A à Z un système de questions-réponses multimodal à l'aide de Vertex AI de Google et de la puissante famille de modèles Gemini. Vous allez acquérir une compréhension approfondie du fonctionnement de ces systèmes en construisant le vôtre, sans l'aide de bibliothèques ni d'outils prédéfinis. Cette expérience pratique démystifie le processus et vous procure les connaissances nécessaires pour personnaliser et optimiser vos propres systèmes de questions-réponses à l'avenir. Vous étudierez également les avantages de la génération augmentée par récupération (RAG) multimodale par rapport au RAG textuel traditionnel, et découvrirez comment l'intégration d'informations visuelles améliore l'accès aux connaissances et les capacités de raisonnement.

Prérequis

Avant de commencer cet atelier, vous devez :

• avoir des connaissances de base en programmation Python ;
• connaître les concepts généraux sur les API ;
• savoir exécuter du code Python dans un notebook Jupyter dans Vertex AI Workbench.

Objectifs

Dans cet atelier, vous allez apprendre à créer un moteur de recherche de documents à l'aide de la génération augmentée par récupération (RAG) multimodale, au travers des opérations suivantes :

• Extraire et stocker les métadonnées de documents contenant à la fois du texte et des images, et générer les embeddings des documents
• Effectuer une recherche dans les métadonnées à l'aide de requêtes textuelles pour trouver du texte ou des images similaires
• Effectuer une recherche dans les métadonnées à l'aide de requêtes d'images pour trouver des images similaires
• Utiliser une requête textuelle en tant qu'entrée pour rechercher des réponses contextuelles avec du texte et des images

Préparation

Avant de cliquer sur le bouton "Démarrer l'atelier"

Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Démarrer l'atelier, indique combien de temps les ressources Google Cloud resteront accessibles.

Cet atelier pratique vous permet de suivre les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Des identifiants temporaires vous sont fournis pour vous permettre de vous connecter à Google Cloud le temps de l'atelier.

Pour réaliser cet atelier :

• Vous devez avoir accès à un navigateur Internet standard (nous vous recommandons d'utiliser Chrome).

Remarque : Ouvrez une fenêtre de navigateur en mode incognito (recommandé) ou de navigation privée pour effectuer cet atelier. Vous éviterez ainsi les conflits entre votre compte personnel et le compte temporaire de participant, qui pourraient entraîner des frais supplémentaires facturés sur votre compte personnel.

• Vous disposez d'un temps limité. N'oubliez pas qu'une fois l'atelier commencé, vous ne pouvez pas le mettre en pause.

Remarque : Utilisez uniquement le compte de participant pour cet atelier. Si vous utilisez un autre compte Google Cloud, des frais peuvent être facturés à ce compte.

Démarrer l'atelier et se connecter à la console Google Cloud

1. Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, une boîte de dialogue s'affiche pour vous permettre de sélectionner un mode de paiement. Sur la gauche, vous trouverez le panneau "Détails concernant l'atelier", qui contient les éléments suivants :

   • Le bouton "Ouvrir la console Google Cloud"
   • Le temps restant
   • Les identifiants temporaires que vous devez utiliser pour cet atelier
   • Des informations complémentaires vous permettant d'effectuer l'atelier

2. Cliquez sur Ouvrir la console Google Cloud (ou effectuez un clic droit et sélectionnez Ouvrir le lien dans la fenêtre de navigation privée si vous utilisez le navigateur Chrome).

   L'atelier lance les ressources, puis ouvre la page "Se connecter" dans un nouvel onglet.

   Conseil : Réorganisez les onglets dans des fenêtres distinctes, placées côte à côte.

   Remarque : Si la boîte de dialogue Sélectionner un compte s'affiche, cliquez sur Utiliser un autre compte.

3. Si nécessaire, copiez le nom d'utilisateur ci-dessous et collez-le dans la boîte de dialogue Se connecter.

   {{{user_0.username | "Username"}}}

   Vous trouverez également le nom d'utilisateur dans le panneau "Détails concernant l'atelier".

4. Cliquez sur Suivant.

5. Copiez le mot de passe ci-dessous et collez-le dans la boîte de dialogue Bienvenue.

   {{{user_0.password | "Password"}}}

   Vous trouverez également le mot de passe dans le panneau "Détails concernant l'atelier".

6. Cliquez sur Suivant.

   Important : Vous devez utiliser les identifiants fournis pour l'atelier. Ne saisissez pas ceux de votre compte Google Cloud. Remarque : Si vous utilisez votre propre compte Google Cloud pour cet atelier, des frais supplémentaires peuvent vous être facturés.

7. Accédez aux pages suivantes :

   • Acceptez les conditions d'utilisation.
   • N'ajoutez pas d'options de récupération ni d'authentification à deux facteurs (ce compte est temporaire).
   • Ne vous inscrivez pas à des essais sans frais.

Après quelques instants, la console Cloud s'ouvre dans cet onglet.

Remarque : Pour accéder aux produits et services Google Cloud, cliquez sur le menu de navigation ou saisissez le nom du service ou du produit dans le champ Recherche.

Tâche 1 : Ouvrir le notebook dans Vertex AI Workbench

1. Dans la console Google Cloud, accédez au menu de navigation () et cliquez sur Vertex AI > Workbench.

2. Recherchez l'instance , puis cliquez sur le bouton Ouvrir JupyterLab.

L'interface JupyterLab de votre instance Workbench s'ouvre dans un nouvel onglet de navigateur.

Remarque : Si vous ne voyez pas de notebooks dans JupyterLab, veuillez suivre la procédure ci-dessous pour réinitialiser l'instance.

1. Fermez l'onglet du navigateur pour JupyterLab, puis revenez à la page d'accueil de Workbench.

2. Cochez la case à côté du nom de l'instance, puis cliquez sur Réinitialiser.

3. Une fois que le bouton Ouvrir JupyterLab est à nouveau activé, patientez une minute, puis cliquez dessus.

Tâche 2 : Configurer le notebook

1. Ouvrez le fichier .

2. Dans la boîte de dialogue Select Kernel (Sélectionner le kernel), sélectionnez Python 3 dans la liste des kernels disponibles.

3. Parcourez les sections Getting Started (Premiers pas) et Import libraries (Importer des bibliothèques) du notebook.

   • Pour Project ID (ID du projet), utilisez et pour Location (Emplacement), utilisez .

Remarque : Vous pouvez ignorer les cellules du notebook avec la mention Colab only (Colab uniquement). Si l'exécution d'une cellule renvoie l'erreur 429, patientez une minute avant de la réexécuter pour poursuivre.

Cliquez sur Vérifier ma progression pour valider l'objectif. Importer des bibliothèques et configurer le notebook

Tâche 3 : Obtenir les métadonnées de documents contenant du texte et des images

Dans cette section, vous allez importer des fonctions d'assistance pour créer des métadonnées, charger les métadonnées précalculées du texte et des images d'un document source, et inspecter les données de texte et d'image traitées.

1. Parcourez la section Obtenir les métadonnées de documents contenant du texte et des images du notebook.

Cliquez sur Vérifier ma progression pour valider l'objectif. Importer des fonctions d'assistance pour créer des métadonnées

Charger les métadonnées précalculées du texte et des images Inspecter les données textuelles et d'image traitées

Tâche 4 : Recherche textuelle

Dans cette section, vous allez utiliser le modèle Gemini pour effectuer une recherche avec une question simple et voir si la recherche textuelle simple à l'aide d'embeddings textuels permet d'y répondre. Vous allez également utiliser la fonctionnalité multimodale du modèle Gemini pour rechercher une image semblable à la requête textuelle.

1. Parcourez les sections Recherche textuelle du notebook.

Cliquez sur Vérifier ma progression pour valider l'objectif. Recherche textuelle

Tâche 5 : Recherche d'images

Imaginez que vous recherchez des images, mais qu'au lieu de saisir des mots, vous basez votre requête sur une image. C'est comme si vous faisiez une recherche avec une mini-carte au lieu d'une adresse écrite. C'est une autre façon de dire "Montre-moi plus de contenus de ce type". Ainsi, au lieu de saisir "différents exemples de contexte long Gemini 2.0", vous montrez une photo de cette image et dites "Trouve-moi d'autres images comme celle-ci".

Dans cette section, vous ne trouverez que des images semblables qui présentent les différentes fonctionnalités de Gemini dans un seul document. Cependant, vous pouvez adapter ce modèle de conception pour qu'il corresponde à plusieurs documents (recherche d'images pertinentes).

1. Parcourez les sections Recherche d'images du notebook.

Cliquez sur Vérifier ma progression pour valider l'objectif. Recherche d'images

Tâche 6 : Créer un système de questions-réponses multimodal avec la génération augmentée par récupération (mRAG)

Dans cette dernière tâche, vous allez réunir les connaissances que vous avez acquises pour implémenter le RAG multimodal. Pour implémenter le RAG multimodal, l'utilisateur fournit une requête textuelle liée à des informations présentes à la fois dans le texte et dans les images du document. Les éléments de texte semblables à la requête sont extraits des pages du document à l'aide d'une méthode de recherche textuelle. Parallèlement, une recherche d'images identifie les images dont les descriptions correspondent à la requête.

Le texte et les images pertinents combinés servent de contexte pour Gemini, qui génère une réponse à la requête, en faisant potentiellement référence à des instructions spécifiques. Enfin, les citations indiquent le texte et les images qui ont été utilisés pour formuler la réponse.

1. Exécutez les sections Créer un système de questions-réponses multimodal avec la génération augmentée par récupération (mRAG) du notebook.

Cliquez sur Vérifier ma progression pour valider l'objectif. Créer un système de questions-réponses multimodal avec la génération augmentée par récupération (mRAG)

Félicitations !

Félicitations ! Dans cet atelier, vous avez appris à créer un système de questions-réponses multimodal à l'aide de l'API Gemini dans Vertex AI. Vous avez créé un moteur de recherche de documents capable de rechercher du texte et des images à l'aide de requêtes textuelles et d'images. Vous avez également créé un système de questions-réponses multimodal capable de répondre à des questions à l'aide de texte et d'images.

Étapes suivantes et informations supplémentaires

Consultez les ressources suivantes pour en savoir plus sur Gemini :

• Présentation de Gemini
• Documentation sur l'IA générative sur Vertex AI
• Chaîne YouTube sur l'IA générative
• Livre de recettes Vertex AI, doté d'un index de recherche et proposant une sélection de notebooks pour l'IA générative
• Dépôt Google Cloud pour l'IA générative, contenant d'autres notebooks et exemples

Formations et certifications Google Cloud

Les formations et certifications Google Cloud vous aident à tirer pleinement parti des technologies Google Cloud. Nos cours portent sur les compétences techniques et les bonnes pratiques à suivre pour être rapidement opérationnel et poursuivre votre apprentissage. Nous proposons des formations pour tous les niveaux, à la demande, en salle et à distance, pour nous adapter aux emplois du temps de chacun. Les certifications vous permettent de valider et de démontrer vos compétences et votre expérience en matière de technologies Google Cloud.

Dernière modification du manuel : 11 juillet 2025

Dernier test de l'atelier : 11 juillet 2025

Copyright 2025 Google LLC. Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.