GSP523

Présentation

Dans un atelier challenge, vous devez suivre un scénario et effectuer une série de tâches. Aucune instruction détaillée n'est fournie : vous devez utiliser les compétences acquises au cours des ateliers du cours correspondant pour déterminer comment procéder par vous-même. Vous saurez si vous avez exécuté correctement les différentes tâches grâce au score calculé automatiquement (affiché sur cette page).

Lorsque vous participez à un atelier challenge, vous n'étudiez pas de nouveaux concepts Google Cloud. Vous allez approfondir les compétences précédemment acquises. Par exemple, vous devrez modifier les valeurs par défaut ou encore examiner des messages d'erreur pour corriger vous-même les problèmes.

Pour atteindre le score de 100 %, vous devez mener à bien l'ensemble des tâches dans le délai imparti.

Cet atelier est recommandé aux participants inscrits au cours intitulé "Implémenter la recherche vectorielle multimodale avec BigQuery" et qui veulent obtenir le badge de compétence associé. Êtes-vous prêt pour le challenge ?

Scénario du challenge

Vous êtes data scientist chez Cymbal, une boutique en ligne. Vous souhaitez créer un pipeline pour rechercher en continu des produits similaires sur le marché afin de réaliser une étude marketing comparative. Plusieurs problématiques se présentent.

• Comment gérer les données multimodales ? Les données que vous avez collectées sont multimodales et incluent du texte, des images et des vidéos, y compris certains fichiers dans Cloud Storage.
• Comment effectuer une recherche de similarité sémantique au lieu d'une recherche par mots clés ? Vous souhaitez trouver des produits similaires parmi plusieurs dimensions (image, description et caractéristiques spécifiques, par exemple), et la recherche par mots clés risque de ne pas être efficace.
• Comment utiliser BigQuery pour y parvenir ? Étant donné que la plupart de vos données se trouvent déjà dans BigQuery, l'utilisation du même outil pourrait réduire la phase d'apprentissage.

Pour répondre à ces problématiques, vous décidez d'implémenter la recherche vectorielle multimodale avec BigQuery.

Compétences évaluées

• Créer une connexion à une source externe dans BigQuery et accorder les autorisations IAM appropriées
• Créer une table d'objets pour stocker des images
• Générer des embeddings pour convertir des images (données multimodales) en vecteurs
• Exécuter une recherche vectorielle pour trouver des produits similaires

Prérequis

Pour réaliser cet atelier, vous devez être familiarisé avec BigQuery et Cloud Storage.

Le parcours de formation intitulé Gemini dans BigQuery fournit une base de connaissances complète pour ce badge de compétence. Nous vous invitons à consulter ces trois cours et leurs ateliers pour acquérir les connaissances nécessaires à la réussite de cet atelier challenge :

• Booster la productivité avec Gemini dans BigQuery (niveau débutant) : découvrez comment utiliser Gemini dans BigQuery pour l'aide au codage, la préparation des données et la conception de pipelines.

• Travailler avec des modèles Gemini dans BigQuery (niveau intermédiaire) : découvrez comment appeler des modèles Gemini dans BigQuery pour créer une application d'IA générative.

• Créer des embeddings, et utiliser la recherche vectorielle et le RAG avec BigQuery (niveau avancé) : découvrez comment empêcher les hallucinations de l'IA à l'aide d'un pipeline de génération augmentée par récupération (RAG, Retrieval Augmented Generation), de la création d'embeddings à l'exécution de recherches vectorielles, pour obtenir des réponses améliorées.

Préparation

Avant de cliquer sur le bouton "Démarrer l'atelier"

Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Démarrer l'atelier, indique combien de temps les ressources Google Cloud resteront accessibles.

Cet atelier pratique vous permet de suivre les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Des identifiants temporaires vous sont fournis pour vous permettre de vous connecter à Google Cloud le temps de l'atelier.

Pour réaliser cet atelier :

• Vous devez avoir accès à un navigateur Internet standard (nous vous recommandons d'utiliser Chrome).

Remarque : Ouvrez une fenêtre de navigateur en mode incognito (recommandé) ou de navigation privée pour effectuer cet atelier. Vous éviterez ainsi les conflits entre votre compte personnel et le compte temporaire de participant, qui pourraient entraîner des frais supplémentaires facturés sur votre compte personnel.

• Vous disposez d'un temps limité. N'oubliez pas qu'une fois l'atelier commencé, vous ne pouvez pas le mettre en pause.

Remarque : Utilisez uniquement le compte de participant pour cet atelier. Si vous utilisez un autre compte Google Cloud, des frais peuvent être facturés à ce compte.

Démarrer l'atelier et se connecter à la console Google Cloud

1. Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, une boîte de dialogue s'affiche pour vous permettre de sélectionner un mode de paiement. Sur la gauche, vous trouverez le panneau "Détails concernant l'atelier", qui contient les éléments suivants :

   • Le bouton "Ouvrir la console Google Cloud"
   • Le temps restant
   • Les identifiants temporaires que vous devez utiliser pour cet atelier
   • Des informations complémentaires vous permettant d'effectuer l'atelier

2. Cliquez sur Ouvrir la console Google Cloud (ou effectuez un clic droit et sélectionnez Ouvrir le lien dans la fenêtre de navigation privée si vous utilisez le navigateur Chrome).

   L'atelier lance les ressources, puis ouvre la page "Se connecter" dans un nouvel onglet.

   Conseil : Réorganisez les onglets dans des fenêtres distinctes, placées côte à côte.

   Remarque : Si la boîte de dialogue Sélectionner un compte s'affiche, cliquez sur Utiliser un autre compte.

3. Si nécessaire, copiez le nom d'utilisateur ci-dessous et collez-le dans la boîte de dialogue Se connecter.

   {{{user_0.username | "Username"}}}

   Vous trouverez également le nom d'utilisateur dans le panneau "Détails concernant l'atelier".

4. Cliquez sur Suivant.

5. Copiez le mot de passe ci-dessous et collez-le dans la boîte de dialogue Bienvenue.

   {{{user_0.password | "Password"}}}

   Vous trouverez également le mot de passe dans le panneau "Détails concernant l'atelier".

6. Cliquez sur Suivant.

   Important : Vous devez utiliser les identifiants fournis pour l'atelier. Ne saisissez pas ceux de votre compte Google Cloud. Remarque : Si vous utilisez votre propre compte Google Cloud pour cet atelier, des frais supplémentaires peuvent vous être facturés.

7. Accédez aux pages suivantes :

   • Acceptez les conditions d'utilisation.
   • N'ajoutez pas d'options de récupération ni d'authentification à deux facteurs (ce compte est temporaire).
   • Ne vous inscrivez pas à des essais sans frais.

Après quelques instants, la console Cloud s'ouvre dans cet onglet.

Remarque : Pour accéder aux produits et services Google Cloud, cliquez sur le menu de navigation ou saisissez le nom du service ou du produit dans le champ Recherche.

Tâche 1 : Créer une connexion à une source et accorder des autorisations IAM

Créer une connexion à une source externe

Pour utiliser des modèles d'IA générative distants, tels que des modèles d'embedding, sur Vertex AI dans BigQuery, créez une connexion à une source externe nommée vector_conn dans la région .

Cette connexion sert de pipeline sécurisé entre Vertex AI et BigQuery, ce qui permet d'utiliser les modèles d'IA générative de façon sûre.

Développez l'astuce pour obtenir des conseils utiles.

Accorder des autorisations IAM au nouveau compte de service

Pour accéder aux ressources Vertex AI et aux données BigQuery, vous devez accorder les autorisations IAM appropriées au compte de service pour la connexion à la source externe.

Attribuez les rôles suivants au compte de service généré dans la section précédente :

• Propriétaire de données BigQuery
• Lecteur d'objets Storage
• Utilisateur Vertex AI

Développez l'astuce pour obtenir des conseils utiles.

Cliquez sur Vérifier ma progression pour valider l'objectif. Créer une connexion à une source et accorder des autorisations IAM

Tâche 2 : Créer une table d'objets

Pour interroger des données non structurées telles que des images et des vidéos stockées sur Google Cloud Storage, créez une table d'objets nommée gcc_image_object_table dans l'ensemble de données BigQuery précréé gcc_bqml_dataset.

Cette table stocke les métadonnées de l'objet, telles que son URL et son type de contenu, mais pas les données non structurées elles-mêmes. Les tables d'objets pouvant être interrogées comme n'importe quelle autre table BigQuery, vous avez la possibilité d'utiliser SQL (ou Python) pour filtrer et sélectionner des objets en fonction de leurs métadonnées.

Exécutez le code SQL suivant dans l'éditeur SQL de BigQuery. Veillez à remplacer les espaces réservés entre crochets [] par le code approprié (par exemple, remplacez [PROJECT_ID] par l'ID de projet attribué pour l'environnement de cet atelier).

Create or replace external table `[PROJECT_ID].[DATASET_NAME].[OBJECT_TABLE_NAME]` with connection `[PROJECT_ID].[CONNECTION_REGION].[CONNECTION_NAME]` options ( object_metadata='SIMPLE', uris=['gs://[PROJECT_ID]/*'] )

Développez l'astuce pour obtenir des conseils utiles.

Cliquez sur Vérifier ma progression pour valider l'objectif. Créer une table d'objets

Tâche 3 : Générer des embeddings

Se connecter au modèle d'embedding

Pour vous connecter au modèle d'embedding distant, créez un modèle dans BigQuery nommé gcc_embedding dans l'ensemble de données BigQuery précréé gcc_bqml_dataset. Ensuite, indiquez multimodalembedding@001 comme point de terminaison (nom du modèle).

Exécutez le code SQL suivant dans l'éditeur SQL de BigQuery. Veillez à remplacer les espaces réservés entre crochets [] par le code approprié (par exemple, remplacez [PROJECT_ID] par l'ID de projet attribué pour l'environnement de cet atelier).

Create or replace model `[PROJECT_ID].[DATASET_NAME].[MODEL_NAME]` remote with connection `[PROJECT_ID].[CONNECTION_REGION].[CONNECTION_NAME]` options( [DEFINE_ENDPOINT] );

Développez l'astuce pour obtenir des conseils utiles.

Générer des embeddings

Lorsque vous générez les embeddings pour les images, enregistrez-les dans une table nommée gcc_retail_store_embeddings dans l'ensemble de données BigQuery précréé gcc_bqml_dataset.

1. Exécutez le code SQL suivant dans l'éditeur SQL de BigQuery. Veillez à remplacer les espaces réservés entre crochets [] par le code approprié (par exemple, remplacez [PROJECT_ID] par l'ID de projet attribué pour l'environnement de cet atelier).

Create or replace table `[PROJECT_ID].[DATASET_NAME].[EMBEDDINGS_TABLE_NAME]` as select *, REGEXP_EXTRACT(uri, r'[^/]+$') as product_name from [EMBEDDINGS_FUNCTION] ( MODEL `[PROJECT_ID].[DATASET_NAME].[MODEL_NAME]`, TABLE `[PROJECT_ID].[DATASET_NAME].[OBJECT_TABLE_NAME]` )

Développez l'astuce pour obtenir des conseils utiles.

2. [Étape facultative] Pour examiner les résultats de l'embedding, modifiez et exécutez le code suivant (notez que les résultats de l'embedding sont des nombres à virgule flottante et qu'ils ne sont pas forcément interprétables tout de suite) :

SELECT * FROM `[PROJECT_ID].[DATASET_NAME].[EMBEDDINGS_TABLE_NAME]`

Cliquez sur Vérifier ma progression pour valider l'objectif. Créer un modèle et générer des embeddings

Tâche 4 : Exécuter une recherche vectorielle

Lorsque vous exécutez une recherche vectorielle pour trouver les images qui correspondent le mieux à l'expression de recherche, enregistrez les résultats de la recherche dans une table nommée gcc_vector_search_table dans l'ensemble de données BigQuery précréé gcc_bqml_dataset.

1. Exécutez le code SQL suivant dans l'éditeur SQL de BigQuery. Veillez à remplacer les espaces réservés entre crochets [] par le code approprié (par exemple, remplacez [PROJECT_ID] par l'ID de projet attribué pour l'environnement de cet atelier).

Create or replace table `[PROJECT_ID].[DATASET_NAME].[SEARCH_RESULTS_TABLE]` AS select base.uri, base.product_name, base.content_type, distance from [VECTOR_SEARCH_FUNCTION](table [DATASET_NAME].[EMBEDDINGS_TABLE_NAME],'ml_generate_embedding_result', ( SELECT ml_generate_embedding_result as embedding_col FROM [EMBEDDINGS_FUNCTION] ( MODEL `[DATASET_NAME].[MODEL_NAME]`, (select 'Men Sweaters' as content), STRUCT(TRUE AS flatten_json_output) ) ), [STATEMENT_TO_SELECT_TOP_2_RESULTS], distance_type => 'COSINE' );

Développez l'astuce pour obtenir des conseils utiles.

2. [Étape facultative] Pour examiner le résultat de la recherche vectorielle, modifiez et exécutez le code suivant :

SELECT * FROM `[PROJECT_ID].[DATASET_NAME].[SEARCH_RESULTS_TABLE]`

Cliquez sur Vérifier ma progression pour valider l'objectif. Exécuter une recherche vectorielle

Félicitations !

Vous avez réussi à implémenter la recherche vectorielle multimodale avec BigQuery. Dans cet atelier, vous avez d'abord établi des connexions à des ressources externes et accordé les autorisations IAM appropriées au compte de service. Vous avez ensuite créé une table d'objets pour stocker les métadonnées des images. Après cela, vous avez généré des embeddings pour convertir les images en vecteurs. Enfin, vous avez recherché les vecteurs et trouvé les produits que vous souhaitiez.

Vous pouvez maintenant appliquer ce même processus pour rechercher des données multimodales dans vos propres cas d'utilisation.

Formations et certifications Google Cloud

Les formations et certifications Google Cloud vous aident à tirer pleinement parti des technologies Google Cloud. Nos cours portent sur les compétences techniques et les bonnes pratiques à suivre pour être rapidement opérationnel et poursuivre votre apprentissage. Nous proposons des formations pour tous les niveaux, à la demande, en salle et à distance, pour nous adapter aux emplois du temps de chacun. Les certifications vous permettent de valider et de démontrer vos compétences et votre expérience en matière de technologies Google Cloud.

Dernière mise à jour du manuel : 12 février 2025

Dernier test de l'atelier : 12 février 2025

Copyright 2025 Google LLC. Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.