GSP523

Übersicht

In einem Challenge-Lab geht es um ein bestimmtes Szenario mit mehreren Aufgaben. Anders als bei einem normalen Lab erhalten Sie jedoch keine Schritt-für-Schritt-Anleitung, sondern nutzen die in den Labs des jeweiligen Kurses erlernten Fähigkeiten, um die Aufgaben selbst zu lösen. Ihre Lösungen werden automatisch bewertet. Die erzielten Punkte finden Sie rechts oben auf dieser Seite.

In Challenge-Labs werden keine neuen Grundlagen zu Google Cloud vermittelt. Sie sollen dabei Ihr Wissen erweitern und es wird erwartet, dass Sie beispielsweise Standardwerte ändern und Fehlermeldungen lesen und recherchieren, um Ihre eigenen Fehler zu beheben.

Die volle Punktzahl erreichen Sie nur, wenn Sie alle Aufgaben innerhalb der vorgegebenen Zeit lösen.

Dieses Lab wird Teilnehmern empfohlen, die sich für den Kurs „Multimodale Vektorsuche mit BigQuery implementieren“ angemeldet haben. Sind Sie bereit?

Das Szenario

Sie arbeiten als Data Scientist bei Cymbal, einem Onlinehändler. Für eine Marketing-Vergleichsstudie möchten Sie eine Pipeline erstellen, um kontinuierlich nach ähnlichen Produkten auf dem Markt zu suchen. Dabei stehen Sie vor mehreren Herausforderungen:

• Umgang mit multimodalen Daten: Die von Ihnen erfassten Daten sind multimodal und umfassen Text, Bilder und Videos, einschließlich einiger Dateien in Cloud Storage.
• Ausführen einer Suche nach semantischen Ähnlichkeiten anstatt einer Stichwortsuche: Sie möchten ähnliche Produkte in mehreren Dimensionen finden (zum Beispiel Bild, Beschreibung und besondere Merkmale). Hier ist eine Stichwortsuche möglicherweise nicht hilfreich.
• Einsatz von BigQuery: Da die meisten Ihrer Daten bereits in BigQuery sind, könnte die Verwendung desselben Tools den Lernerfolg verringern.

Sie beschließen, eine multimodale Vektorsuche mit BigQuery zu implementieren, um diese Herausforderungen zu bewältigen.

Themen

• Externe Quellverbindung in BigQuery erstellen und die entsprechenden IAM-Berechtigungen gewähren
• Objekttabelle zum Speichern von Bildern erstellen
• Einbettungen generieren, um Bilder (multimodale Daten) in Vektoren umzuwandeln
• Vektorsuche ausführen, um ähnliche Produkte zu finden

Vorbereitung

Für dieses Lab sollten Sie mit BigQuery und Cloud Storage vertraut sein.

Der Lernpfad Gemini in BigQuery bietet hilfreiches grundlegendes Wissen für diesen Kurs. Wir empfehlen Ihnen, diese drei Kurse und die zugehörigen Labs zu absolvieren, um Ihre Kenntnisse zu vertiefen und das Challenge-Lab erfolgreich abzuschließen:

• Mit Gemini in BigQuery produktiver arbeiten (Einsteiger): Hier erfahren Sie, wie Sie Gemini in BigQuery zur Codeunterstützung, Datenvorbereitung und Pipelinegestaltung verwenden.

• Gemini-Modelle in BigQuery nutzen (Fortgeschrittene): Hier lernen Sie, wie Sie Gemini-Modelle in BigQuery aufrufen, um eine generative KI-Anwendung zu erstellen.

• Einbettungen, Vektorsuche und RAG mit BigQuery erstellen (Profis): Hier zeigen wir Ihnen, wie Sie mit einer RAG-Pipeline (Retrieval-Augmented Generation) KI-Halluzinationen verhindern – vom Erstellen von Einbettungen über das Ausführen einer Vektorsuche bis hin zum Generieren verbesserter Antworten.

Einrichtung und Anforderungen

Vor dem Klick auf „Start Lab“ (Lab starten)

Lesen Sie diese Anleitung. Labs sind zeitlich begrenzt und können nicht pausiert werden. Der Timer beginnt zu laufen, wenn Sie auf Lab starten klicken, und zeigt Ihnen, wie lange Google Cloud-Ressourcen für das Lab verfügbar sind.

In diesem praxisorientierten Lab können Sie die Lab-Aktivitäten in einer echten Cloud-Umgebung durchführen – nicht in einer Simulations- oder Demo-Umgebung. Dazu erhalten Sie neue, temporäre Anmeldedaten, mit denen Sie für die Dauer des Labs auf Google Cloud zugreifen können.

Für dieses Lab benötigen Sie Folgendes:

• Einen Standardbrowser (empfohlen wird Chrome)

Hinweis: Nutzen Sie den privaten oder Inkognitomodus (empfohlen), um dieses Lab durchzuführen. So wird verhindert, dass es zu Konflikten zwischen Ihrem persönlichen Konto und dem Teilnehmerkonto kommt und zusätzliche Gebühren für Ihr persönliches Konto erhoben werden.

• Zeit für die Durchführung des Labs – denken Sie daran, dass Sie ein begonnenes Lab nicht unterbrechen können.

Hinweis: Verwenden Sie für dieses Lab nur das Teilnehmerkonto. Wenn Sie ein anderes Google Cloud-Konto verwenden, fallen dafür möglicherweise Kosten an.

Lab starten und bei der Google Cloud Console anmelden

1. Klicken Sie auf Lab starten. Wenn Sie für das Lab bezahlen müssen, wird ein Dialogfeld geöffnet, in dem Sie Ihre Zahlungsmethode auswählen können. Auf der linken Seite befindet sich der Bereich „Details zum Lab“ mit diesen Informationen:

   • Schaltfläche „Google Cloud Console öffnen“
   • Restzeit
   • Temporäre Anmeldedaten für das Lab
   • Ggf. weitere Informationen für dieses Lab

2. Klicken Sie auf Google Cloud Console öffnen (oder klicken Sie mit der rechten Maustaste und wählen Sie Link in Inkognitofenster öffnen aus, wenn Sie Chrome verwenden).

   Im Lab werden Ressourcen aktiviert. Anschließend wird ein weiterer Tab mit der Seite „Anmelden“ geöffnet.

   Tipp: Ordnen Sie die Tabs nebeneinander in separaten Fenstern an.

   Hinweis: Wird das Dialogfeld Konto auswählen angezeigt, klicken Sie auf Anderes Konto verwenden.

3. Kopieren Sie bei Bedarf den folgenden Nutzernamen und fügen Sie ihn in das Dialogfeld Anmelden ein.

   {{{user_0.username | "Username"}}}

   Sie finden den Nutzernamen auch im Bereich „Details zum Lab“.

4. Klicken Sie auf Weiter.

5. Kopieren Sie das folgende Passwort und fügen Sie es in das Dialogfeld Willkommen ein.

   {{{user_0.password | "Password"}}}

   Sie finden das Passwort auch im Bereich „Details zum Lab“.

6. Klicken Sie auf Weiter.

   Wichtig: Sie müssen die für das Lab bereitgestellten Anmeldedaten verwenden. Nutzen Sie nicht die Anmeldedaten Ihres Google Cloud-Kontos. Hinweis: Wenn Sie Ihr eigenes Google Cloud-Konto für dieses Lab nutzen, können zusätzliche Kosten anfallen.

7. Klicken Sie sich durch die nachfolgenden Seiten:

   • Akzeptieren Sie die Nutzungsbedingungen.
   • Fügen Sie keine Wiederherstellungsoptionen oder Zwei-Faktor-Authentifizierung hinzu (da dies nur ein temporäres Konto ist).
   • Melden Sie sich nicht für kostenlose Testversionen an.

Nach wenigen Augenblicken wird die Google Cloud Console in diesem Tab geöffnet.

Hinweis: Wenn Sie auf Google Cloud-Produkte und ‑Dienste zugreifen möchten, klicken Sie auf das Navigationsmenü oder geben Sie den Namen des Produkts oder Dienstes in das Feld Suchen ein.

Aufgabe 1: Quellverbindung erstellen und IAM-Berechtigungen erteilen

Externe Quellverbindung erstellen

Um remote verbundene generative KI-Modelle wie Einbettungsmodelle in Vertex AI innerhalb von BigQuery zu verwenden, erstellen Sie eine neue externe Quellverbindung namens vector_conn in der Region .

Diese Verbindung fungiert als geschützte Pipeline zwischen Vertex AI und BigQuery und ermöglicht die sichere Verwendung generativer KI-Modelle.

Maximieren Sie den Hinweis, um hilfreiche Tipps zu erhalten.

Dem neuen Dienstkonto IAM-Berechtigungen gewähren

Damit Sie auf Vertex AI-Ressourcen und BigQuery-Daten zugreifen können, müssen Sie dem Dienstkonto für die externe Quellverbindung die entsprechenden IAM-Berechtigungen erteilen.

Weisen Sie dem im vorherigen Abschnitt erstellten Dienstkonto die folgenden Rollen zu:

• BigQuery Data Owner
• Storage Object Viewer
• Vertex AI User

Maximieren Sie den Hinweis, um einen hilfreichen Tipp zu erhalten.

Klicken Sie auf Fortschritt prüfen. Quellverbindung erstellen und IAM-Berechtigungen gewähren

Aufgabe 2: Objekttabelle erstellen

Um unstrukturierte Daten wie Bilder und Videos abzufragen, die in Google Cloud Storage gespeichert sind, erstellen Sie eine Objekttabelle namens gcc_image_object_table im vorab erstellten BigQuery-Dataset gcc_bqml_dataset.

In dieser Tabelle werden Metadaten zum Objekt gespeichert, zum Beispiel die URL und der Inhaltstyp, nicht aber die unstrukturierten Daten selbst. Da Objekttabellen wie jede andere BigQuery-Tabelle abgefragt werden können, können Sie mit SQL oder Python Objekte basierend auf ihren Metadaten filtern und auswählen.

Führen Sie im BigQuery-SQL-Editor den folgenden SQL-Code aus. Ersetzen Sie dabei die Platzhalter in eckigen Klammern [] durch den richtigen Code, zum Beispiel [PROJECT_ID] durch die Projekt-ID für diese Lab-Umgebung.

Create or replace external table `[PROJECT_ID].[DATASET_NAME].[OBJECT_TABLE_NAME]` with connection `[PROJECT_ID].[CONNECTION_REGION].[CONNECTION_NAME]` options ( object_metadata='SIMPLE', uris=['gs://[PROJECT_ID]/*'] )

Maximieren Sie den Hinweis, um hilfreiche Tipps zu erhalten.

Klicken Sie auf Fortschritt prüfen. Objekttabelle erstellen

Aufgabe 3: Einbettungen generieren

Verbindung zum Einbettungsmodell herstellen

Um eine Verbindung zum Remote-Einbettungsmodell herzustellen, erstellen Sie in BigQuery ein neues Modell namens gcc_embedding im vorab erstellten BigQuery-Dataset gcc_bqml_dataset und geben Sie als Endpunkt (Modellname) multimodalembedding@001 an.

Führen Sie im BigQuery-SQL-Editor den folgenden SQL-Code aus. Ersetzen Sie dabei die Platzhalter in eckigen Klammern [] durch den richtigen Code, zum Beispiel [PROJECT_ID] durch die Projekt-ID für diese Lab-Umgebung.

Create or replace model `[PROJECT_ID].[DATASET_NAME].[MODEL_NAME]` remote with connection `[PROJECT_ID].[CONNECTION_REGION].[CONNECTION_NAME]` options( [DEFINE_ENDPOINT] );

Maximieren Sie den Hinweis, um hilfreiche Tipps zu erhalten.

Einbettungen generieren

Speichern Sie die Einbettungen für Bilder in einer Tabelle namens gcc_retail_store_embeddings im vorab erstellten BigQuery-Dataset gcc_bqml_dataset.

1. Führen Sie im BigQuery-SQL-Editor den folgenden SQL-Code aus. Ersetzen Sie dabei die Platzhalter in eckigen Klammern [] durch den richtigen Code, zum Beispiel [PROJECT_ID] durch die Projekt-ID für diese Lab-Umgebung.

Create or replace table `[PROJECT_ID].[DATASET_NAME].[EMBEDDINGS_TABLE_NAME]` as select *, REGEXP_EXTRACT(uri, r'[^/]+$') as product_name from [EMBEDDINGS_FUNCTION] ( MODEL `[PROJECT_ID].[DATASET_NAME].[MODEL_NAME]`, TABLE `[PROJECT_ID].[DATASET_NAME].[OBJECT_TABLE_NAME]` )

Maximieren Sie den Hinweis, um hilfreiche Tipps zu erhalten.

2. [Optionaler Schritt] Um die Einbettungsergebnisse zu überprüfen, aktualisieren und führen Sie den folgenden Code aus. Die Einbettungsergebnisse sind Gleitkommazahlen und nicht unbedingt sofort interpretierbar.

SELECT * FROM `[PROJECT_ID].[DATASET_NAME].[EMBEDDINGS_TABLE_NAME]`

Klicken Sie auf Fortschritt prüfen. Neues Modell erstellen und Einbettungen generieren

Aufgabe 4: Vektorsuche ausführen

Wenn Sie die Vektorsuche ausführen, um die Bilder zu finden, die dem Suchbegriff am ähnlichsten sind, speichern Sie die Suchergebnisse in einer Tabelle namens gcc_vector_search_table im vorab erstellten BigQuery-Dataset gcc_bqml_dataset.

1. Führen Sie im BigQuery-SQL-Editor den folgenden SQL-Code aus. Ersetzen Sie dabei die Platzhalter in eckigen Klammern [] durch den richtigen Code, zum Beispiel [PROJECT_ID] durch die Projekt-ID für diese Lab-Umgebung.

Create or replace table `[PROJECT_ID].[DATASET_NAME].[SEARCH_RESULTS_TABLE]` AS select base.uri, base.product_name, base.content_type, distance from [VECTOR_SEARCH_FUNCTION](table [DATASET_NAME].[EMBEDDINGS_TABLE_NAME],'ml_generate_embedding_result', ( SELECT ml_generate_embedding_result as embedding_col FROM [EMBEDDINGS_FUNCTION] ( MODEL `[DATASET_NAME].[MODEL_NAME]`, (select 'Men Sweaters' as content), STRUCT(TRUE AS flatten_json_output) ) ), [STATEMENT_TO_SELECT_TOP_2_RESULTS], distance_type => 'COSINE' );

Maximieren Sie den Hinweis, um hilfreiche Tipps zu erhalten.

2. [Optionaler Schritt] Um das Ergebnis der Vektorsuche zu überprüfen, aktualisieren und führen Sie den folgenden Code aus:

SELECT * FROM `[PROJECT_ID].[DATASET_NAME].[SEARCH_RESULTS_TABLE]`

Klicken Sie auf Fortschritt prüfen. Vektorsuche ausführen

Das wars! Sie haben das Lab erfolgreich abgeschlossen.

Sie haben eine multimodale Vektorsuche mit BigQuery erfolgreich implementiert. In diesem Lab haben Sie zuerst Verbindungen zu externen Ressourcen hergestellt und dem Dienstkonto die entsprechenden IAM-Berechtigungen gewährt. Als Nächstes haben Sie eine Objekttabelle zum Speichern von Bildmetadaten erstellt. Anschließend haben Sie Einbettungen generiert, um die Bilder in Vektoren umzuwandeln. Schließlich haben Sie die Vektoren durchsucht und die gewünschten Produkte gefunden.

Sie können diese Schritte jetzt auch für die Suche nach multimodalen Daten in Ihren eigenen Anwendungsfällen anwenden.

Google Cloud-Schulungen und -Zertifizierungen

In unseren Schulungen erfahren Sie alles zum optimalen Einsatz unserer Google Cloud-Technologien und können sich entsprechend zertifizieren lassen. Unsere Kurse vermitteln technische Fähigkeiten und Best Practices, damit Sie möglichst schnell mit Google Cloud loslegen und Ihr Wissen fortlaufend erweitern können. Wir bieten On-Demand-, Präsenz- und virtuelle Schulungen für Anfänger wie Fortgeschrittene an, die Sie individuell in Ihrem eigenen Zeitplan absolvieren können. Mit unseren Zertifizierungen weisen Sie nach, dass Sie Experte im Bereich Google Cloud-Technologien sind.

Anleitung zuletzt am 12. Februar 2025 aktualisiert

Lab zuletzt am 12. Februar 2025 getestet

© 2025 Google LLC. Alle Rechte vorbehalten. Google und das Google-Logo sind Marken von Google LLC. Alle anderen Unternehmens- und Produktnamen können Marken der jeweils mit ihnen verbundenen Unternehmen sein.