GSP1279

Übersicht

In diesem Lab erfahren Sie, wie Sie mit Vertex AI und der leistungsstarken Modellfamilie Gemini von Google selbst ein multimodales Question-Answering-System erstellen. So lernen Sie auch, wie derartige Systeme funktionieren, ganz ohne auf vorgefertigte Tools oder Bibliotheken zurückzugreifen. Diese praktische Übung macht einen komplexen Prozess greifbar und vermittelt Ihnen das Wissen, mit dem Sie Ihre eigenen Question-Answering-Systeme in Zukunft anpassen und optimieren können. Außerdem werden Sie die Vorteile der multimodalen Retrieval-Augmented Generation (RAG) gegenüber der herkömmlichen textbasierten RAG kennenlernen und verstehen, wie visuelle Informationen den Wissenszugang und die Problemlösungsfähigkeit verbessern.

Vorbereitung

Für dieses Lab sollten Sie folgende Konzepte kennen:

• Grundlegende Kenntnisse der Programmierung mit Python
• Grundlegende API-Konzepte
• Ausführen von Python-Code in einem Jupyter-Notebook in Vertex AI Workbench

Lernziele

In diesem Lab erfahren Sie, wie Sie mit multimodaler Retrieval-Augmented Generation (RAG) eine Dokumentsuchmaschine erstellen. Das beinhaltet Folgendes:

• Metadaten von Dokumenten, die Text und Bilder enthalten, extrahieren und speichern sowie Einbettungen der Dokumente erstellen
• Metadaten mit Textabfragen durchsuchen, um ähnliche Texte oder Bilder zu finden
• Metadaten mit Bildabfragen durchsuchen, um ähnliche Bilder zu finden
• Anhand einer Textabfrage als Eingabe nach kontextbezogenen Antworten mit Texten und Bildern suchen

Einrichtung und Anforderungen

Vor dem Klick auf „Start Lab“ (Lab starten)

Lesen Sie diese Anleitung. Labs sind zeitlich begrenzt und können nicht pausiert werden. Der Timer beginnt zu laufen, wenn Sie auf Lab starten klicken, und zeigt Ihnen, wie lange Google Cloud-Ressourcen für das Lab verfügbar sind.

In diesem praxisorientierten Lab können Sie die Lab-Aktivitäten in einer echten Cloud-Umgebung durchführen – nicht in einer Simulations- oder Demo-Umgebung. Dazu erhalten Sie neue, temporäre Anmeldedaten, mit denen Sie für die Dauer des Labs auf Google Cloud zugreifen können.

Für dieses Lab benötigen Sie Folgendes:

• Einen Standardbrowser (empfohlen wird Chrome)

Hinweis: Nutzen Sie den privaten oder Inkognitomodus (empfohlen), um dieses Lab durchzuführen. So wird verhindert, dass es zu Konflikten zwischen Ihrem persönlichen Konto und dem Teilnehmerkonto kommt und zusätzliche Gebühren für Ihr persönliches Konto erhoben werden.

• Zeit für die Durchführung des Labs – denken Sie daran, dass Sie ein begonnenes Lab nicht unterbrechen können.

Hinweis: Verwenden Sie für dieses Lab nur das Teilnehmerkonto. Wenn Sie ein anderes Google Cloud-Konto verwenden, fallen dafür möglicherweise Kosten an.

Lab starten und bei der Google Cloud Console anmelden

1. Klicken Sie auf Lab starten. Wenn Sie für das Lab bezahlen müssen, wird ein Dialogfeld geöffnet, in dem Sie Ihre Zahlungsmethode auswählen können. Auf der linken Seite befindet sich der Bereich „Details zum Lab“ mit diesen Informationen:

   • Schaltfläche „Google Cloud Console öffnen“
   • Restzeit
   • Temporäre Anmeldedaten für das Lab
   • Ggf. weitere Informationen für dieses Lab

2. Klicken Sie auf Google Cloud Console öffnen (oder klicken Sie mit der rechten Maustaste und wählen Sie Link in Inkognitofenster öffnen aus, wenn Sie Chrome verwenden).

   Im Lab werden Ressourcen aktiviert. Anschließend wird ein weiterer Tab mit der Seite „Anmelden“ geöffnet.

   Tipp: Ordnen Sie die Tabs nebeneinander in separaten Fenstern an.

   Hinweis: Wird das Dialogfeld Konto auswählen angezeigt, klicken Sie auf Anderes Konto verwenden.

3. Kopieren Sie bei Bedarf den folgenden Nutzernamen und fügen Sie ihn in das Dialogfeld Anmelden ein.

   {{{user_0.username | "Username"}}}

   Sie finden den Nutzernamen auch im Bereich „Details zum Lab“.

4. Klicken Sie auf Weiter.

5. Kopieren Sie das folgende Passwort und fügen Sie es in das Dialogfeld Willkommen ein.

   {{{user_0.password | "Password"}}}

   Sie finden das Passwort auch im Bereich „Details zum Lab“.

6. Klicken Sie auf Weiter.

   Wichtig: Sie müssen die für das Lab bereitgestellten Anmeldedaten verwenden. Nutzen Sie nicht die Anmeldedaten Ihres Google Cloud-Kontos. Hinweis: Wenn Sie Ihr eigenes Google Cloud-Konto für dieses Lab nutzen, können zusätzliche Kosten anfallen.

7. Klicken Sie sich durch die nachfolgenden Seiten:

   • Akzeptieren Sie die Nutzungsbedingungen.
   • Fügen Sie keine Wiederherstellungsoptionen oder Zwei-Faktor-Authentifizierung hinzu (da dies nur ein temporäres Konto ist).
   • Melden Sie sich nicht für kostenlose Testversionen an.

Nach wenigen Augenblicken wird die Google Cloud Console in diesem Tab geöffnet.

Hinweis: Wenn Sie auf Google Cloud-Produkte und ‑Dienste zugreifen möchten, klicken Sie auf das Navigationsmenü oder geben Sie den Namen des Produkts oder Dienstes in das Feld Suchen ein.

Aufgabe 1: Notebook in Vertex AI Workbench öffnen

1. Klicken Sie in der Google Cloud Console im Navigationsmenü () auf Vertex AI > Workbench.

2. Suchen Sie die Instanz und klicken Sie auf JupyterLab öffnen.

Die JupyterLab-Oberfläche für Ihre Workbench-Instanz wird in einem neuen Browsertab geöffnet.

Hinweis: Wenn in JupyterLab keine Notebooks angezeigt werden, führen Sie die folgenden zusätzlichen Schritte aus, um die Instanz zurückzusetzen:

1. Schließen Sie den Browsertab für JupyterLab und kehren Sie zur Workbench-Startseite zurück.

2. Aktivieren Sie das Kästchen neben dem Instanznamen und klicken Sie dann auf Zurücksetzen.

3. Nachdem die Schaltfläche JupyterLab öffnen wieder aktiviert ist, warten Sie eine Minute und klicken Sie dann auf JupyterLab öffnen.

Aufgabe 2: Notebook einrichten

1. Öffnen Sie die -Datei.

2. Wählen Sie im Dialogfeld Kernel auswählen in der Liste der verfügbaren Kernel die Option Python 3 aus.

3. Gehen Sie die Abschnitte Erste Schritte und Bibliotheken importieren des Notebooks durch.

   • Verwenden Sie als Projekt-ID den Wert und als Standort die Option .

Hinweis: Notebookzellen mit dem Hinweis Nur Colab können Sie überspringen. Wenn Sie bei der Ausführung einer der Notebook-Zellen eine 429-Antwort erhalten, warten Sie eine Minute, bevor Sie die Zelle noch einmal ausführen und dann fortfahren.

Klicken Sie auf Fortschritt prüfen. Bibliotheken importieren und das Notebook einrichten

Aufgabe 3: Metadaten von Dokumenten erstellen, die Text und Bilder enthalten

In diesem Abschnitt importieren Sie Hilfsfunktionen zum Erstellen von Metadaten, laden vorab berechnete Metadaten von Text und Bildern aus einem Quelldokument und prüfen die verarbeiteten Daten.

1. Gehen Sie den Abschnitt Metadaten von Dokumenten erstellen, die Text und Bilder enthalten im Notebook durch.

Klicken Sie auf Fortschritt prüfen. Hilfsfunktionen zum Erstellen von Metadaten importieren

Vorab berechnete Metadaten von Text und Bildern laden Verarbeitete Text- und Bilddaten prüfen

Aufgabe 4: Textsuche

In diesem Abschnitt verwenden Sie das Gemini-Modell, um mit einer einfachen Frage eine Suche durchzuführen. Sie werden sehen, ob die einfache Textsuche mit Texteinbettungen zur richtigen Antwort führt. Außerdem nutzen Sie die multimodale Funktion des Gemini-Modells, um nach einem Bild zu suchen, das der Textabfrage entspricht.

1. Gehen Sie den Abschnitt Textsuche im Notebook durch.

Klicken Sie auf Fortschritt prüfen. Textsuche

Aufgabe 5: Bildersuche

Stellen Sie sich vor, Sie können mit einem Bild nach anderen Bildern suchen und müssen dazu keine Wörter eingeben. Das ist, als würden Sie einen Ort mit einer winzigen Landkarte statt mit einer Adresse suchen. Im Grunde fragen Sie: „Zeig mir mehr Inhalte wie diesen.“ Anstatt also beispielsweise den Text "Beispiele für Gemini 2.0 mit langem Kontext“ einzugeben, zeigen Sie ein entsprechendes Bild und sagen: „Finde mehr Bilder wie dieses.“

In diesem Abschnitt suchen Sie nur innerhalb eines Dokuments nach ähnlichen Bildern, die verschiedene Gemini-Funktionen zeigen. Später können Sie diese Methode nutzen, um relevante Bilder auch in mehreren Dokumenten zu finden.

1. Gehen Sie den Abschnitt Bildersuche im Notebook durch.

Klicken Sie auf Fortschritt prüfen. Bildersuche

Aufgabe 6: Multimodales QA-System mit Retrieval-Augmented Generation (mRAG) erstellen

In dieser letzten Aufgabe implementieren Sie eine multimodale RAG. Für die Implementierung von multimodaler RAG stellt der Nutzer eine Textanfrage, die sich auf Inhalte bezieht, die im Dokument sowohl als Text als auch als Bild vorliegen. Textteile, die der Abfrage ähneln, werden mit einer Textsuchmethode von den Dokumentseiten abgerufen. Gleichzeitig werden bei einer Bildersuche Bilder mit Beschreibungen ermittelt, die der Abfrage entsprechen.

Relevante Texte und Bilder werden kombiniert und als Kontext für Gemini genutzt, um die Anfrage zu beantworten – eventuell mit Verweis auf bestimmte Anweisungen. Abschließend geben Zitate an, welche Texte und Bilder zur Formulierung der Antwort verwendet wurden.

1. Gehen Sie den Abschnitt Multimodales QA-System mit Retrieval-Augmented Generation (mRAG) erstellen des Notebooks durch.

Klicken Sie auf Fortschritt prüfen. Multimodales QA-System mit Retrieval-Augmented Generation (mRAG) erstellen

Das wars! Sie haben das Lab erfolgreich abgeschlossen.

Gute Arbeit. In diesem Lab haben Sie gelernt, wie Sie mit der Gemini API in Vertex AI ein multimodales Question-Answering-System erstellen. Sie haben eine Dokumentensuchmaschine erstellt, die mit Text- und Bildabfragen nach Texten und Bildern suchen kann. Ihr eigens erstelltes multimodales Question-Answering-System kann außerdem Fragen mit Text und Bildern beantworten.

Weitere Informationen

In den folgenden Ressourcen finden Sie weitere Informationen zu Gemini:

• Überblick: Gemini
• Dokumentation: Generative KI in Vertex AI
• Generative KI auf YouTube
• Im Vertex AI Cookbook finden Sie ausgewählte und durchsuchbare Notebooks zu generativer KI.
• Weitere Notebooks und Beispiele wurden im Repository „Google Cloud Generative AI“ zusammengestellt.

Google Cloud-Schulungen und -Zertifizierungen

In unseren Schulungen erfahren Sie alles zum optimalen Einsatz unserer Google Cloud-Technologien und können sich entsprechend zertifizieren lassen. Unsere Kurse vermitteln technische Fähigkeiten und Best Practices, damit Sie möglichst schnell mit Google Cloud loslegen und Ihr Wissen fortlaufend erweitern können. Wir bieten On-Demand-, Präsenz- und virtuelle Schulungen für Anfänger wie Fortgeschrittene an, die Sie individuell in Ihrem eigenen Zeitplan absolvieren können. Mit unseren Zertifizierungen weisen Sie nach, dass Sie Experte im Bereich Google Cloud-Technologien sind.

Anleitung zuletzt am 11. Juli 2025 aktualisiert

Lab zuletzt am 11. Juli 2025 getestet

© 2025 Google LLC. Alle Rechte vorbehalten. Google und das Google-Logo sind Marken von Google LLC. Alle anderen Unternehmens- und Produktnamen können Marken der jeweils mit ihnen verbundenen Unternehmen sein.