GSP1142

Übersicht

Document AI ist eine Lösung zur Dokumentverarbeitung, die unstrukturierte Daten (z. B. Dokumente, E‑Mails, Rechnungen, Formulare usw.) leichter verständlich, analysierbar und nutzbar macht. Über die API stehen Funktionen wie Inhaltsklassifizierung, Entitätserkennung, erweiterte Suche und weitere Optionen zur Verfügung. Document AI Workbench ermöglicht es Ihnen, mithilfe eigener Trainingsdaten individuelle Modelle zu erstellen und so die Genauigkeit bei der Dokumentenverarbeitung deutlich zu verbessern.

Sie können benutzerdefinierte Dokumentextraktoren (Custom Document Extractors, CDE) erstellen, die speziell auf Ihre Dokumente zugeschnitten sind und mit Ihren Daten trainiert und ausgewertet werden. Dieser Prozessor erkennt und extrahiert Entitäten aus Ihren Dokumenten. Den so trainierten Prozessor können Sie anschließend auf andere Dokumente anwenden. Ein CDE wird in der Regel für Dokumente eines einheitlichen Typs verwendet, beispielsweise für die Anmeldeformulare Ihrer Organisation.

In diesem Lab erfahren Sie, wie Sie mit Document AI Workbench einen benutzerdefinierten Dokumentextraktor erstellen und trainieren. Dieser verarbeitet US-Steuerformulare, genauer gesagt das Formular W-2. Die meisten Schritte zur Dokumentenvorbereitung wurden bereits ausgeführt, sodass Sie sich auf die weiteren Aspekte der Erstellung eines CDE konzentrieren können.

Lernziele

Aufgaben in diesem Lab:

• Benutzerdefinierten Dokumentextraktor in Document AI Workbench erstellen
• Prozessorschema definieren und erstellen
• Dokumente importieren
• Dokumente manuell in Document AI Workbench annotieren
• Generative KI verwenden, um Dokumente automatisch mit Labels zu versehen
• Trainingsjob für den Prozessor starten

Einrichtung und Anforderungen

Vor dem Klick auf „Start Lab“ (Lab starten)

Lesen Sie diese Anleitung. Labs sind zeitlich begrenzt und können nicht pausiert werden. Der Timer beginnt zu laufen, wenn Sie auf Lab starten klicken, und zeigt Ihnen, wie lange Google Cloud-Ressourcen für das Lab verfügbar sind.

In diesem praxisorientierten Lab können Sie die Lab-Aktivitäten in einer echten Cloud-Umgebung durchführen – nicht in einer Simulations- oder Demo-Umgebung. Dazu erhalten Sie neue, temporäre Anmeldedaten, mit denen Sie für die Dauer des Labs auf Google Cloud zugreifen können.

Für dieses Lab benötigen Sie Folgendes:

• Einen Standardbrowser (empfohlen wird Chrome)

Hinweis: Nutzen Sie den privaten oder Inkognitomodus (empfohlen), um dieses Lab durchzuführen. So wird verhindert, dass es zu Konflikten zwischen Ihrem persönlichen Konto und dem Teilnehmerkonto kommt und zusätzliche Gebühren für Ihr persönliches Konto erhoben werden.

• Zeit für die Durchführung des Labs – denken Sie daran, dass Sie ein begonnenes Lab nicht unterbrechen können.

Hinweis: Verwenden Sie für dieses Lab nur das Teilnehmerkonto. Wenn Sie ein anderes Google Cloud-Konto verwenden, fallen dafür möglicherweise Kosten an.

Lab starten und bei der Google Cloud Console anmelden

1. Klicken Sie auf Lab starten. Wenn Sie für das Lab bezahlen müssen, wird ein Dialogfeld geöffnet, in dem Sie Ihre Zahlungsmethode auswählen können. Auf der linken Seite befindet sich der Bereich „Details zum Lab“ mit diesen Informationen:

   • Schaltfläche „Google Cloud Console öffnen“
   • Restzeit
   • Temporäre Anmeldedaten für das Lab
   • Ggf. weitere Informationen für dieses Lab

2. Klicken Sie auf Google Cloud Console öffnen (oder klicken Sie mit der rechten Maustaste und wählen Sie Link in Inkognitofenster öffnen aus, wenn Sie Chrome verwenden).

   Im Lab werden Ressourcen aktiviert. Anschließend wird ein weiterer Tab mit der Seite „Anmelden“ geöffnet.

   Tipp: Ordnen Sie die Tabs nebeneinander in separaten Fenstern an.

   Hinweis: Wird das Dialogfeld Konto auswählen angezeigt, klicken Sie auf Anderes Konto verwenden.

3. Kopieren Sie bei Bedarf den folgenden Nutzernamen und fügen Sie ihn in das Dialogfeld Anmelden ein.

   {{{user_0.username | "Username"}}}

   Sie finden den Nutzernamen auch im Bereich „Details zum Lab“.

4. Klicken Sie auf Weiter.

5. Kopieren Sie das folgende Passwort und fügen Sie es in das Dialogfeld Willkommen ein.

   {{{user_0.password | "Password"}}}

   Sie finden das Passwort auch im Bereich „Details zum Lab“.

6. Klicken Sie auf Weiter.

   Wichtig: Sie müssen die für das Lab bereitgestellten Anmeldedaten verwenden. Nutzen Sie nicht die Anmeldedaten Ihres Google Cloud-Kontos. Hinweis: Wenn Sie Ihr eigenes Google Cloud-Konto für dieses Lab nutzen, können zusätzliche Kosten anfallen.

7. Klicken Sie sich durch die nachfolgenden Seiten:

   • Akzeptieren Sie die Nutzungsbedingungen.
   • Fügen Sie keine Wiederherstellungsoptionen oder Zwei-Faktor-Authentifizierung hinzu (da dies nur ein temporäres Konto ist).
   • Melden Sie sich nicht für kostenlose Testversionen an.

Nach wenigen Augenblicken wird die Google Cloud Console in diesem Tab geöffnet.

Hinweis: Wenn Sie auf Google Cloud-Produkte und ‑Dienste zugreifen möchten, klicken Sie auf das Navigationsmenü oder geben Sie den Namen des Produkts oder Dienstes in das Feld Suchen ein.

Cloud Shell aktivieren

Cloud Shell ist eine virtuelle Maschine, auf der Entwicklertools installiert sind. Sie bietet ein Basisverzeichnis mit 5 GB nichtflüchtigem Speicher und läuft auf Google Cloud. Mit Cloud Shell erhalten Sie Befehlszeilenzugriff auf Ihre Google Cloud-Ressourcen.

1. Klicken Sie oben in der Google Cloud Console auf Cloud Shell aktivieren .

2. Klicken Sie sich durch die folgenden Fenster:

   • Fahren Sie mit dem Informationsfenster zu Cloud Shell fort.
   • Autorisieren Sie Cloud Shell, Ihre Anmeldedaten für Google Cloud API-Aufrufe zu verwenden.

Wenn eine Verbindung besteht, sind Sie bereits authentifiziert und das Projekt ist auf Project_ID, eingestellt. Die Ausgabe enthält eine Zeile, in der die Project_ID für diese Sitzung angegeben ist:

Ihr Cloud-Projekt in dieser Sitzung ist festgelegt als {{{project_0.project_id | "PROJECT_ID"}}}

gcloud ist das Befehlszeilentool für Google Cloud. Das Tool ist in Cloud Shell vorinstalliert und unterstützt die Tab-Vervollständigung.

3. (Optional) Sie können den aktiven Kontonamen mit diesem Befehl auflisten:

gcloud auth list

4. Klicken Sie auf Autorisieren.

Ausgabe:

ACTIVE: * ACCOUNT: {{{user_0.username | "ACCOUNT"}}} Um das aktive Konto festzulegen, führen Sie diesen Befehl aus: $ gcloud config set account `ACCOUNT`

5. (Optional) Sie können die Projekt-ID mit diesem Befehl auflisten:

gcloud config list project

Ausgabe:

[core] project = {{{project_0.project_id | "PROJECT_ID"}}} Hinweis: Die vollständige Dokumentation für gcloud finden Sie in Google Cloud in der Übersicht zur gcloud CLI.

Aufgabe 1: Document AI API aktivieren

Bevor Sie mit Document AI arbeiten können, müssen Sie die API aktivieren.

1. Führen Sie in Cloud Shell den folgenden Befehl aus, um die API für Document AI zu aktivieren:

gcloud services enable documentai.googleapis.com

Auf dem Bildschirm sollte Folgendes zu sehen sein:

Operation "operations/..." finished successfully.

2. Führen Sie den folgenden Befehl aus, um die Python-Clientbibliotheken für Document AI zu installieren:

pip3 install --upgrade google-cloud-documentai

Auf dem Bildschirm sollte Folgendes zu sehen sein:

... Installing collected packages: google-cloud-documentai Successfully installed google-cloud-documentai-2.15.0

Jetzt können Sie die Document AI API verwenden.

Document AI API aktivieren

Aufgabe 2: Prozessor erstellen

Sie müssen zuerst einen benutzerdefinierten Dokumentextraktor-Prozessor erstellen, den Sie für dieses Lab verwenden können.

Sie müssen zuerst eine Form Parser-Prozessorinstanz erstellen, die Sie in der Document AI Platform für diese Anleitung verwenden können.

1. Klicken Sie im Navigationsmenü aufAlle Produkte ansehen. Wählen Sie unter Künstliche Intelligenz die Option Document AI aus.

2. Klicken Sie auf Benutzerdefinierten Prozessor erstellen.

3. Klicken Sie im Feld Benutzerdefinierter Extraktor auf Prozessor erstellen.

4. Geben Sie dem Prozessor den Namen lab-custom-extractor und wählen Sie die Region US (United States) aus der Liste aus.

5. Klicken Sie auf Erstellen, um den Prozessor zu erstellen.

Klicken Sie auf Fortschritt prüfen.

Prozessor erstellen

Aufgabe 3: Prozessorfelder definieren

Sie befinden sich jetzt auf der Seite Übersicht des gerade erstellten Prozessors.

Von hier aus können Sie die Felder angeben, die der Prozessor extrahieren soll, und anschließend mit dem Labeling von Dokumenten beginnen.

1. Klicken Sie auf den Tab Jetzt starten. Das Menü Felder wird angezeigt.

2. Klicken Sie auf Neues Feld erstellen.

3. Geben Sie den Namen für das Feld ein. Wählen Sie den Datentyp und das Vorkommen aus. Klicken Sie auf Erstellen. Eine ausführliche Anleitung zum Erstellen und Bearbeiten eines Prozessorschemas finden Sie unter Labels zu Dokumenten hinzufügen.

4. Erstellen Sie folgende Labels für das Prozessorschema.

Name	Datentyp	Vorkommen
control_number	Nummer	Mehrmals optional
employees_social_security_number	Nummer	Mehrmals erforderlich
employer_identification_number	Nummer	Mehrmals erforderlich
employers_name_address_and_zip_code	Adresse	Mehrmals erforderlich
federal_income_tax_withheld	Geldsumme	Mehrmals erforderlich
social_security_tax_withheld	Geldsumme	Mehrmals erforderlich
social_security_wages	Geldsumme	Mehrmals erforderlich
wages_tips_other_compensation	Geldsumme	Mehrmals erforderlich

Sie können in Ihrem Prozessorschema auch andere Labelarten erstellen und verwenden, z. B. Kästchen und tabellarische Entitäten. So enthalten W-2-Formulare beispielsweise die Kästchen Statutory employee, Retirement plan und Third party sick pay, die Sie ebenfalls zum Schema hinzufügen könnten.

Klicken Sie auf Fortschritt prüfen. Labels erstellen

Aufgabe 4: Beispieldokument hochladen

Als Nächstes laden Sie eine W-2-Beispieldatei als PDF hoch und versehen sie mit Labels.

1. Klicken Sie auf Beispieldokument hochladen.

2. Wählen Sie in der Seitenleiste Dokumente aus Google Cloud Storage importieren aus.

3. In diesem Beispiel geben Sie diesen Bucket-Namen unter „Quellpfad“ ein. Dadurch wird direkt auf ein Dokument verwiesen.

cloud-samples-data/documentai/Custom/W2/PDF/W2_XL_input_clean_2950.pdf

4. Klicken Sie auf Importieren.

Sie werden zur Labeling-Konsole weitergeleitet.

Aufgabe 5: Dokument mit Label versehen

Der Vorgang, bei dem Text in einem Dokument ausgewählt und mit Labels versehen wird, wird als Annotation bezeichnet.

1. In der Labeling-Konsole werden Sie feststellen, dass zahlreiche Labels schon vorausgefüllt sind.

Hinweis: Ihre Ergebnisse können leicht vom Beispielbild abweichen.

2. Um vorgeschlagene Labels zu übernehmen, bewegen Sie den Mauszeiger in der Seitenleiste über das jeweilige Label und bestätigen Sie es per Klick auf das Häkchen. Sie können die Werte bearbeiten, wenn sie nicht mit dem Text im Dokument übereinstimmen.

3. In diesem Beispiel wurden die Werte am Ende des Dokuments nicht automatisch erkannt und müssen daher manuell mit einem Label versehen werden.

4. Standardmäßig verwenden Sie das Tool Begrenzungsrahmen und bei mehrzeiligen Werten das Tool Text auswählen, um Inhalte zu markieren und zu labeln.

Hinweis: Das Tool Text auswählen funktioniert nicht für alle Textwerte. Verwenden Sie daher ggf. das Tool Begrenzungsrahmen. Damit können Sie auch Nicht-Textfelder auswählen, z. B. Kästchen.

5. In diesem Beispiel wurde der Wert von wages_tips_other_compensation mit dem Begrenzungsrahmen-Tool ausgewählt und das entsprechende Label angewendet.

6. Prüfen Sie, ob die erkannten Textwerte den gewünschten Text aus dem Dokument widerspiegeln.

Das mit Labels versehene W-2-Dokument sollte nach Abschluss so aussehen:

7. Bei Bedarf können Sie auf Neues Feld erstellen klicken, um dem Schema auf dieser Seite ein neues Feld hinzuzufügen.

8. Klicken Sie auf Als „Mit Label versehen“ markieren, wenn Sie das Dokument fertig annotiert haben.

Sie werden zum Tab Jetzt starten weitergeleitet.

Aufgabe 6: Prozessorversion mit Foundation Model erstellen

Nachdem Sie ein einzelnes Dokument gelabelt haben, können Sie eine Prozessorversion erstellen, die das vortrainierte Foundation Model zur Entitätsextraktion verwendet.

1. Klicken Sie auf den Tab Erstellen.

2. Klicken Sie unter Basismodell aufrufen auf Neue Version erstellen.

3. Geben Sie einen Namen für die Prozessorversion ein, z. B. w2-foundation-model.

4. Klicken Sie auf Erstellen. Die Erstellung dauert ein paar Minuten.

Hinweis: Nachdem Sie eine Prozessorversion erstellt haben, können Sie keine von Ihnen erstellten Felder löschen. Sie lassen sich jedoch auf der Seite „Felder“ deaktivieren, wenn Sie sie nicht mehr benötigen.

5. Optional: Klicken Sie auf den Tab Bereitstellen und verwenden. Auf dieser Seite sehen Sie die verfügbaren Prozessorversionen und den Bereitstellungsstatus der neuen Version.

Im Verlauf des Labs testen und bewerten Sie diese Version noch.

Klicken Sie auf Fortschritt prüfen.

Prozessorversion mit Foundation Model erstellen

Aufgabe 7: Generative KI verwenden, um Dokumente automatisch mit Labels zu versehen

Mit dem Foundation Model lassen sich Felder für eine Vielzahl von Dokumenttypen präzise extrahieren. Sie können jedoch auch zusätzliche Trainingsdaten bereitstellen, um die Accuracy des Modells für bestimmte Dokumentstrukturen zu verbessern.

Document AI Workbench verwendet die von Ihnen definierten Labelnamen und vorherige Annotationen, um mithilfe der Funktion automatisches Labeling das Labeln großer Dokumentmengen schneller und einfacher zu machen.

1. Rufen Sie die Seite Erstellen auf.

2. Klicken Sie auf Dokumente importieren.

3. Wählen Sie in der Seitenleiste Dokumente aus Google Cloud Storage importieren aus.

4. Geben Sie diesen Bucket-Namen im Feld Quellpfad ein. Enthält W-2-PDF-Dateien ohne Label.

cloud-samples-data/documentai/Custom/W2/AutoLabel

5. Wählen Sie in der Drop-down-Liste Datenaufteilung die Option Automatisch aufteilen. Dadurch werden die Dokumente automatisch so aufgeteilt, dass 80 % im Trainings-Datensatz und 20 % im Test-Datensatz enthalten sind.

6. Klicken Sie im Bereich Automatisches Labeling das Kästchen Mit automatischem Labeling importieren an.

7. Wählen Sie die Prozessorversion des Foundation Models aus, das Sie gerade erstellt haben, um die Dokumente mit Labels zu versehen.

8. Klicken Sie auf Importieren und warten Sie, bis die Dokumente importiert wurden. Sie können die Seite in der Zwischenzeit schließen und später wieder öffnen.

9. Es ist wichtig, dass Sie die automatisch gelabelten Dokumente überprüfen, bevor Sie sie fürs Training oder für Tests einsetzen. Klicken Sie auf Labeling starten, um die Dokumente mit automatisch hinzugefügten Labels aufzurufen.

10. Um die vorgeschlagenen Labels zu verwenden, bewegen Sie den Mauszeiger auf die einzelnen Annotationen und klicken Sie auf das Häkchen, um das Label zu bestätigen. Sie können die Werte bearbeiten, wenn sie nicht mit dem Text im Dokument übereinstimmen.

11. Klicken Sie auf Als „Mit Label versehen“ markieren, wenn Sie das Dokument fertig annotiert haben.

12. Wiederholen Sie diesen Vorgang für jedes Dokument mit automatisch hinzugefügten Labels. In dieser Anleitung können Sie alle Dokumente überspringen, die nicht automatisch mit Labels versehen wurden.

Aufgabe 8: Trainingsdokumente mit Labels importieren

In diesem Lab werden Ihnen vorgelabelte Daten zur Verfügung gestellt. Wenn Sie an Ihrem eigenen Projekt arbeiten, müssen Sie festlegen, wie Ihre Daten mit Labels versehen werden sollen. Weitere Informationen finden Sie unter Labeloptionen. Im Allgemeinen führen mehr Trainingsdaten zu einer höheren Accuracy.

1. Rufen Sie die Seite Erstellen auf.

2. Klicken Sie auf Dokumente importieren.

3. Wählen Sie in der Seitenleiste Dokumente aus Google Cloud Storage importieren aus.

4. Geben Sie unter Quellpfad den folgenden Pfad ein. Dieser Bucket enthält Dokumente mit Labels im Document JSON-Format.

cloud-samples-data/documentai/Custom/W2/JSON-2

5. Wählen Sie in der Drop-down-Liste Datenaufteilung die Option Automatisch aufteilen. Dadurch werden die Dokumente automatisch so aufgeteilt, dass 80 % im Trainings-Datensatz und 20 % im Test-Datensatz enthalten sind. Entfernen Sie das Häkchen für Mit automatischem Labeling importieren.

6. Klicken Sie auf Importieren. Der Import dauert einige Minuten.

7. Optional: Von der Seite Erstellen aus können Sie auf die Konsole Dataset verwalten zugreifen, um alle Dokumente und Labels im Dataset anzusehen und zu bearbeiten.

Aufgabe 9: Prozessor trainieren

Nachdem Sie nun genügend Trainings- und Testdaten haben, können Sie den Prozessor trainieren. Da das Training mehrere Stunden dauern kann, sollten Sie den Prozessor vorab mit den entsprechenden Daten und Labels einrichten.

1. Klicken Sie unter Benutzerdefiniertes Modell trainieren auf Neue Version erstellen.

   Wenn Neue Version erstellen nicht angeklickt werden kann, klicken Sie auf Vollständige Anforderungen anzeigen, um Informationen zu den Dataset-Anforderungen zu erhalten.

2. Geben Sie im Feld Versionsname einen Namen für diese Prozessorversion ein, z. B. w2-custom-model.

3. Optional: Klicken Sie auf Labelstatistiken anzeigen, um Informationen zu den Dokumentlabels aufzurufen. So können Sie Ihre Abdeckung besser einschätzen. Klicken Sie auf Schließen, um zur Trainingseinrichtung zurückzukehren.

4. Wählen Sie unter Trainingsmethode für das Modell die Option Modellbasiert aus.

5. Klicken Sie auf Training starten.

6. (Optional) Klicken Sie auf den Tab Bereitstellen und verwenden. Auf dieser Seite sehen Sie die verfügbaren Prozessorversionen und den Trainingsstatus der neuen Version.

Klicken Sie auf Fortschritt prüfen.

Modell trainieren

Sehr gut. Sie haben jetzt mit dem Training Ihres ersten benutzerdefinierten Document AI-Prozessors begonnen. Da der Trainingsjob einige Stunden dauert, beenden wir das Lab an dieser Stelle. Wenn Sie mehr über die Bereitstellung und das Testen der Modellversion erfahren möchten, lesen Sie den entsprechenden Abschnitt in der Dokumentation.

Das wars! Sie haben das Lab erfolgreich abgeschlossen.

Gute Arbeit. In diesem Lab haben Sie mit Document AI einen benutzerdefinierten Prozessor zur Dokumentextraktion erstellt, ein Dataset importiert und Beispieldokumente mit Labels versehen. Sie können diesen Prozessor jetzt verwenden, um Dokumente in diesem Format zu parsen, genau wie bei jedem anderen spezialisierten Prozessor. Er eignet sich auch zum Annotieren neuer Dokumente mit automatischem Labeling und zur Verwaltung von Trainingsdaten und Trainingsjobs in Document AI Workbench.

Weitere Informationen

Weitere Informationen zu Document AI und der Python-Clientbibliothek finden Sie in den folgenden Ressourcen:

• The Future of Documents – YouTube-Playlist
• Document AI-Dokumentation
• Python-Clientbibliothek für Document AI
• Document AI-Beispiele

Google Cloud-Schulungen und -Zertifizierungen

In unseren Schulungen erfahren Sie alles zum optimalen Einsatz unserer Google Cloud-Technologien und können sich entsprechend zertifizieren lassen. Unsere Kurse vermitteln technische Fähigkeiten und Best Practices, damit Sie möglichst schnell mit Google Cloud loslegen und Ihr Wissen fortlaufend erweitern können. Wir bieten On-Demand-, Präsenz- und virtuelle Schulungen für Anfänger wie Fortgeschrittene an, die Sie individuell in Ihrem eigenen Zeitplan absolvieren können. Mit unseren Zertifizierungen weisen Sie nach, dass Sie Experte im Bereich Google Cloud-Technologien sind.

Anleitung zuletzt am 17. März 2025 aktualisiert

Lab zuletzt am 17. März 2025 getestet

© 2025 Google LLC. Alle Rechte vorbehalten. Google und das Google-Logo sind Marken von Google LLC. Alle anderen Unternehmens- und Produktnamen können Marken der jeweils mit ihnen verbundenen Unternehmen sein.