ARC106

Übersicht

In einem Challenge-Lab geht es um ein bestimmtes Szenario mit mehreren Aufgaben. Anders als bei einem normalen Lab erhalten Sie jedoch keine Schritt-für-Schritt-Anleitung, sondern nutzen die in den Labs des jeweiligen Kurses erlernten Fähigkeiten, um die Aufgaben selbst zu lösen. Ihre Lösungen werden automatisch bewertet. Die erzielten Punkte finden Sie rechts oben auf dieser Seite.

In Challenge-Labs werden keine neuen Grundlagen zu Google Cloud vermittelt. Sie sollen dabei Ihr Wissen erweitern und es wird erwartet, dass Sie beispielsweise Standardwerte ändern und Fehlermeldungen lesen und recherchieren, um Ihre eigenen Fehler zu beheben.

Die volle Punktzahl erreichen Sie nur, wenn Sie alle Aufgaben innerhalb der vorgegebenen Zeit lösen.

Einrichtung

Vor dem Klick auf „Start Lab“ (Lab starten)

Lesen Sie diese Anleitung. Labs sind zeitlich begrenzt und können nicht pausiert werden. Der Timer beginnt zu laufen, wenn Sie auf Lab starten klicken, und zeigt Ihnen, wie lange Google Cloud-Ressourcen für das Lab verfügbar sind.

In diesem praxisorientierten Lab können Sie die Lab-Aktivitäten in einer echten Cloud-Umgebung durchführen – nicht in einer Simulations- oder Demo-Umgebung. Dazu erhalten Sie neue, temporäre Anmeldedaten, mit denen Sie für die Dauer des Labs auf Google Cloud zugreifen können.

Für dieses Lab benötigen Sie Folgendes:

• Einen Standardbrowser (empfohlen wird Chrome)

Hinweis: Nutzen Sie den privaten oder Inkognitomodus (empfohlen), um dieses Lab durchzuführen. So wird verhindert, dass es zu Konflikten zwischen Ihrem persönlichen Konto und dem Teilnehmerkonto kommt und zusätzliche Gebühren für Ihr persönliches Konto erhoben werden.

• Zeit für die Durchführung des Labs – denken Sie daran, dass Sie ein begonnenes Lab nicht unterbrechen können.

Hinweis: Verwenden Sie für dieses Lab nur das Teilnehmerkonto. Wenn Sie ein anderes Google Cloud-Konto verwenden, fallen dafür möglicherweise Kosten an.

Das Szenario

Sie haben gerade eine neue Stelle als Junior Data Engineer angetreten. Bisher haben Sie Teams dabei unterstützt, Daten mit BigQuery, Pub/Sub und Dataflow zu erstellen und zu verwalten.

Wissen und Fähigkeiten, die für die folgenden Aufgaben erforderlich sind, werden vorausgesetzt.

Die Aufgabe

Sie werden gebeten, einem neu gebildeten Entwicklungsteam bei den ersten Schritten eines neuen Projekts zu helfen, bei dem es um Echtzeitdaten von Umgebungssensoren geht. Sie sollen das Team beim Streaming von Temperaturdaten mit Pub/Sub und Dataflow in BigQuery unterstützen. Dies sind die Anforderungen:

• Erstellen Sie einen Cloud Storage-Bucket als temporären Speicherort für einen Dataflow-Job.
• Erstellen Sie ein BigQuery-Dataset und eine BigQuery-Tabelle, um die Streamingdaten zu empfangen.
• Erstellen Sie ein Pub/Sub-Thema und testen Sie das Veröffentlichen von Nachrichten in diesem Thema.
• Erstellen Sie einen Dataflow-Job und führen Sie diesen aus, um Daten aus einem Pub/Sub-Thema in BigQuery zu streamen.
• Führen Sie eine Abfrage aus, um Streamingdaten zu validieren.

Folgende Vorgaben sind zu beachten:

• Alle erforderlichen APIs (wie die Dataflow API) müssen aktiviert sein.
• Alle Ressourcen werden in der Region erstellt, sofern nicht anders angegeben.

Die einzelnen Aufgaben sind nachfolgend genauer beschrieben. Viel Erfolg!

Aufgabe 1: Cloud Storage-Bucket erstellen

• Erstellen Sie einen Cloud Storage-Bucket und verwenden Sie die Projekt-ID als Bucket-Namen:

Klicken Sie auf Fortschritt prüfen. Cloud Storage-Bucket erstellen

Aufgabe 2: BigQuery-Dataset und ‑Tabelle erstellen

1. Erstellen Sie ein BigQuery-Dataset mit dem Namen in der Region USA (multiregional).

2. Erstellen Sie in diesem Dataset eine Tabelle mit dem Namen , in der Sie dann die Spalte data mit dem Typ STRING hinzufügen.

Klicken Sie auf Fortschritt prüfen. BigQuery-Dataset und ‑Tabelle erstellen

Aufgabe 3: Pub-/Sub-Thema einrichten

1. Erstellen Sie ein Pub/Sub-Thema mit dem Namen .

• Verwenden Sie die Standardeinstellungen, bei denen das Kästchen Standardabo hinzufügen aktiviert ist.

Klicken Sie auf Fortschritt prüfen. Pub/Sub-Thema erstellen

Aufgabe 4: Dataflow-Pipeline ausführen, um Daten aus Pub/Sub in BigQuery zu streamen

1. Erstellen Sie einen Dataflow-Job mit dem Namen und führen Sie ihn aus, um Daten aus dem Pub/Sub-Thema in BigQuery zu streamen. Verwenden Sie dabei das Pub/Sub-Thema und die BigQuery-Tabelle, die Sie in den vorherigen Aufgaben erstellt haben.

• Verwenden Sie die benutzerdefinierte Dataflow-Vorlage.

• Verwenden Sie den folgenden Pfad für die in Cloud Storage gespeicherte Vorlagendatei:

  gs://dataflow-templates-{{{project_0.default_region | Region }}}/latest/PubSub_to_BigQuery

• Verwenden Sie das Pub/Sub-Thema, das Sie in einer der vorherigen Aufgaben erstellt haben:

• Verwenden Sie den Cloud Storage-Bucket, den Sie in einer der vorherigen Aufgaben erstellt haben, als temporären Speicherort:

• Verwenden Sie das BigQuery-Dataset und die Tabelle, die Sie in einer der vorherigen Aufgaben erstellt haben, als Ausgabetabelle: .

• Verwenden Sie als regionalen Endpunkt.

Klicken Sie auf Fortschritt prüfen. Dataflow-Pipeline erstellen, um Daten aus Pub/Sub in BigQuery zu streamen

Aufgabe 5: Testnachricht im Thema veröffentlichen und Daten in BigQuery validieren

1. Veröffentlichen Sie eine Nachricht in Ihrem Thema. Verwenden Sie dabei die folgende Codesyntax für Message: {"data": "73.4 F"}

• Hinweis: 73.4 F kann durch einen beliebigen Wert ersetzt werden.

2. Führen Sie eine SELECT-Anweisung in BigQuery aus, um die Testnachricht in Ihrer Tabelle zu sehen.

Hinweis: Wenn Sie keine Testnachrichten in Ihrer BigQuery-Tabelle sehen, prüfen Sie, ob der Dataflow-Job den Status Wird ausgeführt hat, und senden Sie dann eine weitere Testnachricht.

Klicken Sie auf Fortschritt prüfen. Testnachricht im Thema veröffentlichen und Daten in BigQuery validieren

Das wars!

Sie haben das Lab erfolgreich abgeschlossen. In diesem Lab haben Sie einen Cloud Storage-Bucket, ein BigQuery-Dataset und eine BigQuery-Tabelle, ein Pub/Sub-Thema und einen Dataflow-Job erstellt, um Daten von Pub/Sub zu BigQuery zu streamen. Außerdem haben Sie eine Testnachricht im Thema veröffentlicht und die Daten in BigQuery validiert.

Google Cloud-Schulungen und -Zertifizierungen

In unseren Schulungen erfahren Sie alles zum optimalen Einsatz unserer Google Cloud-Technologien und können sich entsprechend zertifizieren lassen. Unsere Kurse vermitteln technische Fähigkeiten und Best Practices, damit Sie möglichst schnell mit Google Cloud loslegen und Ihr Wissen fortlaufend erweitern können. Wir bieten On-Demand-, Präsenz- und virtuelle Schulungen für Anfänger wie Fortgeschrittene an, die Sie individuell in Ihrem eigenen Zeitplan absolvieren können. Mit unseren Zertifizierungen weisen Sie nach, dass Sie Experte im Bereich Google Cloud-Technologien sind.

Anleitung zuletzt am 17. Juli 2024 aktualisiert

Lab zuletzt am 21. März 2024 getestet

© 2025 Google LLC. Alle Rechte vorbehalten. Google und das Google-Logo sind Marken von Google LLC. Alle anderen Unternehmens- und Produktnamen können Marken der jeweils mit ihnen verbundenen Unternehmen sein.