GSP196

Übersicht

In diesem Lab importieren Sie Daten aus CSV-Textdateien in Cloud SQL und führen dann mit einfachen Abfragen grundlegende Datenanalysen aus.

Das im Lab verwendete Dataset stammt vom US-amerikanischen Bureau of Transport Statistics und enthält historische Daten zu Inlandsflügen in den USA. Mit diesem Dataset lassen sich zahlreiche Data Science-Konzepte und -Techniken veranschaulichen.

Lernziele

• Cloud SQL-Instanz erstellen
• Cloud SQL-Datenbank erstellen
• Textdaten in Cloud SQL importieren
• Erstes Datenmodell mithilfe von Abfragen erstellen

Einrichtung und Anforderungen

Vor dem Klick auf „Start Lab“ (Lab starten)

Lesen Sie diese Anleitung. Labs sind zeitlich begrenzt und können nicht pausiert werden. Der Timer beginnt zu laufen, wenn Sie auf Lab starten klicken, und zeigt Ihnen, wie lange Google Cloud-Ressourcen für das Lab verfügbar sind.

In diesem praxisorientierten Lab können Sie die Lab-Aktivitäten in einer echten Cloud-Umgebung durchführen – nicht in einer Simulations- oder Demo-Umgebung. Dazu erhalten Sie neue, temporäre Anmeldedaten, mit denen Sie für die Dauer des Labs auf Google Cloud zugreifen können.

Für dieses Lab benötigen Sie Folgendes:

• Einen Standardbrowser (empfohlen wird Chrome)

Hinweis: Nutzen Sie den privaten oder Inkognitomodus (empfohlen), um dieses Lab durchzuführen. So wird verhindert, dass es zu Konflikten zwischen Ihrem persönlichen Konto und dem Teilnehmerkonto kommt und zusätzliche Gebühren für Ihr persönliches Konto erhoben werden.

• Zeit für die Durchführung des Labs – denken Sie daran, dass Sie ein begonnenes Lab nicht unterbrechen können.

Hinweis: Verwenden Sie für dieses Lab nur das Teilnehmerkonto. Wenn Sie ein anderes Google Cloud-Konto verwenden, fallen dafür möglicherweise Kosten an.

Lab starten und bei der Google Cloud Console anmelden

1. Klicken Sie auf Lab starten. Wenn Sie für das Lab bezahlen müssen, wird ein Dialogfeld geöffnet, in dem Sie Ihre Zahlungsmethode auswählen können. Auf der linken Seite befindet sich der Bereich „Details zum Lab“ mit diesen Informationen:

   • Schaltfläche „Google Cloud Console öffnen“
   • Restzeit
   • Temporäre Anmeldedaten für das Lab
   • Ggf. weitere Informationen für dieses Lab

2. Klicken Sie auf Google Cloud Console öffnen (oder klicken Sie mit der rechten Maustaste und wählen Sie Link in Inkognitofenster öffnen aus, wenn Sie Chrome verwenden).

   Im Lab werden Ressourcen aktiviert. Anschließend wird ein weiterer Tab mit der Seite „Anmelden“ geöffnet.

   Tipp: Ordnen Sie die Tabs nebeneinander in separaten Fenstern an.

   Hinweis: Wird das Dialogfeld Konto auswählen angezeigt, klicken Sie auf Anderes Konto verwenden.

3. Kopieren Sie bei Bedarf den folgenden Nutzernamen und fügen Sie ihn in das Dialogfeld Anmelden ein.

   {{{user_0.username | "Username"}}}

   Sie finden den Nutzernamen auch im Bereich „Details zum Lab“.

4. Klicken Sie auf Weiter.

5. Kopieren Sie das folgende Passwort und fügen Sie es in das Dialogfeld Willkommen ein.

   {{{user_0.password | "Password"}}}

   Sie finden das Passwort auch im Bereich „Details zum Lab“.

6. Klicken Sie auf Weiter.

   Wichtig: Sie müssen die für das Lab bereitgestellten Anmeldedaten verwenden. Nutzen Sie nicht die Anmeldedaten Ihres Google Cloud-Kontos. Hinweis: Wenn Sie Ihr eigenes Google Cloud-Konto für dieses Lab nutzen, können zusätzliche Kosten anfallen.

7. Klicken Sie sich durch die nachfolgenden Seiten:

   • Akzeptieren Sie die Nutzungsbedingungen.
   • Fügen Sie keine Wiederherstellungsoptionen oder Zwei-Faktor-Authentifizierung hinzu (da dies nur ein temporäres Konto ist).
   • Melden Sie sich nicht für kostenlose Testversionen an.

Nach wenigen Augenblicken wird die Google Cloud Console in diesem Tab geöffnet.

Hinweis: Wenn Sie auf Google Cloud-Produkte und ‑Dienste zugreifen möchten, klicken Sie auf das Navigationsmenü oder geben Sie den Namen des Produkts oder Dienstes in das Feld Suchen ein.

Cloud Shell aktivieren

Cloud Shell ist eine virtuelle Maschine, auf der Entwicklertools installiert sind. Sie bietet ein Basisverzeichnis mit 5 GB nichtflüchtigem Speicher und läuft auf Google Cloud. Mit Cloud Shell erhalten Sie Befehlszeilenzugriff auf Ihre Google Cloud-Ressourcen.

1. Klicken Sie oben in der Google Cloud Console auf Cloud Shell aktivieren .

2. Klicken Sie sich durch die folgenden Fenster:

   • Fahren Sie mit dem Informationsfenster zu Cloud Shell fort.
   • Autorisieren Sie Cloud Shell, Ihre Anmeldedaten für Google Cloud API-Aufrufe zu verwenden.

Wenn eine Verbindung besteht, sind Sie bereits authentifiziert und das Projekt ist auf Project_ID, eingestellt. Die Ausgabe enthält eine Zeile, in der die Project_ID für diese Sitzung angegeben ist:

Ihr Cloud-Projekt in dieser Sitzung ist festgelegt als {{{project_0.project_id | "PROJECT_ID"}}}

gcloud ist das Befehlszeilentool für Google Cloud. Das Tool ist in Cloud Shell vorinstalliert und unterstützt die Tab-Vervollständigung.

3. (Optional) Sie können den aktiven Kontonamen mit diesem Befehl auflisten:

gcloud auth list

4. Klicken Sie auf Autorisieren.

Ausgabe:

ACTIVE: * ACCOUNT: {{{user_0.username | "ACCOUNT"}}} Um das aktive Konto festzulegen, führen Sie diesen Befehl aus: $ gcloud config set account `ACCOUNT`

5. (Optional) Sie können die Projekt-ID mit diesem Befehl auflisten:

gcloud config list project

Ausgabe:

[core] project = {{{project_0.project_id | "PROJECT_ID"}}} Hinweis: Die vollständige Dokumentation für gcloud finden Sie in Google Cloud in der Übersicht zur gcloud CLI.

Aufgabe 1: Umgebung vorbereiten

In diesem Lab werden Codebeispiele und Skripts verwendet, die für die zweite Ausgabe des Buchs Data Science on the Google Cloud Platform von O'Reilly Media, Inc. entwickelt wurden. Es geht um die Konfiguration von Cloud SQL und das Importieren von Daten. Das ist im ersten Teil von Kapitel 3 „Creating Compelling Dashboards“ beschrieben. Sie klonen das in Kapitel 2 verwendete Beispiel-Repository aus GitHub in Cloud Shell und führen anschließend von dort alle weiteren Lab-Aufgaben aus.

Repository „Data Science on Google Cloud“ klonen

1. Geben Sie in Cloud Shell die folgenden Befehle ein, um das Repository zu klonen:

git clone \ https://github.com/GoogleCloudPlatform/data-science-on-gcp/

2. Wechseln Sie in das Repository-Verzeichnis:

cd data-science-on-gcp/03_sqlstudio

3. Erstellen Sie die Umgebungsvariablen, die später im Lab für die Projekt-ID und den Storage-Bucket mit den Daten verwendet werden:

export PROJECT_ID=$(gcloud info --format='value(config.project)') export BUCKET=${PROJECT_ID}-ml

4. Geben Sie den folgenden Befehl ein, um die Datei in den Cloud Storage-Bucket zu übertragen:

gsutil cp create_table.sql \ gs://$BUCKET/create_table.sql

Aufgabe 2: Cloud SQL-Instanz erstellen

1. Geben Sie folgenden Befehl ein, um eine Cloud SQL-Instanz zu erstellen:

gcloud sql instances create flights \ --database-version=POSTGRES_13 --cpu=2 --memory=8GiB \ --region={{{project_0.default_region | "REGION"}}} --root-password=Passw0rd

Die Ausführung dieses Befehls kann einige Minuten dauern.

Abgeschlossene Aufgabe testen

Klicken Sie auf Fortschritt prüfen. Wenn Sie die Cloud SQL-Instanz erstellt haben, erhalten Sie ein Testergebnis.

Cloud SQL-Instanz erstellen

2. Erstellen Sie eine Umgebungsvariable mit der Cloud Shell-IP-Adresse:

export ADDRESS=$(curl -s http://ipecho.net/plain)/32

3. Setzen Sie die Cloud Shell-Instanz auf die Zulassungsliste, damit sie Verwaltungszugriff auf Ihre SQL-Instanz erhält:

gcloud sql instances patch flights --authorized-networks $ADDRESS

4. Wenn Sie dazu aufgefordert werden, drücken Sie auf Y, um die Änderung zu akzeptieren.

Abgeschlossene Aufgabe testen

Klicken Sie auf Fortschritt prüfen. Haben Sie Cloud Shell den Zugriff auf die SQL-Instanz gewährt, erhalten Sie ein Testergebnis.

Cloud Shell-Instanz auf die Zulassungsliste setzen, damit sie auf die SQL-Instanz zugreifen kann

Datenbank und Tabelle erstellen

Zum Importieren von Daten in eine Postgres-Tabelle erstellen Sie zuerst eine leere Datenbank und eine Tabelle mit dem richtigen Schema.

1. Klicken Sie in der Cloud Console im Navigationsmenü () auf SQL.

2. Klicken Sie auf den Instanznamen flights, um die Übersichtsseite einer Instanz zu öffnen.

3. Wählen Sie im SQL-Navigationsmenü auf der linken Seite die Option Datenbanken aus.

4. Klicken Sie auf Datenbank erstellen.

5. Geben Sie im Dialogfeld „Neue Datenbank“ den Namen bts ein.

6. Klicken Sie auf Erstellen.

7. Wählen Sie im SQL-Navigationsmenü die Option Übersicht aus, um die Übersichtsseite einer Instanz zu öffnen.

8. Klicken Sie oben auf Importieren.

9. Klicken Sie im Feld „Cloud Storage-Bucket“ auf Durchsuchen.

10. Klicken Sie im Abschnitt „Buckets“ auf den Pfeil neben dem Namen des Buckets.

11. Wählen Sie die Datei create_table.sql aus.

12. Klicken Sie auf Auswählen.

13. Wählen Sie im Bereich Dateiformat die Option „SQL“ aus.

14. Geben Sie die Datenbank bts in Ihrer Cloud SQL-Instanz an.

15. Klicken Sie auf Importieren, um den Import zu starten.

Einige Sekunden später wird die leere Tabelle erstellt.

Abgeschlossene Aufgabe testen

Klicken Sie auf Fortschritt prüfen. Wenn Sie eine bts-Datenbank und die Tabelle „flights“ aus der Datei „create_table.sql“ erstellt haben, erhalten Sie ein Testergebnis.

bts-Datenbank und Tabelle „flights“ mithilfe der Datei „create_table.sql“ erstellen

Aufgabe 3: Daten zu einer Cloud SQL-Instanz hinzufügen

Sie haben die leere Datenbank und Tabelle erstellt. Laden Sie jetzt die CSV-Dateien in diese Tabelle. Die Daten für Januar werden geladen, indem Sie in Ihrem Bucket zu 201501.csv gehen und „CSV“ als Format, „bts“ als Datenbank und „flights“ als Tabelle angeben.

1. Klicken Sie auf der Instanzseite in Cloud SQL auf Importieren.

2. Klicken Sie im Feld „Cloud Storage-Datei“ auf Durchsuchen. Klicken Sie dann auf den Pfeil neben dem Bucket-Namen und anschließend auf 201501.csv.

3. Klicken Sie auf Auswählen.

4. Wählen Sie CSV als Dateiformat aus.

5. Wählen Sie die Datenbank bts aus und geben Sie flights als Tabelle ein.

6. Klicken Sie auf Importieren.

Aufgabe 4: Mit der Datenbank interagieren

1. Stellen Sie über Cloud Shell eine Verbindung zur Cloud SQL-Instanz her:

gcloud sql connect flights --user=postgres

2. Wenn Sie zur Eingabe eines Passworts aufgefordert werden, geben Sie Passw0rd ein. Die Buchstaben werden möglicherweise nicht angezeigt, während Sie tippen.

3. Stellen Sie in der Eingabeaufforderung eine Verbindung zur Datenbank „bts“ her:

\c bts;

4. Wenn Sie zur Eingabe eines Passworts aufgefordert werden, geben Sie Passw0rd ein.

5. Führen Sie dann eine Abfrage aus, um die fünf verkehrsreichsten Flughäfen zu ermitteln:

SELECT "Origin", COUNT(*) AS num_flights FROM flights GROUP BY "Origin" ORDER BY num_flights DESC LIMIT 5;

Diese Abfrage geht schnell, da das Dataset relativ klein ist (nur Januar!), aber die Datenbank wird langsamer, wenn Sie weitere Monate hinzufügen.

Relationale Datenbanken eignen sich für kleinere Datasets, für die Sie Ad-hoc-Abfragen ausführen, die eine kleine Teilmenge der Daten zurückgeben. Bei größeren Datasets optimieren Sie die Leistung einer relationalen Datenbank, indem Sie die relevanten Spalten indexieren. Da relationale Datenbanken in der Regel Transaktionen unterstützen und für eine hohe Konsistenz sorgen, eignen sie sich hervorragend für Daten, die häufig aktualisiert werden.

Eine relationale Datenbank ist jedoch keine gute Wahl, wenn:

• Ihre Daten hauptsächlich schreibgeschützt sind
• Ihre Datasets im Terabyte-Bereich liegen
• Sie die gesamte Tabelle scannen müssen (z. B. um den Maximalwert einer Spalte zu berechnen) oder Ihre Daten mit hoher Geschwindigkeit gestreamt werden

Hier wird der Anwendungsfall „Flugverspätung“ beschrieben. In diesem Fall würden Sie von einer relationalen Datenbank zu einem Data Warehouse für Analysen wechseln – BigQuery. Das Data Warehouse für Analysen ermöglicht uns die Verwendung von SQL und ist viel besser für den Umgang mit großen Datasets und Ad-hoc-Abfragen geeignet (d. h. die Spalten müssen nicht indexiert werden).

Das wars! Sie haben das Lab erfolgreich abgeschlossen.

Jetzt wissen Sie, wie Sie Tabellen erstellen und Textdaten, die in Google Cloud Storage gespeichert wurden, in Google Cloud SQL importieren.

Weitere Informationen

Mit den folgenden Ressourcen können Sie sich weiter einarbeiten:

• Data Science on the Google Cloud Platform, 2nd Edition: O'Reilly Media, Inc.

Google Cloud-Schulungen und -Zertifizierungen

In unseren Schulungen erfahren Sie alles zum optimalen Einsatz unserer Google Cloud-Technologien und können sich entsprechend zertifizieren lassen. Unsere Kurse vermitteln technische Fähigkeiten und Best Practices, damit Sie möglichst schnell mit Google Cloud loslegen und Ihr Wissen fortlaufend erweitern können. Wir bieten On-Demand-, Präsenz- und virtuelle Schulungen für Anfänger wie Fortgeschrittene an, die Sie individuell in Ihrem eigenen Zeitplan absolvieren können. Mit unseren Zertifizierungen weisen Sie nach, dass Sie Experte im Bereich Google Cloud-Technologien sind.

Handbuch zuletzt am 9. Juli 2024 aktualisiert

Lab zuletzt am 16. Juli 2024 getestet

© 2025 Google LLC. Alle Rechte vorbehalten. Google und das Google-Logo sind Marken von Google LLC. Alle anderen Unternehmens- und Produktnamen können Marken der jeweils mit ihnen verbundenen Unternehmen sein.