GSP104

Opis

Dataproc to łatwa w użyciu, w pełni zarządzana usługa w chmurze, używana do uruchamiania klastrów Apache Spark i Apache Hadoop w bardziej przystępny i ekonomiczny sposób. Operacje, które zajmowały długie godziny lub dni, teraz zajmą kilka sekund lub minut. Klastry Dataproc możesz szybko tworzyć, a także w dowolnym momencie zmieniać pod względem rozmiaru, dzięki czemu nie musisz martwić się, że potoki danych przerosną klaster.

W tym module dowiesz się, jak przy pomocy wiersza poleceń utworzyć klaster Dataproc, uruchomić w nim proste zadanie Apache Spark, a następnie zmienić mu liczbę instancji roboczych.

Jakie zadania wykonasz

Z tego modułu dowiesz się, jak:

• utworzyć klaster Dataproc przy użyciu wiersza poleceń,
• uruchomić proste zadanie Apache Spark,
• zmienić liczbę instancji roboczych w klastrze.

Konfiguracja i wymagania

Zanim klikniesz przycisk Rozpocznij moduł

Zapoznaj się z tymi instrukcjami. Moduły mają limit czasowy i nie można ich zatrzymać. Gdy klikniesz Rozpocznij moduł, na liczniku wyświetli się informacja o tym, na jak długo udostępniamy Ci zasoby Google Cloud.

W tym praktycznym module możesz spróbować swoich sił w wykonywaniu opisywanych działań w prawdziwym środowisku chmury, a nie w jego symulacji lub wersji demonstracyjnej. Otrzymasz nowe, tymczasowe dane logowania, dzięki którym zalogujesz się i uzyskasz dostęp do Google Cloud na czas trwania modułu.

Do ukończenia modułu potrzebne będą:

• Dostęp do standardowej przeglądarki internetowej (zalecamy korzystanie z przeglądarki Chrome).

Uwaga: uruchom ten moduł w oknie incognito (zalecane) lub przeglądania prywatnego. Dzięki temu unikniesz konfliktu między swoim kontem osobistym a kontem do nauki, co mogłoby spowodować naliczanie dodatkowych opłat na koncie osobistym.

• Odpowiednia ilość czasu na ukończenie modułu – pamiętaj, że gdy rozpoczniesz, nie możesz go wstrzymać.

Uwaga: w tym module używaj tylko konta do nauki. Jeśli użyjesz innego konta Google Cloud, mogą na nim zostać naliczone opłaty.

Rozpoczynanie modułu i logowanie się w konsoli Google Cloud

1. Kliknij przycisk Rozpocznij moduł. Jeśli moduł jest odpłatny, otworzy się okno, w którym możesz wybrać formę płatności. Po lewej stronie znajduje się panel Szczegóły modułu z następującymi elementami:

   • przyciskiem Otwórz konsolę Google Cloud;
   • czasem, który Ci pozostał;
   • tymczasowymi danymi logowania, których musisz użyć w tym module;
   • innymi informacjami potrzebnymi do ukończenia modułu.

2. Kliknij Otwórz konsolę Google Cloud (lub kliknij prawym przyciskiem myszy i wybierz Otwórz link w oknie incognito, jeśli korzystasz z przeglądarki Chrome).

   Moduł uruchomi zasoby, po czym otworzy nową kartę ze stroną logowania.

   Wskazówka: otwórz karty obok siebie w osobnych oknach.

   Uwaga: jeśli pojawi się okno Wybierz konto, kliknij Użyj innego konta.

3. W razie potrzeby skopiuj nazwę użytkownika znajdującą się poniżej i wklej ją w oknie logowania.

   {{{user_0.username | "Username"}}}

   Nazwę użytkownika znajdziesz też w panelu Szczegóły modułu.

4. Kliknij Dalej.

5. Skopiuj podane niżej hasło i wklej je w oknie powitania.

   {{{user_0.password | "Password"}}}

   Hasło znajdziesz też w panelu Szczegóły modułu.

6. Kliknij Dalej.

   Ważne: musisz użyć danych logowania podanych w module. Nie używaj danych logowania na swoje konto Google Cloud. Uwaga: korzystanie z własnego konta Google Cloud w tym module może wiązać się z dodatkowymi opłatami.

7. Na kolejnych stronach wykonaj następujące czynności:

   • Zaakceptuj Warunki korzystania z usługi.
   • Nie dodawaj opcji odzyskiwania ani uwierzytelniania dwuskładnikowego (ponieważ konto ma charakter tymczasowy).
   • Nie rejestruj się w bezpłatnych wersjach próbnych.

Poczekaj, aż na karcie otworzy się konsola Google Cloud.

Uwaga: aby uzyskać dostęp do produktów i usług Google Cloud, kliknij Menu nawigacyjne lub wpisz nazwę usługi albo produktu w polu Szukaj.

Aktywowanie Cloud Shell

Cloud Shell to maszyna wirtualna oferująca wiele narzędzi dla programistów. Zawiera stały katalog domowy o pojemności 5 GB i działa w Google Cloud. Dzięki wierszowi poleceń Cloud Shell zyskujesz dostęp do swoich zasobów Google Cloud.

1. Kliknij Aktywuj Cloud Shell  na górze konsoli Google Cloud.

2. Kliknij te okna:

   • Przejdź przez okno z informacjami o Cloud Shell.
   • Zezwól Cloud Shell na używanie Twoich danych logowania w celu wywoływania interfejsu Google Cloud API.

Po połączeniu użytkownik od razu jest uwierzytelniony. Uruchomi się Twój projekt o identyfikatorze Project_ID . Dane wyjściowe zawierają wiersz z zadeklarowanym identyfikatorem Project_ID dla tej sesji:

Your Cloud Platform project in this session is set to {{{project_0.project_id | "PROJECT_ID"}}}

gcloud to narzędzie wiersza poleceń Google Cloud. Jest ono już zainstalowane w Cloud Shell i obsługuje funkcję autouzupełniania po naciśnięciu tabulatora.

3. (Opcjonalnie) Aby wyświetlić listę aktywnych kont, użyj tego polecenia:

gcloud auth list

4. Kliknij Autoryzuj.

Dane wyjściowe:

ACTIVE: * ACCOUNT: {{{user_0.username | "ACCOUNT"}}} To set the active account, run: $ gcloud config set account `ACCOUNT`

5. (Opcjonalnie) Aby wyświetlić identyfikator projektu, użyj tego polecenia:

gcloud config list project

Dane wyjściowe:

[core] project = {{{project_0.project_id | "PROJECT_ID"}}} Uwaga: pełną dokumentację gcloud w Google Cloud znajdziesz w opisie gcloud CLI.

Zadanie 1. Tworzenie klastra

1. Aby ustawić region, w Cloud Shell uruchom to polecenie:

gcloud config set dataproc/region {{{project_0.default_region | Region}}}

2. Wyłącz interfejs Dataproc API:

gcloud services disable dataproc.googleapis.com --force

3. Włącz ponownie interfejs Dataproc API:

gcloud services enable dataproc.googleapis.com

4. Dataproc utworzy zasobniki przejściowe i tymczasowe, które będą współużytkowane przez klastry w tym samym regionie. Ponieważ nie określamy konta, z którego ma korzystać usługa Dataproc, użyje ona domyślnego konta usługi Compute Engine, które domyślnie nie ma uprawnień do zasobnika. Dodajmy te uprawnienia.

• Najpierw uruchom podane poniżej polecenia, żeby otrzymać PROJECT_ID oraz PROJECT_NUMBER:

PROJECT_ID=$(gcloud config get-value project) && \ gcloud config set project $PROJECT_ID PROJECT_NUMBER=$(gcloud projects describe $PROJECT_ID --format='value(projectNumber)')

• Teraz uruchom to polecenie, aby nadać domyślnemu kontu usługi Compute Engine rolę administratora miejsca na dane i instancji roboczej Dataproc:

gcloud projects add-iam-policy-binding $PROJECT_ID \ --member=serviceAccount:$PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role=roles/storage.admin gcloud projects add-iam-policy-binding $PROJECT_ID \ --member=serviceAccount:$PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role=roles/dataproc.worker

3. Włącz prywatny dostęp do Google w podsieci, uruchamiając to polecenie:

gcloud compute networks subnets update default --region={{{project_0.default_region | REGION }}} --enable-private-ip-google-access

4. Aby utworzyć klaster o nazwie example-cluster z maszynami wirtualnymi e2-standard-4 oraz domyślnymi ustawieniami usługi Cloud Dataproc, uruchom to polecenie:

gcloud dataproc clusters create example-cluster --worker-boot-disk-size 500 --worker-machine-type=e2-standard-4 --master-machine-type=e2-standard-4

5. Jeśli pojawi się prośba o potwierdzenie strefy dla Twojego klastra, wpisz Y.

Kompilacja Twojego klastra potrwa kilka minut.

Waiting for cluster creation operation...done. Created [... example-cluster]

Gdy pojawi się komunikat „Created”, będzie to oznaczać, że możesz kontynuować.

Testowanie ukończonego zadania

Kliknij Sprawdź postępy, aby zobaczyć stan realizacji zadania. Jeśli udało Ci się utworzyć klaster Dataproc, wyświetli się odpowiedni wynik testu.

Utworzenie klastra Dataproc

Zadanie 2. Przesyłanie zadania

• Aby przesłać przykładowe zadanie Spark, które obliczy przybliżoną wartość liczby π, uruchom następujące polecenie:

gcloud dataproc jobs submit spark --cluster example-cluster \ --class org.apache.spark.examples.SparkPi \ --jars file:///usr/lib/spark/examples/jars/spark-examples.jar -- 1000

To polecenie określa:

• chęć uruchomienia zadania Spark w klastrze example-cluster;
• klasę (class) zawierającą główną metodę wykorzystywaną przez aplikację, która oblicza wartość liczby π w zadaniu;
• lokalizację pliku jar, w którym znajduje się kod Twojego zadania;
• parametry, które należy przekazać zadaniu – w tym przypadku jest to liczba zadań, czyli 1000.

Uwaga: parametry przekazane do zadania muszą być poprzedzone podwójnym łącznikiem (--). Więcej informacji znajdziesz w dokumentacji gcloud.

Zadanie jest w toku, a wynik końcowy wyświetli się w oknie terminala:

Waiting for job output... ... Pi is roughly 3.14118528 ... state: FINISHED

Testowanie ukończonego zadania

Kliknij Sprawdź postępy, aby zobaczyć stan realizacji zadania. Jeśli udało Ci się przesłać zadanie, wyświetli się odpowiedni wynik testu.

Przesłanie zadania

Zadanie 3. Aktualizowanie klastra

1. Aby zmienić liczbę instancji roboczych w klastrze na 4, uruchom następujące polecenie:

gcloud dataproc clusters update example-cluster --num-workers 4

Zaktualizowane dane klastra wyświetlają się w wyniku polecenia:

Waiting on operation [projects/qwiklabs-gcp-7f7aa0829e65200f/regions/global/operations/b86892cc-e71d-4e7b-aa5e-6030c945ea67]. Waiting for cluster update operation...done.

2. Możesz zmniejszyć liczbę węzłów roboczych, używając tego samego polecenia:

gcloud dataproc clusters update example-cluster --num-workers 2

Teraz możesz utworzyć klaster Dataproc i dostosować liczbę instancji roboczych z poziomu wiersza poleceń gcloud w Google Cloud.

Zadanie 4. Sprawdź swoją wiedzę

Poniżej znajdziesz pytania jednokrotnego wyboru, które pomogą Ci utrwalić wiedzę zdobytą w tym module. Odpowiedz na nie najlepiej, jak potrafisz.

Gratulacje!

Wiesz już, jak przy użyciu wiersza poleceń utworzyć i zmodyfikować klaster Dataproc oraz przesłać zadania.

Kolejne kroki / Więcej informacji

Ten moduł należy do serii modułów Qwik Start. Opracowaliśmy je, aby dać Ci przedsmak bogactwa funkcji dostępnych w Google Cloud. Wyszukaj „Qwik Start” w katalogu modułów i znajdź kolejny interesujący Cię moduł.

Szkolenia i certyfikaty Google Cloud

…pomogą Ci wykorzystać wszystkie możliwości technologii Google Cloud. Nasze zajęcia obejmują umiejętności techniczne oraz sprawdzone metody, które ułatwią Ci szybką naukę i umożliwią jej kontynuację. Oferujemy szkolenia na poziomach od podstawowego po zaawansowany prowadzone w trybach wirtualnym, na żądanie i na żywo, dzięki czemu możesz dopasować program szkoleń do swojego napiętego harmonogramu. Certyfikaty umożliwią udokumentowanie i potwierdzenie Twoich umiejętności oraz doświadczenia w zakresie technologii Google Cloud.

Ostatnia aktualizacja instrukcji: 26 sierpnia 2025 r.

Ostatni test modułu: 26 sierpnia 2025 r.

Copyright 2025 Google LLC. Wszelkie prawa zastrzeżone. Google i logo Google są znakami towarowymi Google LLC. Wszelkie inne nazwy firm i produktów mogą być znakami towarowymi odpowiednich podmiotów, z którymi są powiązane.