Punkty kontrolne
Create a Dataproc cluster
/ 50
Submit a job
/ 50
Dataproc: Qwik Start – wiersz poleceń
GSP104
Opis
Cloud Dataproc to łatwa w użyciu, w pełni zarządzana usługa w chmurze, używana do uruchamiania klastrów Apache Spark i Apache Hadoop w bardziej przystępny i wydajny sposób. Operacje, które zajmowały długie godziny lub dni, teraz zajmą kilka sekund lub minut. Klastry Cloud Dataproc możesz szybko tworzyć, a także w dowolnym momencie zmieniać pod względem rozmiaru, dzięki czemu nie musisz martwić się, że potoki danych przerosną klaster.
W tym module dowiesz się, jak przy pomocy wiersza poleceń gcloud utworzyć klaster Google Cloud Dataproc, uruchomić w nim proste zadanie Apache Spark, a następnie zmienić mu liczbę instancji roboczych.
Konfiguracja i wymagania
Zanim klikniesz przycisk Rozpocznij moduł
Zapoznaj się z tymi instrukcjami. Moduły mają limit czasowy i nie można ich zatrzymać. Gdy klikniesz Rozpocznij moduł, na liczniku wyświetli się informacja o tym, na jak długo udostępniamy Ci zasoby Google Cloud.
W tym praktycznym module możesz spróbować swoich sił w wykonywaniu opisywanych działań w prawdziwym środowisku chmury, a nie w jego symulacji lub wersji demonstracyjnej. Otrzymasz nowe, tymczasowe dane logowania, dzięki którym zalogujesz się i uzyskasz dostęp do Google Cloud na czas trwania modułu.
Do ukończenia modułu potrzebne będą:
- dostęp do standardowej przeglądarki internetowej (zalecamy korzystanie z przeglądarki Chrome).
- Odpowiednia ilość czasu na ukończenie modułu – pamiętaj, że gdy rozpoczniesz, nie możesz go wstrzymać.
Rozpoczynanie modułu i logowanie się w konsoli Google Cloud
-
Kliknij przycisk Rozpocznij moduł. Jeśli moduł jest odpłatny, otworzy się wyskakujące okienko, w którym możesz wybrać formę płatności. Po lewej stronie znajduje się panel Szczegóły modułu z następującymi elementami:
- przyciskiem Otwórz konsolę Google;
- czasem, który Ci pozostał;
- tymczasowymi danymi logowania, których musisz użyć w tym module;
- innymi informacjami potrzebnymi do ukończenia modułu.
-
Kliknij Otwórz konsolę Google. Moduł uruchomi zasoby, po czym otworzy nową kartę ze stroną logowania.
Wskazówka: otwórz karty obok siebie w osobnych oknach.
Uwaga: jeśli pojawi się okno Wybierz konto, kliknij Użyj innego konta. -
W razie potrzeby skopiuj nazwę użytkownika z panelu Szczegóły modułu i wklej ją w oknie logowania. Kliknij Dalej.
-
Skopiuj hasło z panelu Szczegóły modułu i wklej je w oknie powitania. Kliknij Dalej.
Ważne: musisz użyć danych logowania z panelu po lewej stronie, a nie danych logowania Google Cloud Skills Boost. Uwaga: korzystanie z własnego konta Google Cloud w tym module może wiązać się z dodatkowymi opłatami. -
Na kolejnych stronach wykonaj następujące czynności:
- Zaakceptuj Warunki korzystania z usługi.
- Nie dodawaj opcji odzyskiwania ani uwierzytelniania dwuskładnikowego (ponieważ konto ma charakter tymczasowy).
- Nie rejestruj się w bezpłatnych wersjach próbnych.
Poczekaj, aż na karcie otworzy się konsola Google Cloud.
Aktywowanie Cloud Shell
Cloud Shell to maszyna wirtualna oferująca wiele narzędzi dla programistów. Zawiera stały katalog domowy o pojemności 5 GB i działa w Google Cloud. Dzięki wierszowi poleceń Cloud Shell zyskujesz dostęp do swoich zasobów Google Cloud.
- Kliknij Aktywuj Cloud Shell na górze konsoli Google Cloud.
Po połączeniu użytkownik od razu jest uwierzytelniony. Uruchomi się Twój projekt o identyfikatorze PROJECT_ID. Dane wyjściowe zawierają wiersz z zadeklarowanym identyfikatorem PROJECT_ID dla tej sesji:
gcloud
to narzędzie wiersza poleceń Google Cloud. Jest ono już zainstalowane w Cloud Shell i obsługuje funkcję autouzupełniania po naciśnięciu tabulatora.
- (Opcjonalnie) Aby wyświetlić listę aktywnych kont, użyj tego polecenia:
-
Kliknij Autoryzuj.
-
Dane wyjściowe powinny wyglądać tak:
Dane wyjściowe:
- (Opcjonalnie) Aby wyświetlić identyfikator projektu, użyj tego polecenia:
Dane wyjściowe:
Przykładowe dane wyjściowe:
gcloud
w Google Cloud znajdziesz w opisie narzędzia wiersza poleceń gcloud.
Zadanie 1. Tworzenie klastra
- Aby ustawić region, w Cloud Shell uruchom to polecenie:
- Dataproc utworzy zasobniki przejściowe i tymczasowe, które będą współużytkowane przez klastry w tym samym regionie. Ponieważ nie określamy konta, z którego ma korzystać usługa Dataproc, użyje ona domyślnego konta usługi Compute Engine, które domyślnie nie ma uprawnień do zasobnika. Dodajmy te uprawnienia.
- Najpierw uruchom podane poniżej polecenia, żeby otrzymać PROJECT_ID oraz PROJECT_NUMBER:
- Teraz uruchom to polecenie, aby nadać domyślnemu kontu usługi Compute Engine rolę administratora miejsca na dane:
- Aby utworzyć klaster o nazwie
example-cluster
z maszynami wirtualnymi e2-standard-4 oraz domyślnymi ustawieniami usługi Cloud Dataproc, uruchom to polecenie:
- Jeśli pojawi się prośba o potwierdzenie strefy dla Twojego klastra, wpisz Y.
Kompilacja Twojego klastra potrwa kilka minut.
Gdy pojawi się komunikat „Created”, będzie to oznaczać, że możesz kontynuować.
Testowanie ukończonego zadania
Kliknij Sprawdź postępy, aby zobaczyć stan realizacji zadania. Jeśli udało Ci się utworzyć klaster Dataproc, wyświetli się odpowiedni wynik testu.
Zadanie 2. Przesyłanie zadania
- Aby przesłać przykładowe zadanie Spark, które obliczy przybliżoną wartość liczby π, uruchom następujące polecenie:
To polecenie określa:
- chęć uruchomienia zadania Spark w klastrze
example-cluster
; - klasę (
class
) zawierającą główną metodę wykorzystywaną przez aplikację, która oblicza wartość liczby π w zadaniu; - lokalizację pliku jar, w którym znajduje się kod Twojego zadania;
- parametry, które należy przekazać zadaniu – w tym przypadku jest to liczba zadań, czyli
1000
.
Zadanie jest w toku, a wynik końcowy wyświetli się w oknie terminala:
Testowanie ukończonego zadania
Kliknij Sprawdź postępy, aby zobaczyć stan realizacji zadania. Jeśli udało Ci się przesłać zadanie, wyświetli się odpowiedni wynik testu.
Zadanie 3. Aktualizowanie klastra
- Aby zmienić liczbę instancji roboczych w klastrze na 4, uruchom następujące polecenie:
Zaktualizowane dane klastra wyświetlają się w wyniku polecenia:
- Możesz zmniejszyć liczbę węzłów roboczych, używając tego samego polecenia:
Teraz możesz utworzyć klaster Dataproc i dostosować liczbę instancji roboczych z poziomu wiersza poleceń gcloud
w Google Cloud.
Zadanie 4. Sprawdzian wiedzy
Poniżej znajdziesz pytania jednokrotnego wyboru, które pomogą Ci utrwalić wiedzę zdobytą w tym module. Odpowiedz na nie najlepiej, jak potrafisz.
Gratulacje!
Wiesz już, jak używać gcloud w Google Cloud, tworząc klaster Google Cloud Dataproc.
Ukończ kurs
Ten moduł do samodzielnego ukończenia wchodzi w skład kursu Baseline: Data, ML, AI. Każdy kurs składa się z zestawu powiązanych ze sobą modułów, które razem tworzą ścieżkę szkoleniową. Za ukończenie kursu otrzymujesz odznakę – stanowi ona potwierdzenie Twojego osiągnięcia. Swoje odznaki możesz ustawiać jako widoczne publicznie, a także podać do nich linki w swoim CV lub w mediach społecznościowych. Jeśli zapiszesz się na ten kurs, ukończony dziś moduł zostanie w nim od razu zaliczony. Wszystkie dostępne kursy znajdziesz w katalogu Google Cloud Skills Boost.
Kolejne kroki / Więcej informacji
Ten moduł należy do serii modułów Qwik Start. Opracowaliśmy je, aby dać Ci przedsmak bogactwa funkcji dostępnych w Google Cloud. Wyszukaj „Qwik Start” w katalogu modułów i znajdź kolejny interesujący Cię moduł.
Szkolenia i certyfikaty Google Cloud
…pomogą Ci wykorzystać wszystkie możliwości technologii Google Cloud. Nasze zajęcia obejmują umiejętności techniczne oraz sprawdzone metody, które ułatwią Ci szybką naukę i umożliwią jej kontynuację. Oferujemy szkolenia na poziomach od podstawowego po zaawansowany prowadzone w trybach wirtualnym, na żądanie i na żywo, dzięki czemu możesz dopasować program szkoleń do swojego napiętego harmonogramu. Certyfikaty umożliwią udokumentowanie i potwierdzenie Twoich umiejętności oraz doświadczenia w zakresie technologii Google Cloud.
Ostatnia aktualizacja instrukcji: 23 października 2023 r.
Ostatni test modułu: 23 października 2023 r.
Copyright 2024 Google LLC. Wszelkie prawa zastrzeżone. Google i logo Google są znakami towarowymi Google LLC. Wszelkie inne nazwy firm i produktów mogą być znakami towarowymi odpowiednich podmiotów, z którymi są powiązane.