Контрольні точки
Create a Dataproc cluster
/ 50
Submit a job
/ 50
Dataproc: Qwik Start – командний рядок
GSP104
Огляд
Cloud Dataproc – це швидкий, зручний і простий у керуванні хмарний сервіс для запуску кластерів Apache Spark та Apache Hadoop без зайвих клопотів і витрат. Дії, що раніше тривали кілька годин або днів, тепер можна виконати за лічені хвилини чи навіть секунди. З цим сервісом можна швидко створювати кластери Cloud Dataproc і будь-коли змінювати їх розмір відповідно до розміру конвеєрів для обробки даних.
Під час цієї практичної роботи ви навчитеся створювати кластер Google Cloud Dataproc, виконувати просте завдання Apache Spark у кластері, а також змінювати кількість робочих вузлів у ньому за допомогою gcloud у Google Cloud.
Налаштування й вимоги
Перш ніж натиснути кнопку Start Lab (Почати практичну роботу)
Ознайомтеся з наведеними нижче вказівками. На виконання практичної роботи відводиться обмежений час, і її не можна призупинити. Щойно ви натиснете Start Lab (Почати практичну роботу), з’явиться таймер, який показуватиме, скільки часу для роботи з ресурсами Google Cloud у вас залишилося.
Ви зможете виконати практичну роботу в дійсному робочому хмарному середовищі (не в симуляції або демонстраційному середовищі). Для цього на час виконання практичної роботи вам надаються тимчасові облікові дані для реєстрації і входу в Google Cloud.
Щоб виконати цю практичну роботу, потрібно мати:
- стандартний веб-переглядач, наприклад Chrome (рекомендовано)
- достатню кількість часу, оскільки почавши практичну роботу, ви не зможете призупинити її
Як почати виконувати практичну роботу й увійти в Google Cloud Console
-
Натисніть кнопку Start Lab (Почати практичну роботу). Якщо за практичну роботу необхідно заплатити, відкриється спливаюче вікно, де ви зможете обрати спосіб оплати. Ліворуч розміщено панель Lab Details (Відомості про практичну роботу) з такими даними:
- кнопка Open Google Console (Відкрити Google Console);
- час до закінчення;
- тимчасові облікові дані, які потрібно використовувати для доступу до цієї практичної роботи;
- інша необхідна для виконання цієї практичної роботи інформація.
-
Натисніть Open Google Console (Відкрити Google Console). Завантажаться необхідні ресурси. Потім відкриється нова вкладка зі сторінкою Sign in (Вхід).
Порада. Упорядковуйте вкладки в окремих вікнах, розміщуючи їх поруч.
Примітка. Якщо з’явиться вікно Choose an account (Виберіть обліковий запис), натисніть Use Another Account (Увійти в інший обліковий запис). -
За потреби скопіюйте Username (Ім’я користувача) з панелі Lab Details (Відомості про практичну роботу) і вставте його у вікні Sign in (Вхід). Натисніть Next (Далі).
-
Скопіюйте Password (Пароль) з панелі Lab Details (Відомості про практичну роботу) і вставте його у вікні Welcome (Привітання). Натисніть Next (Далі).
Важливо. Обов’язково використовуйте облікові дані з панелі ліворуч. Не використовуйте облікові дані Google Cloud Skills Boost. Примітка. Якщо ввійти у власний обліковий запис Google Cloud, може стягуватися додаткова плата. -
Виконайте наведені нижче дії.
- Прийміть Умови використання.
- Не додавайте способи відновлення та двохетапну перевірку (оскільки це тимчасовий обліковий запис).
- Не реєструйте безкоштовні пробні версії.
Через кілька секунд Cloud Console відкриється в новій вкладці.
Як активувати Cloud Shell
Cloud Shell – це віртуальна машина з попередньо завантаженими інструментами для розробників. Вона містить головний каталог обсягом 5 ГБ постійної пам’яті й працює в середовищі Google Cloud. Cloud Shell надає доступ до ресурсів Google Cloud через командний рядок.
- Угорі консолі Google Cloud натисніть Activate Cloud Shell (Активувати Cloud Shell) .
Щойно ви підключитеся, вас буде автентифіковано, а проект отримає ваш PROJECT_ID (ІДЕНТИФІКАТОР ПРОЕКТУ). Вивід міститиме рядок зі значенням PROJECT_ID (ІДЕНТИФІКАТОР ПРОЕКТУ) для цього сеансу:
gcloud
– це інструмент командного рядка для Google Cloud. Він входить у пакет Cloud Shell і підтримує функцію автозавершення клавішею TAB.
- (Необов’язково) Щоб вивести поточне ім’я облікового запису, введіть таку команду:
-
Натисніть Authorize (Авторизувати).
-
Вихідні дані матимуть такий вигляд:
Вивід:
- (Необов’язково) Щоб вивести ідентифікатор проекту, введіть таку команду:
Вивід:
Приклад виводу:
gcloud
, перегляньте посібник з інтерфейсу командного рядка gcloud у Google Cloud.
Завдання 1. Створіть кластер
- Для налаштування регіону виконайте в Cloud Shell таку команду:
- Dataproc створює сегменти staging (підготовчий) і temp (тимчасовий), що використовуються всіма кластерами в одному регіоні. Оскільки ми не вказуємо обліковий запис, який має використовувати Dataproc, використовуватиметься стандартний сервісний обліковий запис Compute Engine, який не має прав доступу до сегмента Cloud Storage за умовчанням. Надайте йому права доступу.
- Спочатку виконайте наведені нижче команди, щоб отримати PROJECT_ID (ІДЕНТИФІКАТОР ПРОЕКТУ) і PROJECT_NUMBER (НОМЕР ПРОЕКТУ):
- Тепер виконайте команду нижче, щоб призначити стандартному сервісному обліковому запису Compute Engine роль адміністратора сховища:
- Щоб створити кластер під назвою
example-cluster
із віртуальними машинами e2-standard-4 і налаштуваннями Cloud Dataproc за умовчанням, виконайте таку команду:
- Якщо з’явиться запит із пропозицією підтвердити зону кластера, введіть Y.
Кластер буде створено за кілька хвилин.
Коли з’явиться повідомлення "Created" (Створено), можна рухатися далі.
Перевірка виконаного завдання
Щоб підтвердити виконання завдання, натисніть Підтвердити виконання. Якщо кластер Dataproc створено правильно, ви побачите оцінку.
Завдання 2. Надішліть завдання
- Щоб надіслати пробне завдання Spark, яке приблизно визначає значення числа пі, виконайте таку команду:
У команді вказано таку інформацію:
- потрібно виконати завдання Spark у кластері
example-cluster
; -
class
містить відомості про основний метод, що використовується додатком завдання для обчислення числа пі; - розташування файлу JAR, що містить код завдання;
- параметри, які потрібно передати завданню (наразі це кількість завдань –
1000
).
Виконання завдання й вивід відображаються у вікні термінала.
Перевірка виконаного завдання
Щоб підтвердити виконання завдання, натисніть Підтвердити виконання. Якщо завдання виконано правильно, ви побачите оцінку.
Завдання 3. Оновіть кластер
- Щоб збільшити кількість робочих вузлів у кластері до чотирьох, виконайте таку команду:
Вивід команди містить оновлені відомості про кластер:
- За допомогою тієї самої команди можна зменшити кількість робочих вузлів:
Тепер ви можете створити кластер Dataproc і відкоригувати кількість робочих вузлів із командного рядка gcloud
у Google Cloud.
Завдання 4. Перевірте свої знання
Дайте відповіді на запитання з кількома варіантами відповіді нижче, щоб закріпити розуміння понять, які зустрічаються в практичній роботі.
Вітаємо!
Ви дізнались, як використовувати gcloud у Google Cloud, створивши кластер Google Cloud Dataproc.
Пройдіть квест
Цю практичну роботу можна виконувати у власному темпі, і вона входить до квесту Початок роботи з даними, машинним навчанням і штучним інтелектом. Квест – це низка пов’язаних практичних робіт, що разом складають план навчання. Виконавши всю серію, ви отримаєте значок як відзнаку за досягнення. Значки можна зробити видимими для інших, додавши посилання на них в онлайн-резюме або обліковий запис у соціальній мережі. Зареєструйтеся на квест, і цю практичну роботу в ньому буде відразу зараховано. Усі доступні квести можна переглянути в каталозі Google Cloud Skills Boost.
Наступні кроки/Докладніше
Це завдання також входить до низки практичних робіт під назвою Qwik Starts. Вони призначені для ознайомлення з функціями Google Cloud. Такі практичні роботи можна знайти в каталозі за запитом "Qwik Starts".
Навчання й сертифікація Google Cloud
…допомагають ефективно використовувати технології Google Cloud. Наші курси передбачають опанування технічних навичок, а також ознайомлення з рекомендаціями, що допоможуть вам швидко зорієнтуватися й вивчити матеріал. Ми пропонуємо курси різних рівнів – від базового до високого. Ви можете вибрати формат навчання (за запитом, онлайн або офлайн) відповідно до власного розкладу. Пройшовши сертифікацію, ви перевірите й підтвердите свої навички та досвід роботи з технологіями Google Cloud.
Посібник востаннє оновлено 23 жовтня 2023 року
Практичну роботу востаннє протестовано 23 жовтня 2023 року
© Google LLC 2024. Усі права захищено. Назва та логотип Google є торговельними марками Google LLC. Усі інші назви компаній і продуктів можуть бути торговельними марками відповідних компаній, з якими вони пов’язані.