GSP103

Ringkasan

Dataproc adalah layanan cloud yang cepat, mudah digunakan, dan terkelola sepenuhnya untuk menjalankan cluster Apache Spark dan Apache Hadoop dengan cara yang lebih mudah dan hemat biaya Operasi yang sebelumnya memerlukan waktu berjam-jam atau berhari-hari kini bisa dikerjakan dalam hitungan detik atau menit. Buat cluster Dataproc dengan cepat dan sesuaikan ukurannya kapan saja, sehingga Anda tidak perlu khawatir cluster tidak dapat mengimbangi perkembangan pipeline data Anda.

Lab ini menunjukkan cara menggunakan konsol Google Cloud untuk membuat cluster Dataproc, menjalankan tugas Apache Spark sederhana di cluster, lalu mengubah jumlah worker dalam cluster.

Yang akan Anda lakukan

Di lab ini, Anda akan mempelajari cara:

• Membuat cluster Dataproc di konsol Google Cloud
• Menjalankan tugas Apache Spark sederhana
• Mengubah jumlah worker dalam cluster

Penyiapan dan persyaratan

Sebelum mengklik tombol Start Lab

Baca petunjuk ini. Lab memiliki timer dan Anda tidak dapat menjedanya. Timer yang dimulai saat Anda mengklik Start Lab akan menampilkan durasi ketersediaan resource Google Cloud untuk Anda.

Lab interaktif ini dapat Anda gunakan untuk melakukan aktivitas lab di lingkungan cloud sungguhan, bukan di lingkungan demo atau simulasi. Untuk mengakses lab ini, Anda akan diberi kredensial baru yang bersifat sementara dan dapat digunakan untuk login serta mengakses Google Cloud selama durasi lab.

Untuk menyelesaikan lab ini, Anda memerlukan:

• Akses ke browser internet standar (disarankan browser Chrome).

Catatan: Gunakan jendela Samaran (direkomendasikan) atau browser pribadi untuk menjalankan lab ini. Hal ini akan mencegah konflik antara akun pribadi Anda dan akun siswa yang dapat menyebabkan tagihan ekstra pada akun pribadi Anda.

• Waktu untuk menyelesaikan lab. Ingat, setelah dimulai, lab tidak dapat dijeda.

Catatan: Hanya gunakan akun siswa untuk lab ini. Jika Anda menggunakan akun Google Cloud yang berbeda, Anda mungkin akan dikenai tagihan ke akun tersebut.

Cara memulai lab dan login ke Google Cloud Console

1. Klik tombol Start Lab. Jika Anda perlu membayar lab, dialog akan terbuka untuk memilih metode pembayaran. Di sebelah kiri ada panel Lab Details yang berisi hal-hal berikut:

   • Tombol Open Google Cloud console
   • Waktu tersisa
   • Kredensial sementara yang harus Anda gunakan untuk lab ini
   • Informasi lain, jika diperlukan, untuk menyelesaikan lab ini

2. Klik Open Google Cloud console (atau klik kanan dan pilih Open Link in Incognito Window jika Anda menjalankan browser Chrome).

   Lab akan menjalankan resource, lalu membuka tab lain yang menampilkan halaman Sign in.

   Tips: Atur tab di jendela terpisah secara berdampingan.

   Catatan: Jika Anda melihat dialog Choose an account, klik Use Another Account.

3. Jika perlu, salin Username di bawah dan tempel ke dialog Sign in.

   {{{user_0.username | "Username"}}}

   Anda juga dapat menemukan Username di panel Lab Details.

4. Klik Next.

5. Salin Password di bawah dan tempel ke dialog Welcome.

   {{{user_0.password | "Password"}}}

   Anda juga dapat menemukan Password di panel Lab Details.

6. Klik Next.

   Penting: Anda harus menggunakan kredensial yang diberikan lab. Jangan menggunakan kredensial akun Google Cloud Anda. Catatan: Menggunakan akun Google Cloud sendiri untuk lab ini dapat dikenai biaya tambahan.

7. Klik halaman berikutnya:

   • Setujui persyaratan dan ketentuan.
   • Jangan tambahkan opsi pemulihan atau autentikasi 2 langkah (karena ini akun sementara).
   • Jangan mendaftar uji coba gratis.

Setelah beberapa saat, Konsol Google Cloud akan terbuka di tab ini.

Catatan: Untuk mengakses produk dan layanan Google Cloud, klik Navigation menu atau ketik nama layanan atau produk di kolom Search.

Pastikan Cloud Dataproc API diaktifkan

Untuk membuat cluster Dataproc di Google Cloud, Cloud Dataproc API harus diaktifkan. Untuk memastikan bahwa API sudah diaktifkan:

1. Klik Navigation menu > APIs & Services > Library:

2. Ketik Cloud Dataproc dalam dialog Search for APIs & Services. Konsol akan menampilkan Cloud Dataproc API dalam hasil penelusuran.

3. Klik Cloud Dataproc API untuk menampilkan status API. Jika API belum diaktifkan, klik tombol Enable.

Setelah API diaktifkan, lanjutkan dengan petunjuk lab.

Izin ke Akun Layanan

Untuk menetapkan izin penyimpanan ke akun layanan yang diperlukan untuk membuat cluster:

1. Buka Navigation menu > IAM & Admin > IAM.

2. Klik ikon pensil di akun layanan compute@developer.gserviceaccount.com.

3. Klik tombol + ADD ANOTHER ROLE, lalu pilih peran Storage Admin

Setelah Anda memilih peran Storage Admin, klik Save

Tugas 1. Membuat cluster

1. Di Konsol Cloud Platform, pilih Navigation menu > View all products > Dataproc > Clusters, lalu klik Create cluster.

2. Klik Create untuk Cluster on Compute Engine.

3. Tetapkan kolom berikut untuk cluster Anda dan terima nilai default untuk semua kolom lainnya:

Catatan: Di bagian node Configure, pastikan Master nodes dan Worker nodes ditetapkan ke Machine Series dan Machine Type yang benar. Jika seri E2 tidak ditampilkan, pastikan Anda telah memilih "Standard Persistent Disk" sebagai opsi jenis Primary Disk.

Kolom	Nilai
Name	example-cluster
Region
Zone
Primary disk type (Manager Node)	Standard Persistent Disk
Machine Series (Manager Node)	E2
Jenis Mesin (Manager Node)	e2-standard-2
Ukuran disk utama (Manager Node)	30 GB
Jumlah Worker Node	2
Primary disk type (Worker Node)	Standard Persistent Disk
Machine Series (Worker Nodes)	E2
Jenis Mesin (Worker Node)	e2-standard-2
Ukuran disk utama (Worker Node)	30 GB
Hanya IP internal	Batalkan pilihan "Configure all instances to have only internal IP addresses"

Catatan: Zona adalah sebuah namespace multi-region khusus yang mampu men-deploy instance ke seluruh zona Google Compute secara global. Anda juga dapat menentukan region yang berbeda, seperti us-central1 atau europe-west1, untuk mengisolasi resource (termasuk instance VM dan Cloud Storage) serta lokasi penyimpanan metadata yang digunakan Cloud Dataproc dalam region yang ditentukan oleh pengguna.

4. Klik Create untuk membuat cluster.

Cluster baru akan muncul dalam daftar Clusters. Mungkin butuh waktu beberapa menit untuk membuatnya, Status cluster akan ditampilkan sebagai Provisioning sampai cluster siap digunakan. Status kemudian akan berubah menjadi Running.

Uji tugas yang sudah selesai

Klik Check my progress untuk memverifikasi tugas yang telah dijalankan.

Membuat cluster Dataproc

Tugas 2. Mengirim tugas

Untuk menjalankan sampel tugas Spark:

1. Klik Jobs di panel kiri untuk beralih ke tampilan tugas Dataproc, lalu klik Submit job:

2. Tetapkan kolom berikut untuk memperbarui Job. Setujui nilai default untuk semua kolom lainnya.

Kolom	Nilai
Region
Cluster	example-cluster
Job type	Spark
Main class or jar	org.apache.spark.examples.SparkPi
Jar files	file:///usr/lib/spark/examples/jars/spark-examples.jar
Arguments	1.000 (Ini menetapkan jumlah tugas.)

3. Klik Submit.

Catatan: Cara tugas menghitung Pi: Tugas Spark memperkirakan nilai Pi menggunakan metode Monte Carlo. Metode ini menghasilkan titik x,y pada bidang koordinat yang memodelkan lingkaran dalam satu bangun persegi. Argumen input (1.000) menentukan jumlah pasangan x,y yang akan dihasilkan; makin banyak pasangan yang dihasilkan, tingkat akurasi perkiraan akan makin tinggi. Perkiraan ini memanfaatkan worker node Cloud Dataproc untuk memparalelkan komputasi. Untuk mengetahui informasi selengkapnya, lihat Estimating Pi using the Monte Carlo Method dan JavaSparkPi.java on GitHub.

Tugas akan muncul dalam daftar Jobs, yang menampilkan tugas project Anda beserta cluster, jenis, dan status terkini. Status tugas akan ditampilkan sebagai Running, lalu menjadi Succeeded setelah tugas selesai.

Uji tugas yang sudah selesai

Klik Check my progress untuk memverifikasi tugas yang telah dijalankan.

Mengirim tugas

Tugas 3. Melihat output tugas

Untuk melihat output tugas yang sudah selesai:

1. Klik ID pekerjaan di daftar Jobs.

2. Pilih LINE WRAP ke ON atau scroll ke ujung kanan untuk melihat nilai Pi yang dihitung. Output Anda, dengan LINE WRAP ON, akan terlihat seperti ini:

Tugas Anda berhasil menghitung perkiraan nilai untuk pi!

Tugas 4. Memperbarui cluster untuk mengubah jumlah worker

Untuk mengubah jumlah worker instance di cluster:

1. Pilih Clusters di panel navigasi sebelah kiri untuk kembali ke tampilan Cluster Dataproc.

2. Klik example-cluster di daftar Clusters. Secara default, halaman tersebut menampilkan ringkasan penggunaan CPU cluster Anda.

3. Klik Configuration untuk menampilkan setelan cluster Anda saat ini.

4. Klik Edit. Jumlah worker node kini dapat diedit.

5. Masukkan 4 di kolom Worker nodes.

6. Klik Save.

Cluster Anda berhasil diperbarui. Periksa jumlah instance VM dalam cluster.

Uji tugas yang sudah selesai

Klik Check my progress untuk memverifikasi tugas yang telah dijalankan.

Memperbarui cluster

1. Untuk menjalankan kembali tugas dengan cluster yang telah diperbarui, klik Jobs di panel kiri, lalu klik SUBMIT JOB.

2. Tetapkan kolom yang sama seperti pada bagian Mengirim tugas:

Kolom	Nilai
Region
Cluster	example-cluster
Job type	Spark
Main class or jar	org.apache.spark.examples.SparkPi
Jar files	file:///usr/lib/spark/examples/jars/spark-examples.jar
Arguments	1.000 (Ini menetapkan jumlah tugas.)

3. Klik Submit.

Tugas 5. Menguji pemahaman Anda

Di bawah ini terdapat beberapa pertanyaan pilihan ganda untuk memperkuat pemahaman Anda tentang konsep-konsep dalam lab ini. Jawab pertanyaan tersebut sebaik mungkin.

Selamat!

Anda kini sudah memahami cara menggunakan konsol Google Cloud untuk membuat dan memperbarui cluster Dataproc, serta mengirim tugas dalam cluster tersebut.

Langkah berikutnya/Pelajari lebih lanjut

Lab ini juga merupakan bagian dari rangkaian lab yang disebut Qwik Start. Lab ini dirancang agar Anda dapat mencoba berbagai fitur yang tersedia dengan Google Cloud. Telusuri "Qwik Start" di katalog lab untuk menemukan lab berikutnya yang ingin Anda ikuti.

Sertifikasi dan pelatihan Google Cloud

...membantu Anda mengoptimalkan teknologi Google Cloud. Kelas kami mencakup keterampilan teknis dan praktik terbaik untuk membantu Anda memahami dengan cepat dan melanjutkan proses pembelajaran. Kami menawarkan pelatihan tingkat dasar hingga lanjutan dengan opsi on demand, live, dan virtual untuk menyesuaikan dengan jadwal Anda yang sibuk. Sertifikasi membantu Anda memvalidasi dan membuktikan keterampilan serta keahlian Anda dalam teknologi Google Cloud.

Manual Terakhir Diperbarui pada 25 Maret 2025

Lab Terakhir Diuji pada 25 Maret 2025

Hak cipta 2025 Google LLC. Semua hak dilindungi undang-undang. Google dan logo Google adalah merek dagang dari Google LLC. Semua nama perusahaan dan produk lain mungkin adalah merek dagang masing-masing perusahaan yang bersangkutan.