GSP1144

Ringkasan

Dataplex adalah data fabric cerdas yang memungkinkan organisasi menemukan, mengelola, memantau, dan mengatur data secara terpusat di berbagai data lake, data warehouse, dan data mart untuk mendukung analisis dalam skala besar. Secara khusus, Anda dapat menggunakan Dataplex untuk membangun arsitektur mesh data, yang merupakan pendekatan organisasi dan teknis yang mendesentralisasi kepemilikan data di antara pemilik data domain.

Dataplex mengelola data dengan cara yang tidak memerlukan perpindahan atau duplikasi data. Saat Anda menambahkan aset data baru, Dataplex mengumpulkan metadata untuk data terstruktur dan tidak terstruktur, serta mencatat secara otomatis semua metadata di metastore yang aman dan terpadu. Data dan metadata kemudian dapat dinilai melalui layanan Google Cloud seperti Data Catalog dan BigQuery.

Di lab ini, Anda akan mempelajari cara mulai membangun mesh data Anda sendiri dengan membuat dan menghapus data lake, zona, dan aset di Dataplex menggunakan command line.

Yang akan Anda lakukan

• Mengaktifkan Dataplex API
• Membuat data lake
• Menambahkan zona ke data lake
• Menghubungkan dan melepaskan aset
• Menghapus zona dan data lake

Penyiapan dan persyaratan

Sebelum mengklik tombol Start Lab

Baca petunjuk ini. Lab memiliki timer dan Anda tidak dapat menjedanya. Timer yang dimulai saat Anda mengklik Start Lab akan menampilkan durasi ketersediaan resource Google Cloud untuk Anda.

Lab interaktif ini dapat Anda gunakan untuk melakukan aktivitas lab di lingkungan cloud sungguhan, bukan di lingkungan demo atau simulasi. Untuk mengakses lab ini, Anda akan diberi kredensial baru yang bersifat sementara dan dapat digunakan untuk login serta mengakses Google Cloud selama durasi lab.

Untuk menyelesaikan lab ini, Anda memerlukan:

• Akses ke browser internet standar (disarankan browser Chrome).

Catatan: Gunakan jendela Samaran (direkomendasikan) atau browser pribadi untuk menjalankan lab ini. Hal ini akan mencegah konflik antara akun pribadi Anda dan akun siswa yang dapat menyebabkan tagihan ekstra pada akun pribadi Anda.

• Waktu untuk menyelesaikan lab. Ingat, setelah dimulai, lab tidak dapat dijeda.

Catatan: Hanya gunakan akun siswa untuk lab ini. Jika Anda menggunakan akun Google Cloud yang berbeda, Anda mungkin akan dikenai tagihan ke akun tersebut.

Cara memulai lab dan login ke Google Cloud Console

1. Klik tombol Start Lab. Jika Anda perlu membayar lab, dialog akan terbuka untuk memilih metode pembayaran. Di sebelah kiri ada panel Lab Details yang berisi hal-hal berikut:

   • Tombol Open Google Cloud console
   • Waktu tersisa
   • Kredensial sementara yang harus Anda gunakan untuk lab ini
   • Informasi lain, jika diperlukan, untuk menyelesaikan lab ini

2. Klik Open Google Cloud console (atau klik kanan dan pilih Open Link in Incognito Window jika Anda menjalankan browser Chrome).

   Lab akan menjalankan resource, lalu membuka tab lain yang menampilkan halaman Sign in.

   Tips: Atur tab di jendela terpisah secara berdampingan.

   Catatan: Jika Anda melihat dialog Choose an account, klik Use Another Account.

3. Jika perlu, salin Username di bawah dan tempel ke dialog Sign in.

   {{{user_0.username | "Username"}}}

   Anda juga dapat menemukan Username di panel Lab Details.

4. Klik Next.

5. Salin Password di bawah dan tempel ke dialog Welcome.

   {{{user_0.password | "Password"}}}

   Anda juga dapat menemukan Password di panel Lab Details.

6. Klik Next.

   Penting: Anda harus menggunakan kredensial yang diberikan lab. Jangan menggunakan kredensial akun Google Cloud Anda. Catatan: Menggunakan akun Google Cloud sendiri untuk lab ini dapat dikenai biaya tambahan.

7. Klik halaman berikutnya:

   • Setujui persyaratan dan ketentuan.
   • Jangan tambahkan opsi pemulihan atau autentikasi 2 langkah (karena ini akun sementara).
   • Jangan mendaftar uji coba gratis.

Setelah beberapa saat, Konsol Google Cloud akan terbuka di tab ini.

Catatan: Untuk mengakses produk dan layanan Google Cloud, klik Navigation menu atau ketik nama layanan atau produk di kolom Search.

Mengaktifkan Cloud Shell

Cloud Shell adalah mesin virtual yang dilengkapi dengan berbagai alat pengembangan. Mesin virtual ini menawarkan direktori beranda persisten berkapasitas 5 GB dan berjalan di Google Cloud. Cloud Shell menyediakan akses command-line untuk resource Google Cloud Anda.

1. Klik Activate Cloud Shell di bagian atas Konsol Google Cloud.

2. Klik jendela berikut:

   • Lanjutkan melalui jendela informasi Cloud Shell.
   • Beri otorisasi ke Cloud Shell untuk menggunakan kredensial Anda guna melakukan panggilan Google Cloud API.

Setelah terhubung, Anda sudah diautentikasi, dan project ditetapkan ke Project_ID, . Output berisi baris yang mendeklarasikan Project_ID untuk sesi ini:

Project Cloud Platform Anda dalam sesi ini disetel ke {{{project_0.project_id | "PROJECT_ID"}}}

gcloud adalah alat command line untuk Google Cloud. Alat ini sudah terinstal di Cloud Shell dan mendukung pelengkapan command line.

3. (Opsional) Anda dapat menampilkan daftar nama akun yang aktif dengan perintah ini:

gcloud auth list

4. Klik Authorize.

Output:

ACTIVE: * ACCOUNT: {{{user_0.username | "ACCOUNT"}}} Untuk menetapkan akun aktif, jalankan: $ gcloud config set account `ACCOUNT`

5. (Opsional) Anda dapat menampilkan daftar ID project dengan perintah ini:

gcloud config list project

Output:

[core] project = {{{project_0.project_id | "PROJECT_ID"}}} Catatan: Untuk mendapatkan dokumentasi gcloud yang lengkap di Google Cloud, baca panduan ringkasan gcloud CLI.

Mengaktifkan Dataplex API dan menetapkan variabel

1. Di Cloud Shell, jalankan perintah berikut untuk mengaktifkan Dataplex API.

gcloud services enable \ dataplex.googleapis.com

2. Jalankan perintah berikut untuk membuat variabel untuk project ID:

export PROJECT_ID=$(gcloud config get-value project)

3. Jalankan perintah berikut untuk membuat variabel region:

export REGION={{{project_0.default_region | "filled in at lab start"}}} gcloud config set compute/region $REGION

Tugas 1. Membuat data lake

Di Dataplex, data lake adalah domain organisasi tertinggi yang mewakili area data atau unit bisnis tertentu. Misalnya, Anda dapat membuat data lake untuk tiap departemen atau data domain di organisasi, agar Anda dapat mengelola dan menyediakan data untuk grup pengguna tertentu.

Dalam tugas ini, Anda akan menggunakan command line untuk membuat data lake guna mulai membangun mesh data.

• Di Cloud Shell, jalankan perintah berikut untuk membuat data lake baru bernama Ecommerce:

gcloud dataplex lakes create ecommerce \ --location=$REGION \ --display-name="Ecommerce" \ --description="Ecommerce Domain"

Diperlukan waktu hingga 3 menit untuk membuat data lake.

Jika Anda menerima error Status code: 403. Permission 'dataplex.lakes.create' denied, tunggu beberapa menit dan coba lagi. Izin mungkin memerlukan waktu lebih lama untuk diberikan setelah mengaktifkan Dataplex API di bagian Penyiapan sebelumnya.

Output finalnya akan terlihat seperti berikut:

Created [ecommerce] Lake created in [projects/$PROJECT_ID/locations/$REGION]. Membuat Dataplex lake

Tugas 2. Menambahkan zona ke data lake

Setelah membuat data lake, Anda dapat menambahkan zona ke data lake. Zona adalah subdomain di dalam data lake yang dapat Anda gunakan untuk mengategorikan data lebih lanjut. Misalnya, Anda dapat mengategorikan data berdasarkan stage, penggunaan, atau pembatasan.

Terdapat dua jenis zona:

• Zona mentah berisi data dalam format mentah (seperti file di bucket Cloud Storage) dan tidak perlu menjalani pemeriksaan jenis yang ketat.
• Zona kurasi berisi data yang sudah dibersihkan, diformat, dan siap untuk dianalisis, misalnya set data BigQuery.

Dalam tugas ini, Anda akan menggunakan command line untuk membuat zona kurasi untuk bekerja dengan set data BigQuery.

• Di Cloud Shell, jalankan perintah berikut untuk membuat zona terkurasi baru bernama Orders Curated Zone dengan penemuan metadata yang diaktifkan:

gcloud dataplex zones create orders-curated-zone \ --location=$REGION \ --lake=ecommerce \ --display-name="Orders Curated Zone" \ --resource-location-type=SINGLE_REGION \ --type=CURATED \ --discovery-enabled \ --discovery-schedule="0 * * * *"

Diperlukan waktu hingga 2 menit untuk membuat zona.

Output finalnya akan terlihat seperti berikut:

Created [orders-curated-zone] Zone created in [projects/$PROJECT_ID/locations/$REGION/lakes/ecommerce]. Menambahkan zona ke data lake

Tugas 3. Memasang aset ke zona

Data yang disimpan di bucket Cloud Storage atau set data BigQuery dapat dipasang sebagai aset di zona di dalam data lake Dataplex.

Dalam tugas ini, Anda akan menggunakan command line untuk membuat set data BigQuery, lalu melampirkan set data tersebut ke zona yang telah dibuat sebelumnya.

Membuat set data BigQuery

• Di Cloud Shell, jalankan perintah berikut untuk membuat set data BigQuery baru bernama orders:

bq mk --location=$REGION --dataset orders

Meskipun set data ini tidak berisi tabel atau data apa pun, Anda dapat melampirkannya ke zona sekarang, dan tabel yang baru dibuat serta data yang dimuat akan otomatis terintegrasi ke dalam zona tersebut.

Output finalnya akan terlihat seperti berikut:

Dataset '$PROJECT_ID:orders' successfully created.

Melampirkan set data BigQuery ke zona

• Di Cloud Shell, jalankan perintah berikut untuk melampirkan set data BigQuery ke zona sebagai aset bernama Orders Curated Data dengan penemuan metadata diaktifkan:

gcloud dataplex assets create orders-curated-dataset \ --location=$REGION \ --lake=ecommerce \ --zone=orders-curated-zone \ --display-name="Orders Curated Dataset" \ --resource-type=BIGQUERY_DATASET \ --resource-name=projects/$PROJECT_ID/datasets/orders \ --discovery-enabled

Diperlukan waktu hingga 2 menit untuk membuat aset.

Output finalnya akan terlihat seperti berikut:

Created [orders-curated-dataset] Asset created in [projects/$PROJECT_ID/locations/$REGION/lakes/ecommerce/zones/orders-curated-zone]. Menghubungkan aset ke zona

Tugas 4. Menghapus aset, zona, dan data lake

Untuk menghapus data lake, Anda harus melepaskan aset terlebih dahulu sebelum menghapus zona.

Dalam tugas ini, Anda akan menggunakan command line untuk melepaskan aset dari zona, lalu menghapus zona, dan terakhir, menghapus data lake.

Melepaskan aset

• Di Cloud Shell, jalankan perintah berikut untuk melepaskan set data BigQuery dari zona:

gcloud dataplex assets delete orders-curated-dataset --location=$REGION --zone=orders-curated-zone --lake=ecommerce

Jika diminta untuk mengonfirmasi, masukkan Y.

Tindakan ini akan menghapus data yang mendasarinya di set data BigQuery. Tindakan ini hanya membuat set data BigQuery tidak dapat diakses atau ditemukan menggunakan data lake di Dataplex.

Output finalnya akan terlihat seperti berikut:

Deleted asset [orders-curated-dataset].

Menghapus zona

• Di Cloud Shell, jalankan perintah berikut untuk menghapus zona:

gcloud dataplex zones delete orders-curated-zone --location=$REGION --lake=ecommerce

Jika diminta untuk mengonfirmasi, masukkan Y.

Output finalnya akan terlihat seperti berikut:

Deleted zone [orders-curated-zone].

Menghapus data lake

• Di Cloud Shell, jalankan perintah berikut untuk menghapus data lake:

gcloud dataplex lakes delete ecommerce --location=$REGION

Jika diminta untuk mengonfirmasi, masukkan Y.

Output finalnya akan terlihat seperti berikut:

Deleted lake [ecommerce]. Menghapus aset, zona, dan data lake Dataplex

Selamat!

Anda telah menggunakan command line untuk membuat dan menghapus data lake, zona, dan aset di Dataplex.

Sertifikasi dan pelatihan Google Cloud

...membantu Anda mengoptimalkan teknologi Google Cloud. Kelas kami mencakup keterampilan teknis dan praktik terbaik untuk membantu Anda memahami dengan cepat dan melanjutkan proses pembelajaran. Kami menawarkan pelatihan tingkat dasar hingga lanjutan dengan opsi on demand, live, dan virtual untuk menyesuaikan dengan jadwal Anda yang sibuk. Sertifikasi membantu Anda memvalidasi dan membuktikan keterampilan serta keahlian Anda dalam teknologi Google Cloud.

Manual Terakhir Diperbarui pada 23 April 2025

Lab Terakhir Diuji pada 23 April 2025

Hak cipta 2025 Google LLC. Semua hak dilindungi undang-undang. Google dan logo Google adalah merek dagang dari Google LLC. Semua nama perusahaan dan produk lain mungkin adalah merek dagang masing-masing perusahaan yang bersangkutan.