GSP1250

Ringkasan

Meskipun BigQuery menawarkan kemampuan observasi bawaan seperti tampilan INFORMATION_SCHEMA, logging mendetail tetap penting untuk analisis penggunaan mendalam, audit, dan pemecahan masalah potensial. Dengan mengaktifkan Log Analytics, Anda dapat mengkueri dan menganalisis data log menggunakan kueri SQL yang sudah dikenal, lalu melihat atau membuat diagram hasil kueri.

BigQuery adalah data warehouse perusahaan yang terkelola sepenuhnya dari Google Cloud yang membantu Anda mengelola dan menganalisis data dengan fitur bawaan seperti machine learning, analisis geospasial, dan business intelligence.

Di lab ini, Anda akan mengaktifkan Log Analytics di bucket Penyimpanan Log, lalu melihat log BigQuery di dalam Cloud Logging. Anda juga menggunakan SQL untuk menganalisis log menggunakan Log Analytics.

Tujuan

Di lab ini, Anda akan mempelajari cara:

• Menggunakan Cloud Logging secara efektif untuk mendapatkan insight tentang penggunaan BigQuery.
• Membangun dan menjalankan kueri SQL secara efektif menggunakan Log Analytics.
• Lihat dan buat diagram hasilnya.

Penyiapan dan persyaratan

Sebelum mengklik tombol Start Lab

Baca petunjuk ini. Lab memiliki timer dan Anda tidak dapat menjedanya. Timer yang dimulai saat Anda mengklik Start Lab akan menampilkan durasi ketersediaan resource Google Cloud untuk Anda.

Lab interaktif ini dapat Anda gunakan untuk melakukan aktivitas lab di lingkungan cloud sungguhan, bukan di lingkungan demo atau simulasi. Untuk mengakses lab ini, Anda akan diberi kredensial baru yang bersifat sementara dan dapat digunakan untuk login serta mengakses Google Cloud selama durasi lab.

Untuk menyelesaikan lab ini, Anda memerlukan:

• Akses ke browser internet standar (disarankan browser Chrome).

Catatan: Gunakan jendela Samaran (direkomendasikan) atau browser pribadi untuk menjalankan lab ini. Hal ini akan mencegah konflik antara akun pribadi Anda dan akun siswa yang dapat menyebabkan tagihan ekstra pada akun pribadi Anda.

• Waktu untuk menyelesaikan lab. Ingat, setelah dimulai, lab tidak dapat dijeda.

Catatan: Hanya gunakan akun siswa untuk lab ini. Jika Anda menggunakan akun Google Cloud yang berbeda, Anda mungkin akan dikenai tagihan ke akun tersebut.

Cara memulai lab dan login ke Google Cloud Console

1. Klik tombol Start Lab. Jika Anda perlu membayar lab, dialog akan terbuka untuk memilih metode pembayaran. Di sebelah kiri ada panel Lab Details yang berisi hal-hal berikut:

   • Tombol Open Google Cloud console
   • Waktu tersisa
   • Kredensial sementara yang harus Anda gunakan untuk lab ini
   • Informasi lain, jika diperlukan, untuk menyelesaikan lab ini

2. Klik Open Google Cloud console (atau klik kanan dan pilih Open Link in Incognito Window jika Anda menjalankan browser Chrome).

   Lab akan menjalankan resource, lalu membuka tab lain yang menampilkan halaman Sign in.

   Tips: Atur tab di jendela terpisah secara berdampingan.

   Catatan: Jika Anda melihat dialog Choose an account, klik Use Another Account.

3. Jika perlu, salin Username di bawah dan tempel ke dialog Sign in.

   {{{user_0.username | "Username"}}}

   Anda juga dapat menemukan Username di panel Lab Details.

4. Klik Next.

5. Salin Password di bawah dan tempel ke dialog Welcome.

   {{{user_0.password | "Password"}}}

   Anda juga dapat menemukan Password di panel Lab Details.

6. Klik Next.

   Penting: Anda harus menggunakan kredensial yang diberikan lab. Jangan menggunakan kredensial akun Google Cloud Anda. Catatan: Menggunakan akun Google Cloud sendiri untuk lab ini dapat dikenai biaya tambahan.

7. Klik halaman berikutnya:

   • Setujui persyaratan dan ketentuan.
   • Jangan tambahkan opsi pemulihan atau autentikasi 2 langkah (karena ini akun sementara).
   • Jangan mendaftar uji coba gratis.

Setelah beberapa saat, Konsol Google Cloud akan terbuka di tab ini.

Catatan: Untuk mengakses produk dan layanan Google Cloud, klik Navigation menu atau ketik nama layanan atau produk di kolom Search.

Mengaktifkan Cloud Shell

Cloud Shell adalah mesin virtual yang dilengkapi dengan berbagai alat pengembangan. Mesin virtual ini menawarkan direktori beranda persisten berkapasitas 5 GB dan berjalan di Google Cloud. Cloud Shell menyediakan akses command-line untuk resource Google Cloud Anda.

1. Klik Activate Cloud Shell di bagian atas Konsol Google Cloud.

2. Klik jendela berikut:

   • Lanjutkan melalui jendela informasi Cloud Shell.
   • Beri otorisasi ke Cloud Shell untuk menggunakan kredensial Anda guna melakukan panggilan Google Cloud API.

Setelah terhubung, Anda sudah diautentikasi, dan project ditetapkan ke Project_ID, . Output berisi baris yang mendeklarasikan Project_ID untuk sesi ini:

Project Cloud Platform Anda dalam sesi ini disetel ke {{{project_0.project_id | "PROJECT_ID"}}}

gcloud adalah alat command line untuk Google Cloud. Alat ini sudah terinstal di Cloud Shell dan mendukung pelengkapan command line.

3. (Opsional) Anda dapat menampilkan daftar nama akun yang aktif dengan perintah ini:

gcloud auth list

4. Klik Authorize.

Output:

ACTIVE: * ACCOUNT: {{{user_0.username | "ACCOUNT"}}} Untuk menetapkan akun aktif, jalankan: $ gcloud config set account `ACCOUNT`

5. (Opsional) Anda dapat menampilkan daftar ID project dengan perintah ini:

gcloud config list project

Output:

[core] project = {{{project_0.project_id | "PROJECT_ID"}}} Catatan: Untuk mendapatkan dokumentasi gcloud yang lengkap di Google Cloud, baca panduan ringkasan gcloud CLI.

Tugas 1. Mengonfigurasi bucket log

Dalam tugas ini, Anda akan mengonfigurasi Cloud Logging untuk mengupgrade bucket log yang ada dengan Log Analytics yang diaktifkan.

Untuk mengupgrade bucket yang ada agar dapat menggunakan Log Analytics:

1. Di kolom judul Konsol Google Cloud, ketik Logs storage di kolom Search, lalu klik Logs storage di hasil penelusuran.

Halaman Logs Storage akan terbuka. Dua bucket, _Default dan _Required, tercantum dalam daftar Log buckets.

2. Untuk bucket log _Required, klik Upgrade di kolom Log Analytics available.
3. Klik Upgrade lagi untuk mengonfirmasi upgrade untuk menggunakan Log Analytics.
4. Lakukan hal yang sama untuk bucket log _Default. Klik Upgrade di kolom Log Analytics available.
5. Klik Upgrade lagi untuk mengonfirmasi upgrade untuk menggunakan Log Analytics.

Klik Periksa progres saya untuk memverifikasi tujuan. Mengupgrade bucket log.

Tugas 2. Melakukan aktivitas BigQuery

Dalam tugas ini, Anda akan membuat log BigQuery. Untuk melakukannya, Anda akan menggunakan alat command line BigQuery bq.

1. Di Cloud Shell, masukkan perintah bq mk untuk membuat set data baru bernama bq_logs dan bq_logs_test di project Anda:

bq mk bq_logs bq mk bq_logs_test

2. Masukkan perintah bq ls untuk mencantumkan set data:

bq ls

3. Masukkan perintah bq rm untuk menghapus set data (pilih Y saat diminta):

bq rm bq_logs_test

4. Membuat tabel baru

bq mk \ --table \ --expiration 3600 \ --description "This is a test table" \ bq_logs.test_table \ id:STRING,name:STRING,address:STRING

Anda akan melihat pesan keberhasilan bahwa tabel kosong baru bernama test_table telah dibuat untuk set data Anda.

Sekarang, jalankan beberapa kueri untuk membuat log.

5. Masukkan kueri berikut di Cloud Shell:

bq query --use_legacy_sql=false 'SELECT current_date'

6. Masukkan perintah berikut ke Cloud Shell:

bq query --use_legacy_sql=false \ 'SELECT gsod2021.date, stations.usaf, stations.wban, stations.name, stations.country, stations.state, stations.lat, stations.lon, stations.elev, gsod2021.temp, gsod2021.max, gsod2021.min, gsod2021.mxpsd, gsod2021.gust, gsod2021.fog, gsod2021.hail FROM `bigquery-public-data.noaa_gsod.gsod2021` gsod2021 INNER JOIN `bigquery-public-data.noaa_gsod.stations` stations ON gsod2021.stn = stations.usaf AND gsod2021.wban = stations.wban WHERE stations.country = "US" AND gsod2021.date = "2021-12-15" AND stations.state IS NOT NULL AND gsod2021.max != 9999.9 ORDER BY gsod2021.min;'

(Kueri ini menggunakan data cuaca dari National Oceanic and Atmospheric Administration (NOAA))

Klik Periksa progres saya untuk memverifikasi tujuan. Melakukan Aktivitas BigQuery.

Tugas 3. Melakukan analisis log

Tugas ini menganalisis data log yang Anda buat di tugas sebelumnya.

Tantangan (opsional): Sebelum menjalankan kueri, dapatkah Anda memprediksi hasilnya?

Membuat kueri untuk operasi tertentu

Tugas umum saat menganalisis penggunaan BigQuery adalah mencari operasi tertentu untuk set data Anda. Dalam tugas ini, Anda akan membuat kueri untuk operasi pembuatan dan penghapusan.

1. Di panel kiri, klik Log Analytics dan temukan kolom Query di bagian Log Analytics.

2. Untuk menemukan operasi yang dibuat dan dihapus, ketik atau tempel kueri berikut ke kolom Query, lalu klik Run query:

SELECT timestamp, severity, resource.type, proto_payload.audit_log.authentication_info.principal_email, proto_payload.audit_log.method_name, proto_payload.audit_log.resource_name, FROM `{{{ project_0.project_id | "Project ID" }}}.global._Required._AllLogs` WHERE log_id = 'cloudaudit.googleapis.com/activity' AND proto_payload.audit_log.method_name LIKE 'datasetservice%' LIMIT 100

Kueri Anda akan menghasilkan tiga hasil.

Anda juga dapat membatasi penelusuran dengan lebih spesifik seperti method_name = 'datasetservice.delete'.

Membuat kueri untuk operasi tabel BigQuery

1. Untuk menemukan operasi untuk tabel BigQuery, ubah kondisi kueri untuk layanan tabel. Jalankan kueri ini untuk menemukan operasi pada tabel yang dibuat atau dihapus:

SELECT timestamp, severity, resource.type, proto_payload.audit_log.authentication_info.principal_email, proto_payload.audit_log.method_name, proto_payload.audit_log.resource_name, FROM `{{{ project_0.project_id | "Project ID" }}}.global._Required._AllLogs` WHERE log_id = 'cloudaudit.googleapis.com/activity' AND proto_payload.audit_log.method_name LIKE '%TableService%' LIMIT 100

Kueri ini menghasilkan satu hasil.

2. Untuk melihat kueri BigQuery yang telah selesai, telusuri log data_access berdasarkan jobCompletedEvent. Misalnya, jalankan kueri SQL berikut:

SELECT timestamp, resource.labels.project_id, proto_payload.audit_log.authentication_info.principal_email, JSON_VALUE(proto_payload.audit_log.service_data.jobCompletedEvent.job.jobConfiguration.query.query) AS query, JSON_VALUE(proto_payload.audit_log.service_data.jobCompletedEvent.job.jobConfiguration.query.statementType) AS statementType, JSON_VALUE(proto_payload.audit_log.service_data.jobCompletedEvent.job.jobStatus.error.message) AS message, JSON_VALUE(proto_payload.audit_log.service_data.jobCompletedEvent.job.jobStatistics.startTime) AS startTime, JSON_VALUE(proto_payload.audit_log.service_data.jobCompletedEvent.job.jobStatistics.endTime) AS endTime, CAST(TIMESTAMP_DIFF( CAST(JSON_VALUE(proto_payload.audit_log.service_data.jobCompletedEvent.job.jobStatistics.endTime) AS TIMESTAMP), CAST(JSON_VALUE(proto_payload.audit_log.service_data.jobCompletedEvent.job.jobStatistics.startTime) AS TIMESTAMP), MILLISECOND)/1000 AS INT64) AS run_seconds, CAST(JSON_VALUE(proto_payload.audit_log.service_data.jobCompletedEvent.job.jobStatistics.totalProcessedBytes) AS INT64) AS totalProcessedBytes, CAST(JSON_VALUE(proto_payload.audit_log.service_data.jobCompletedEvent.job.jobStatistics.totalSlotMs) AS INT64) AS totalSlotMs, JSON_VALUE(proto_payload.audit_log.service_data.jobCompletedEvent.job.jobStatistics.referencedTables) AS tables_ref, CAST(JSON_VALUE(proto_payload.audit_log.service_data.jobCompletedEvent.job.jobStatistics.totalTablesProcessed) AS INT64) AS totalTablesProcessed, CAST(JSON_VALUE(proto_payload.audit_log.service_data.jobCompletedEvent.job.jobStatistics.queryOutputRowCount) AS INT64) AS queryOutputRowCount, severity FROM `{{{ project_0.project_id | "Project ID" }}}.global._Default._AllLogs` WHERE log_id = "cloudaudit.googleapis.com/data_access" AND proto_payload.audit_log.service_data.jobCompletedEvent IS NOT NULL ORDER BY startTime

Scroll kedua hasil dan lihat kolom query. Daftar ini mencantumkan kueri BigQuery yang telah selesai. Karena string kueri disertakan dalam kueri SQL, hasilnya mungkin besar.

Tugas 4. Membuat diagram

Alih-alih menggunakan tabel untuk melihat hasilnya, Log Analytics mendukung pembuatan diagram untuk visualisasi.

1. Klik tombol Chart di tampilan hasil,
2. Pilih Pie chart sebagai jenis diagram dan query sebagai kolom.
3. Anda akan melihat diagram yang mirip dengan berikut ini:

Selamat!

Anda sekarang memiliki pengalaman praktis dalam memanfaatkan Cloud Logging dan Log Analytics untuk membuat kueri, membuat diagram hasil, dan mendapatkan insight tentang pemanfaatan BigQuery.

Langkah berikutnya / Pelajari lebih lanjut

• Dokumentasi Log Analytics.
• Pelajari lebih lanjut cara memvisualisasikan hasil Log Analytics dengan dokumentasi diagram.

Sertifikasi dan pelatihan Google Cloud

...membantu Anda mengoptimalkan teknologi Google Cloud. Kelas kami mencakup keterampilan teknis dan praktik terbaik untuk membantu Anda memahami dengan cepat dan melanjutkan proses pembelajaran. Kami menawarkan pelatihan tingkat dasar hingga lanjutan dengan opsi on demand, live, dan virtual untuk menyesuaikan dengan jadwal Anda yang sibuk. Sertifikasi membantu Anda memvalidasi dan membuktikan keterampilan serta keahlian Anda dalam teknologi Google Cloud.

Manual Terakhir Diperbarui pada 2 Mei 2025

Lab Terakhir Diuji pada 2 Mei 2024

Hak cipta 2025 Google LLC. Semua hak dilindungi undang-undang. Google dan logo Google adalah merek dagang dari Google LLC. Semua nama perusahaan dan produk lain mungkin adalah merek dagang masing-masing perusahaan yang bersangkutan.