arrow_back

Membuat dan menjalankan alur kerja SQL di Dataform

Login Gabung
Dapatkan akses ke 700+ lab dan kursus

Membuat dan menjalankan alur kerja SQL di Dataform

Lab 1 jam universal_currency_alt 1 Kredit show_chart Pengantar
info Lab ini mungkin menggabungkan alat AI untuk mendukung pembelajaran Anda.
Dapatkan akses ke 700+ lab dan kursus

Ringkasan

Lab ini memandu Anda melalui proses untuk membuat dan menjalankan alur kerja SQL di Dataform untuk memuat data di BigQuery.

Tujuan pembelajaran

  1. Membuat repositori Dataform.
  2. Membuat dan melakukan inisialisasi ruang kerja pengembangan Dataform.
  3. Membuat dan menjalankan alur kerja SQL.
  4. Melihat log eksekusi di Dataform.

Penyiapan

Untuk setiap lab, Anda akan memperoleh project Google Cloud baru serta serangkaian resource selama jangka waktu tertentu, tanpa biaya.

  1. Login ke Qwiklabs menggunakan jendela samaran.

  2. Perhatikan waktu akses lab (misalnya, 1:15:00), dan pastikan Anda dapat menyelesaikannya dalam waktu tersebut.
    Tidak ada fitur jeda. Bila perlu, Anda dapat memulai ulang lab, tetapi Anda harus memulai dari awal.

  3. Jika sudah siap, klik Start lab.

  4. Catat kredensial lab (Nama pengguna dan Sandi) Anda. Anda akan menggunakannya untuk login ke Google Cloud Console.

  5. Klik Open Google Console.

  6. Klik Use another account, lalu salin/tempel kredensial lab ini ke perintah yang muncul.
    Jika menggunakan kredensial lain, Anda akan menerima pesan error atau dikenai biaya.

  7. Setujui ketentuan dan lewati halaman resource pemulihan.

Tugas 1. Membuat repositori Dataform

  1. Di Konsol, luaskan Navigation menu, lalu pilih BigQuery > Dataform.

  2. Klik CREATE REPOSITORY.

  3. Di halaman Create repository, lakukan hal berikut:

    1. Di kolom Repository ID, masukkan quickstart-repository.

    2. Di daftar Region, pilih .

    3. Klik CREATE.

    4. Setelah repositori dibuat, Anda akan melihat akun layanan Dataform. Harap salin akun tersebut, sehingga Anda dapat menggunakannya nanti untuk menetapkan izin yang diperlukan.

    5. Klik Go to Repositories.

Catatan: Jika Anda mendapatkan error izin ditolak terkait dengan permintaan API, tunggu beberapa menit dan buat repositori lagi.

Menguji tugas yang sudah selesai

Klik Check my progress untuk memverifikasi tujuan.

Membuat repositori Dataform.

Tugas 2. Membuat dan melakukan inisialisasi ruang kerja pengembangan Dataform

  1. Di halaman Dataform, klik repositori quickstart-repository yang baru saja Anda buat.

  2. Klik CREATE DEVELOPMENT WORKSPACE.

  3. Di jendela Create development workspace, lakukan hal berikut:

    1. Di kolom Workspace ID, masukkan quickstart-workspace.

    2. Klik CREATE.

  4. Setelah dibuat, klik ruang kerja pengembangan quickstart-workspace.

  5. Klik INITIALIZE WORKSPACE.

Menguji tugas yang sudah selesai

Klik Check my progress untuk memverifikasi tujuan.

Membuat ruang kerja Dataform.

Tugas 3. Membuat file SQLX untuk menentukan tabel virtual

Di bagian ini, tentukan tabel virtual yang nantinya akan Anda gunakan sebagai sumber data untuk suatu tabel.

  1. Di panel Files, di samping definitions, klik menu More.

  2. Klik Create file.

  3. Di panel Create new file, lakukan hal berikut:

    1. Di kolom Add a file path, masukkan definitions/quickstart-source.sqlx.

    2. Klik CREATE FILE.

Menentukan tabel virtual

  1. Di panel Files, luaskan folder definitions.

  2. Klik quickstart-source.sqlx.

  3. Di file tersebut, masukkan cuplikan kode berikut:

    config { type: "view" } SELECT "apples" AS fruit, 2 AS count UNION ALL SELECT "oranges" AS fruit, 5 AS count UNION ALL SELECT "pears" AS fruit, 1 AS count UNION ALL SELECT "bananas" AS fruit, 0 AS count

Tugas 4. Membuat file SQLX untuk definisi tabel

Pada bagian berikut, tentukan jenis tabel dalam file SQLX, lalu tulis pernyataan SELECT untuk menentukan struktur tabel dalam file yang sama.

  1. Di panel Files, di samping definitions, klik menu More, lalu pilih Create file.

  2. Di kolom Add a file path, masukkan definitions/quickstart-table.sqlx.

  3. Klik CREATE FILE.

Tentukan jenis tabel, struktur, dan dependensinya

  1. Di panel Files, luaskan direktori definitions.

  2. Pilih quickstart-table.sqlx, lalu masukkan jenis tabel berikut dan pernyataan SELECT:

    config { type: "table" } SELECT fruit, SUM(count) as count FROM ${ref("quickstart-source")} GROUP BY 1
Catatan: Anda mungkin melihat catatan error di bagian kueri yang dikompilasi. Abaikan pesan tersebut dan lanjutkan ke langkah berikutnya untuk menjalankan alur kerja.

Tugas 5. Memberikan akses Dataform ke BigQuery

  1. Di Konsol Google Cloud, pada Navigation menu (Ikon Navigation menu), pilih IAM & Admin > IAM.

  2. Klik VIEW BY PRINCIPALS. Berikutnya, klik GRANT ACCESS

  3. Di kolom New principals, masukkan ID akun layanan Dataform Anda.

  4. Di menu drop-down Select a role, pilih peran BigQuery Job User.

  5. Klik Add another role, lalu di menu drop-down Select a role, pilih peran BigQuery Data Editor.

  6. Klik Add another role, lalu di menu drop-down Select a role, pilih peran BigQuery Data Viewer.

  7. Klik Save.

Menguji tugas yang sudah selesai

Klik Check my progress untuk memverifikasi tujuan.

Memberikan akses Dataform ke BigQuery.

Tugas 6. Menjalankan alur kerja

  1. Di Konsol, buka Navigation Menu > BigQuery > Dataform.

  2. Klik quickstart-repository untuk membuka repositori.

  3. Klik quickstart-workspace untuk membuka ruang kerja pengembangan.

  4. Di halaman quickstart-workspace, klik START EXECUTION.

  5. Klik Execute actions.

  6. Klik tab All actions.

  7. Di panel Execute, klik START EXECUTION.

    Dataform menggunakan setelan repositori default untuk membuat konten alur kerja Anda dalam set data BigQuery yang disebut dataform.

Menguji tugas yang sudah selesai

Klik Check my progress untuk memverifikasi tujuan.

Membuat dan menjalankan alur kerja SQL.

Melihat log eksekusi

  1. Di halaman quickstart-workspace, klik EXECUTIONS untuk membuka panel Executions.

  2. Untuk melihat detail eksekusi Anda, klik eksekusi terbaru.

Mengakhiri lab Anda

Setelah Anda menyelesaikan lab, klik Akhiri Lab. Qwiklabs menghapus resource yang telah Anda gunakan dan menghapus akun.

Anda akan diberi kesempatan untuk menilai pengalaman menggunakan lab. Pilih jumlah bintang yang sesuai, ketik komentar, lalu klik Submit.

Makna jumlah bintang:

  • 1 bintang = Sangat tidak puas
  • 2 bintang = Tidak puas
  • 3 bintang = Netral
  • 4 bintang = Puas
  • 5 bintang = Sangat puas

Anda dapat menutup kotak dialog jika tidak ingin memberikan masukan.

Untuk masukan, saran, atau koreksi, gunakan tab Dukungan.

Hak cipta 2020 Google LLC Semua hak dilindungi undang-undang. Google dan logo Google adalah merek dagang dari Google LLC. Semua nama perusahaan dan produk lain mungkin adalah merek dagang masing-masing perusahaan yang bersangkutan.

Sebelum memulai

  1. Lab membuat project dan resource Google Cloud untuk jangka waktu tertentu
  2. Lab memiliki batas waktu dan tidak memiliki fitur jeda. Jika lab diakhiri, Anda harus memulainya lagi dari awal.
  3. Di kiri atas layar, klik Start lab untuk memulai

Gunakan penjelajahan rahasia

  1. Salin Nama Pengguna dan Sandi yang diberikan untuk lab tersebut
  2. Klik Open console dalam mode pribadi

Login ke Konsol

  1. Login menggunakan kredensial lab Anda. Menggunakan kredensial lain mungkin menyebabkan error atau dikenai biaya.
  2. Setujui persyaratan, dan lewati halaman resource pemulihan
  3. Jangan klik End lab kecuali jika Anda sudah menyelesaikan lab atau ingin mengulanginya, karena tindakan ini akan menghapus pekerjaan Anda dan menghapus project

Konten ini tidak tersedia untuk saat ini

Kami akan memberi tahu Anda melalui email saat konten tersedia

Bagus!

Kami akan menghubungi Anda melalui email saat konten tersedia

Satu lab dalam satu waktu

Konfirmasi untuk mengakhiri semua lab yang ada dan memulai lab ini

Gunakan penjelajahan rahasia untuk menjalankan lab

Gunakan jendela Samaran atau browser pribadi untuk menjalankan lab ini. Langkah ini akan mencegah konflik antara akun pribadi Anda dan akun Siswa yang dapat menyebabkan tagihan ekstra pada akun pribadi Anda.