GSP523

Ringkasan

Dalam challenge lab, Anda diberi sebuah skenario dan serangkaian tugas. Tidak ada petunjuk langkah demi langkah. Anda akan menggunakan keahlian yang dipelajari dari lab dalam kursus untuk mencari cara menyelesaikan sendiri tugas-tugas tersebut. Sistem pemberian skor otomatis (ditampilkan pada halaman ini) akan memberikan masukan tentang apakah Anda telah menyelesaikan tugas dengan benar atau tidak.

Saat mengikuti challenge lab, Anda tidak akan diajari konsep-konsep baru Google Cloud. Anda diharapkan dapat memperluas keahlian yang dipelajari, seperti mengubah nilai default dan membaca serta mengkaji pesan error untuk memperbaiki kesalahan Anda sendiri.

Untuk meraih skor 100%, Anda harus berhasil menyelesaikan semua tugas dalam jangka waktu tertentu.

Lab ini direkomendasikan bagi siswa yang sudah mendaftar di kursus badge keahlian "Menerapkan Penelusuran Vektor Multimodal dengan BigQuery". Apakah Anda siap menghadapi tantangan ini?

Skenario Tantangan

Anda adalah data scientist di Cymbal, sebuah toko retail online. Anda ingin membangun pipeline untuk terus-menerus mencari produk serupa di pasar guna mendukung studi perbandingan pemasaran. Ada beberapa tantangan yang Anda hadapi:

• Cara menangani data multimodal: Data yang Anda kumpulkan adalah data multimodal yang mencakup teks, gambar, dan video, termasuk beberapa file di Cloud Storage.
• Cara melakukan penelusuran kemiripan semantik, bukan penelusuran kata kunci: Anda ingin menemukan produk serupa di berbagai dimensi (misalnya, gambar, deskripsi, dan fitur spesifik), yang mungkin tidak efektif jika menggunakan penelusuran kata kunci.
• Cara menggunakan BigQuery untuk melakukannya: Karena sebagian besar data Anda sudah ada di BigQuery, menggunakan alat yang sama dapat meminimalkan proses pembelajaran.

Untuk mengatasi tantangan ini, Anda memutuskan untuk menerapkan penelusuran vektor multimodal dengan BigQuery.

Topik yang diujikan

• Membuat koneksi sumber eksternal di BigQuery dan memberikan izin IAM yang tepat.
• Membuat tabel objek untuk menyimpan gambar.
• Membuat embedding untuk mengonversi gambar (data multimodal) ke vektor.
• Menjalankan penelusuran vektor untuk menemukan produk serupa.

Prasyarat

Untuk menyelesaikan lab ini, Anda harus memahami BigQuery dan Cloud Storage.

Jalur pembelajaran berjudul Gemini in BigQuery memberikan pusat informasi yang komprehensif untuk badge keahlian ini. Sebaiknya Anda memeriksa ketiga kursus berikut dan lab-nya untuk meningkatkan pengetahuan Anda agar berhasil menyelesaikan Challenge Lab ini:

• Meningkatkan Produktivitas dengan Gemini in BigQuery (pengantar): Mempelajari cara menggunakan Gemini in BigQuery untuk mendapatkan bantuan kode, persiapan data, dan desain pipeline.

• Bekerja dengan Model Gemini di BigQuery (menengah): Mempelajari cara memanggil model Gemini di BigQuery untuk membangun aplikasi AI generatif.

• Membuat Embedding, Penelusuran Vektor, dan RAG dengan BigQuery (lanjutan): Mempelajari cara mencegah halusinasi AI dengan pipeline RAG (Retrieval-Augmented Generation), mulai dari membuat embedding, menjalankan penelusuran vektor, hingga akhirnya menghasilkan jawaban yang lebih baik.

Penyiapan dan persyaratan

Sebelum mengklik tombol Start Lab

Baca petunjuk ini. Lab memiliki timer dan Anda tidak dapat menjedanya. Timer yang dimulai saat Anda mengklik Start Lab akan menampilkan durasi ketersediaan resource Google Cloud untuk Anda.

Lab interaktif ini dapat Anda gunakan untuk melakukan aktivitas lab di lingkungan cloud sungguhan, bukan di lingkungan demo atau simulasi. Untuk mengakses lab ini, Anda akan diberi kredensial baru yang bersifat sementara dan dapat digunakan untuk login serta mengakses Google Cloud selama durasi lab.

Untuk menyelesaikan lab ini, Anda memerlukan:

• Akses ke browser internet standar (disarankan browser Chrome).

Catatan: Gunakan jendela Samaran (direkomendasikan) atau browser pribadi untuk menjalankan lab ini. Hal ini akan mencegah konflik antara akun pribadi Anda dan akun siswa yang dapat menyebabkan tagihan ekstra pada akun pribadi Anda.

• Waktu untuk menyelesaikan lab. Ingat, setelah dimulai, lab tidak dapat dijeda.

Catatan: Hanya gunakan akun siswa untuk lab ini. Jika Anda menggunakan akun Google Cloud yang berbeda, Anda mungkin akan dikenai tagihan ke akun tersebut.

Cara memulai lab dan login ke Google Cloud Console

1. Klik tombol Start Lab. Jika Anda perlu membayar lab, dialog akan terbuka untuk memilih metode pembayaran. Di sebelah kiri ada panel Lab Details yang berisi hal-hal berikut:

   • Tombol Open Google Cloud console
   • Waktu tersisa
   • Kredensial sementara yang harus Anda gunakan untuk lab ini
   • Informasi lain, jika diperlukan, untuk menyelesaikan lab ini

2. Klik Open Google Cloud console (atau klik kanan dan pilih Open Link in Incognito Window jika Anda menjalankan browser Chrome).

   Lab akan menjalankan resource, lalu membuka tab lain yang menampilkan halaman Sign in.

   Tips: Atur tab di jendela terpisah secara berdampingan.

   Catatan: Jika Anda melihat dialog Choose an account, klik Use Another Account.

3. Jika perlu, salin Username di bawah dan tempel ke dialog Sign in.

   {{{user_0.username | "Username"}}}

   Anda juga dapat menemukan Username di panel Lab Details.

4. Klik Next.

5. Salin Password di bawah dan tempel ke dialog Welcome.

   {{{user_0.password | "Password"}}}

   Anda juga dapat menemukan Password di panel Lab Details.

6. Klik Next.

   Penting: Anda harus menggunakan kredensial yang diberikan lab. Jangan menggunakan kredensial akun Google Cloud Anda. Catatan: Menggunakan akun Google Cloud sendiri untuk lab ini dapat dikenai biaya tambahan.

7. Klik halaman berikutnya:

   • Setujui persyaratan dan ketentuan.
   • Jangan tambahkan opsi pemulihan atau autentikasi 2 langkah (karena ini akun sementara).
   • Jangan mendaftar uji coba gratis.

Setelah beberapa saat, Konsol Google Cloud akan terbuka di tab ini.

Catatan: Untuk mengakses produk dan layanan Google Cloud, klik Navigation menu atau ketik nama layanan atau produk di kolom Search.

Tugas 1. Membuat koneksi sumber dan memberikan izin IAM

Membuat koneksi sumber eksternal

Untuk memanfaatkan model AI generatif jarak jauh, seperti model embedding, di Vertex AI dalam BigQuery, buat koneksi sumber eksternal baru bernama vector_conn di region bernama .

Koneksi ini berfungsi sebagai pipeline yang aman antara Vertex AI dan BigQuery, sehingga memungkinkan penggunaan model AI generatif dengan aman.

Perluas petunjuk untuk mendapatkan beberapa tips bermanfaat.

Memberikan izin IAM ke akun layanan baru

Untuk mengakses resource Vertex AI dan data BigQuery, Anda harus memberikan izin IAM yang sesuai ke akun layanan untuk koneksi sumber eksternal.

Tetapkan peran berikut ke akun layanan yang dibuat di bagian sebelumnya:

• BigQuery Data Owner
• Storage Object Viewer
• Vertex AI User

Perluas petunjuk untuk mendapatkan tips bermanfaat.

Klik Periksa progres saya untuk memverifikasi tujuan. Membuat koneksi sumber dan memberikan izin IAM.

Tugas 2. Membuat tabel objek

Untuk mengkueri data tidak terstruktur seperti gambar dan video yang disimpan di Google Cloud Storage, buat tabel objek bernama gcc_image_object_table di set data BigQuery yang dibuat sebelumnya bernama gcc_bqml_dataset.

Tabel ini menyimpan metadata tentang objek, seperti URL dan jenis kontennya, tetapi bukan data tidak terstruktur itu sendiri. Karena tabel objek dapat dikueri seperti tabel BigQuery lainnya, Anda dapat menggunakan SQL (atau Python) untuk memfilter dan memilih objek berdasarkan metadatanya.

Jalankan kode SQL berikut di BigQuery SQL Editor. Pastikan untuk mengganti placeholder dalam tanda kurung [] dengan kode yang benar (seperti mengganti [PROJECT_ID] dengan Project ID yang ditetapkan untuk lingkungan lab ini).

Create or replace external table `[PROJECT_ID].[DATASET_NAME].[OBJECT_TABLE_NAME]` with connection `[PROJECT_ID].[CONNECTION_REGION].[CONNECTION_NAME]` options ( object_metadata='SIMPLE', uris=['gs://[PROJECT_ID]/*'] )

Perluas petunjuk untuk mendapatkan tips bermanfaat.

Klik Periksa progres saya untuk memverifikasi tujuan. Membuat tabel objek.

Tugas 3. Membuat embedding

Terhubung ke model embedding

Untuk terhubung ke model embedding jarak jauh, buat model baru di BigQuery bernama gcc_embedding di set data BigQuery yang dibuat sebelumnya bernama gcc_bqml_dataset, lalu tentukan endpoint (nama model) sebagai multimodalembedding@001.

Jalankan kode SQL berikut di BigQuery SQL Editor. Pastikan untuk mengganti placeholder dalam tanda kurung [] dengan kode yang benar (seperti mengganti [PROJECT_ID] dengan Project ID yang ditetapkan untuk lingkungan lab ini).

Create or replace model `[PROJECT_ID].[DATASET_NAME].[MODEL_NAME]` remote with connection `[PROJECT_ID].[CONNECTION_REGION].[CONNECTION_NAME]` options( [DEFINE_ENDPOINT] );

Perluas petunjuk untuk mendapatkan tips bermanfaat.

Membuat embedding

Saat membuat embedding untuk gambar, simpan embedding ke tabel bernama gcc_retail_store_embeddings di set data BigQuery yang dibuat sebelumnya bernama gcc_bqml_dataset.

1. Jalankan kode SQL berikut di BigQuery SQL Editor. Pastikan untuk mengganti placeholder dalam tanda kurung [] dengan kode yang benar (seperti mengganti [PROJECT_ID] dengan Project ID yang ditetapkan untuk lingkungan lab ini).

Create or replace table `[PROJECT_ID].[DATASET_NAME].[EMBEDDINGS_TABLE_NAME]` as select *, REGEXP_EXTRACT(uri, r'[^/]+$') as product_name from [EMBEDDINGS_FUNCTION] ( MODEL `[PROJECT_ID].[DATASET_NAME].[MODEL_NAME]`, TABLE `[PROJECT_ID].[DATASET_NAME].[OBJECT_TABLE_NAME]` )

Perluas petunjuk untuk mendapatkan tips bermanfaat.

2. [Langkah opsional] Untuk meninjau hasil embedding, perbarui dan jalankan kode berikut (ingat bahwa hasil embedding adalah angka floating point dan mungkin tidak dapat langsung ditafsirkan):

SELECT * FROM `[PROJECT_ID].[DATASET_NAME].[EMBEDDINGS_TABLE_NAME]`

Klik Periksa progres saya untuk memverifikasi tujuan. Membuat model baru dan menghasilkan embedding.

Tugas 4. Menjalankan penelusuran vektor

Saat menjalankan penelusuran vektor untuk menemukan gambar yang paling mirip dengan frasa penelusuran, simpan hasil penelusuran ke tabel bernama gcc_vector_search_table di set data BigQuery yang dibuat sebelumnya bernama gcc_bqml_dataset.

1. Jalankan kode SQL berikut di BigQuery SQL Editor. Pastikan untuk mengganti placeholder dalam tanda kurung [] dengan kode yang benar (seperti mengganti [PROJECT_ID] dengan Project ID yang ditetapkan untuk lingkungan lab ini).

Create or replace table `[PROJECT_ID].[DATASET_NAME].[SEARCH_RESULTS_TABLE]` AS select base.uri, base.product_name, base.content_type, distance from [VECTOR_SEARCH_FUNCTION](table [DATASET_NAME].[EMBEDDINGS_TABLE_NAME],'ml_generate_embedding_result', ( SELECT ml_generate_embedding_result as embedding_col FROM [EMBEDDINGS_FUNCTION] ( MODEL `[DATASET_NAME].[MODEL_NAME]`, (select 'Men Sweaters' as content), STRUCT(TRUE AS flatten_json_output) ) ), [STATEMENT_TO_SELECT_TOP_2_RESULTS], distance_type => 'COSINE' );

Perluas petunjuk untuk mendapatkan tips bermanfaat.

2. [Langkah opsional] Untuk meninjau hasil penelusuran vektor, perbarui dan jalankan kode berikut:

SELECT * FROM `[PROJECT_ID].[DATASET_NAME].[SEARCH_RESULTS_TABLE]`

Klik Periksa progres saya untuk memverifikasi tujuan. Menjalankan penelusuran vektor.

Selamat!

Selamat, Anda berhasil menerapkan penelusuran vektor multimodal dengan BigQuery. Di lab ini, pertama-tama Anda membuat koneksi ke resource eksternal dan memberikan izin IAM yang sesuai ke akun layanan. Selanjutnya, Anda membuat tabel objek untuk menyimpan metadata gambar. Setelah itu, Anda membuat embedding untuk mengonversi gambar menjadi vektor. Terakhir, Anda menelusuri vektor tersebut dan menemukan produk yang diinginkan.

Sekarang Anda dapat menerapkan proses yang sama untuk menelusuri data multimodal dalam kasus penggunaan Anda sendiri.

Sertifikasi dan pelatihan Google Cloud

...membantu Anda mengoptimalkan teknologi Google Cloud. Kelas kami mencakup keterampilan teknis dan praktik terbaik untuk membantu Anda memahami dengan cepat dan melanjutkan proses pembelajaran. Kami menawarkan pelatihan tingkat dasar hingga lanjutan dengan opsi on demand, live, dan virtual untuk menyesuaikan dengan jadwal Anda yang sibuk. Sertifikasi membantu Anda memvalidasi dan membuktikan keterampilan serta keahlian Anda dalam teknologi Google Cloud.

Manual Terakhir Diperbarui pada 12 Februari 2025

Lab Terakhir Diuji pada 12 Februari 2025

Hak cipta 2025 Google LLC. Semua hak dilindungi undang-undang. Google dan logo Google adalah merek dagang dari Google LLC. Semua nama perusahaan dan produk lain mungkin adalah merek dagang masing-masing perusahaan yang bersangkutan.