GSP1154

Ringkasan

Vertex AI adalah platform pengembangan machine learning komprehensif yang memberikan kemampuan prediktif dan AI generatif. Di platform ini, Anda dapat melatih, mengevaluasi, dan men-deploy model machine learning prediktif untuk tujuan perkiraan. Selain itu, Anda dapat memanfaatkan platform ini untuk menemukan, menyesuaikan, dan menyajikan model AI generatif untuk memproduksi konten.

Vertex AI Studio dapat Anda gunakan untuk menguji dan menyesuaikan model AI generatif dengan cepat, sehingga Anda dapat memanfaatkan kemampuannya dalam aplikasi Anda. Platform ini menyediakan berbagai alat dan resource, termasuk UI (antarmuka pengguna) dan contoh coding yang memudahkan Anda untuk mulai menggunakan AI generatif, meskipun Anda tidak memiliki latar belakang di bidang machine learning.

Lab interaktif ini memandu Anda memahami Vertex AI Studio. Di sini, Anda akan menemukan potensi model AI generatif yang canggih. Anda akan mempelajari multimodal Gemini dan menggunakannya untuk menganalisis gambar, mendesain perintah, serta membuat percakapan langsung di konsol Google Cloud. Tidak memerlukan API atau SDK Python - semuanya dapat diakses melalui antarmuka pengguna yang intuitif.

Tujuan

Di lab ini, Anda akan melakukan tugas berikut:

• Menganalisis gambar dengan multimodal Gemini.
• Mempelajari kemampuan multimodal.
• Mendesain perintah dengan mode bentuk bebas dan terstruktur.
• Membuat percakapan.

Penyiapan dan persyaratan

Sebelum mengklik tombol Mulai Lab

Baca petunjuk ini. Lab memiliki timer dan Anda tidak dapat menjedanya. Timer, yang dimulai saat Anda mengklik Start Lab, akan menampilkan durasi ketersediaan resource Google Cloud untuk Anda.

Lab praktik ini dapat Anda gunakan untuk melakukan sendiri aktivitas lab di lingkungan cloud sungguhan, bukan di lingkungan demo atau simulasi. Untuk mengakses lab ini, Anda akan diberi kredensial baru yang bersifat sementara dan dapat digunakan untuk login serta mengakses Google Cloud selama durasi lab.

Untuk menyelesaikan lab ini, Anda memerlukan:

• Akses ke browser internet standar (disarankan browser Chrome).

Catatan: Gunakan jendela Samaran atau browser pribadi untuk menjalankan lab ini. Hal ini akan mencegah konflik antara akun pribadi Anda dan akun Siswa yang dapat menyebabkan tagihan ekstra pada akun pribadi Anda.

• Waktu untuk menyelesaikan lab. Ingat, setelah dimulai, lab tidak dapat dijeda.

Catatan: Jika Anda sudah memiliki project atau akun pribadi Google Cloud, jangan menggunakannya untuk lab ini agar terhindar dari tagihan ekstra pada akun Anda.

Cara memulai lab dan login ke Google Cloud Console

1. Klik tombol Start Lab. Jika Anda perlu membayar lab, jendela pop-up akan terbuka untuk memilih metode pembayaran. Di sebelah kiri adalah panel Lab Details dengan berikut ini:

   • Tombol Open Google Console
   • Waktu tersisa
   • Kredensial sementara yang harus Anda gunakan untuk lab ini
   • Informasi lain, jika diperlukan, untuk menyelesaikan lab ini

2. Klik Open Google Console. Lab akan menjalankan resource, lalu membuka tab lain yang menampilkan halaman Login.

   Tips: Atur tab di jendela terpisah secara berdampingan.

   Catatan: Jika Anda melihat dialog Choose an account, klik Use Another Account.

3. Jika perlu, salin Username dari panel Lab Details dan tempel ke dialog Sign in. Klik Next.

4. Salin Password dari panel Lab Details dan tempel ke dialog Welcome. Klik Next.

   Penting: Anda harus menggunakan kredensial dari panel sebelah kiri. Jangan menggunakan kredensial Google Cloud Skills Boost. Catatan: Menggunakan akun Google Cloud sendiri untuk lab ini dapat dikenai biaya tambahan.

5. Klik halaman berikutnya:

   • Setujui persyaratan dan ketentuan.
   • Jangan tambahkan opsi pemulihan atau autentikasi 2 langkah (karena ini akun sementara).
   • Jangan daftar uji coba gratis.

Setelah beberapa saat, Cloud Console akan terbuka di tab ini.

Catatan: Anda dapat melihat menu dengan daftar Produk dan Layanan Google Cloud dengan mengklik Menu navigasi di kiri atas.

Mengaktifkan Vertex AI API

1. Di Konsol Google Cloud, masukkan Vertex AI API di kotak penelusuran atas.

2. Klik hasil untuk Vertex AI API di bagian Marketplace & API.

3. Klik Enable.

Klik Check my progress untuk memverifikasi tujuan.

Mengaktifkan Vertex AI API

Tugas 1. Menganalisis gambar dengan multimodal Gemini

1. Di konsol Google Cloud, buka Navigation menu ()>Artificial Intelligence > Vertex AI> Vertex AI Studio > Overview.

Catatan: Jika Anda tidak dapat menemukan Vertex AI di Navigation menu, klik dropdown More Products.

Anda akan menemukan empat fitur: Multimodal, Language, Vision, dan Speech. Anda akan berfokus pada dua langkah pertama di lab ini.

2. Di bagian Multimodal powered by Gemini, klik Try Gemini.

Catatan: UI ini berisi tiga bagian utama:

Prompt (terletak di bagian atas): Di sini, Anda dapat membuat tugas yang menggunakan kemampuan multimodal.

Configuration (terletak di sebelah kanan): Melalui bagian ini, Anda dapat memilih model, mengonfigurasi parameter, dan mendapatkan kode yang sesuai.

Response (terletak di bagian bawah): Bagian ini menampilkan hasil tugas Anda.

3. Namai perintah Anda sebagai Analisis gambar.

4. Download gambar contoh. Klik kanan gambar jadwal, lalu simpan ke desktop Anda.

5. Buat judul untuk gambar. Klik Insert media > Upload from compute di kanan atas dan upload gambar jadwal. Media dapat berupa gambar atau video. Salin teks berikut, lalu klik Submit.

Title the image.

Atau, lebih spesifik lagi:

Title the image in 3 words.

Apakah judulnya sesuai harapan Anda? Coba ubah perintah untuk melihat apakah Anda akan mendapatkan hasil yang berbeda atau tidak.

6. Jelaskan gambar tersebut. Ganti perintah sebelumnya dengan perintah berikut, lalu klik Submit.

Describe the image in detail.

7. Sesuaikan parameternya. Sesuaikan suhu dengan menggulir dari kiri (0) ke kanan (1). Kirim ulang perintah untuk mengamati perubahan pada hasil jika dibandingkan dengan hasil sebelumnya.

Catatan: Suhu mengontrol tingkat keacakan dalam pemilihan token. Suhu yang lebih rendah cocok untuk perintah yang mengharapkan respons benar, sementara suhu yang lebih tinggi dapat memberikan hasil yang lebih beragam atau tidak terduga. Dengan suhu 0, token probabilitas tertinggi selalu dipilih.

8. Ekstrak teks dari gambar. Ganti perintah sebelumnya dengan perintah berikut:

Read the text in the image.

Selanjutnya, jika Anda ingin memformat output menjadi daftar, ganti perintah sebelumnya dengan perintah berikut:

Parse the time and city in this image into a list with two columns: time and city.

Giliran Anda - coba tulis beberapa perintah yang berbeda. Apa perbedaan hasil ini dari sebelumnya?

9. Analisis informasi pada gambar. Ganti perintah sebelumnya dengan perintah berikut:

Calculate the percentage of the flights to different continents.

Apakah hasilnya sesuai harapan Anda? Anda sangat dianjurkan untuk mencoba perintah yang berbeda-beda untuk berbagai tugas. Anda juga dianjurkan untuk bereksperimen dengan berbagai setelan suhu untuk mengamati perubahan pada hasilnya.

10. Simpan perintah. Setelah Anda menyelesaikan desain perintah, simpan perintah tersebut dengan mengklik Save di kanan atas, lalu konfirmasi Save. Untuk menemukan perintah yang tersimpan, buka Multimodal>My prompts.

Klik Check my progress untuk memverifikasi tujuan.

Mengekstrak konten gambar.

Tugas 2. Mempelajari kemampuan multimodal

Selain gambar dan teks, multimodal Gemini mampu menerima video sebagai input dan menghasilkan teks sebagai output. Sebaiknya Anda mencobanya sendiri dengan mengupload video singkat dan bereksperimen dengan berbagai perintah. Untuk video sampel, Anda dapat menggunakan gs://spls/gsp154/video/train.mp4 (pratinjau).

Multimodal yang didukung oleh Gemini menawarkan banyak kemampuan seperti menulis cerita dari gambar, menganalisis video, dan membuat iklan multimedia. Pelajari kasus penggunaan multimodal lainnya dengan mengklik Multimodal>Sample Prompts. Baca informasi selengkapnya tentang mendesain perintah multimodal.

Tugas 3. Membuat perintah dengan mode bentuk bebas dan terstruktur

1. Di menu Vertex AI, untuk halaman Vertex AI Studio > overview, klik Open untuk Language Powered by Gemini.

Membuat perintah

Create Prompt dapat Anda gunakan untuk mendesain perintah untuk tugas-tugas yang relevan dengan kasus penggunaan bisnis Anda, termasuk pembuatan kode.

Klik tombol Text Prompt seperti yang ditunjukkan dalam gambar di bawah ini. UI-nya mungkin sedikit berbeda dari screenshot ini.

Anda dapat mengarahkan kursor atau mengklik tombol ? di sisi kanan halaman untuk mempelajari lebih lanjut tiap bidang dan parameter, seperti Temperature dan Token limit.

Desain perintah

Anda dapat memasukkan teks input yang diinginkan, misalnya pertanyaan, ke model. Model ini lalu akan memberikan respons berdasarkan cara Anda menyusun prompt. Proses mencari tahu dan merancang teks input (prompt) terbaik untuk mendapatkan respons yang diinginkan dari model disebut Prompt Design.

Saat ini belum ada cara terbaik untuk mendesain perintah. Ada 3 metode yang dapat Anda gunakan untuk membentuk respons model:

• Zero-shot prompting - Ini adalah metode saat LLM hanya diberi perintah yang menjelaskan tugas dan tidak ada data tambahan. Misalnya, jika Anda ingin LLM menjawab pertanyaan, Anda cukup memberi perintah "apa desain perintah?".
• One-shot prompting - Dalam metode ini, LLM diberi satu contoh tugas yang diminta untuk dijalankannya. Misalnya, jika Anda ingin LLM menulis puisi, Anda dapat memberikan satu contoh puisi.
• Few-shot prompting - Ini adalah metode saat LLM diberi sejumlah kecil contoh tugas yang diminta untuk dijalankannya. Misalnya, jika Anda ingin LLM menulis artikel berita, Anda dapat memberikan beberapa artikel berita untuk dibaca.

Anda mungkin memperhatikan adanya tab FREE-FORM dan STRUCTURED. Keduanya adalah mode yang dapat Anda gunakan saat mendesain perintah.

• FREE-FORM - Mode ini memberikan pendekatan yang bebas dan mudah untuk mendesain prompt. Mode ini cocok untuk prompt kecil dan eksperimental tanpa contoh tambahan. Anda akan menggunakan mode ini untuk mempelajari metode zero-shot prompting.
• STRUCTURED - Mode ini memberikan pendekatan template yang mudah digunakan untuk mendesain prompt. Konteks dan sejumlah contoh dapat ditambahkan ke prompt dalam mode ini. Hal ini khususnya berguna untuk metode one-shot dan few-shot prompting, yang akan Anda pelajari nanti.

---

Mode FREE-FORM

Coba metode zero-shot prompting dalam mode FREE-FORM.

1. Salin teks berikut ke kolom input perintah. Gunakan setelan model default saat ini, yaitu gemini-1.0-pro-002. Catatan: Nama model dapat berubah seiring dengan dirilisnya model baru.

What is a prompt gallery?

2. Klik tombol SUBMIT di bagian kanan halaman.

Model ini akan merespons dengan memberikan definisi lengkap dari istilah prompt gallery.

Berikut beberapa latihan eksplorasi yang dapat dilakukan.

• ubah parameter Token limit ke 1, lalu klik tombol SUBMIT
• ubah parameter Token limit ke 1024, lalu klik tombol SUBMIT
• ubah parameter Temperature ke 0.5, lalu klik tombol SUBMIT
• ubah parameter Temperature ke 1.0, lalu klik tombol SUBMIT

Periksa perubahan respons jika parameternya diubah.

---

Mode STRUCTURED

Dengan mode STRUCTURED, Anda dapat mendesain perintah dengan cara yang lebih teratur. Anda dapat memberikan konteks dan contoh masing-masing pada kolom input Context dan Examples. Dengan demikian, Anda dapat mempelajari metode one-shot dan few-shot prompting.

Pada bagian ini, Anda akan meminta model untuk melengkapi sebuah kalimat.

1. Kembali ke jendela Text Prompt.
2. Di bagian atas halaman, klik tab STRUCTURED.
3. Hapus teks apa pun dari Context
4. Pada kolom Test, salin teks berikut ke kolom INPUT.

the color of the sky is Catatan: Anda mungkin ingin mengubah kata "color" menjadi "colour" jika itu adalah ejaan yang benar di negara Anda.

5. Klik tombol SUBMIT di bagian kanan halaman.

Model tersebut tidak melengkapi kalimat, melainkan memberikan kalimat lengkap sebagai respons. Ini tidak sesuai dengan keinginan Anda. Cobalah untuk memengaruhi respons model dengan metode one-shot prompting. Kali ini, tambahkan contoh untuk digunakan model sebagai dasar bagi output-nya.

Di kolom Examples, lakukan hal berikut:

1. Tambahkan ini ke kolom INPUT:

the color of grass is

2. Tambahkan ini ke kolom OUTPUT:

the color of the grass is green

3. Klik tombol SUBMIT di bagian kanan halaman.

Anda telah berhasil memengaruhi cara model menghasilkan respons.

---

Di latihan berikutnya, Anda akan menggunakan model ini untuk melakukan analisis sentimen pada kalimat, seperti menentukan apakah ulasan suatu film itu positif atau negatif.

1. Kembali ke jendela Text Prompt.
2. Di kolom Examples, hapus teks sebelumnya untuk INPUT dan OUTPUT untuk green grass.
3. Di kolom Test, salin prompt berikut ke kolom INPUT.

It was a time well spent!

4. Klik tombol SUBMIT di bagian kanan halaman.

Model tidak memiliki cukup informasi untuk mengetahui bahwa Anda memintanya untuk melakukan analisis sentimen. Hal ini dapat diperbaiki dengan memberi beberapa contoh hal yang Anda inginkan kepada model.

Coba tambahkan contoh-contoh seperti yang ditunjukkan dalam gambar di bawah ini:

INPUT	OUTPUT
A well-made and entertaining film	positive
I fell asleep after 10 minutes	negative
The movie was ok	neutral

Lalu klik tombol SUBMIT di bagian kanan halaman.

Model sekarang memberikan sentimen untuk teks input tersebut. Untuk teks It was a time well spent!, sentimennya diberi label positive.

Anda juga dapat menyimpan perintah yang baru didesain tersebut. Untuk menyimpan perintah, beri nama perintah sesuka Anda, misalnyauji analisis sentimen, lalu klik Save, kemudian pilih region lab Anda. Klik SAVE

(Jika Anda menemukan error saat menyimpan, klik Retry )

Perintah yang disimpan akan muncul di tab MY PROMPTS.

---

Klik Check my progress untuk memverifikasi tujuan.

Membuat perintah dengan teks

Tugas 4. Membuat percakapan

Create Chat Prompt dapat Anda gunakan untuk melakukan chat bentuk bebas dengan model, yang melacak apa yang sebelumnya dikatakan dan merespons berdasarkan konteks.

1. Kembali ke halaman Language.
2. Klik tombol TEXT CHAT untuk membuat prompt chat baru.

3. Di bagian Model, pilih chat-bison (latest). Anda akan melihat halaman perintah chat baru.

Untuk bagian ini, Anda akan menambahkan konteks ke chat dan membiarkan model merespons berdasarkan konteks yang diberikan.

4. Lalu tambahkan konteks berikut ke kolom Context.

Your name is Roy. You are a support technician of an IT department. You only respond with "Have you tried turning it off and on again?" to any queries.

5. Salin teks berikut ke kotak chat di bawah Responses.

My computer is so slow

6. Tekan tombol Enter atau klik Send message (tombol panah kanan).

Model ini akan mempertimbangkan konteks tambahan yang diberikan dan menjawab pertanyaan sesuai batasan.

7. Beri nama perintah sesuai keinginan Anda, klik tombol Save, lalu pilih region lab Anda. Klik SAVE

Klik Check my progress untuk memverifikasi tujuan.

Membuat percakapan dengan perintah chat

Selamat!

Anda telah mempelajari cara menganalisis gambar dengan multimodal, mempelajari kemampuan multimodal, membuat dan menguji perintah, serta menghasilkan percakapan. Anda telah mengambil langkah pertama untuk memulai perjalanan Anda menggunakan multimodal Vertex AI Studio dan Gemini.

Sertifikasi dan pelatihan Google Cloud

...membantu Anda mengoptimalkan teknologi Google Cloud. Kelas kami mencakup keterampilan teknis dan praktik terbaik untuk membantu Anda memahami dengan cepat dan melanjutkan proses pembelajaran. Kami menawarkan pelatihan tingkat dasar hingga lanjutan dengan opsi on demand, live, dan virtual untuk menyesuaikan dengan jadwal Anda yang sibuk. Sertifikasi membantu Anda memvalidasi dan membuktikan keterampilan serta keahlian Anda dalam teknologi Google Cloud.

Manual Terakhir Diperbarui pada 17 April 2024

Lab Terakhir Diuji pada 17 April 2024

Hak cipta 2024 Google LLC Semua hak dilindungi undang-undang. Google dan logo Google adalah merek dagang dari Google LLC. Semua nama perusahaan dan produk lain mungkin adalah merek dagang masing-masing perusahaan yang bersangkutan.