GSP1165

Ringkasan

Desain prompt adalah proses pembuatan prompt yang efektif dalam menghasilkan output yang diinginkan dari model bahasa besar (LLM) seperti PaLM. Prompt dapat digunakan untuk membuat teks, menerjemahkan bahasa, menulis berbagai jenis konten kreatif, dan menjawab pertanyaan Anda dengan cara yang informatif.

Untuk memperoleh hasil yang bagus dari prompt Anda, pengguna harus spesifik terkait hal yang diinginkan, menggunakan kata kunci yang relevan dengan output yang ingin dihasilkan, dan memberikan contoh output yang diinginkan untuk membantu PaLM lebih memahami apa yang Anda cari.

Dalam lab ini, Anda akan berperan sebagai analis pemasaran untuk perusahaan properti. Anda perlu membuat prompt yang dapat mengekstrak ringkasan dari deskripsi rumah yang sangat panjang di situs perusahaan Anda untuk membantu pelanggan menemukan rumah yang sesuai dengan kebutuhan spesifik mereka.

Yang akan Anda pelajari

Di lab ini, Anda akan meninjau Vertex AI sebagai Platform AI/ML dan mengeksplorasi cara:

• Mendesain prompt berkualitas baik.
• Berinteraksi dengan PaLM untuk mendapatkan respons yang diinginkan.
• Bersikap cermat saat melihat halusinasi dalam respons.

Kasus penggunaan

Perusahaan Anda tertarik menggunakan model bahasa besar (LLM) untuk menampilkan deskripsi teks singkat terkait rumah kepada pembeli setelah mereka memberikan fitur rumah yang mereka cari.

Anda ditugaskan untuk membuat prompt yang akan meringkas teks dari deskripsi rumah yang sangat panjang di situs properti Anda. Deskripsi rumah disimpan dalam sebuah file di bucket Google Cloud Storage.

Anda memulai dengan menggunakan Model Garden untuk mempelajari berbagai model yang tersedia yang telah dibuat sebelumnya untuk menghemat waktu, dan mengimplementasikan solusi secepatnya.

Fitur Vertex AI yang digunakan dalam lab ini

Model AI generatif

Model AI generatif yang tersedia di Vertex AI, juga disebut sebagai model dasar, dikategorikan berdasarkan jenis konten yang dirancang untuk dihasilkan olehnya. Konten ini mencakup teks dan chat, gambar, kode, dan embedding teks. Tiap model diekspos melalui endpoint penayang yang khusus untuk project Google Cloud Anda, sehingga tidak perlu men-deploy model dasar kecuali jika Anda perlu menyesuaikannya untuk kasus penggunaan tertentu.

Pathways dan Pathways Language Model (PaLM)

Pathways adalah satu model yang dapat menggeneralisasi di seluruh domain dan tugas dengan sangat efisien. Pathways Language Model (PaLM) adalah model Transformer khusus decoder padat yang dilatih dengan sistem Pathways, yang memungkinkan Google melatih satu model secara efisien di beberapa Pod TPU v4. PaLM dievaluasi pada ratusan tugas pemahaman dan pembuatan bahasa, serta memiliki kemampuan yang besar dalam tugas multibahasa dan pembuatan kode sumber.

PaLM 2 adalah model dasar yang menunjang PaLM API. PaLM 2 adalah model bahasa canggih dengan kemampuan multibahasa, logika, dan coding yang lebih baik. Untuk mempelajari PaLM 2 lebih lanjut, baca bagian Memperkenalkan PaLM 2. Notebook ini menunjukkan cara mendesain prompt untuk membuat berbagai macam jenis ringkasan.

Vertex AI Studio

Vertex AI Studio adalah alat konsol Google Cloud untuk membuat prototipe dan menguji model AI generatif dengan cepat. Anda dapat menguji prompt contoh, mendesain prompt Anda sendiri, dan menyesuaikan model dasar untuk menangani tugas yang memenuhi kebutuhan aplikasi Anda. Anda dapat melakukan hal berikut ini:

• Menguji model menggunakan contoh prompt.
• Merancang dan menyimpan prompt Anda sendiri.
• Menyesuaikan model dasar.
• Melakukan konversi antara ucapan dan teks.

Pelajari AI Studio lebih lanjut dalam dokumentasi resmi.

Vertex AI Workbench

Vertex AI Workbench adalah infrastruktur komputasi terkelola sepenuhnya, skalabel, dan siap pakai untuk perusahaan yang menyediakan satu lingkungan bagi data scientist untuk menyelesaikan semua tugas ML mereka, mulai dari eksperimentasi, deployment, hingga pengelolaan dan pemantauan model. Vertex AI Workbench adalah lingkungan berbasis Jupyter yang mencakup berbagai alat dan layanan, seperti notebook Jupyter atau resource komputasi terkelola.

Penyiapan dan persyaratan

Sebelum mengklik tombol Mulai Lab

Baca petunjuk ini. Lab memiliki timer dan Anda tidak dapat menjedanya. Timer, yang dimulai saat Anda mengklik Start Lab, akan menampilkan durasi ketersediaan resource Google Cloud untuk Anda.

Lab praktik ini dapat Anda gunakan untuk melakukan sendiri aktivitas lab di lingkungan cloud sungguhan, bukan di lingkungan demo atau simulasi. Untuk mengakses lab ini, Anda akan diberi kredensial baru yang bersifat sementara dan dapat digunakan untuk login serta mengakses Google Cloud selama durasi lab.

Untuk menyelesaikan lab ini, Anda memerlukan:

• Akses ke browser internet standar (disarankan browser Chrome).

Catatan: Gunakan jendela Samaran atau browser pribadi untuk menjalankan lab ini. Hal ini akan mencegah konflik antara akun pribadi Anda dan akun Siswa yang dapat menyebabkan tagihan ekstra pada akun pribadi Anda.

• Waktu untuk menyelesaikan lab. Ingat, setelah dimulai, lab tidak dapat dijeda.

Catatan: Jika Anda sudah memiliki project atau akun pribadi Google Cloud, jangan menggunakannya untuk lab ini agar terhindar dari tagihan ekstra pada akun Anda.

Cara memulai lab dan login ke Google Cloud Console

1. Klik tombol Start Lab. Jika Anda perlu membayar lab, jendela pop-up akan terbuka untuk memilih metode pembayaran. Di sebelah kiri adalah panel Lab Details dengan berikut ini:

   • Tombol Open Google Console
   • Waktu tersisa
   • Kredensial sementara yang harus Anda gunakan untuk lab ini
   • Informasi lain, jika diperlukan, untuk menyelesaikan lab ini

2. Klik Open Google Console. Lab akan menjalankan resource, lalu membuka tab lain yang menampilkan halaman Login.

   Tips: Atur tab di jendela terpisah secara berdampingan.

   Catatan: Jika Anda melihat dialog Choose an account, klik Use Another Account.

3. Jika perlu, salin Username dari panel Lab Details dan tempel ke dialog Sign in. Klik Next.

4. Salin Password dari panel Lab Details dan tempel ke dialog Welcome. Klik Next.

   Penting: Anda harus menggunakan kredensial dari panel sebelah kiri. Jangan menggunakan kredensial Google Cloud Skills Boost. Catatan: Menggunakan akun Google Cloud sendiri untuk lab ini dapat dikenai biaya tambahan.

5. Klik halaman berikutnya:

   • Setujui persyaratan dan ketentuan.
   • Jangan tambahkan opsi pemulihan atau autentikasi 2 langkah (karena ini akun sementara).
   • Jangan daftar uji coba gratis.

Setelah beberapa saat, Cloud Console akan terbuka di tab ini.

Catatan: Anda dapat melihat menu dengan daftar Produk dan Layanan Google Cloud dengan mengklik Menu navigasi di kiri atas.

Mengaktifkan API

1. Di konsol Google Cloud, dari Navigation menu (), klik More products, lalu dari bagian Artificial Intelligence, pilih Vertex AI .
2. Dari Dasbor Vertex AI, klik Enable all Recommended APIs.

Buka Vertex AI Workbench

1. Di dasbor Vertex AI, klik Workbench di panel kiri.

   Catatan: Anda mungkin harus memperluas lebar jendela browser Anda untuk melihat panel kiri.

2. Klik tab User-managed notebooks.

Tugas 1. Menjawab pertanyaan dengan Model Generatif di Vertex AI

Anda diminta untuk membangun sebuah UI yang memungkinkan calon pelanggan memfilter penawaran properti berdasarkan jawaban mereka.

1. Di tab User-managed notebooks, klik Open JupyterLab di samping nama notebook Anda.

Vertex AI Workbench akan terbuka. Perhatikan file di panel kiri.

2. Tuju dan klik dua kali untuk membuka training-data-analyst/self-paced-labs/genai/housing_question_answering.ipynb.

housing_question_answering.ipynb akan terbuka dan terlihat di panel sebelah kanan.

3. Klik Edit > Clear All Outputs

4. Bacalah secara cermat petunjuk dalam notebook dan jalankan kode di tiap sel.

Untuk menjalankan sel saat ini, klik sel tersebut lalu tekan SHIFT + ENTER. Perintah sel yang lain akan tercantum dalam UI notebook di bagian Run.

Biarkan lingkungan notebook Jupyter Anda terbuka, dan lanjutkan membaca tugas ini. Anda akan kembali ke lingkungan notebook di Tugas 3.

Klik Check my progress untuk memverifikasi tujuan.

Menjalankan sel pada file housing_question_answering.ipynb.

Parameter value

Tiap panggilan yang Anda kirim ke model akan menyertakan parameter value yang mengontrol cara model menghasilkan respons. Model ini akan membuat hasil yang berbeda untuk parameter value yang berbeda. Untuk tugas ini, Anda akan bereksperimen dengan parameter value yang berbeda untuk mendapatkan hasil terbaik untuk tugas tersebut.

Parameter yang tersedia untuk model yang berbeda mungkin akan berbeda pula, tetapi yang paling umum adalah:

• Temperature (suhu)
• Token limit (batas token)
• Top-K
• Top-P

Temperature (suhu)

Suhu akan mengontrol tingkat keacakan dalam pemilihan token, saat Top-K dan Top-P diterapkan. Suhu yang lebih rendah cocok untuk prompt yang memerlukan respons yang lebih determenistik dan kurang terbuka atau kreatif, sedangkan suhu yang lebih tinggi dapat memberikan hasil yang lebih beragam atau kreatif. Suhu 0 bersifat determenistik, yang berarti bahwa respons probabilitas tertinggi akan selalu dipilih.

Untuk sebagian besar kasus penggunaan, cobalah memulai dengan suhu 0.2. Jika model menampilkan respons yang terlalu umum, terlalu pendek, atau model memberikan respons fallback, coba tingkatkan suhunya.

Token limit (batas token)

Batas token menentukan jumlah maksimal output teks dari satu prompt. Token terdiri atas sekitar empat karakter. Nilai defaultnya adalah 256.

Tentukan nilai yang lebih rendah untuk respons yang lebih singkat dan nilai yang lebih tinggi untuk respons yang lebih panjang.

Top-K

Top-K mengubah cara model memilih token untuk output. Top-K 1 berarti token yang dipilih berikutnya adalah yang paling mungkin di antara semua token dalam kosakata model (juga disebut sebagai greedy decoding), sedangkan Top-K 3 berarti token berikutnya dipilih di antara tiga token yang paling mungkin dengan menggunakan suhu.

Untuk tiap langkah pemilihan token, token Top-K dengan probabilitas tertinggi akan diambil sebagai sampel. Kemudian, token akan difilter lebih lanjut berdasarkan Top-P dengan token akhir yang dipilih menggunakan pengambilan sampel suhu.

Tentukan nilai yang lebih rendah untuk respons acak yang lebih sedikit dan nilai yang lebih tinggi untuk respons acak yang lebih banyak. Top-K default adalah 40.

Top-P

Top-P mengubah cara model memilih token untuk output. Token dipilih dari yang paling mungkin (lihat Top-K) hingga yang paling tidak mungkin sampai jumlah probabilitasnya sama dengan nilai Top-P. Misalnya, jika token A, B, dan C memiliki probabilitas 0.3, 0.2, dan 0.1 dengan nilai Top-P adalah 0.5, maka model akan memilih A atau B sebagai token berikutnya dengan menggunakan suhu dan mengecualikan C sebagai kandidat.

Tentukan nilai yang lebih rendah untuk respons acak yang lebih sedikit dan nilai yang lebih tinggi untuk respons acak yang lebih banyak. Top-P default adalah 0.80.

Tugas 2. Parameter value yang berbeda

Anda akan melakukan eksperimen dengan parameter value yang berbeda.

1. Di konsol Google Cloud, dari Navigation menu (), pilih Vertex AI dari bagian Artificial Intelligence.

2. Di panel Tools di sebelah kiri, klik Language dari bagian Generative AI Studio. Selanjutnya, klik Text Prompt di halaman Get Started.

3. Masukkan prompt berikut ini:

Summarize the beginning of Harry Potter for me.

4. Dalam kotak bagian Parameters, ubah Temperature dari 0.9 ke 1. Klik Submit lalu Save. Beri nama prompt Anda lalu simpan. Baca respons untuk melihat bagaimana nilai suhu yang berbeda memengaruhi respons.

5. Di bagian Parameters, ubah Token limit dari 2048 menjadi 1024. Klik Submit lalu Save. Baca respons untuk melihat bagaimana batas token yang berbeda memengaruhi respons.

6. Di bagian Parameters, klik tombol opsi beralih Advanced untuk mengubah nilai Top-K ke 1. Klik Submit lalu Save. Baca respons untuk melihat bagaimana nilai Top-K yang berbeda memengaruhi respons.

7. Di bagian Parameters, ubah nilai Top-P ke 1, lalu klik Submit dan Save. Baca respons untuk melihat bagaimana nilai Top-P yang berbeda memengaruhi respons.

Klik Check my progress untuk memverifikasi tujuan.

Mengubah parameter dan menyimpan respons Anda

Tugas 3. Ringkasan teks dengan model generatif pada Vertex AI

Ekstrak ringkasan rumah dari informasi yang paling penting untuk mempersempit proses pencarian.

1. Di Notebook JupyterLab Anda, klik dua kali untuk membuka housing_text_summarization.ipynb di panel sebelah kiri.

2. Klik Edit > Clear All Outputs.

3. Bacalah secara cermat petunjuk dalam notebook dan jalankan kode di tiap sel.

Jalankan sel pada file housing_text_summarization.ipynb.

Selamat!

Anda telah menggunakan PaLM API dan AI Studio untuk membuat dan bereksperimen dengan prompt untuk berbagai kasus penggunaan AI generatif. Anda juga telah mempelajari UI AI Studio, serta membuat teks dan prompt kode dengan parameter yang berbeda.

Langkah berikutnya/Pelajari lebih lanjut

• Untuk mempelajari desain prompt lebih lanjut, baca dokumentasi resmi.

• Lihat notebook yang digunakan dalam lab ini.

Sertifikasi dan pelatihan Google Cloud

...membantu Anda mengoptimalkan teknologi Google Cloud. Kelas kami mencakup keterampilan teknis dan praktik terbaik untuk membantu Anda memahami dengan cepat dan melanjutkan proses pembelajaran. Kami menawarkan pelatihan tingkat dasar hingga lanjutan dengan opsi on demand, live, dan virtual untuk menyesuaikan dengan jadwal Anda yang sibuk. Sertifikasi membantu Anda memvalidasi dan membuktikan keterampilan serta keahlian Anda dalam teknologi Google Cloud.

Manual Terakhir Diperbarui pada 28 Desember 2023

Lab Terakhir Diuji pada 28 Desember 2023

Hak cipta 2024 Google LLC Semua hak dilindungi undang-undang. Google dan logo Google adalah merek dagang dari Google LLC. Semua nama perusahaan dan produk lain mungkin adalah merek dagang masing-masing perusahaan yang bersangkutan.