GSP691

Ringkasan

Seperti banyak bidang penelitian machine learning lainnya, reinforcement learning (RL) berkembang dengan sangat cepat. Seperti yang telah mereka lakukan di bidang penelitian lainnya, para peneliti memanfaatkan deep learning untuk mencapai hasil yang hebat.

Di lab ini, Anda akan mempelajari dasar-dasar reinforcement learning dengan membuat game sederhana.

Yang akan Anda pelajari

Di lab ini, Anda akan mempelajari cara:

• Memahami konsep dasar reinforcement learning.
• Membuat instance Vertex AI Workbench.
• Membuat clone notebook lab ke dalam instance Vertex AI Workbench.
• Membaca, memahami, dan menjalankan langkah-langkah yang ditemukan di notebook.

Penyiapan dan persyaratan

Sebelum mengklik tombol Start Lab

Baca petunjuk ini. Lab memiliki timer dan Anda tidak dapat menjedanya. Timer yang dimulai saat Anda mengklik Start Lab akan menampilkan durasi ketersediaan resource Google Cloud untuk Anda.

Lab interaktif ini dapat Anda gunakan untuk melakukan aktivitas lab di lingkungan cloud sungguhan, bukan di lingkungan demo atau simulasi. Untuk mengakses lab ini, Anda akan diberi kredensial baru yang bersifat sementara dan dapat digunakan untuk login serta mengakses Google Cloud selama durasi lab.

Untuk menyelesaikan lab ini, Anda memerlukan:

• Akses ke browser internet standar (disarankan browser Chrome).

Catatan: Gunakan jendela Samaran (direkomendasikan) atau browser pribadi untuk menjalankan lab ini. Hal ini akan mencegah konflik antara akun pribadi Anda dan akun siswa yang dapat menyebabkan tagihan ekstra pada akun pribadi Anda.

• Waktu untuk menyelesaikan lab. Ingat, setelah dimulai, lab tidak dapat dijeda.

Catatan: Hanya gunakan akun siswa untuk lab ini. Jika Anda menggunakan akun Google Cloud yang berbeda, Anda mungkin akan dikenai tagihan ke akun tersebut.

Cara memulai lab dan login ke Google Cloud Console

1. Klik tombol Start Lab. Jika Anda perlu membayar lab, dialog akan terbuka untuk memilih metode pembayaran. Di sebelah kiri ada panel Lab Details yang berisi hal-hal berikut:

   • Tombol Open Google Cloud console
   • Waktu tersisa
   • Kredensial sementara yang harus Anda gunakan untuk lab ini
   • Informasi lain, jika diperlukan, untuk menyelesaikan lab ini

2. Klik Open Google Cloud console (atau klik kanan dan pilih Open Link in Incognito Window jika Anda menjalankan browser Chrome).

   Lab akan menjalankan resource, lalu membuka tab lain yang menampilkan halaman Sign in.

   Tips: Atur tab di jendela terpisah secara berdampingan.

   Catatan: Jika Anda melihat dialog Choose an account, klik Use Another Account.

3. Jika perlu, salin Username di bawah dan tempel ke dialog Sign in.

   {{{user_0.username | "Username"}}}

   Anda juga dapat menemukan Username di panel Lab Details.

4. Klik Next.

5. Salin Password di bawah dan tempel ke dialog Welcome.

   {{{user_0.password | "Password"}}}

   Anda juga dapat menemukan Password di panel Lab Details.

6. Klik Next.

   Penting: Anda harus menggunakan kredensial yang diberikan lab. Jangan menggunakan kredensial akun Google Cloud Anda. Catatan: Menggunakan akun Google Cloud sendiri untuk lab ini dapat dikenai biaya tambahan.

7. Klik halaman berikutnya:

   • Setujui persyaratan dan ketentuan.
   • Jangan tambahkan opsi pemulihan atau autentikasi 2 langkah (karena ini akun sementara).
   • Jangan mendaftar uji coba gratis.

Setelah beberapa saat, Konsol Google Cloud akan terbuka di tab ini.

Catatan: Untuk mengakses produk dan layanan Google Cloud, klik Navigation menu atau ketik nama layanan atau produk di kolom Search.

Tugas 1. Reinforcement learning 101

Reinforcement learning (RL) adalah suatu bentuk machine learning di mana agen mengambil tindakan dalam lingkungan untuk memaksimalkan tujuan tertentu (reward) dengan urutan langkah-langkah ini. Tidak seperti teknik pembelajaran tradisional yang diawasi, setiap titik data tidak diberi label dan agen hanya memiliki akses ke reward "sparse".

Meskipun sejarah RL sudah dimulai sejak tahun 1950-an dan ada berbagai macam algoritma RL, ada dua algoritma RL yang mudah diterapkan tetapi andal yang mulai banyak diminati akhir-akhir ini: deep Q-network (DQN) dan deep deterministic policy gradient (DDPG). Kami memperkenalkan algoritma dan varian berdasarkan pada algoritma tersebut secara singkat di bagian ini.

Diagram proses konseptual masalah Reinforcement Learning

Jaringan deep Q (DQN) diperkenalkan oleh grup Google DeepMind dalam makalah Nature ini pada tahun 2015. Didorong oleh keberhasilan deep learning di bidang pengenalan citra, penulis memasukkan deep neural network ke dalam Q-Learning dan menguji algoritma mereka di Atari Game Engine Simulator, yang memiliki dimensi ruang observasi yang sangat besar.

Deep neural network bertindak sebagai aproksimator fungsi yang memprediksi output Q-value, atau keinginan untuk mengambil suatu tindakan, dengan status input tertentu. Oleh sebab itu, DQN adalah metode berbasis nilai: dalam algoritma pelatihan, DQN mengupdate Q-value menurut persamaan Bellman, dan untuk menghindari kesulitan dalam melakukan fitting dengan target bergerak, DQN menggunakan deep neural network kedua yang berfungsi sebagai estimasi nilai target.

Pada praktiknya, model berikut menyoroti file sumber, perintah shell, dan endpoint untuk menjalankan tugas RL di Google Cloud:

Tugas 2. Membuat instance Vertex AI Workbench

1. Di Konsol Google Cloud, dari Navigation menu (), pilih Vertex AI.

2. Klik Enable All Recommended APIs.

3. Di sebelah kiri, klik Workbench.

4. Di bagian atas halaman Workbench, pastikan Anda berada di tampilan Instances.

5. Klik Create New.

6. Mengonfigurasi Instance:

   • Name: lab-workbench
   • Region: Tetapkan region ke
   • Zone: Tetapkan zona ke
   • Advanced Options (Opsional): Jika diperlukan, klik "Advanced Options" untuk melakukan penyesuaian lebih lanjut (misalnya, jenis mesin, ukuran disk)

7. Klik Create.

Catatan: Pembuatan instance akan memerlukan waktu beberapa menit. Tanda centang hijau akan muncul di samping namanya saat sudah siap.

8. Klik Open JupyterLab di samping nama instance untuk meluncurkan antarmuka JupyterLab. Tindakan ini akan membuka tab baru di browser.

9. Klik ikon Terminal untuk membuka jendela terminal.

Jendela terminal akan terbuka di tab baru. Sekarang Anda dapat menjalankan perintah di terminal untuk berinteraksi dengan instance Workbench.

Klik Periksa progres saya untuk memverifikasi tujuan. Membuat instance Vertex AI Workbench

Tugas 3. Menyalin kode contoh

1. Salin dan jalankan kode berikut di terminal untuk menyalin file notebook .

gcloud storage cp -r gs://{{{project_0.project_id|project_id}}}-labconfig-bucket/* .

2. Dari menu sebelah kiri, pilih early_rl > . Tindakan ini akan membuka tab baru.

Klik Periksa progres saya untuk memverifikasi tujuan. Menyalin kode contoh

Tugas 4. Menjalankan kode melalui notebook

Catatan: Pastikan untuk memilih kernel Python 3 di notebook.

Tab baru Anda akan terlihat seperti berikut:

1. Baca notebook berikut dan jalankan semua blok kode dengan menekan Shift + Enter.

2. Kembali ke sini setelah menyelesaikan petunjuk di notebook.

Selamat!

Di lab ini Anda mempelajari prinsip-prinsip dasar reinforcement learning (RL). Setelah membuat instance Jupyterlab, Anda meng-clone repositori sampel dan menjalankan notebook yang Anda gunakan untuk menerima praktik langsung dengan dasar-dasar reinforcement learning. Anda kini siap mengikuti lab lainnya dalam seri ini.

Sertifikasi dan pelatihan Google Cloud

...membantu Anda mengoptimalkan teknologi Google Cloud. Kelas kami mencakup keterampilan teknis dan praktik terbaik untuk membantu Anda memahami dengan cepat dan melanjutkan proses pembelajaran. Kami menawarkan pelatihan tingkat dasar hingga lanjutan dengan opsi on demand, live, dan virtual untuk menyesuaikan dengan jadwal Anda yang sibuk. Sertifikasi membantu Anda memvalidasi dan membuktikan keterampilan serta keahlian Anda dalam teknologi Google Cloud.

Manual Terakhir Diperbarui pada 11 Juli 2025

Lab Terakhir Diuji pada 11 Juli 2025

Hak cipta 2025 Google LLC. Semua hak dilindungi undang-undang. Google dan logo Google adalah merek dagang dari Google LLC. Semua nama perusahaan dan produk lain mungkin adalah merek dagang masing-masing perusahaan yang bersangkutan.