GSP691

Opis

Uczenie przez wzmacnianie (reinforcement learning, RL) to jedna z najszybciej rozwijających się obecnie dziedzin badań nad uczeniem maszynowym. We wszystkich tych dziedzinach badacze dokonują przełomowych odkryć, wykorzystując deep learning.

W tym module poznasz podstawy uczenia przez wzmacnianie, budując prostą grę.

Czego się nauczysz

W tym module:

• Zapoznasz się z podstawowymi pojęciami dotyczącymi uczenia przez wzmacnianie.
• Nauczysz się tworzyć instancje Vertex AI Workbench.
• Dowiesz się, jak sklonować notatnik modułu do instancji Vertex AI Workbench.
• Przeczytasz, zrozumiesz i wykonasz czynności opisane w notatniku.

Konfiguracja i wymagania

Zanim klikniesz przycisk Rozpocznij moduł

Zapoznaj się z tymi instrukcjami. Moduły mają limit czasowy i nie można ich zatrzymać. Gdy klikniesz Rozpocznij moduł, na liczniku wyświetli się informacja o tym, na jak długo udostępniamy Ci zasoby Google Cloud.

W tym praktycznym module możesz spróbować swoich sił w wykonywaniu opisywanych działań w prawdziwym środowisku chmury, a nie w jego symulacji lub wersji demonstracyjnej. Otrzymasz nowe, tymczasowe dane logowania, dzięki którym zalogujesz się i uzyskasz dostęp do Google Cloud na czas trwania modułu.

Do ukończenia modułu potrzebne będą:

• Dostęp do standardowej przeglądarki internetowej (zalecamy korzystanie z przeglądarki Chrome).

Uwaga: uruchom ten moduł w oknie incognito (zalecane) lub przeglądania prywatnego. Dzięki temu unikniesz konfliktu między swoim kontem osobistym a kontem do nauki, co mogłoby spowodować naliczanie dodatkowych opłat na koncie osobistym.

• Odpowiednia ilość czasu na ukończenie modułu – pamiętaj, że gdy rozpoczniesz, nie możesz go wstrzymać.

Uwaga: w tym module używaj tylko konta do nauki. Jeśli użyjesz innego konta Google Cloud, mogą na nim zostać naliczone opłaty.

Rozpoczynanie modułu i logowanie się w konsoli Google Cloud

1. Kliknij przycisk Rozpocznij moduł. Jeśli moduł jest odpłatny, otworzy się okno, w którym możesz wybrać formę płatności. Po lewej stronie znajduje się panel Szczegóły modułu z następującymi elementami:

   • przyciskiem Otwórz konsolę Google Cloud;
   • czasem, który Ci pozostał;
   • tymczasowymi danymi logowania, których musisz użyć w tym module;
   • innymi informacjami potrzebnymi do ukończenia modułu.

2. Kliknij Otwórz konsolę Google Cloud (lub kliknij prawym przyciskiem myszy i wybierz Otwórz link w oknie incognito, jeśli korzystasz z przeglądarki Chrome).

   Moduł uruchomi zasoby, po czym otworzy nową kartę ze stroną logowania.

   Wskazówka: otwórz karty obok siebie w osobnych oknach.

   Uwaga: jeśli pojawi się okno Wybierz konto, kliknij Użyj innego konta.

3. W razie potrzeby skopiuj nazwę użytkownika znajdującą się poniżej i wklej ją w oknie logowania.

   {{{user_0.username | "Username"}}}

   Nazwę użytkownika znajdziesz też w panelu Szczegóły modułu.

4. Kliknij Dalej.

5. Skopiuj podane niżej hasło i wklej je w oknie powitania.

   {{{user_0.password | "Password"}}}

   Hasło znajdziesz też w panelu Szczegóły modułu.

6. Kliknij Dalej.

   Ważne: musisz użyć danych logowania podanych w module. Nie używaj danych logowania na swoje konto Google Cloud. Uwaga: korzystanie z własnego konta Google Cloud w tym module może wiązać się z dodatkowymi opłatami.

7. Na kolejnych stronach wykonaj następujące czynności:

   • Zaakceptuj Warunki korzystania z usługi.
   • Nie dodawaj opcji odzyskiwania ani uwierzytelniania dwuskładnikowego (ponieważ konto ma charakter tymczasowy).
   • Nie rejestruj się w bezpłatnych wersjach próbnych.

Poczekaj, aż na karcie otworzy się konsola Google Cloud.

Uwaga: aby uzyskać dostęp do produktów i usług Google Cloud, kliknij Menu nawigacyjne lub wpisz nazwę usługi albo produktu w polu Szukaj.

Zadanie 1. Podstawy uczenia przez wzmacnianie

Uczenie przez wzmacnianie to rodzaj technik uczenia maszynowego, w których agent podejmuje w środowisku działania prowadzące do zmaksymalizowania danego celu (uzyskania nagrody), wykonując określoną sekwencję kroków. W przeciwieństwie do bardziej tradycyjnych technik uczenia nadzorowanego tutaj poszczególne punkty danych nie mają etykiet, a agent ma dostęp tylko do „rozproszonych” nagród.

Początki uczenia przez wzmacnianie sięgają lat 50. XX wieku. Istnieje dużo algorytmów dla tej techniki, ale szczególną popularność zyskały obecnie 2 z nich: sieć deep-Q (deep Q-network, DQN) oraz deep deterministic policy gradient (DDPG). Oba są łatwe do wdrożenia, a jednocześnie oferują bardzo duże możliwości. W tej sekcji przedstawimy w skrócie te algorytmy i ich warianty.

Ogólny schemat procesu uczenia przez wzmacnianie

Algorytm sieci Deep Q (DQN) został zaprezentowany w 2015 roku przez grupę Google DeepMind w tym artykule w czasopiśmie „Nature”. Zachęceni wynikami zastosowania deep learningu w dziedzinie rozpoznawania obrazów autorzy wykorzystali głęboką sieć neuronową w algorytmie Q-Learning i przetestowali swój algorytm w symulatorze mechanizmu gier Atari, w którym liczba wymiarów przestrzeni obserwacji jest bardzo duża.

Głęboka sieć neuronowa działa jak aproksymator funkcji, który prognozuje wynikowe wartości Q lub celowość podjęcia działania w danym stanie wejściowym. DQN jest metodą opartą na wartościach: w algorytmie treningowym DQN aktualizuje wartości Q zgodnie z równaniem Bellmana, a w celu uniknięcia problemów z trafieniem w ruchomy cel wykorzystywana jest druga głęboka sieć neuronowa, która szacuje wartości docelowe.

Model poniżej przedstawia praktyczne informacje o plikach źródłowych, poleceniu powłoki i punkcie końcowym, które są potrzebne do uruchomienia zadania uczenia przez wzmacnianie w Google Cloud:

Zadanie 2. Tworzenie instancji Vertex AI Workbench

1. W Menu nawigacyjnym konsoli Google Cloud () wybierz Vertex AI.

2. Kliknij Włącz wszystkie zalecane interfejsy API.

3. Po lewej stronie kliknij Workbench.

4. U góry strony Workbench sprawdź, czy włączony jest widok Instancje.

5. Kliknij  Utwórz nową.

6. Skonfiguruj instancję:

   • Nazwa: lab-workbench.
   • Region: ustaw region na .
   • Strefa: ustaw strefę na .
   • Opcje zaawansowane (opcjonalnie): w razie potrzeby kliknij „Opcje zaawansowane”, aby dodatkowo dostosować instancję (np. typ maszyny, rozmiar dysku).

7. Kliknij Utwórz.

Uwaga: utworzenie instancji zajmie kilka minut. Gdy będzie gotowa, obok jej nazwy pojawi się zielony znacznik wyboru.

8. Kliknij Otwórz JupyterLab obok nazwy instancji, aby uruchomić interfejs JupyterLab. Otworzy się nowa karta przeglądarki.

9. Kliknij ikonę Terminal, aby otworzyć okno terminala.

Okno terminala otworzy się w nowej karcie. Możesz teraz uruchamiać polecenia w terminalu, aby używać instancji Workbench.

Kliknij Sprawdź postępy, aby zobaczyć, jak Ci poszło. Utworzenie instancji Vertex AI Workbench

Zadanie 3. Kopiowanie przykładowego kodu

1. Aby skopiować plik notatnika , skopiuj do terminala ten kod i go uruchom.

gcloud storage cp -r gs://{{{project_0.project_id|project_id}}}-labconfig-bucket/* .

2. W menu po lewej stronie wybierz early_rl > . Otworzy się nowa karta.

Kliknij Sprawdź postępy, aby zobaczyć, jak Ci poszło. Skopiowanie przykładowego kodu

Zadanie 4. Uruchamianie notatnika

Uwaga: w notatniku wybierz jądro Python 3.

Twoja nowa karta powinna wyglądać podobnie do tej:

1. Przeczytaj ten notatnik i uruchom wszystkie bloki kodu, naciskając kombinację klawiszy SHIFT + ENTER.

2. Po wykonaniu instrukcji zawartych w notatniku wróć tutaj.

Gratulacje!

W tym module przedstawiliśmy podstawowe informacje o technikach uczenia przez wzmacnianie. Po utworzeniu instancji JupyterLab sklonowałeś(-aś) przykładowe repozytorium i uruchomiłeś(-aś) notatnik zawierający praktyczne ćwiczenia z podstaw uczenia przez wzmacnianie. Możesz teraz przejść do kolejnych modułów z tej serii.

Szkolenia i certyfikaty Google Cloud

…pomogą Ci wykorzystać wszystkie możliwości technologii Google Cloud. Nasze zajęcia obejmują umiejętności techniczne oraz sprawdzone metody, które ułatwią Ci szybką naukę i umożliwią jej kontynuację. Oferujemy szkolenia na poziomach od podstawowego po zaawansowany prowadzone w trybach wirtualnym, na żądanie i na żywo, dzięki czemu możesz dopasować program szkoleń do swojego napiętego harmonogramu. Certyfikaty umożliwią udokumentowanie i potwierdzenie Twoich umiejętności oraz doświadczenia w zakresie technologii Google Cloud.

Ostatnia aktualizacja instrukcji: 11 lipca 2025 r.

Ostatni test modułu: 11 lipca 2025 r.

Copyright 2025 Google LLC. Wszelkie prawa zastrzeżone. Google i logo Google są znakami towarowymi Google LLC. Wszelkie inne nazwy firm i produktów mogą być znakami towarowymi odpowiednich podmiotów, z którymi są powiązane.