GSP691

Panoramica

Come tanti altri ambiti di ricerca del machine learning, il reinforcement learning (RL) si sta evolvendo molto rapidamente. I ricercatori stanno ricorrendo al deep learning per raggiungere risultati all'avanguardia, proprio come hanno fatto in altri ambiti di ricerca.

In questo lab imparerai le nozioni fondamentali del reinforcement learning, creando un gioco semplice.

Obiettivi didattici

In questo lab imparerai a:

• Comprendere i concetti fondamentali del reinforcement learning.
• Creare un'istanza di Vertex AI Workbench.
• Clonare il notebook del lab nell'istanza di Vertex AI Workbench.
• Leggere, comprendere ed eseguire i passaggi indicati nel notebook.

Configurazione e requisiti

Prima di fare clic sul pulsante Avvia lab

Leggi le seguenti istruzioni. I lab sono a tempo e non possono essere messi in pausa. Il timer si avvia quando fai clic su Inizia il lab e ti mostra per quanto tempo avrai a disposizione le risorse Google Cloud.

Con questo lab pratico avrai la possibilità di completare le attività in un ambiente cloud reale e non di simulazione o demo. Riceverai delle nuove credenziali temporanee che potrai utilizzare per accedere a Google Cloud per la durata del lab.

Per completare il lab, avrai bisogno di:

• Accesso a un browser internet standard (Chrome è il browser consigliato).

Nota: per eseguire questo lab, utilizza una finestra del browser in modalità di navigazione in incognito (consigliata) o privata. Ciò evita conflitti tra il tuo account personale e l'account studente, che potrebbero causare addebiti aggiuntivi sul tuo account personale.

• È ora di completare il lab: ricorda che, una volta iniziato, non puoi metterlo in pausa.

Nota: utilizza solo l'account studente per questo lab. Se utilizzi un altro account Google Cloud, potrebbero essere addebitati costi su quell'account.

Come avviare il lab e accedere alla console Google Cloud

1. Fai clic sul pulsante Avvia lab. Se devi effettuare il pagamento per il lab, si aprirà una finestra di dialogo per permetterti di selezionare il metodo di pagamento. A sinistra, trovi il riquadro Dettagli lab con le seguenti informazioni:

   • Il pulsante Apri la console Google Cloud
   • Tempo rimanente
   • Credenziali temporanee da utilizzare per il lab
   • Altre informazioni per seguire questo lab, se necessario

2. Fai clic su Apri console Google Cloud (o fai clic con il tasto destro del mouse e seleziona Apri link in finestra di navigazione in incognito se utilizzi il browser Chrome).

   Il lab avvia le risorse e apre un'altra scheda con la pagina di accesso.

   Suggerimento: disponi le schede in finestre separate posizionate fianco a fianco.

   Nota: se visualizzi la finestra di dialogo Scegli un account, fai clic su Usa un altro account.

3. Se necessario, copia il Nome utente di seguito e incollalo nella finestra di dialogo di accesso.

   {{{user_0.username | "Username"}}}

   Puoi trovare il Nome utente anche nel riquadro Dettagli lab.

4. Fai clic su Avanti.

5. Copia la Password di seguito e incollala nella finestra di dialogo di benvenuto.

   {{{user_0.password | "Password"}}}

   Puoi trovare la Password anche nel riquadro Dettagli lab.

6. Fai clic su Avanti.

   Importante: devi utilizzare le credenziali fornite dal lab. Non utilizzare le credenziali del tuo account Google Cloud. Nota: utilizzare il tuo account Google Cloud per questo lab potrebbe comportare addebiti aggiuntivi.

7. Fai clic nelle pagine successive:

   • Accetta i termini e le condizioni.
   • Non inserire opzioni di recupero o l'autenticazione a due fattori, perché si tratta di un account temporaneo.
   • Non registrarti per le prove gratuite.

Dopo qualche istante, la console Google Cloud si apre in questa scheda.

Nota: per accedere ai prodotti e ai servizi Google Cloud, fai clic sul menu di navigazione o digita il nome del servizio o del prodotto nel campo Cerca.

Attività 1: nozioni di base sul reinforcement learning

Il reinforcement learning (RL) è una forma di machine learning in cui un agente esegue delle azioni in un ambiente per ottimizzare un obiettivo specifico (una ricompensa) seguendo una determinata sequenza di passaggi. A differenza delle tecniche di apprendimento supervisionato più tradizionali, ogni punto dati non è etichettato e l'agente ha accesso soltanto a ricompense "sparse".

Anche se la storia del reinforcement learning può essere fatta risalire agli anni '50 ed esistono molti algoritmi RL, due algoritmi di deep reinforcement learning semplici da implementare ma efficaci hanno suscitato notevole interesse di recente: Deep Q-network (DQN) e Deep Deterministic Policy Gradient (DDPG). In questa sezione presentiamo brevemente gli algoritmi e le loro varianti.

Un diagramma del processo concettuale del problema di reinforcement learning

Il Deep Q-network (DQN) è stato presentato dal gruppo Google DeepMind in questo articolo di Nature nel 2015. Incoraggiati dal successo del deep learning nel campo del riconoscimento delle immagini, gli autori hanno integrato le reti neurali profonde nel Q-Learning e hanno testato l'algoritmo nel simulatore del motore grafico di Atari, in cui le dimensioni dello spazio di osservazione sono molto ampie.

La rete neurale profonda funge da approssimatore delle funzioni, prevedendo i valori Q di output o la desiderabilità dell'esecuzione di un'azione per un determinato stato di input. Di conseguenza, il DQN è un metodo basato sul valore: nell'algoritmo di addestramento il DQN aggiorna i valori Q in base all'equazione di Bellman e, per evitare la difficoltà di adattarsi a un bersaglio in movimento, impiega una seconda rete neurale profonda che funge da stima dei valori target.

Da un punto di vista più pratico, il modello seguente mette in evidenza i file sorgente, il comando della shell e l'endpoint per eseguire un job di reinforcement learning su Google Cloud.

Attività 2: crea un'istanza di Vertex AI Workbench

1. Nella console Google Cloud, dal menu di navigazione (), seleziona Vertex AI.

2. Fai clic su Abilita tutte le API consigliate.

3. A sinistra, fai clic su Workbench.

4. Nella parte superiore della pagina Workbench, assicurati di essere nella vista Istanze.

5. Fai clic su Crea nuova.

6. Configura l'istanza:

   • Nome: lab-workbench
   • Regione: imposta la regione su
   • Zona: imposta la zona su
   • (Facoltativo) Opzioni avanzate: se necessario, fai clic su "Opzioni avanzate" per un'ulteriore personalizzazione (ad es. tipo di macchina, dimensione del disco)

7. Fai clic su Crea.

Nota: la creazione dell'istanza richiede alcuni minuti. Quando è pronta, viene visualizzato un segno di spunta verde accanto al nome.

8. Accanto al nome dell'istanza, fai clic su Apri JupyterLab per lanciare l'interfaccia di JupyterLab. Si aprirà una nuova scheda nel browser.

9. Fai clic sull'icona Terminale per aprire una finestra del terminale.

La finestra del terminale si aprirà in una nuova scheda. Ora puoi eseguire comandi nel terminale per interagire con l'istanza di Workbench.

Fai clic su Controlla i miei progressi per verificare l'obiettivo. Crea un'istanza di Vertex AI Workbench

Attività 3: copia il codice campione

1. Copia ed esegui il seguente codice nel terminale per copiare il file del notebook .

gcloud storage cp -r gs://{{{project_0.project_id|project_id}}}-labconfig-bucket/* .

2. Dal menu a sinistra, seleziona early_rl > . Si aprirà una nuova scheda.

Fai clic su Controlla i miei progressi per verificare l'obiettivo. Copia il codice campione

Attività 4: esamina il notebook

Nota: assicurati di selezionare il kernel Python 3 nel notebook.

La tua nuova scheda dovrebbe essere simile alla seguente:

1. Leggi il notebook seguente ed esegui tutti i blocchi di codice con MAIUSC + INVIO.

2. Torna qui dopo aver completato le istruzioni nel notebook.

Complimenti!

In questo lab hai appreso i principi di base del reinforcement learning (RL). Dopo aver creato un'istanza di Jupyterlab, hai clonato un repository di esempio e hai esaminato un blocco note in cui hai ricevuto indicazioni pratiche relative alle nozioni di base del reinforcement learning. Ora puoi completare altri lab di questa serie.

Formazione e certificazione Google Cloud

… per utilizzare al meglio le tecnologie Google Cloud. I nostri corsi ti consentono di sviluppare competenze tecniche e best practice per aiutarti a metterti subito al passo e avanzare nel tuo percorso di apprendimento. Offriamo vari livelli di formazione, dal livello base a quello avanzato, con opzioni di corsi on demand, dal vivo e virtuali, in modo da poter scegliere il più adatto in base ai tuoi impegni. Le certificazioni ti permettono di confermare e dimostrare le tue abilità e competenze relative alle tecnologie Google Cloud.

Ultimo aggiornamento del manuale: 11 luglio 2025

Ultimo test del lab: 11 luglio 2025

Copyright 2025 Google LLC. Tutti i diritti riservati. Google e il logo Google sono marchi di Google LLC. Tutti gli altri nomi di società e prodotti sono marchi delle rispettive società a cui sono associati.