GSP691

Descripción general

Al igual que muchas otras áreas de investigación del aprendizaje automático, el aprendizaje por refuerzo (RL) está evolucionando a toda velocidad. Tal como hicieron en otras áreas de investigación, los investigadores están aprovechando el aprendizaje profundo para obtener resultados de vanguardia.

En este lab, aprenderás los conceptos básicos del aprendizaje por refuerzo compilando un juego sencillo.

Qué aprenderás

En este lab, aprenderás a realizar las siguientes tareas:

• Comprender los conceptos básicos del aprendizaje por refuerzo
• Crear una instancia de Vertex AI Workbench
• Clonar el notebook del lab en la instancia de Vertex AI Workbench
• Leer, comprender y ejecutar los pasos que figuran en el notebook

Configuración y requisitos

Antes de hacer clic en el botón Comenzar lab

Lee estas instrucciones. Los labs cuentan con un temporizador que no se puede pausar. El temporizador, que comienza a funcionar cuando haces clic en Comenzar lab, indica por cuánto tiempo tendrás a tu disposición los recursos de Google Cloud.

Este lab práctico te permitirá realizar las actividades correspondientes en un entorno de nube real, no en uno de simulación o demostración. Para ello, se te proporcionan credenciales temporales nuevas que utilizarás para acceder a Google Cloud durante todo el lab.

Para completar este lab, necesitarás lo siguiente:

• Acceso a un navegador de Internet estándar. Se recomienda el navegador Chrome.

Nota: Usa una ventana del navegador privada o de incógnito (opción recomendada) para ejecutar el lab. Así evitarás conflictos entre tu cuenta personal y la cuenta de estudiante, lo que podría generar cargos adicionales en tu cuenta personal.

• Tiempo para completar el lab (recuerda que, una vez que comienzas un lab, no puedes pausarlo).

Nota: Usa solo la cuenta de estudiante para este lab. Si usas otra cuenta de Google Cloud, es posible que se apliquen cargos a esa cuenta.

Cómo iniciar tu lab y acceder a la consola de Google Cloud

1. Haz clic en el botón Comenzar lab. Si debes pagar por el lab, se abrirá un diálogo para que selecciones la forma de pago. A la izquierda, se encuentra el panel Detalles del lab, que tiene estos elementos:

   • El botón para abrir la consola de Google Cloud
   • El tiempo restante
   • Las credenciales temporales que debes usar para el lab
   • Otra información para completar el lab, si es necesaria

2. Haz clic en Abrir la consola de Google Cloud (o haz clic con el botón derecho y selecciona Abrir el vínculo en una ventana de incógnito si ejecutas el navegador Chrome).

   El lab inicia recursos y abre otra pestaña en la que se muestra la página de acceso.

   Sugerencia: Ordena las pestañas en ventanas separadas, una junto a la otra.

   Nota: Si ves el diálogo Elegir una cuenta, haz clic en Usar otra cuenta.

3. De ser necesario, copia el nombre de usuario a continuación y pégalo en el diálogo Acceder.

   {{{user_0.username | "Username"}}}

   También puedes encontrar el nombre de usuario en el panel Detalles del lab.

4. Haz clic en Siguiente.

5. Copia la contraseña que aparece a continuación y pégala en el diálogo Te damos la bienvenida.

   {{{user_0.password | "Password"}}}

   También puedes encontrar la contraseña en el panel Detalles del lab.

6. Haz clic en Siguiente.

   Importante: Debes usar las credenciales que te proporciona el lab. No uses las credenciales de tu cuenta de Google Cloud. Nota: Usar tu propia cuenta de Google Cloud para este lab podría generar cargos adicionales.

7. Haz clic para avanzar por las páginas siguientes:

   • Acepta los Términos y Condiciones.
   • No agregues opciones de recuperación o autenticación de dos factores (esta es una cuenta temporal).
   • No te registres para obtener pruebas gratuitas.

Después de un momento, se abrirá la consola de Google Cloud en esta pestaña.

Nota: Para acceder a los productos y servicios de Google Cloud, haz clic en el menú de navegación o escribe el nombre del servicio o producto en el campo Buscar.

Tarea 1: Introducción al aprendizaje por refuerzo

El aprendizaje por refuerzo (RL) es una forma de aprendizaje automático en la cual un agente realiza acciones en un entorno para maximizar un objetivo determinado (una recompensa) mediante esta secuencia de pasos. A diferencia de las técnicas de aprendizaje supervisado más tradicionales, no se etiquetan todos los datos, y el agente solo tiene acceso a recompensas "dispersas".

Si bien la historia del RL se remonta a la década de 1950 y hay muchos algoritmos de RL disponibles, hay 2 algoritmos de profundidad que son potentes y fáciles de implementar, y tienen mucho encanto últimamente: red de Deep Q (DQN) y deep deterministic policy gradient (DDPG). En esta sección, presentaremos brevemente los algoritmos y sus variantes.

Diagrama conceptual del proceso del problema de aprendizaje por refuerzo

El grupo de Google DeepMind presentó la red de Deep Q (DQN) en este informe de Nature de 2015. Motivados por el éxito del aprendizaje profundo en el campo del reconocimiento de imágenes, los autores incorporaron redes neuronales profundas en Q-Learning y probaron su algoritmo en el simulador de motor de juego de Atari, cuya dimensión del espacio de observación es muy grande.

La red neuronal profunda actúa como un aproximador de funciones que predice los valores Q de salida o la conveniencia de realizar una acción, según un determinado estado de entrada. Por consiguiente, DQN es un método basado en valores: en el algoritmo de entrenamiento, DQN actualiza los valores Q de acuerdo con la ecuación de Bellman y, para evitar la dificultad de adaptar un objetivo en movimiento, emplea una segunda red neuronal profunda que funciona como una estimación de los valores objetivo.

En un nivel más práctico, el siguiente modelo destaca los archivos fuente, el comando de la shell y el extremo para ejecutar un trabajo de RL en Google Cloud:

Tarea 2: Crea una instancia de Vertex AI Workbench

1. En el menú de navegación () de la consola de Google Cloud, selecciona Vertex AI.

2. Haz clic en Habilitar todas las APIs recomendadas.

3. En el lado izquierdo, haz clic en Workbench.

4. En la parte superior de la página de Workbench, asegúrate de estar en la vista Instancias.

5. Haz clic en Crear nueva.

6. Configura la instancia:

   • Nombre: lab-workbench
   • Región: Configura la región como
   • Zona: Establece la zona en .
   • Opciones avanzadas: Si es necesario, haz clic en "Opciones avanzadas" para realizar personalizaciones adicionales (p. ej., tipo de máquina, tamaño del disco).

7. Haz clic en Crear.

Nota: La instancia tardará unos minutos en crearse. Se mostrará una marca de verificación verde junto a su nombre cuando esté lista.

8. Haz clic en Open JupyterLab junto al nombre de la instancia para iniciar la interfaz de JupyterLab. Se abrirá una pestaña nueva en el navegador.

9. Haz clic en el ícono Terminal para abrir una ventana de terminal.

La ventana de terminal se abrirá en una pestaña nueva. Ahora puedes ejecutar comandos en la terminal para interactuar con tu instancia de Workbench.

Haz clic en Revisar mi progreso para verificar el objetivo. Crear una instancia de Vertex AI Workbench

Tarea 3: Copia el código de muestra

1. Copia y ejecuta el siguiente código en la terminal para copiar el archivo del notebook .

gcloud storage cp -r gs://{{{project_0.project_id|project_id}}}-labconfig-bucket/* .

2. En el menú de la izquierda, selecciona early_rl > . Se abrirá una pestaña nueva.

Haz clic en Revisar mi progreso para verificar el objetivo. Copiar el código de muestra

Tarea 4: Ejecuta el notebook

Nota: Asegúrate de seleccionar el kernel de Python 3 en el notebook.

La nueva pestaña debería ser similar a este ejemplo:

1. Lee el siguiente notebook y ejecuta todos los bloques de código con MAYÚSCULAS + INTRO.

2. Regresa aquí después de completar las instrucciones del notebook.

¡Felicitaciones!

En este lab, aprendiste los principios básicos del aprendizaje por refuerzo (RL). Después de crear una instancia de JupyterLab, clonaste un repositorio de muestra y ejecutaste un notebook que te permitió adquirir experiencia práctica con los aspectos básicos del aprendizaje por refuerzo. Ahora puedes realizar otros labs de esta serie.

Capacitación y certificación de Google Cloud

Recibe la formación que necesitas para aprovechar al máximo las tecnologías de Google Cloud. Nuestras clases incluyen habilidades técnicas y recomendaciones para ayudarte a avanzar rápidamente y a seguir aprendiendo. Para que puedas realizar nuestros cursos cuando más te convenga, ofrecemos distintos tipos de capacitación de nivel básico a avanzado: a pedido, presenciales y virtuales. Las certificaciones te ayudan a validar y demostrar tus habilidades y tu conocimiento técnico respecto a las tecnologías de Google Cloud.

Última actualización del manual: 11 de julio de 2025

Prueba más reciente del lab: 11 de julio de 2025

Copyright 2025 Google LLC. All rights reserved. Google y el logotipo de Google son marcas de Google LLC. Los demás nombres de productos y empresas pueden ser marcas de las respectivas empresas a las que estén asociados.