GSP1279

Descripción general

En este lab, se te guía para crear un sistema de respuesta de preguntas multimodal desde cero con Vertex AI de Google y la potente familia de modelos Gemini. Obtendrás un conocimiento profundo de cómo funcionan estos sistemas construyendo uno tú mismo, sin depender de herramientas o bibliotecas prediseñadas. Esta experiencia práctica desmitifica el proceso y te brinda el conocimiento para personalizar y optimizar tus propios sistemas de respuesta a preguntas en el futuro. También explorarás las ventajas de la Generación mejorada por recuperación (RAG) multimodal en comparación con la RAG tradicional basada en texto, y descubrirás cómo la incorporación de información visual mejora el acceso al conocimiento y las capacidades de razonamiento.

Requisitos previos

Antes de comenzar este lab, debes tener los siguientes conocimientos:

• Programación de Python básica
• Conceptos generales sobre APIs
• Ejecución de código de Python en un notebook de Jupyter en Vertex AI Workbench

Objetivos

En este lab, aprenderás a crear un motor de búsqueda de documentos con la Generación mejorada por recuperación (RAG) multimodal:

• Extraer y almacenar metadatos de documentos que contienen imágenes y texto, y generar embeddings de los documentos
• Usar consultas de texto para encontrar texto o imágenes similares en los metadatos
• Usar consultas de imágenes para encontrar imágenes similares en los metadatos
• Usar una consulta de texto como entrada y buscar respuestas contextuales con imágenes y texto

Configuración y requisitos

Antes de hacer clic en el botón Comenzar lab

Lee estas instrucciones. Los labs cuentan con un temporizador que no se puede pausar. El temporizador, que comienza a funcionar cuando haces clic en Comenzar lab, indica por cuánto tiempo tendrás a tu disposición los recursos de Google Cloud.

Este lab práctico te permitirá realizar las actividades correspondientes en un entorno de nube real, no en uno de simulación o demostración. Para ello, se te proporcionan credenciales temporales nuevas que utilizarás para acceder a Google Cloud durante todo el lab.

Para completar este lab, necesitarás lo siguiente:

• Acceso a un navegador de Internet estándar. Se recomienda el navegador Chrome.

Nota: Usa una ventana del navegador privada o de incógnito (opción recomendada) para ejecutar el lab. Así evitarás conflictos entre tu cuenta personal y la cuenta de estudiante, lo que podría generar cargos adicionales en tu cuenta personal.

• Tiempo para completar el lab (recuerda que, una vez que comienzas un lab, no puedes pausarlo).

Nota: Usa solo la cuenta de estudiante para este lab. Si usas otra cuenta de Google Cloud, es posible que se apliquen cargos a esa cuenta.

Cómo iniciar tu lab y acceder a la consola de Google Cloud

1. Haz clic en el botón Comenzar lab. Si debes pagar por el lab, se abrirá un diálogo para que selecciones la forma de pago. A la izquierda, se encuentra el panel Detalles del lab, que tiene estos elementos:

   • El botón para abrir la consola de Google Cloud
   • El tiempo restante
   • Las credenciales temporales que debes usar para el lab
   • Otra información para completar el lab, si es necesaria

2. Haz clic en Abrir la consola de Google Cloud (o haz clic con el botón derecho y selecciona Abrir el vínculo en una ventana de incógnito si ejecutas el navegador Chrome).

   El lab inicia recursos y abre otra pestaña en la que se muestra la página de acceso.

   Sugerencia: Ordena las pestañas en ventanas separadas, una junto a la otra.

   Nota: Si ves el diálogo Elegir una cuenta, haz clic en Usar otra cuenta.

3. De ser necesario, copia el nombre de usuario a continuación y pégalo en el diálogo Acceder.

   {{{user_0.username | "Username"}}}

   También puedes encontrar el nombre de usuario en el panel Detalles del lab.

4. Haz clic en Siguiente.

5. Copia la contraseña que aparece a continuación y pégala en el diálogo Te damos la bienvenida.

   {{{user_0.password | "Password"}}}

   También puedes encontrar la contraseña en el panel Detalles del lab.

6. Haz clic en Siguiente.

   Importante: Debes usar las credenciales que te proporciona el lab. No uses las credenciales de tu cuenta de Google Cloud. Nota: Usar tu propia cuenta de Google Cloud para este lab podría generar cargos adicionales.

7. Haz clic para avanzar por las páginas siguientes:

   • Acepta los Términos y Condiciones.
   • No agregues opciones de recuperación o autenticación de dos factores (esta es una cuenta temporal).
   • No te registres para obtener pruebas gratuitas.

Después de un momento, se abrirá la consola de Google Cloud en esta pestaña.

Nota: Para acceder a los productos y servicios de Google Cloud, haz clic en el menú de navegación o escribe el nombre del servicio o producto en el campo Buscar.

Tarea 1: Abre el notebook en Vertex AI Workbench

1. En el menú de navegación () de la consola de Google Cloud, haz clic en Vertex AI > Workbench.

2. Busca la instancia y haz clic en el botón Abrir JupyterLab.

La interfaz de JupyterLab para tu instancia de Workbench se abrirá en una pestaña nueva del navegador.

Nota: Si no ves notebooks en JupyterLab, sigue estos pasos adicionales para restablecer la instancia:

1. Cierra la pestaña del navegador de JupyterLab y vuelve a la página principal de Workbench.

2. Selecciona la casilla de verificación junto al nombre de la instancia y haz clic en Restablecer.

3. Después de que se vuelva a habilitar el botón Abrir JupyterLab, espera un minuto y, luego, haz clic en Abrir JupyterLab.

Tarea 2: Configura el notebook

1. Abre el archivo .

2. En el cuadro de diálogo Select Kernel, elige Python 3 en la lista de kernels disponibles.

3. Ejecuta las secciones Getting Started e Import libraries del notebook.

   • Para Project ID, usa , y para Location, usa .

Nota: Puedes omitir las celdas del notebook que tienen la indicación Colab only. Si recibes una respuesta 429 de cualquiera de las ejecuciones de celda del notebook, espera 1 minuto antes de volver a ejecutar la celda para continuar.

Haz clic en Revisar mi progreso para verificar el objetivo. Importar bibliotecas y configurar el notebook

Tarea 3: Crea metadatos de documentos que contienen imágenes y texto

En esta sección, importarás funciones auxiliares para crear metadatos, cargar metadatos precalculados de texto e imágenes de un documento de origen y, además, inspeccionarás los datos de texto e imagen procesados.

1. Ejecuta la sección Crea metadatos de documentos que contienen imágenes y texto del notebook.

Haz clic en Revisar mi progreso para verificar el objetivo. Importar funciones auxiliares para crear metadatos

Cargar metadatos precalculados de texto y de imágenes Inspeccionar los datos de texto y de imágenes procesados

Tarea 4: Busca texto

En esta sección, usarás el modelo de Gemini para buscar con una pregunta simple y ver si una búsqueda de texto sencilla con embeddings de texto puede responderla. También usarás la capacidad multimodal del modelo de Gemini para buscar una imagen similar a la consulta de texto.

1. Sigue las secciones de Text search del notebook.

Haz clic en Revisar mi progreso para verificar el objetivo. Búsqueda de texto

Tarea 5: Busca imágenes

Imagina que estás buscando imágenes, pero en lugar de escribir palabras, usas una imagen como pista. Piensa en ello como buscar con un minimapa en lugar de una dirección escrita. Es una forma diferente de decir "Muéstrame más contenido como este". En lugar de escribir "varios ejemplos de contexto largo de Gemini 2.0", le muestras una imagen y le dices "Encuéntrame más imágenes como esta".

En esta sección, solo encontrarás imágenes similares que muestren las diversas funciones de Gemini en un solo documento. Sin embargo, puedes escalar este patrón de diseño para que coincida (encontrar imágenes relevantes) en varios documentos.

1. Sigue las secciones de Image search del notebook.

Haz clic en Revisar mi progreso para verificar el objetivo. Búsqueda de imágenes

Tarea 6: Crea un sistema de preguntas y respuestas multimodal con Generación mejorada por recuperación (mRAG)

En esta última tarea, reunirás todo lo que aprendiste para implementar la RAG multimodal. Para implementar la RAG multimodal, el usuario proporciona una consulta de texto relacionada con la información presente tanto en el texto como en las imágenes del documento. Los fragmentos de texto similares a la consulta se recuperan de las páginas del documento con un método de búsqueda de texto. Simultáneamente, una búsqueda de imágenes identifica imágenes con descripciones que coinciden con la consulta.

El texto y las imágenes relevantes combinados sirven como contexto para Gemini, que genera una respuesta a la consulta, lo que podría hacer referencia a instrucciones específicas. Por último, las citas indican el texto y las imágenes que se usaron para formular la respuesta.

1. Revisa las secciones Crea de un sistema de preguntas y respuestas multimodal con generación mejorada por recuperación (mRAG) del notebook.

Haz clic en Revisar mi progreso para verificar el objetivo. Crea un sistema de QA multimodal con generación mejorada por recuperación (mRAG)

¡Felicitaciones!

¡Felicitaciones! En este lab, aprendiste a crear un sistema multimodal de respuesta a preguntas con la API de Gemini en Vertex AI. Creaste un motor de búsqueda de documentos que puede buscar texto e imágenes con consultas de texto y de imagen. También creaste un sistema multimodal de respuesta a preguntas que puede responder preguntas con texto e imágenes.

Próximos pasos/Más información

Consulta los siguientes recursos para obtener más información sobre Gemini:

• Descripción general de Gemini
• Documentación sobre IA generativa en Vertex AI
• IA generativa en YouTube
• Explora la guía de soluciones de Vertex AI para ver una galería de notebooks seleccionada sobre la IA generativa en la que puedes realizar búsquedas.
• Explora otros notebooks y ejemplos en el repositorio de IA generativa de Google Cloud.

Capacitación y certificación de Google Cloud

Recibe la formación que necesitas para aprovechar al máximo las tecnologías de Google Cloud. Nuestras clases incluyen habilidades técnicas y recomendaciones para ayudarte a avanzar rápidamente y a seguir aprendiendo. Para que puedas realizar nuestros cursos cuando más te convenga, ofrecemos distintos tipos de capacitación de nivel básico a avanzado: a pedido, presenciales y virtuales. Las certificaciones te ayudan a validar y demostrar tus habilidades y tu conocimiento técnico respecto a las tecnologías de Google Cloud.

Última actualización del manual: 11 de julio de 2025

Prueba más reciente del lab: 11 de julio de 2025

Copyright 2025 Google LLC. All rights reserved. Google y el logotipo de Google son marcas de Google LLC. Los demás nombres de productos y empresas pueden ser marcas de las respectivas empresas a las que estén asociados.