Descripción general

En este lab, crearemos aplicaciones de entrenamiento alojadas en contenedores para modelos de AA en TensorFlow, PyTorch, XGBoost y scikit-learn. A continuación, usaremos esas imágenes como operaciones en una canalización de Kubeflow y entrenaremos varios modelos en paralelo. Por último, configuraremos ejecuciones recurrentes de la canalización de Kubeflow en la IU.

Objetivos

• Crear la secuencia de comandos de entrenamiento
• Empaquetar la secuencia de comandos de entrenamiento en una imagen de Docker
• Compilar y enviar imágenes de entrenamiento al registro de contenedores de Google Cloud
• Crear una canalización de Kubeflow que realice consultas en BigQuery para crear divisiones de entrenamiento/validación y exportar los resultados como archivos CSV fragmentados en GCS
• Iniciar trabajos de entrenamiento de AI Platform con las cuatro aplicaciones de entrenamiento alojadas en contenedores y los datos exportados en formato CSV como entrada

Configuración y requisitos

En cada lab, recibirá un proyecto de Google Cloud y un conjunto de recursos nuevos por tiempo limitado y sin costo adicional.

1. Accede a Qwiklabs desde una ventana de incógnito.

2. Ten en cuenta el tiempo de acceso del lab (por ejemplo, 1:15:00) y asegúrate de finalizarlo en el plazo asignado.
   No existe una función de pausa. Si lo necesita, puede reiniciar el lab, pero deberá hacerlo desde el comienzo.

3. Cuando esté listo, haga clic en Comenzar lab.

4. Anote las credenciales del lab (el nombre de usuario y la contraseña). Las usarás para acceder a la consola de Google Cloud.

5. Haga clic en Abrir Google Console.

6. Haga clic en Usar otra cuenta, copie las credenciales para este lab y péguelas en el mensaje emergente que aparece.
   Si usa otras credenciales, se generarán errores o incurrirá en cargos.

7. Acepta las condiciones y omite la página de recursos de recuperación.

Active Cloud Shell

Cloud Shell es una máquina virtual que contiene herramientas de desarrollo y un directorio principal persistente de 5 GB. Se ejecuta en Google Cloud. Cloud Shell proporciona acceso de línea de comandos a sus recursos de Google Cloud. gcloud es la herramienta de línea de comandos de Google Cloud, la cual está preinstalada en Cloud Shell y es compatible con la función de autocompletado con tabulador.

1. En el panel de navegación de Google Cloud Console, haga clic en Activar Cloud Shell ().

2. Haga clic en Continuar.
   El aprovisionamiento y la conexión al entorno tardan solo unos momentos. Una vez que se conecte, también estará autenticado, y el proyecto estará configurado con su PROJECT_ID. Por ejemplo:

Comandos de muestra

• Si desea ver el nombre de cuenta activa, use este comando:

gcloud auth list

(Resultado)

Credentialed accounts: - <myaccount>@<mydomain>.com (active)

(Resultado de ejemplo)

Credentialed accounts: - google1623327_student@qwiklabs.net

• Si desea ver el ID del proyecto, use este comando:

gcloud config list project

(Resultado)

[core] project = <project_ID>

(Resultado de ejemplo)

[core] project = qwiklabs-gcp-44776a13dea667a6

Tarea 1: Crea un bucket de Cloud Storage

• En Cloud Shell, ejecuta el siguiente comando para crear un bucket de Cloud Storage. Para simplificar el proceso, el bucket será público.

PROJECT_ID=`gcloud config list --format 'value(core.project)'` gsutil mb -p $PROJECT_ID gs://$PROJECT_ID gsutil acl ch -u AllUsers:R gs://$PROJECT_ID

Prueba las tareas completadas: Crea un bucket de Cloud Storage

Haz clic en Revisar mi progreso para verificar el objetivo. Crear un bucket de Cloud Storage

Tarea 2: Habilita los servicios de Cloud

1. Luego, ejecuta los siguientes comandos para habilitar los servicios de Cloud necesarios:

gcloud services enable \ cloudbuild.googleapis.com \ container.googleapis.com \ cloudresourcemanager.googleapis.com \ iam.googleapis.com \ containerregistry.googleapis.com \ containeranalysis.googleapis.com \ ml.googleapis.com \ dataflow.googleapis.com

2. Agregue el permiso Editor a su cuenta de servicio de Cloud Build:

PROJECT_NUMBER=$(gcloud projects describe $PROJECT_ID --format="value(projectNumber)") CLOUD_BUILD_SERVICE_ACCOUNT="${PROJECT_NUMBER}@cloudbuild.gserviceaccount.com" gcloud projects add-iam-policy-binding $PROJECT_ID \ --member serviceAccount:$CLOUD_BUILD_SERVICE_ACCOUNT \ --role roles/editor

Haga clic en Revisar mi progreso para verificar el objetivo. Agregar el permiso de editor a una cuenta de servicio de Cloud Build

Tarea 3: Crea una instancia de AI Platform Pipelines

1. En el menú de navegación de la consola de Google Cloud (), desplázate hasta AI Platform y fija la sección para acceder a ella con más facilidad en las etapas posteriores del lab.

2. Navega a AI Platform > Canalizaciones.

3. Luego, haz clic en Nueva instancia.

4. Haz clic en Configurar.

5. Para crear el clúster, selecciona Zona como y, luego, marca Permitir el acceso a las siguientes APIs de Cloud. No modifiques el nombre y haz clic en Crear un nuevo clúster.

Nota: La creación del clúster tardará entre 3 y 5 minutos. Debes esperar a que se complete este paso antes de avanzar al siguiente.

6. Desplácese hasta el final de la página, acepte las condiciones del mercado y haga clic en Implementar. Verá los servicios individuales de KFP implementados en su clúster de GKE. Espera a que finalice la implementación antes de continuar con la siguiente tarea.

7. En Cloud Shell, ejecuta el siguiente comando para configurar el acceso a la línea de comandos de kubectl.

gcloud container clusters get-credentials cluster-1 --zone {{{project_0.default_zone|place_holder_text}}} --project {{{project_0.project_id|place_holder_text}}}

8. En Cloud Shell, ejecuta el siguiente comando para obtener el EXTREMO de la implementación de KFP.

kubectl describe configmap inverse-proxy-config | grep googleusercontent.com Importante: En la tarea 6, deberás configurar el extremo de tu KFP en una de las celdas del notebook. Recuerda usar el resultado anterior como tu EXTREMO.

Haz clic en Revisar mi progreso para verificar el objetivo. Crear una instancia de AI Platform Pipelines

Tarea 4: Crea una instancia de Vertex AI Platform Notebooks

Una instancia de Vertex AI Platform Notebooks se usa como espacio de trabajo principal de experimentación o desarrollo.

1. En el menú de navegación de la consola de Cloud, haz clic en Vertex AI > Workbench.

2. Haz clic en HABILITAR API DE NOTEBOOKS si aún no está habilitada.

3. En la página Workbench, haz clic en CREAR NUEVO.

4. En el diálogo de Instancia nueva, selecciona como la Región y como la Zona.

5. A continuación, selecciona Debian 10 como sistema operativo y Python 3 (con Intel MKL y CUDA 11.3) como entorno.

6. Deja todos los otros campos con la configuración predeterminada y, luego, haz clic en Crear.

Nota: Es posible que la instancia de notebook tarde 5 minutos en aparecer. Nota: Espera a que la instancia esté disponible antes de continuar con el paso siguiente.

1. Haz clic en Open JupyterLab. Se abrirá en una pestaña nueva.

2. Cuando aparezca la ventana emergente “Build recommended”, haz clic en Build. Si ves que la compilación falló, ignórala.

Haz clic en Revisar mi progreso para verificar el objetivo. Crear una instancia de AI Platform Notebooks

Tarea 5: Clona el repositorio de ejemplo en tu instancia de AI Platform Notebooks

Sigue estos pasos para clonar el notebook mlops-on-gcp en tu instancia de JupyterLab:

1. En JupyterLab, haz clic en el ícono de terminal para abrir una terminal nueva.

2. En la ventana de línea de comandos, ingresa el siguiente comando y presiona Intro:

   git clone https://github.com/GoogleCloudPlatform/mlops-on-gcp Nota: Si el repo clonado no aparece en la IU de JupyterLab, puedes usar el menú de la línea superior, y en Git > Clone a repository, clona el repo (https://github.com/GoogleCloudPlatform/mlops-on-gcp) usando la IU.

   

3. Para verificar que se haya clonado el repositorio, haz doble clic en el directorio mlops-on-gcp y confirma que puedes ver su contenido. Los archivos de los labs de Jupyter basados en notebooks de este curso se encuentran en este directorio.

4. Ejecuta el comando siguiente para instalar los paquetes necesarios.

   pip install kfp==0.2.5 fire gcsfs requests-toolbelt==0.10.1

Tarea 6: Navega al notebook del lab

1. En la IU de JupyterLab, navega a mlops-on-gcp/continuous_training/kubeflow/labs y abre multiple_frameworks_lab.ipynb.

2. Borra todas las celdas en el notebook (busca el botón Borrar en la barra de herramientas) y, luego, ejecútalas una por una. Observa que algunas celdas tienen la etiqueta #TODO para indicarte que debes escribir código antes de ejecutar la celda.

3. Cuando se lo solicite, regrese a estas instrucciones para verificar su progreso.

Si necesitas más ayuda, consulta la solución completa en mlops-on-gcp/continuous_training/kubeflow/solutions y abre multiple_frameworks_kubeflow.ipynb.

Tarea 7: Ejecuta tu trabajo de entrenamiento en la nube

Prueba las tareas completadas: Crea un conjunto de datos y una tabla de BigQuery, crea las imágenes y envíalas al Container Registry de tu proyecto

Haz clic en Revisar mi progreso para verificar el objetivo. Crear un conjunto de datos y una tabla de BigQuery, y compilar las imágenes; luego, enviarlas al Container Registry de tu proyecto

Prueba las tareas completadas: Implementa tu canalización de KubeFlow

Haz clic en Revisar mi progreso para verificar el objetivo. Implementar tu canalización de Kubeflow

Prueba las tareas completadas: Crea ejecuciones de canalización

Haz clic en Revisar mi progreso para verificar el objetivo. Crear ejecuciones de canalización

¡Felicitaciones!

En este lab, aprendiste a desarrollar una aplicación de entrenamiento, a empaquetarla como imagen de Docker y a ejecutarla para entrenamiento en AI Platform.

Finalice su lab

Cuando haya completado su lab, haga clic en Finalizar lab. Qwiklabs quitará los recursos que usó y limpiará la cuenta por usted.

Tendrá la oportunidad de calificar su experiencia en el lab. Seleccione la cantidad de estrellas que corresponda, ingrese un comentario y haga clic en Enviar.

La cantidad de estrellas indica lo siguiente:

• 1 estrella = Muy insatisfecho
• 2 estrellas = Insatisfecho
• 3 estrellas = Neutral
• 4 estrellas = Satisfecho
• 5 estrellas = Muy satisfecho

Puede cerrar el cuadro de diálogo si no desea proporcionar comentarios.

Para enviar comentarios, sugerencias o correcciones, use la pestaña Asistencia.

Copyright 2020 Google LLC. All rights reserved. Google y el logotipo de Google son marcas de Google LLC. Los demás nombres de productos y empresas pueden ser marcas de las respectivas empresas a las que estén asociados.