Visão geral

Neste laboratório, vamos aprender sobre os metadados de pipeline do TFX, incluindo artefatos de execução e de pipeline. O serviço de metadados de ML está incluso na instância do AI Platform Pipelines. Nele, os metadados de ML usam o MySQL como back-end do banco de dados e podem ser acessados com um servidor GRPC.

Objetivos

Usar um servidor GRPC para acessar e analisar os artefatos de pipeline armazenados no serviço de metadados de ML na instância do AI Platform Pipelines

Configuração

Para cada laboratório, você recebe um novo projeto do Google Cloud e um conjunto de recursos por um determinado período e sem custos financeiros.

1. Faça login no Qwiklabs em uma janela anônima.

2. Confira o tempo de acesso do laboratório (por exemplo, 1:15:00) e finalize todas as atividades nesse prazo.
   Não é possível pausar o laboratório. Você pode reiniciar o desafio, mas vai precisar refazer todas as etapas.

3. Quando tudo estiver pronto, clique em Começar o laboratório.

4. Anote as credenciais (Nome de usuário e Senha). É com elas que você vai fazer login no Console do Google Cloud.

5. Clique em Abrir Console do Google.

6. Clique em Usar outra conta, depois copie e cole as credenciais deste laboratório nos locais indicados.
   Se você usar outras credenciais, vai receber mensagens de erro ou cobranças.

7. Aceite os termos e pule a página de recursos de recuperação.

Ativar o Cloud Shell

O Cloud Shell é uma máquina virtual que contém ferramentas para desenvolvedores. Ele tem um diretório principal permanente de 5 GB e é executado no Google Cloud. O Cloud Shell oferece aos seus recursos do Google Cloud acesso às linhas de comando. A gcloud é a ferramenta ideal para esse tipo de operação no Google Cloud. Ela vem pré-instalada no Cloud Shell e aceita preenchimento com tabulação.

1. No painel de navegação do Console do Google Cloud, clique em Ativar o Cloud Shell ().

2. Clique em Continuar.
   O provisionamento e a conexão do ambiente podem demorar um pouco. Quando esses processos forem concluídos, você já vai ter uma autenticação, e o projeto estará definido com seu PROJECT_ID. Por exemplo:

Exemplo de comandos

• Liste o nome da conta ativa:

gcloud auth list

(Saída)

Credentialed accounts: - <myaccount>@<mydomain>.com (active)

(Exemplo de saída)

Credentialed accounts: - google1623327_student@qwiklabs.net

• Liste o ID do projeto:

gcloud config list project

(Saída)

[core] project = <project_ID>

(Exemplo de saída)

[core] project = qwiklabs-gcp-44776a13dea667a6

Tarefa 1: criar uma instância de Pipelines do AI Platform

Nesta tarefa, você implantará o Kubeflow Pipelines como um app do Kubernetes. Ele é composto por soluções com um processo simples click-to-deploy no Google Kubernetes Engine que têm a flexibilidade de serem implantadas em clusters do Kubernetes no local ou em nuvens de terceiros. O Kubeflow Pipelines vai aparecer integrado ao seu ambiente do Google Cloud como AI Platform Pipelines. Saiba mais sobre o Kubeflow Pipelines na documentação deintrodução ao Kubeflow (em inglês) durante as etapas de instalação.

1. No menu de navegação do Console do Google Cloud, role para baixo até AI Platform e fixe a seção para facilitar o acesso ao laboratório.

2. Acesse AI Platform > Pipelines.

3. Depois clique em Nova instância.

4. Clique em Configurar.

5. Para criar um cluster, selecione Zona como . Em seguida, marque a opção Permitir acesso às seguintes APIs do Cloud, não mude o nome e clique em Criar novo cluster.

Observação: a criação do cluster leva de 3 a 5 minutos. Antes de continuar, espere esse processo ser concluído. Observação: se a criação do cluster falhar devido a recursos insuficientes em uma determinada região/zona, tente novamente com outra zona.

6. Role até a parte de baixo da página, aceite os termos do Marketplace e clique em Implantar. Você verá cada serviço do KFP implantado no seu cluster do GKE. Aguarde a implantação ser concluída antes de seguir para a próxima tarefa.

7. No Cloud Shell, execute o comando abaixo para configurar o acesso à linha de comando kubectl

gcloud container clusters get-credentials cluster-1 --zone {{{project_0.default_zone|place_holder_text}}} --project {{{project_0.project_id|place_holder_text}}}

8. No Cloud Shell, execute este comando para acessar o ENDPOINT da implantação do KFP

kubectl describe configmap inverse-proxy-config | grep googleusercontent.com Importante: mais adiante, você precisará configurar o endpoint do KFP em uma das células do Notebook. Não se esqueça de usar a saída acima como seu ENDPOINT.

Clique em Verificar meu progresso para conferir o objetivo. Crie uma instância do AI Platform Pipelines

Tarefa 2: acessar o Vertex AI Workbench

Para iniciar o AI Platform Workbench:

1. Clique no menu de navegação, abra a Vertex AI e depois o Workbench.

2. Clique em NOTEBOOKS GERENCIADOS PELO USUÁRIO.

Você vai ver que o notebook tfx-on-googlecloud foi pré-provisionado para você. Se ele não aparecer, aguarde alguns minutos e atualize a página.

3. Clique em Open JupyterLab. Uma janela do JupyterLab será aberta em uma nova guia.

Tarefa 3: clonar o repositório de exemplo na sua instância de Notebooks do AI Platform

Siga estas instruções para clonar o notebook mlops-on-gcp na sua instância do JupyterLab:

1. No JupyterLab, clique no ícone Terminal para abrir um novo terminal.

2. No prompt da linha de comando, digite o código abaixo e pressione Enter.

   git clone https://github.com/GoogleCloudPlatform/mlops-on-gcp Observação: se o repositório clonado não aparecer na interface do JupyterLab, use o menu da parte de cima da tela e acesse Git > Clonar um repositório para realizar o processo (https://github.com/GoogleCloudPlatform/mlops-on-gcp) usando a UI.

   

3. Para confirmar que você clonou o repositório, clique duas vezes no diretório mlops-on-gcp e confira se o conteúdo dele aparece. Os arquivos de todos os laboratórios com notebooks do Jupyter deste curso estão nesse diretório.

Navegue até o notebook do laboratório

1. Na pasta mlops-labs/workshops/tfx-caip-tf23, execute o script install.sh para instalar os SDKs do TFX e do KFP:

cd mlops-on-gcp/workshops/tfx-caip-tf23 ./install.sh

2. Agora acesse mlops-labs/workshops/tfx-caip-tf23/lab-04-tfx-metadata/labs no AI Platform Notebooks e abra o lab-04.ipynb.

3. Limpe todas as células do notebook (procure o botão "Limpar" na barra de ferramentas do notebook) e execute as células uma a uma.

4. Quando solicitado, volte a estas instruções para verificar seu progresso.

Se precisar de mais ajuda, acesse mlops-on-gcp/workshops/tfx-caip-tf23/lab-04-tfx-metadata/solutions para conferir a solução completa e abra lab-04.ipynb.

Tarefa 4: executar o job de treinamento na nuvem

Teste as tarefas concluídas: compilar o pipeline do Kubeflow

Clique em Verificar meu progresso para conferir o objetivo. Compilar o pipeline do Kubeflow

Teste as tarefas concluídas: implementar o pacote do pipeline no AI Platform Pipelines

Clique em Verificar meu progresso para conferir o objetivo. Implemente o pacote do pipeline no AI Platform Pipelines

Parabéns!

Neste laboratório, você analisou os metadados e artefatos de ML criados pelas execuções de pipeline do TFX usando o ResolverNodes.

Finalize o laboratório

Após terminar seu laboratório, clique em End Lab. O Qwiklabs removerá os recursos usados e limpará a conta para você.

Você poderá avaliar sua experiência neste laboratório. Basta selecionar o número de estrelas, digitar um comentário e clicar em Submit.

O número de estrelas indica o seguinte:

• 1 estrela = muito insatisfeito
• 2 estrelas = insatisfeito
• 3 estrelas = neutro
• 4 estrelas = satisfeito
• 5 estrelas = muito satisfeito

Feche a caixa de diálogo se não quiser enviar feedback.

Para enviar seu feedback, fazer sugestões ou correções, use a guia Support.

Copyright 2020 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de produtos e empresas podem ser marcas registradas das respectivas empresas a que estão associados.