arrow_back

Como treinar em larga escala com o serviço Vertex AI Training

Acesse mais de 700 laboratórios e cursos

Como treinar em larga escala com o serviço Vertex AI Training

Laboratório 2 horas universal_currency_alt 5 créditos show_chart Avançado
info Este laboratório pode incorporar ferramentas de IA para ajudar no seu aprendizado.
Acesse mais de 700 laboratórios e cursos

Visão geral

A duração é de 2 horas

Neste notebook, passaremos do treinamento local para o treinamento na nuvem. Para isso, você vai usar o serviço Vertex AI Training do Google Cloud.

Objetivos

Neste laboratório, você vai:

  • criar um notebook de instância do Workbench;
  • saber como organizar seu código de treinamento em um pacote do Python;
  • treinar seu modelo usando a infraestrutura em nuvem com o serviço de treinamento do Google Cloud;
  • (opcional) aprender a executar seu pacote de treinamento usando contêineres do Docker e enviar imagens Docker em um registro da mesma ferramenta.

A Vertex AI tem duas soluções de notebooks, o Workbench e o Colab Enterprise.

Colab

Workbench

O Vertex AI Workbench é uma boa opção para projetos que priorizam o controle e a personalização. Ele é ótimo para quando há vários arquivos com dependências complexas. Também é uma boa escolha para cientistas de dados que estão fazendo a transição de um laptop ou estação de trabalho para a nuvem.

As instâncias do Vertex AI Workbench vêm com um conjunto pré-instalado de pacotes de aprendizado profundo, incluindo o suporte para os frameworks TensorFlow e PyTorch.

workbench1

Configuração e requisitos

Para cada laboratório, você recebe um novo projeto do Google Cloud e um conjunto de recursos por um determinado período e sem custos financeiros.

  1. Faça login no Qwiklabs em uma janela anônima.

  2. Confira o tempo de acesso do laboratório (por exemplo, 1:15:00) e finalize todas as atividades nesse prazo.
    Não é possível pausar o laboratório. Você pode reiniciar o desafio, mas vai precisar refazer todas as etapas.

  3. Quando tudo estiver pronto, clique em Começar o laboratório.

  4. Anote as credenciais (Nome de usuário e Senha). É com elas que você vai fazer login no Console do Google Cloud.

  5. Clique em Abrir Console do Google.

  6. Clique em Usar outra conta, depois copie e cole as credenciais deste laboratório nos locais indicados.
    Se você usar outras credenciais, vai receber mensagens de erro ou cobranças.

  7. Aceite os termos e pule a página de recursos de recuperação.

Tarefa 1. ativar APIs

Verificar se a API está ativada

  1. Clique em Menu de navegação > APIs e serviços > Biblioteca.

  2. Na caixa de pesquisa, procure por Treinamento da AI Platform e API Prediction. Clique no resultado gerado.

  3. Clique em Ativar para ativar a API.

Tarefa 2: criar um bucket do Cloud Storage

  1. No Menu de navegação (Ícone do menu de navegação) do console do Google Cloud, selecione Cloud Storage > Buckets.

  2. Clique em + Criar.

  3. Defina um nome exclusivo (use seu ID do projeto, já que ele também é exclusivo).

  4. Em Escolha onde armazenar seus dados, clique em Região.

  5. Clique em Criar.

  6. Se a mensagem O acesso público será bloqueado aparecer, clique em Confirmar.

Tarefa 3: iniciar a instância do Vertex AI Workbench

  1. No console do Google Cloud, selecione o menu de navegação (Menu de navegação) e, em seguida, Vertex AI > Painel.

  2. Selecione Ativar todas as APIs recomendadas.

  3. No menu de navegação, clique em Workbench.

    Verifique se você está na visualização Instâncias do topo da página do Workbench.

  4. Clique em Caixa "adicionar"Criar.

  5. Configure a instância:

    • Nome: lab-workbench
    • Região: configure a região como
    • Zona: configure a zona como
    • Opções avançadas (opcional): se necessário, clique em "Opções avançadas" para personalizar mais (ex.: tipo de máquina, tamanho do disco).

Crie uma instância do Vertex AI Workbench

  1. Clique em Criar.

O processo vai levar alguns minutos, e uma marca de seleção verde vai aparecer ao lado do nome da instância quando ela for criada.

  1. Clique em Abrir o Jupyterlab ao lado do nome da instância para iniciar a interface do ambiente. Uma nova guia será aberta no navegador.

Instância do Workbench implantada

  1. Clique no ícone do Python 3 para iniciar um novo notebook do Python.

Abrir o Jupyter Notebook

  1. Clique com o botão direito no arquivo Untitled.ipynb na barra de menus e escolha Renomear notebook para dar um nome a ele.

Renomear o notebook

Seu ambiente está configurado. Está tudo pronto para você começar a trabalhar com seu notebook do Vertex AI Workbench.

Notebook pronto para uso

Clique em Verificar meu progresso para conferir o objetivo. Iniciar a instância do Vertex AI Workbench

Tarefa 4: clonar um repositório do curso na sua interface do JupyterLab

Para clonar o notebook training-data-analyst na instância do JupyterLab, siga estas etapas:

  1. No JupyterLab, clique no ícone de Terminal para abrir um novo.

  2. No prompt da linha de comando, execute o seguinte:

    git clone https://github.com/GoogleCloudPlatform/training-data-analyst
  3. Para confirmar que você clonou o repositório, clique duas vezes no diretório training-data-analyst e veja se o conteúdo aparece.
    Nele você também encontra os arquivos de todos os laboratórios com notebooks do Jupyter deste curso.

Clique em Verificar meu progresso para conferir o objetivo. Clonar um repositório do curso na sua interface do JupyterLab

Tarefa 5: como treinar em larga escala com o serviço do Vertex AI Training

  1. Na interface do notebook, acesse training-data-analyst > courses > machine_learning > deepdive2 > introduction_to_tensorflow > labs > 1_training_at_scale_vertex.ipynb.

Training_at_scale_vertex_notebook

  1. Uma janela pop-up vai aparecer para você selecionar um kernel. Escolha o TensorFlow 2.11 (Local) entre as opções.

  2. Na interface do notebook, clique em Editar > Limpar todas as saídas.

  3. Em "Notebook", substitua o valor de REGION por:

  4. Leia com atenção as instruções do notebook e preencha as linhas marcadas com #TODO quando precisar concluir o código. Execute cada célula para observar as saídas.

Clique em Verificar meu progresso para conferir o objetivo. Como treinar em larga escala com o serviço do Vertex AI Training

Finalize o laboratório

Clique em Terminar o laboratório após a conclusão. O Google Cloud Ensina remove os recursos usados e limpa a conta por você.

Você vai poder avaliar sua experiência no laboratório. Basta selecionar o número de estrelas, digitar um comentário e clicar em Enviar.

O número de estrelas indica o seguinte:

  • 1 estrela = muito insatisfeito
  • 2 estrelas = insatisfeito
  • 3 estrelas = neutro
  • 4 estrelas = satisfeito
  • 5 estrelas = muito satisfeito

Feche a caixa de diálogo se não quiser enviar feedback.

Para enviar seu feedback, fazer sugestões ou correções, use a guia Suporte.

Copyright 2020 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de produtos e empresas podem ser marcas registradas das respectivas empresas a que estão associados.

Antes de começar

  1. Os laboratórios criam um projeto e recursos do Google Cloud por um período fixo
  2. Os laboratórios têm um limite de tempo e não têm o recurso de pausa. Se você encerrar o laboratório, vai precisar recomeçar do início.
  3. No canto superior esquerdo da tela, clique em Começar o laboratório

Usar a navegação anônima

  1. Copie o nome de usuário e a senha fornecidos para o laboratório
  2. Clique em Abrir console no modo anônimo

Fazer login no console

  1. Faça login usando suas credenciais do laboratório. Usar outras credenciais pode causar erros ou gerar cobranças.
  2. Aceite os termos e pule a página de recursos de recuperação
  3. Não clique em Terminar o laboratório a menos que você tenha concluído ou queira recomeçar, porque isso vai apagar seu trabalho e remover o projeto

Este conteúdo não está disponível no momento

Você vai receber uma notificação por e-mail quando ele estiver disponível

Ótimo!

Vamos entrar em contato por e-mail se ele ficar disponível

Um laboratório por vez

Confirme para encerrar todos os laboratórios atuais e iniciar este

Use a navegação anônima para executar o laboratório

Para executar este laboratório, use o modo de navegação anônima ou uma janela anônima do navegador. Isso evita conflitos entre sua conta pessoal e a conta de estudante, o que poderia causar cobranças extras na sua conta pessoal.