Neste notebook, passaremos do treinamento local para o treinamento na nuvem. Para isso, você vai usar o serviço Vertex AI Training do Google Cloud.
Objetivos
Neste laboratório, você vai:
criar um notebook de instância do Workbench;
saber como organizar seu código de treinamento em um pacote do Python;
treinar seu modelo usando a infraestrutura em nuvem com o serviço de treinamento do Google Cloud;
(opcional) aprender a executar seu pacote de treinamento usando contêineres do Docker e enviar imagens Docker em um registro da mesma ferramenta.
A Vertex AI tem duas soluções de notebooks, o Workbench e o Colab Enterprise.
Workbench
O Vertex AI Workbench é uma boa opção para projetos que priorizam o controle e a personalização. Ele é ótimo para quando há vários arquivos com dependências complexas. Também é uma boa escolha para cientistas de dados que estão fazendo a transição de um laptop ou estação de trabalho para a nuvem.
As instâncias do Vertex AI Workbench vêm com um conjunto pré-instalado de pacotes de aprendizado profundo, incluindo o suporte para os frameworks TensorFlow e PyTorch.
Configuração e requisitos
Para cada laboratório, você recebe um novo projeto do Google Cloud e um conjunto de recursos por um determinado período e sem custos financeiros.
Faça login no Qwiklabs em uma janela anônima.
Confira o tempo de acesso do laboratório (por exemplo, 1:15:00) e finalize todas as atividades nesse prazo.
Não é possível pausar o laboratório. Você pode reiniciar o desafio, mas vai precisar refazer todas as etapas.
Quando tudo estiver pronto, clique em Começar o laboratório.
Anote as credenciais (Nome de usuário e Senha). É com elas que você vai fazer login no Console do Google Cloud.
Clique em Abrir Console do Google.
Clique em Usar outra conta, depois copie e cole as credenciais deste laboratório nos locais indicados.
Se você usar outras credenciais, vai receber mensagens de erro ou cobranças.
Aceite os termos e pule a página de recursos de recuperação.
Tarefa 1. ativar APIs
Verificar se a API está ativada
Clique em Menu de navegação > APIs e serviços > Biblioteca.
Na caixa de pesquisa, procure por Treinamento da AI Platform e API Prediction. Clique no resultado gerado.
Clique em Ativar para ativar a API.
Tarefa 2: criar um bucket do Cloud Storage
No Menu de navegação () do console do Google Cloud, selecione Cloud Storage > Buckets.
Clique em + Criar.
Defina um nome exclusivo (use seu ID do projeto, já que ele também é exclusivo).
Em Escolha onde armazenar seus dados, clique em Região.
Clique em Criar.
Se a mensagem O acesso público será bloqueado aparecer, clique em Confirmar.
Tarefa 3: iniciar a instância do Vertex AI Workbench
No console do Google Cloud, selecione o menu de navegação () e, em seguida, Vertex AI > Painel.
Selecione Ativar todas as APIs recomendadas.
No menu de navegação, clique em Workbench.
Verifique se você está na visualização Instâncias do topo da página do Workbench.
Clique em Criar.
Configure a instância:
Nome: lab-workbench
Região: configure a região como
Zona: configure a zona como
Opções avançadas (opcional): se necessário, clique em "Opções avançadas" para personalizar mais (ex.: tipo de máquina, tamanho do disco).
Clique em Criar.
O processo vai levar alguns minutos, e uma marca de seleção verde vai aparecer ao lado do nome da instância quando ela for criada.
Clique em Abrir o Jupyterlab ao lado do nome da instância para iniciar a interface do ambiente. Uma nova guia será aberta no navegador.
Clique no ícone do Python 3 para iniciar um novo notebook do Python.
Clique com o botão direito no arquivo Untitled.ipynb na barra de menus e escolha Renomear notebook para dar um nome a ele.
Seu ambiente está configurado. Está tudo pronto para você começar a trabalhar com seu notebook do Vertex AI Workbench.
Clique em Verificar meu progresso para conferir o objetivo.
Iniciar a instância do Vertex AI Workbench
Tarefa 4: clonar um repositório do curso na sua interface do JupyterLab
Para clonar o notebook training-data-analyst na instância do JupyterLab, siga estas etapas:
No JupyterLab, clique no ícone de Terminal para abrir um novo.
No prompt da linha de comando, execute o seguinte:
Para confirmar que você clonou o repositório, clique duas vezes no diretório training-data-analyst e veja se o conteúdo aparece.
Nele você também encontra os arquivos de todos os laboratórios com notebooks do Jupyter deste curso.
Clique em Verificar meu progresso para conferir o objetivo.
Clonar um repositório do curso na sua interface do JupyterLab
Tarefa 5: como treinar em larga escala com o serviço do Vertex AI Training
Na interface do notebook, acesse training-data-analyst > courses > machine_learning > deepdive2 > introduction_to_tensorflow > labs > 1_training_at_scale_vertex.ipynb.
Uma janela pop-up vai aparecer para você selecionar um kernel. Escolha o TensorFlow 2.11 (Local) entre as opções.
Na interface do notebook, clique em Editar > Limpar todas as saídas.
Em "Notebook", substitua o valor de REGION por:
Leia com atenção as instruções do notebook e preencha as linhas marcadas com #TODO quando precisar concluir o código. Execute cada célula para observar as saídas.
Clique em Verificar meu progresso para conferir o objetivo.
Como treinar em larga escala com o serviço do Vertex AI Training
Finalize o laboratório
Clique em Terminar o laboratório após a conclusão. O Google Cloud Ensina remove os recursos usados e limpa a conta por você.
Você vai poder avaliar sua experiência no laboratório. Basta selecionar o número de estrelas, digitar um comentário e clicar em Enviar.
O número de estrelas indica o seguinte:
1 estrela = muito insatisfeito
2 estrelas = insatisfeito
3 estrelas = neutro
4 estrelas = satisfeito
5 estrelas = muito satisfeito
Feche a caixa de diálogo se não quiser enviar feedback.
Para enviar seu feedback, fazer sugestões ou correções, use a guia Suporte.
Copyright 2020 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de produtos e empresas podem ser marcas registradas das respectivas empresas a que estão associados.
Os laboratórios criam um projeto e recursos do Google Cloud por um período fixo
Os laboratórios têm um limite de tempo e não têm o recurso de pausa. Se você encerrar o laboratório, vai precisar recomeçar do início.
No canto superior esquerdo da tela, clique em Começar o laboratório
Usar a navegação anônima
Copie o nome de usuário e a senha fornecidos para o laboratório
Clique em Abrir console no modo anônimo
Fazer login no console
Faça login usando suas credenciais do laboratório. Usar outras credenciais pode causar erros ou gerar cobranças.
Aceite os termos e pule a página de recursos de recuperação
Não clique em Terminar o laboratório a menos que você tenha concluído ou queira recomeçar, porque isso vai apagar seu trabalho e remover o projeto
Este conteúdo não está disponível no momento
Você vai receber uma notificação por e-mail quando ele estiver disponível
Ótimo!
Vamos entrar em contato por e-mail se ele ficar disponível
Um laboratório por vez
Confirme para encerrar todos os laboratórios atuais e iniciar este
Use a navegação anônima para executar o laboratório
Para executar este laboratório, use o modo de navegação anônima ou uma janela anônima do navegador. Isso evita conflitos entre sua conta pessoal e a conta de estudante, o que poderia causar cobranças extras na sua conta pessoal.