arrow_back

Classificar imagens de nuvens no Cloud com o AutoML Vision

Classificar imagens de nuvens no Cloud com o AutoML Vision

1 hora 5 créditos

GSP223

Laboratórios autoguiados do Google Cloud

Visão geral

O AutoML Vision ajuda desenvolvedores com pouca experiência em ML a treinar modelos de reconhecimento de imagem de alta qualidade. Depois de fazer o upload de imagens na IU do AutoML, você poderá treinar um modelo que ficará imediatamente disponível no GCP para gerar previsões por meio de uma API REST fácil de usar.

Neste laboratório, você fará o upload de imagens no Cloud Storage e as usará para treinar um modelo personalizado que reconheça diferentes tipos de nuvens (cúmulo, cúmulo-nimbo etc.).

O que você aprenderá

  • Como fazer o upload de um conjunto de dados rotulado para o Google Cloud Storage e conectá-lo ao AutoML Vision com um arquivo de rótulo CSV

  • Como treinar e avaliar a acurácia de um modelo com o AutoML Vision

  • Como gerar previsões no modelo treinado

Configuração e requisitos

Configuração do Qwiklabs

Antes de clicar no botão Start Lab

Leia estas instruções. Os laboratórios são cronometrados e não podem ser pausados. O timer é iniciado quando você clica em Começar o laboratório e mostra por quanto tempo os recursos do Google Cloud ficarão disponíveis.

Este laboratório prático do Qwiklabs permite que você realize as atividades em um ambiente real de nuvem, não em uma simulação ou demonstração. Você receberá novas credenciais temporárias para fazer login e acessar o Google Cloud durante o laboratório.

O que é necessário

Para fazer este laboratório, você precisa ter:

  • acesso a um navegador de Internet padrão (recomendamos o Chrome);
  • tempo para concluir as atividades.

Observação: não use seu projeto ou sua conta do Google Cloud neste laboratório.

Observação: se estiver usando um dispositivo Chrome OS, abra uma janela anônima para executar o laboratório.

Como iniciar seu laboratório e fazer login no console do Google Cloud

  1. Clique no botão Começar o laboratório. Se for preciso pagar, você verá um pop-up para selecionar a forma de pagamento. No painel Detalhes do laboratório à esquerda, você verá o seguinte:

    • O botão Abrir Console do Cloud
    • Tempo restante
    • As credenciais temporárias que você vai usar neste laboratório
    • Outras informações se forem necessárias
  2. Clique em Abrir Console do Google. O laboratório ativa recursos e depois abre outra guia com a página Fazer login.

    Dica: coloque as guias em janelas separadas lado a lado.

    Observação: se aparecer a caixa de diálogo Escolher uma conta, clique em Usar outra conta.
  3. Caso seja preciso, copie o Nome de usuário no painel Detalhes do laboratório e cole esse nome na caixa de diálogo Fazer login. Clique em Avançar.

  4. Copie a Senha no painel Detalhes do laboratório e a cole na caixa de diálogo Olá. Clique em Avançar.

    Importante: você precisa usar as credenciais do painel à esquerda. Não use suas credenciais do Google Cloud Ensina. Observação: se você usar sua própria conta do Google Cloud neste laboratório, é possível que receba cobranças adicionais.
  5. Acesse as próximas páginas:

    • Aceite os Termos e Condições.
    • Não adicione opções de recuperação nem autenticação de dois fatores (porque essa é uma conta temporária).
    • Não se inscreva em testes gratuitos.

Depois de alguns instantes, o console do GCP vai ser aberto nesta guia.

Observação: para ver uma lista dos produtos e serviços do Google Cloud, clique no Menu de navegação no canto superior esquerdo. Ícone do menu de navegação

Configure o AutoML Vision

O AutoML Vision oferece uma interface para todas as etapas do treinamento de um modelo de classificação de imagem e da geração de previsões nesse modelo. Para começar, ative a API Cloud AutoML.

Abra Menu de navegação e selecione APIs e serviços > Biblioteca.

Na barra de pesquisa, digite "Cloud AutoML". Clique no resultado Cloud AutoML API e depois em Ativar.

Essa configuração levará um minuto.

Agora abra este link da IU do AutoML em uma nova instância do navegador.

Clique em Verificar meu progresso para conferir o objetivo.

Ative a API AutoML

Ative o Google Cloud Shell

O Google Cloud Shell é uma máquina virtual com ferramentas de desenvolvimento. Ele conta com um diretório principal permanente de 5 GB e é executado no Google Cloud. O Google Cloud Shell permite acesso de linha de comando aos seus recursos do GCP.

  1. No Console do GCP, na barra de ferramentas superior direita, clique no botão Abrir o Cloud Shell.

    Ícone do Cloud Shell

  2. Clique em Continue (continuar):

    cloudshell_continue

Demora alguns minutos para provisionar e conectar-se ao ambiente. Quando você está conectado, você já está autenticado e o projeto é definido como seu PROJECT_ID . Por exemplo:

Terminal do Cloud Shell

gcloud é a ferramenta de linha de comando do Google Cloud Platform. Ele vem pré-instalado no Cloud Shell e aceita preenchimento com tabulação.

É possível listar o nome da conta ativa com este comando:

gcloud auth list

Saída:

ACTIVE: *
ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net
To set the active account, run:
    $ gcloud config set account `ACCOUNT`
	

É possível listar o ID de projeto com este comando:

gcloud config list project
	

Saída:

[core]
project = <project_ID>
	

Exemplo de saída:

[core]
project = qwiklabs-gcp-44776a13dea667a6
	

No Cloud Shell, crie variáveis de ambiente para seu ID do projeto e nome de usuário com os comandos abaixo. Substitua <USERNAME> pelo nome de usuário com que você fez login no laboratório:

export PROJECT_ID=$DEVSHELL_PROJECT_ID
export QWIKLABS_USERNAME=<USERNAME>

Execute o comando a seguir para dar permissões ao AutoML:

gcloud projects add-iam-policy-binding $PROJECT_ID \
    --member="user:$QWIKLABS_USERNAME" \
    --role="roles/automl.admin"

Execute o comando a seguir para criar um bucket de armazenamento:

gsutil mb -p $PROJECT_ID \
    -c standard    \
    -l us-central1 \
    gs://$PROJECT_ID-vcm/

No Console do GCP, abra o Menu de navegação e clique em Cloud Storage para ver o bucket.

cloud_storage.png

Clique em Verificar meu progresso para conferir o objetivo.

Crie um bucket do Cloud Storage

Faça upload de imagens de treinamento no Google Cloud Storage

Para treinar um modelo que classifique imagens de nuvens, você precisa enviar dados de treinamento rotulados. Assim, o modelo pode entender melhor as características da imagem associadas aos diferentes tipos de nuvens. Neste exemplo, o modelo aprenderá a identificar três tipos de nuvens: cirro, cúmulo e cúmulo-nimbo. Para usar o AutoML Vision, será necessário colocar suas imagens de treinamento no Google Cloud Storage.

Antes de adicionar imagens da nuvem, crie uma variável de ambiente com o nome do bucket.

Execute o seguinte comando no Cloud Shell:

export BUCKET=$PROJECT_ID-vcm

As imagens de treinamento estão disponíveis publicamente em um bucket do Cloud Storage.

Use o utilitário de linha de comando do Cloud Storage gsutil para copiar as imagens de treinamento no bucket:

gsutil -m cp -r gs://spls/gsp223/images/* gs://${BUCKET}

Quando a cópia das imagens estiver pronta, clique no botão Atualizar na parte superior do navegador do Cloud Storage e clique no nome do bucket. Você verá três pastas de fotos para cada um dos três tipos de nuvens a serem classificadas:

autoML_bucket_folders.png

Ao clicar nos arquivos de imagem em cada pasta, você verá as fotos que serão usadas no treinamento do modelo para cada tipo de nuvem.

Crie um conjunto de dados

Agora que os dados de treinamento estão no Cloud Storage, o AutoML Vision precisa ter acesso a eles. Crie um arquivo CSV onde cada linha contém um URL para uma imagem de treinamento e o rótulo associado à imagem. Esse arquivo CSV já foi criado, você só precisa atualizá-lo com o nome do seu bucket.

Execute este comando para copiar o arquivo na sua instância do Cloud Shell:

gsutil cp gs://spls/gsp223/data.csv .

Atualize o CSV com os arquivos que estão no projeto:

sed -i -e "s/placeholder/${BUCKET}/g" ./data.csv

Agora faça upload desse arquivo no bucket do Cloud Storage:

gsutil cp ./data.csv gs://${BUCKET}

Quando o comando for concluído, clique no botão Atualizar na página de detalhes do bucket. Clique no nome do seu bucket. Verifique se o arquivo data.csv está no bucket.

Volte para a guia AutoML Vision. Sua página deverá ser parecida com esta:

MLVision_nobeta.png

Na parte superior do console, clique em + NOVO CONJUNTO DE DADOS.

Digite "clouds" para o nome do conjunto de dados.

Selecione "Classificação de rótulo único".

mlvision-new-dataset.png

Clique em Criar conjunto de dados.

Escolha Selecionar um arquivo CSV no Cloud Storage e adicione o nome dele ao URL do arquivo que você acabou de enviar: gs://your-bucket-name/data.csv

Uma forma fácil de receber esse link é voltar para o Console do GCP e clicar no arquivo data.csv. Clique no ícone copiar no campo de URI.

mlvision-select-file.png

Clique em Continuar.

Poderá levar de 2 a 5 minutos para que as imagens sejam importadas. Quando a importação for concluída, será aberta uma página com todas as imagens do conjunto de dados.

Clique em Verificar meu progresso para conferir o objetivo.

Crie um conjunto de dados

Inspecione as imagens

Depois que a importação for concluída, clique na guia Imagens para ver as imagens que você enviou.

VisionAutoML_images.png

Tente filtrar por diferentes rótulos no menu à esquerda (por exemplo, clique em "cúmulo") para analisar as imagens de treinamento:

Caso alguma imagem tenha sido rotulada incorretamente, clique nela para alterar o rótulo:

mlvision-image-detail.png

Para ver um resumo de quantas imagens você tem para cada rótulo, clique em ESTATÍSTICAS DO RÓTULO na parte superior da página. As informações abaixo serão exibidas no lado direito do navegador.

label_stats.png

Treine o modelo

Agora você pode começar a treinar o modelo. O AutoML Vision cuida disso automaticamente, sem que você precise escrever qualquer código do modelo.

Para treinar o modelo de nuvens, acesse a guia Treinar e clique em Iniciar treinamento.

Digite um nome para o modelo ou use o padrão gerado automaticamente.

Deixe a opção Hospedado na nuvem selecionada e clique em Continuar.

Defina as horas do nó como 8.

VisionAutoML_8nodehrs.png

Clique em Iniciar treinamento.

Como se trata de um conjunto de dados pequeno, o processo só levará em média 25–30 minutos.

Enquanto espera, assista a este vídeo do YouTube sobre preparação dos dados de uma imagem no AutoML. A imagem parecerá familiar.

Avalie o modelo

Na guia Avaliar, você verá informações sobre precisão e recall do modelo.

AutoML_precision_graph.png

Também é possível alterar o Limite de pontuação.

Por fim, role a página para baixo e veja a Matriz de confusão.

AutoML_confusion.png

Tudo isso gera métricas comuns de machine learning para avaliar a acurácia do modelo e ver onde os dados de treinamento podem ser melhorados. Como o foco deste laboratório não é a acurácia, siga para a seção de previsão. Navegue pelas métricas de acurácia por conta própria.

Implante seu modelo

Agora chegou a parte mais importante: como gerar previsões no modelo treinado usando dados ainda não vistos por ele.

Navegue até a guia Testar e usar, na IU do AutoML:

mlvision-test-n-use.png

Implantar o modelo e Implantar.

A implantação levará cerca de 20 minutos.

Gere previsões

As previsões podem ser geradas de várias maneiras. Neste laboratório você usará a IU para fazer o upload de imagens. Você verá como seus modelos classificam essas duas imagens (a primeira é a nuvem cirro e a segunda é a nuvem cúmulo-nimbo).

Faça o download dessas imagens na máquina local clicando com o botão direito em cada uma delas:

a4e6d50183e83703.png

1d4aaa17ec62e9ba.png

Volte à IU do AutoML Vision, clique em Fazer upload de imagens e envie as nuvens para a IU de previsão on-line. Quando a solicitação de previsão for concluída, você verá algo semelhante a isto:

AutoML_cumulo.png

Clique em Verificar meu progresso para conferir o objetivo.

Execute as previsões

Ótimo! O modelo classificou cada tipo de nuvem corretamente.

Parabéns!

Você aprendeu a treinar seu próprio modelo de machine learning personalizado e a gerar previsões nele por meio da interface do usuário da Web. Agora você tem tudo que precisa para treinar um modelo no seu próprio conjunto de dados de imagens.

O que vimos

  • Como fazer upload das imagens de treinamento no Cloud Storage e criar um CSV para que o AutoML Vision as encontre

  • Como analisar rótulos e treinar um modelo na IU do AutoML Vision

  • Como gerar previsões em novas imagens de nuvem

Termine a Quest

ml_quest_icon.png ML-Image-Processing-badge.png

Este laboratório autoguiado faz parte das Quests do Qwiklabs Machine Learning APIs e Intro to ML: Image Processing. Uma Quest é uma série de laboratórios relacionados que formam um programa de aprendizado. Ao concluir uma Quest, você ganha um selo como reconhecimento da sua conquista. Você pode publicar os selos e incluir um link para eles no seu currículo on-line ou nas redes sociais. Caso já tenha feito este laboratório, inscreva-se nessas Quests para receber os créditos de conclusão imediatamente. Veja outras Quests do Qwiklabs.

Comece o próximo laboratório

Continue sua Quest com o laboratório Detectar rótulos, rostos e pontos de referência em imagens com a API Cloud Vision ou confira estas sugestões:

Próximas etapas / Saiba mais

Treinamento e certificação do Google Cloud

...ajuda você a aproveitar as tecnologias do Google Cloud ao máximo. Nossas aulas incluem habilidades técnicas e práticas recomendadas para ajudar você a alcançar rapidamente o nível esperado e continuar sua jornada de aprendizado. Oferecemos treinamentos que vão do nível básico ao avançado, com opções de aulas virtuais, sob demanda e por meio de transmissões ao vivo para que você possa encaixá-las na correria do seu dia a dia. As certificações ajudam você a validar e comprovar suas habilidades e conhecimentos das tecnologias do Google Cloud.

Manual atualizado em 13 de maio de 2022
Laboratório testado em 13 de maio de 2022

Copyright 2020 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de produtos e empresas podem ser marcas registradas das respectivas empresas a que estão associados.