arrow_back

BigQuery no JupyterLab na Vertex AI

Acesse mais de 700 laboratórios e cursos

BigQuery no JupyterLab na Vertex AI

Laboratório 1 hora 15 minutos universal_currency_alt 5 créditos show_chart Introdutório
info Este laboratório pode incorporar ferramentas de IA para ajudar no seu aprendizado.
Acesse mais de 700 laboratórios e cursos

Informações gerais

O objetivo deste laboratório é mostrar aos alunos como instanciar um notebook do Jupyter que está sendo executado no serviço da Vertex AI do Google Cloud. Na demonstração, usaremos um conjunto de dados com os horários de partida e de chegada de vários voos.

Objetivos

Neste laboratório, você vai aprender a fazer o seguinte:

  • Instanciar um notebook do Jupyter na Vertex AI.
  • Executar uma consulta do BigQuery em um notebook do Jupyter e processar a resposta usando o Pandas

Configuração e requisitos

Para cada laboratório, você recebe um novo projeto do Google Cloud e um conjunto de recursos por um determinado período e sem custos financeiros.

  1. Faça login no Qwiklabs em uma janela anônima.

  2. Confira o tempo de acesso do laboratório (por exemplo, 1:15:00) e finalize todas as atividades nesse prazo.
    Não é possível pausar o laboratório. Você pode reiniciar o desafio, mas vai precisar refazer todas as etapas.

  3. Quando tudo estiver pronto, clique em Começar o laboratório.

  4. Anote as credenciais (Nome de usuário e Senha). É com elas que você vai fazer login no Console do Google Cloud.

  5. Clique em Abrir Console do Google.

  6. Clique em Usar outra conta, depois copie e cole as credenciais deste laboratório nos locais indicados.
    Se você usar outras credenciais, vai receber mensagens de erro ou cobranças.

  7. Aceite os termos e pule a página de recursos de recuperação.

Abra o console do BigQuery

  1. No Console do Google Cloud, selecione Menu de navegação > BigQuery. Você verá a caixa de mensagem Olá! Este é o BigQuery no Console do Cloud. Ela tem um link para o guia de início rápido e lista as atualizações da IU.
  2. Clique em Concluído.

Tarefa 1: iniciar a instância do Vertex AI Workbench

  1. No console do Google Cloud, no Menu de navegação (Menu de navegação), clique em Vertex AI.

  2. Selecione Ativar todas as APIs recomendadas.

  3. No Menu de navegação, clique em Workbench.

    Verifique se você está na visualização Instâncias do topo da página do Workbench.

  4. Clique em caixa "adicionar"+ Criar nova.

  5. Configure a instância:

    • Nome: lab-workbench
    • Região: configure a região como
    • Zona: configure a zona como
    • Opções avançadas (opcional): se necessário, clique em "Opções avançadas" para personalizar mais (ex.: tipo de máquina, tamanho do disco).

crie uma instância do Vertex AI Workbench

  1. Clique em Criar.

O processo vai levar alguns minutos, e uma marca de confirmação verde vai aparecer ao lado do nome da instância quando ela for criada.

  1. Clique em ABRIR O JUPYTERLAB ao lado do nome da instância para iniciar a interface do ambiente. Uma nova guia será aberta no navegador.

Instância do Workbench implantada

  1. Clique no ícone do Python 3 para iniciar um novo notebook do Python.

Abrir o Jupyter Notebook

  1. Clique com o botão direito no arquivo Untitled.ipynb na barra de menus e escolha Renomear notebook para dar um nome a ele.

Renomear o notebook

Seu ambiente está configurado. Está tudo pronto para você começar a trabalhar com seu notebook do Vertex AI Workbench.

Notebook pronto para uso

Clique em Verificar meu progresso para conferir o objetivo. Iniciar a instância do Vertex AI Workbench

Tarefa 2: execute uma consulta do BigQuery

  1. Insira a consulta abaixo na primeira célula do notebook:
%%bigquery df --use_rest_api SELECT depdelay as departure_delay, COUNT(1) AS num_flights, APPROX_QUANTILES(arrdelay, 10) AS arrival_delay_deciles FROM `cloud-training-demos.airline_ontime_data.flights` WHERE depdelay is not null GROUP BY depdelay HAVING num_flights > 100 ORDER BY depdelay ASC

O comando usa a função mágica %%bigquery. As funções mágicas dos notebooks servem como alias para comandos do sistema. Neste caso, %%bigquery executa a consulta na célula do BigQuery e armazena a resposta em um objeto DataFrame do Pandas chamado df.

  1. Com o cursor na célula, pressione Shift + Enter para executar. Outra opção é acessar a guia Executar e clicar em Executar células selecionadas. Anote o atalho de teclado dessa ação caso não seja Shift + Enter. Não haverá resposta quando você executar o comando.

Clique em Verificar meu progresso para conferir o objetivo. Execute uma consulta do BigQuery

  1. Em uma nova célula, execute este código para acessar as cinco primeiras linhas da saída da consulta:
df.head()

Cinco linhas de dados abaixo dos cabeçalhos: departure_delay, num_flights e arrival_delay_deciles

Tarefa 3: crie um plot com o Pandas

Usaremos o DataFrame do Pandas que contém a saída da nossa consulta para criar um plot que mostra a relação entre os atrasos na partida e na chegada. Antes de continuar, para quem não conhece o Pandas, recomendamos conferir o Guia de iniciação em dez minutos (em inglês).

  1. Para conseguir o DataFrame que contém os dados necessários, precisamos primeiro organizar a saída bruta da consulta. Insira o código abaixo em uma célula nova para converter a lista de arrival_delay_deciles em um objeto Series do Pandas. O código também altera o nome das colunas resultantes.
import pandas as pd percentiles = df['arrival_delay_deciles'].apply(pd.Series) percentiles.rename(columns = lambda x : '{0}%'.format(x*10), inplace=True) percentiles.head()
  1. Como queremos relacionar os atrasos de partida e de chegada, precisamos concatenar a tabela percentiles com o campo departure_delay no DataFrame original. Execute este código em uma célula nova:
df = pd.concat([df['departure_delay'], percentiles], axis=1) df.head()
  1. Antes de plotar o conteúdo do DataFrame, elimine os valores extremos armazenados nos campos 0% e 100%. Execute este código em uma célula nova:
df.drop(labels=['0%', '100%'], axis=1, inplace=True) df.plot(x='departure_delay', xlim=(-30,50), ylim=(-50,50));

Gráfico de linhas representando os atrasos de chegada e de partida

Finalize o laboratório

Após terminar seu laboratório, clique em End Lab. O Qwiklabs removerá os recursos usados e limpará a conta para você.

Você poderá avaliar sua experiência neste laboratório. Basta selecionar o número de estrelas, digitar um comentário e clicar em Submit.

O número de estrelas indica o seguinte:

  • 1 estrela = muito insatisfeito
  • 2 estrelas = insatisfeito
  • 3 estrelas = neutro
  • 4 estrelas = satisfeito
  • 5 estrelas = muito satisfeito

Feche a caixa de diálogo se não quiser enviar feedback.

Para enviar seu feedback, fazer sugestões ou correções, use a guia Support.

Copyright 2020 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de produtos e empresas podem ser marcas registradas das respectivas empresas a que estão associados.

Antes de começar

  1. Os laboratórios criam um projeto e recursos do Google Cloud por um período fixo
  2. Os laboratórios têm um limite de tempo e não têm o recurso de pausa. Se você encerrar o laboratório, vai precisar recomeçar do início.
  3. No canto superior esquerdo da tela, clique em Começar o laboratório

Usar a navegação anônima

  1. Copie o nome de usuário e a senha fornecidos para o laboratório
  2. Clique em Abrir console no modo anônimo

Fazer login no console

  1. Faça login usando suas credenciais do laboratório. Usar outras credenciais pode causar erros ou gerar cobranças.
  2. Aceite os termos e pule a página de recursos de recuperação
  3. Não clique em Terminar o laboratório a menos que você tenha concluído ou queira recomeçar, porque isso vai apagar seu trabalho e remover o projeto

Este conteúdo não está disponível no momento

Você vai receber uma notificação por e-mail quando ele estiver disponível

Ótimo!

Vamos entrar em contato por e-mail se ele ficar disponível

Um laboratório por vez

Confirme para encerrar todos os laboratórios atuais e iniciar este

Use a navegação anônima para executar o laboratório

Para executar este laboratório, use o modo de navegação anônima ou uma janela anônima do navegador. Isso evita conflitos entre sua conta pessoal e a conta de estudante, o que poderia causar cobranças extras na sua conta pessoal.