Visão geral

Neste laboratório, você vai aprender o processo de análise de um conjunto de dados armazenado no BigQuery usando o Colab Enterprise para fazer consultas e apresentar os dados por meio de várias técnicas de plotagem estatística. A análise vai ajudar você a descobrir padrões nos dados.

Objetivos de aprendizagem

• Criar um notebook do Colab Enterprise
• Conectar-se a conjuntos de dados do BigQuery
• Fazer análises estatísticas em um DataFrame do Pandas
• Criar plots do Seaborn para análise de dados exploratória em Python
• Gravar uma consulta SQL para selecionar campos específicos de um conjunto de dados do BigQuery
• Usar o histórico de versões para conferir as mudanças no código
• Compartilhar um notebook do Colab Enterprise

A Vertex AI é uma plataforma unificada para criar, implantar e gerenciar aplicativos de machine learning (ML).

O Vertex AI Colab Enterprise é uma ferramenta interativa colaborativa avançada criada para explorar, analisar, transformar e visualizar dados, além de criar modelos de machine learning no Google Cloud. Ele oferece os recursos de segurança e compliance necessários para organizações corporativas e se integra a outros serviços do Google Cloud, como Vertex AI e BigQuery, para um fluxo de trabalho aprimorado de ciência de dados e machine learning.

O BigQuery é um data warehouse sem servidor, totalmente gerenciado e avançado que permite analisar e gerenciar grandes conjuntos de dados com facilidade. O BigQuery usa um dialeto SQL padrão familiar, facilitando o uso por analistas e cientistas de dados sem a necessidade de aprender uma nova linguagem.

A Vertex AI tem duas soluções de notebooks: o Workbench e o Colab Enterprise.

Colab Enterprise

O espaço de trabalho do Colab Enterprise é composto por cinco seções principais (como mostrado na imagem abaixo): (1) armazenamento do notebook; (2) ações do notebook; (3) ambientes de execução e modelos de ambientes de execução; (4) editor do notebook e (5) células de código do notebook. O armazenamento de notebooks é o local onde eles ficam, as ações de notebooks podem ser realizadas neles, os ambientes de execução permitem que você "execute" os notebooks, o editor de notebooks é para fazer edições e as células de código permitem que você insira código.

Configurar os ambientes do Qwiklabs

Configuração do Qwiklabs

Para cada laboratório, você recebe um novo projeto do Google Cloud e um conjunto de recursos por um determinado período e sem custos financeiros.

1. Faça login no Qwiklabs em uma janela anônima.

2. Confira o tempo de acesso do laboratório (por exemplo, 1:15:00) e finalize todas as atividades nesse prazo.
   Não é possível pausar o laboratório. Você pode reiniciar o desafio, mas vai precisar refazer todas as etapas.

3. Quando tudo estiver pronto, clique em Começar o laboratório.

4. Anote as credenciais (Nome de usuário e Senha). É com elas que você vai fazer login no Console do Google Cloud.

5. Clique em Abrir Console do Google.

6. Clique em Usar outra conta, depois copie e cole as credenciais deste laboratório nos locais indicados.
   Se você usar outras credenciais, vai receber mensagens de erro ou cobranças.

7. Aceite os termos e pule a página de recursos de recuperação.

Tarefa 1: configurar o ambiente

1. Ativar a API Vertex AI

Acesse a seção Vertex AI do console do Cloud e clique em ATIVAR TODAS AS APIS RECOMENDADAS.

Tarefa 2: criar um notebook do Colab Enterprise

1. Na seção Vertex AI, role para baixo até Notebooks. Clique em Colab Enterprise.

É exibida a página "Boas-vindas ao Colab Enterprise".

2. No menu Região, selecione a região em que você vai criar o notebook.

3. Clique em + CRIAR NOTEBOOK na seção "Ações rápidas".

Um novo notebook será aberto.

Para executar as células, você precisa criar um ambiente de execução. Os ambientes de execução são instâncias derivadas de modelos que permitem que os usuários executem notebooks do Colab. Para criar um ambiente de execução, primeiro é preciso criar um modelo de ambiente de execução.

4. Clique em MODELOS DE AMBIENTE DE EXECUÇÃO. Na página "Modelos de ambiente de execução", clique em + NOVO MODELO.

Noções básicas sobre o ambiente de execução

Há três etapas. As etapas 2 e 3 são opcionais.

Etapa 1: fornecer informações básicas do ambiente de execução e selecionar a região como

Configurar computação

Etapa 2: configurar a computação (opcional)

Rede e segurança

Etapa 3: rede e segurança (opcional)

Clique em Criar.

Tarefa 3: escrever código em um notebook do Colab Enterprise

Neste exemplo, a célula de código abaixo de "Introdução" usa o numpy para gerar alguns dados aleatórios e o matplotlib para visualizá-los.

1. Clique em Colab Enterprise e depois no seu notebook criado.

2. Copie o código abaixo e clique no ícone Executar para executar a célula.

   import numpy as np from matplotlib import pyplot as plt ys = 200 + np.random.randn(100) x = [x for x in range(len(ys))] plt.plot(x, ys, '-') plt.fill_between(x, ys, 195, where=(ys > 195), facecolor='g', alpha=0.6) plt.title("Sample Visualization") plt.show()

Ao executar a célula, uma mensagem aparece indicando que o ambiente de execução está ativo e iniciando uma conexão, como mostrado na imagem abaixo.

3. Clique em Abrir para Abrir o pop-up do OAuth. Depois, selecione seu Nome de usuário e clique em Permitir.

4. Agora verifique a célula que você executou. Uma marca de seleção verde deve aparecer ao lado dela, indicando que a célula foi executada corretamente.

5. Agora, faça uma alteração no código. Por exemplo, mude o título do gráfico de "Visualização de amostra" para "Colab Enterprise". Em seguida, execute a célula.

Tarefa 4: mostrar histórico de revisões

Um dos recursos mais importantes do desenvolvimento de software é a capacidade de acompanhar o histórico de versões.

1. Acesse a seção "Armazenamento do notebook". Clique nos três pontos ao lado do notebook que você criou.

2. Selecione Histórico de revisões (como mostrado na bolha nº 1 na imagem abaixo).

Ao selecionar o histórico de revisões, as mudanças aparecem lado a lado com um carimbo de data e codificação por cores para mostrar o "antigo" em vermelho e o "novo" em verde (como mostrado na bolha nº 2). Há três opções para conferir o histórico de revisões: a origem bruta, as diferenças inline ou a saída da origem (como mostrado na bolha 3).

Tarefa 5: adicionar código às células

Para adicionar código ou texto a um notebook, basta clicar em "Código" ou "Texto" na barra de menu acima do editor do notebook.

Agora, você vai adicionar vários blocos de código ao notebook. Depois de copiar um bloco de código, execute-o para conferir a saída. Observação: algumas células não terão saída (como quando você importa as bibliotecas). Quando terminar, compartilhe o notebook.

1. Volte para a seção de armazenamento do notebook e clique no seu notebook.
2. Execute o primeiro código novamente.
3. Adicione uma célula de código.
4. Copie o código abaixo para a nova célula.

Importar bibliotecas

import seaborn as sns import pandas as pd import numpy as np from google.cloud import bigquery bq = bigquery.Client()

5. Clique no ícone Executar para executar a célula.

Não deve haver nenhuma saída.

Insira o código a seguir como células para importar os módulos necessários e inicializar um cliente do BigQuery. O cliente BigQuery será usado para enviar e receber mensagens da API BigQuery.

Importar cliente do BigQuery

client = bigquery.Client() query = """SELECT * FROM `bigquery-public-data.catalonian_mobile_coverage_eu.mobile_data_2015_2017` LIMIT 1000""" job = client.query(query) df = job.to_dataframe()

Nenhuma saída mostrada.

Fazer o download de uma tabela do BigQuery em um DataFrame do Pandas

No Google, %%bigquery é um comando mágico usado em notebooks do Jupyter e outros ambientes interativos para interagir com o BigQuery. Portanto, %%bigquery basicamente diz ao seu ambiente para mudar para o modo BigQuery: ele prepara o ambiente para aceitar e executar consultas do BigQuery. O BigQuery executa a consulta, recupera os dados e os apresenta no ambiente do notebook, geralmente como um DataFrame do pandas (por exemplo, o "df" mostrado no código)

%%bigquery df SELECT * FROM `bigquery-public-data.catalonian_mobile_coverage_eu.mobile_data_2015_2017`

Saída exibida:

Mostrar as cinco primeiras linhas do DataFrame do Pandas

df.head()

Saída exibida:

Receber informações sobre o DataFrame do Pandas

df.info()

Saída exibida:

Exibir estatísticas no DataFrame do Pandas

df.describe()

Saída exibida:

Plotar uma correlação usando o Seaborn.

numeric_df = df.select_dtypes(include=[np.number]) corr_matrix = numeric_df.corr() plt.figure(figsize=(10, 5)) sns.heatmap(corr_matrix, annot=True, vmin=0, vmax=1, cmap='viridis') plt.show()

Saída exibida:

Gravar uma consulta SQL para selecionar campos específicos de um conjunto de dados do BigQuery

%%bigquery df2 SELECT signal, status FROM `bigquery-public-data.catalonian_mobile_coverage_eu.mobile_data_2015_2017`

Saída exibida:

Encontre as cinco primeiras linhas dos novos campos.

df2.head()

Saída mostrada:

Tarefa 6: compartilhar o notebook

Agora, compartilhe seu notebook.

1. Quando você seleciona "Compartilhar" clicando com o botão direito no notebook, uma janela de permissões de compartilhamento aparece, permitindo que você edite ou exclua permissões ou selecione "Adicionar principal" para conceder novo acesso.

2. Quando você concede acesso a um recurso, também adiciona papéis para especificar quais ações os principais podem realizar. Se quiser, adicione condições para conceder acesso aos principais somente quando um critério específico for atendido.

Os principais são usuários, grupos, domínios ou contas de serviço. Os papéis são compostos por conjuntos de permissões e determinam o que o principal pode fazer com esse recurso.

Parabéns!

Neste laboratório, você aprendeu a:

• Criar um notebook do Colab Enterprise
• Conectar-se a conjuntos de dados do BigQuery
• Fazer análises estatísticas em um DataFrame do Pandas
• Criar plots do Seaborn para análise de dados exploratória em Python
• Gravar uma consulta SQL para selecionar campos específicos de um conjunto de dados do BigQuery
• Usar o histórico de versões para conferir as mudanças no código
• Compartilhar um notebook do Colab Enterprise

Finalize o laboratório

Após terminar seu laboratório, clique em End Lab. O Qwiklabs removerá os recursos usados e limpará a conta para você.

Você poderá avaliar sua experiência neste laboratório. Basta selecionar o número de estrelas, digitar um comentário e clicar em Submit.

O número de estrelas indica o seguinte:

• 1 estrela = muito insatisfeito
• 2 estrelas = insatisfeito
• 3 estrelas = neutro
• 4 estrelas = satisfeito
• 5 estrelas = muito satisfeito

Feche a caixa de diálogo se não quiser enviar feedback.

Para enviar seu feedback, fazer sugestões ou correções, use a guia Support.

Manual atualizado em 11 de dezembro de 2024

Laboratório testado em 11 de dezembro de 2024

Copyright 2024 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de empresas e produtos podem ser marcas registradas das empresas a que estão associados.