arrow_back

Processamento de dados de streaming: painéis e análises

Acesse mais de 700 laboratórios e cursos

Processamento de dados de streaming: painéis e análises

Laboratório 2 horas universal_currency_alt 5 créditos show_chart Introdutório
info Este laboratório pode incorporar ferramentas de IA para ajudar no seu aprendizado.
Acesse mais de 700 laboratórios e cursos

Visão geral

As ferramentas de visualização de dados ajudam você a entender os dados do BigQuery e analisá-los de forma interativa. Use essas ferramentas para identificar tendências, responder a elas e fazer previsões usando os dados. Neste laboratório, você vai usar o Looker Studio para visualizar os dados na tabela do BigQuery que foram preenchidos pelo pipeline do Dataflow no exercício anterior. Porém, você não vai acessar os dados de streaming em tempo real.

Objetivos

Neste laboratório, suas tarefas serão:

  • conectar-se a uma origem de dados do BigQuery;
  • criar relatórios e gráficos para visualizar dados do BigQuery.

Este laboratório usa o Looker Studio para visualizar dados no BigQuery com o respectivo conector. Nas próximas tarefas, você criará uma origem de dados, um relatório e gráficos para visualizar os dados na tabela de exemplo.

Configuração

Para cada laboratório, você recebe um novo projeto do Google Cloud e um conjunto de recursos por um determinado período e sem custos financeiros.

  1. Faça login no Qwiklabs em uma janela anônima.

  2. Confira o tempo de acesso do laboratório (por exemplo, 1:15:00) e finalize todas as atividades nesse prazo.
    Não é possível pausar o laboratório. Você pode reiniciar o desafio, mas vai precisar refazer todas as etapas.

  3. Quando tudo estiver pronto, clique em Começar o laboratório.

  4. Anote as credenciais (Nome de usuário e Senha). É com elas que você vai fazer login no Console do Google Cloud.

  5. Clique em Abrir Console do Google.

  6. Clique em Usar outra conta, depois copie e cole as credenciais deste laboratório nos locais indicados.
    Se você usar outras credenciais, vai receber mensagens de erro ou cobranças.

  7. Aceite os termos e pule a página de recursos de recuperação.

Tarefa 1: criar uma fonte de dados no Looker Studio

  1. A interface do usuário do Looker Studio é acessada fora do ambiente do Google Cloud. Abra uma nova guia do navegador, de preferência em uma janela anônima. Acesse datastudio.google.com ou clique neste link: Looker Studio
Observação: a primeira etapa para fazer um relatório no Looker Studio é criar uma fonte de dados. Um relatório pode conter uma ou mais origens de dados. Quando você cria uma fonte de dados do BigQuery, o Looker Studio usa o conector correspondente. Observação: para adicionar uma fonte de dados do BigQuery a um relatório do Looker Studio, você precisa ter as devidas permissões. Na inicialização do laboratório, foram criados um conjunto de dados e tabelas do BigQuery para uso nos exercícios. As mesmas permissões se aplicam aos conjuntos de dados do BigQuery e aos relatórios, gráficos e painéis criados no Looker Studio. Quando um relatório é compartilhado, os componentes dele ficam visíveis apenas para os usuários com as permissões adequadas.
  1. Na página Relatórios, na seção Começar com um modelo, clique em Relatório em branco. O processo de configuração da conta é iniciado.

Modelo "Relatório em branco" em destaque

  1. Aceite os Termos de Serviço e clique em Continuar.

  2. Na página Preferências, selecione Não em cada opção de receber notificações por e-mail e clique em Continuar.

  3. Agora que a conta foi criada, você precisará repetir o processo.

  4. Na página Relatórios, na seção Começar com um modelo, clique em Relatório em branco. Desta vez, será exibida uma nova página para iniciar um Relatório sem título.

  5. O painel Adicionar dados ao relatório será carregado na página.

  6. Na seção Google Connectors, selecione BigQuery.

Opção "BigQuery" em destaque

  1. Autorize a opção "O Looker Studio precisa de autorização para se conectar aos seus projetos do BigQuery".
  2. Se for solicitado, na caixa de diálogo Fazer login, selecione sua conta de estudante.
  3. Depois, clique em Permitir para que o Looker Studio tenha acesso aos recursos do BigQuery na conta de laboratório.
  4. Selecione Meus projetos.
  5. Na coluna Projeto, clique no nome do projeto.
  6. Na coluna Conjunto de dados, clique em demonstrações.
  7. Na coluna Tabela, clique em current_conditions.
  8. Por último, clique em Adicionar.

O aviso Você está prestes a adicionar dados a este relatório vai aparecer.

  1. Marque Não mostrar novamente e clique em Adicionar ao relatório.

  2. Depois disso, um relatório tabular simples vai aparecer por padrão. Essa é a confirmação de que você pode ver dados do BigQuery no Looker Studio.

Relatório sem título

Observação: só é necessário permitir uma vez que o Looker Studio acesse os recursos da conta do Google Cloud.

Clique em Verificar meu progresso para conferir o objetivo.

Crie uma origem de dados

Tarefa 2: criar um gráfico de barras usando um campo calculado

Depois de adicionar a origem de dados current_conditions ao relatório, o próximo passo é criar uma visualização. Comece criando um gráfico de barras. Ele mostrará o número total de veículos detectados em cada rodovia.

  1. (Opcional) No topo da página, clique em Relatório sem título para alterar o nome do relatório. Por exemplo, digite <PROJECTID>-report1-yourname.
  2. Exclua o relatório tabular pré-preenchido. Para isso, basta selecioná-lo e pressionar a tecla Delete.
  3. Depois, no menu Adicionar um gráfico, selecione o primeiro Gráfico de barras.

 Adicionar um menu de gráfico. Opção &quot;gráfico de barras&quot; em destaque

  1. Na guia Configuração da janela de propriedades Gráfico de barras, observe o valor de Origem de dados (current_conditions) e os valores padrão para Dimensão e Métrica.
  2. Se a Dimensão não estiver definida como highway, altere a Dimensão para highway. Na seção Dimensão, clique no valor atual e use o Seletor de dimensão para escolher highway.
  3. Na seção Métrica, clique em Adicionar métrica e selecione latitude.
  4. Na seção Métrica, passe o mouse sobre Record Count e clique em (x) para removê-la.

Exemplo:

Detalhes do gráfico de barras

  1. Para receber insights sobre o volume de veículos, você precisa adicionar uma métrica para cada veículo detectado.
  2. Na seção Métrica, clique em Adicionar métrica e selecione sensorID.
  3. A configuração "Contar diferentes" é definida automaticamente para essa coluna. O problema é que a métrica não reflete o verdadeiro volume de tráfego com essa configuração. Clique em CTD ao lado de sensor_Id e selecione Contagem na janela pop-up. Digite vehicles na caixa "nome". Clique na área em branco do relatório para fechar a janela pop-up. A alteração é salva automaticamente.
  4. Na seção Métrica, passe o mouse sobre latitude e clique no (x) para removê-la.
  5. O campo "Dimensão" deve ser definido como "highway", e o campo "Métrica" como "sensorID". Por padrão, o gráfico é classificado em ordem descendente. A rodovia com o maior número de veículos é mostrada primeiro.

Gráfico de barras

  1. Para aprimorar o gráfico, altere os rótulos das barras. Na janela de propriedades Gráfico, clique na guia ESTILO.
  2. Em Gráfico de barras, marque a caixa Mostrar rótulos de dados.
  3. O número total de veículos é exibido acima de cada barra no gráfico.

Tarefa 3: criar um gráfico usando uma consulta personalizada

Se preferir, use uma consulta predefinida para gerar os relatórios e as visualizações no Looker Studio. A opção "Consulta personalizada" permite utilizar todos os recursos de consulta do BigQuery, como mesclagens, uniões e funções analíticas.

Você também pode usar esses recursos para criar uma visualização, que é uma tabela virtual definida por uma consulta SQL. Consulte os dados dessa visualização, adicionando o conjunto de dados que a contém como uma origem de dados.

Quando você especifica uma consulta SQL como fonte de dados do BigQuery, os resultados são mostrados como uma tabela, que estabelece a definição dos campos (esquema) da origem de dados. Se você utiliza uma consulta personalizada como origem de dados, o Looker Studio emprega o SQL personalizado como uma instrução SELECT interna para cada consulta gerada pelo BigQuery. Para mais informações sobre consultas personalizadas no Looker Studio, acesse a ajuda on-line.

  1. Para adicionar um gráfico de barras ao relatório que usa uma origem de dados de consulta personalizada:

  2. No menu Adicionar um gráfico, selecione o primeiro Gráfico de barras.

  3. Na guia Dados da janela de propriedades Gráfico de barras, observe que o valor de "Origem de dados" (current_conditions) e os valores padrão para "Dimensão" e "Métrica" são os mesmos do gráfico anterior. Na seção Origem de dados, clique em current_conditions. Na parte inferior do painel, selecione Adicionar dados.

  4. Em Google Connectors, selecione BigQuery.

  5. Selecione CONSULTA PERSONALIZADA no primeiro grupo.

  6. Em Projeto de faturamento, selecione o projeto.

  7. Na janela Insira a consulta personalizada digite a informação abaixo e substitua <PROJECTID> pelo ID do projeto:

SELECT max(speed) as maxspeed, min(speed) as minspeed, avg(speed) as avgspeed, highway FROM `<PROJECTID>.demos.current_conditions` group by highway

A consulta usa as funções "max", "min" e "avg" para mostrar a velocidade de cada rodovia.

  1. Clique em ADICIONAR.
  2. Quando solicitado, clique em ADICIONAR AO RELATÓRIO.
Observação: o Looker Studio pode não conseguir determinar a dimensão e as métricas apropriadas do gráfico. Para isso, é necessário ajustar as opções de gráfico.
  1. Na seção Métrica da guia Dados da janela de propriedades Gráfico de barras, clique em Número de registros.
  2. No Seletor de métrica, escolha maxspeed.
  3. Na seção Métrica, clique em Adicionar métrica.
  4. No Seletor de métrica, escolha minspeed.
  5. Na seção Métrica, clique em Adicionar métrica.
  6. No Seletor de métrica, escolha avgspeed.
  7. Remova qualquer métrica que não seja "maxspeed", "minspeed" e "avgspeed".

Agora seu gráfico exibe as velocidades máxima, mínima e média de cada rodovia.

Cada barra tem uma cor padrão com base na ordem em que as métricas foram adicionadas ao gráfico.

No gráfico de barras, maxspeed aparece em azul, minspeed em verde-azulado e avgspeed em rosa.

  1. Para facilitar a leitura, altere os estilos do gráfico. Clique na guia Estilo nas propriedades de Gráfico.
  2. Na seção Cor de acordo com, clique nas caixas para selecionar cores diferentes.

Seção &quot;Cor de acordo com&quot;

Clique em Verificar meu progresso para conferir o objetivo.

Crie um gráfico usando uma consulta personalizada

Tarefa 4: exibir o histórico de consultas

Para ver as consultas enviadas pelo conector do BigQuery, verifique o histórico de consultas na interface da Web do BigQuery. Usando o histórico de consultas, estime os custos das consultas e salve-as para uso em outros cenários.

Abrir o BigQuery no Console do Cloud

  1. No Console do Google Cloud, selecione o menu de navegação > BigQuery:

Você vai ver a caixa de mensagem Olá! Este é o BigQuery no Console do Cloud. Ela tem um link para o guia de início rápido e lista as atualizações da IU.

  1. Clique em Concluído.
  1. No painel de baixo, o primeiro item da lista será Histórico pessoal. Na primeira vez que você acessar a página, o histórico de consultas aparecerá no canto inferior direito, abaixo do painel "Editor de consultas". Se ele não aparecer, clique no link Histórico pessoal.
  2. A lista de consultas mostra as entradas mais recentes primeiro. Clique em qualquer consulta para ver detalhes, como "ID do job" e "Bytes processados".

Finalize o laboratório

Clique em Terminar o laboratório após a conclusão. O Google Cloud Ensina remove os recursos usados e limpa a conta por você.

Você vai poder avaliar sua experiência no laboratório. Basta selecionar o número de estrelas, digitar um comentário e clicar em Enviar.

O número de estrelas indica o seguinte:

  • 1 estrela = muito insatisfeito
  • 2 estrelas = insatisfeito
  • 3 estrelas = neutro
  • 4 estrelas = satisfeito
  • 5 estrelas = muito satisfeito

Feche a caixa de diálogo se não quiser enviar feedback.

Para enviar seu feedback, fazer sugestões ou correções, use a guia Suporte.

Copyright 2020 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de produtos e empresas podem ser marcas registradas das respectivas empresas a que estão associados.

Antes de começar

  1. Os laboratórios criam um projeto e recursos do Google Cloud por um período fixo
  2. Os laboratórios têm um limite de tempo e não têm o recurso de pausa. Se você encerrar o laboratório, vai precisar recomeçar do início.
  3. No canto superior esquerdo da tela, clique em Começar o laboratório

Usar a navegação anônima

  1. Copie o nome de usuário e a senha fornecidos para o laboratório
  2. Clique em Abrir console no modo anônimo

Fazer login no console

  1. Faça login usando suas credenciais do laboratório. Usar outras credenciais pode causar erros ou gerar cobranças.
  2. Aceite os termos e pule a página de recursos de recuperação
  3. Não clique em Terminar o laboratório a menos que você tenha concluído ou queira recomeçar, porque isso vai apagar seu trabalho e remover o projeto

Este conteúdo não está disponível no momento

Você vai receber uma notificação por e-mail quando ele estiver disponível

Ótimo!

Vamos entrar em contato por e-mail se ele ficar disponível

Um laboratório por vez

Confirme para encerrar todos os laboratórios atuais e iniciar este

Use a navegação anônima para executar o laboratório

Para executar este laboratório, use o modo de navegação anônima ou uma janela anônima do navegador. Isso evita conflitos entre sua conta pessoal e a conta de estudante, o que poderia causar cobranças extras na sua conta pessoal.