Checkpoints
Create a dataset
/ 30
Copy a public New York taxi table to your dataset
/ 30
Create a tag template
/ 20
Attach tag to your table
/ 20
Data Catalog: Qwik Start
- GSP729
- Visão geral
- Configuração e requisitos
- Tarefa 1: ativar a API Data Catalog
- Tarefa 2: criar um conjunto de dados
- Tarefa 3: copiar uma tabela pública de táxis de Nova York no seu conjunto de dados
- Tarefa 4: criar um modelo de tag do Data Catalog
- Tarefa 5: marcar a tabela com as tags recém-criadas
- Parabéns!
- Finalize o laboratório
GSP729
Visão geral
O Data Catalog é um serviço de administração de metadados totalmente gerenciado e escalonável no Dataplex.
Ele tem uma interface de pesquisa simples e fácil de usar para descoberta de dados, um sistema de catalogação flexível e avançado para capturar metadados técnicos e comerciais, além de uma base sólida de segurança e conformidade integrada ao Cloud Data Loss Prevention (DLP) e ao Cloud Identity and Access Management (IAM).
O BigQuery é um armazenamento de dados empresarial que usa a capacidade de processamento da infraestrutura do Google para possibilitar consultas SQL extremamente rápidas.
Basta você mover os dados para o BigQuery, e ele fará todo o trabalho pesado. Controle o acesso ao projeto e aos dados conforme a necessidade da empresa, por exemplo, definindo quem tem permissão para visualizar ou consultar os dados.
Como usar o Data Catalog
Existem duas maneiras principais de interagir com o Data Catalog:
- Pesquisar recursos de dados a que você tem acesso
- Incluir tags em recursos com metadados
Caso de uso do Data Catalog
Imagine que você seja o engenheiro de dados da empresa. Seu trabalho é garantir que os colegas, como cientistas de dados ou analistas de negócios, descubram e usem facilmente todos os conjuntos de dados. Ao receber um novo conjunto de dados, você anota informações importantes, como o proprietário, o número de linhas que o conjunto contém, se há dados de PII etc.
Para isso, você adiciona tags aos conjuntos de dados e às tabelas. Com o Data Catalog, você cria modelos de tags para definir quais tipos de atributos serão marcados. Assim, você pode acessar, mapear e descobrir com facilidade informações pertinentes nos bancos de dados e nas tabelas.
Conteúdo do laboratório
Neste laboratório, você aprenderá a fazer o seguinte:
- Ativar a API Data Catalog para usar esse serviço no seu projeto do Google Cloud
- Criar um conjunto de dados com o BigQuery
- Copiar uma tabela pública de táxis de Nova York no seu conjunto de dados
- Criar um modelo de tag do Data Catalog
- Marcar a nova tabela com as tags recém-criadas
Pré-requisitos
Configuração e requisitos
Antes de clicar no botão Start Lab
Leia estas instruções. Os laboratórios são cronometrados e não podem ser pausados. O timer é iniciado quando você clica em Começar o laboratório e mostra por quanto tempo os recursos do Google Cloud vão ficar disponíveis.
Este laboratório prático permite que você realize as atividades em um ambiente real de nuvem, não em uma simulação ou demonstração. Você vai receber novas credenciais temporárias para fazer login e acessar o Google Cloud durante o laboratório.
Confira os requisitos para concluir o laboratório:
- Acesso a um navegador de Internet padrão (recomendamos o Chrome).
- Tempo para concluir o laboratório---não se esqueça: depois de começar, não será possível pausar o laboratório.
Como iniciar seu laboratório e fazer login no console do Google Cloud
-
Clique no botão Começar o laboratório. Se for preciso pagar, você verá um pop-up para selecionar a forma de pagamento. No painel Detalhes do laboratório à esquerda, você verá o seguinte:
- O botão Abrir Console do Cloud
- Tempo restante
- As credenciais temporárias que você vai usar neste laboratório
- Outras informações se forem necessárias
-
Clique em Abrir Console do Google. O laboratório ativa recursos e depois abre outra guia com a página Fazer login.
Dica: coloque as guias em janelas separadas lado a lado.
Observação: se aparecer a caixa de diálogo Escolher uma conta, clique em Usar outra conta. -
Caso seja preciso, copie o Nome de usuário no painel Detalhes do laboratório e cole esse nome na caixa de diálogo Fazer login. Clique em Avançar.
-
Copie a Senha no painel Detalhes do laboratório e a cole na caixa de diálogo Olá. Clique em Avançar.
Importante: você precisa usar as credenciais do painel à esquerda. Não use suas credenciais do Google Cloud Ensina. Observação: se você usar sua própria conta do Google Cloud neste laboratório, é possível que receba cobranças adicionais. -
Acesse as próximas páginas:
- Aceite os Termos e Condições.
- Não adicione opções de recuperação nem autenticação de dois fatores (porque essa é uma conta temporária).
- Não se inscreva em testes gratuitos.
Depois de alguns instantes, o console do GCP vai ser aberto nesta guia.
Ativar o Cloud Shell
O Cloud Shell é uma máquina virtual com várias ferramentas de desenvolvimento. Ele tem um diretório principal permanente de 5 GB e é executado no Google Cloud. O Cloud Shell oferece acesso de linha de comando aos recursos do Google Cloud.
- Clique em Ativar o Cloud Shell na parte de cima do console do Google Cloud.
Depois de se conectar, vai notar que sua conta já está autenticada, e que o projeto está configurado com seu PROJECT_ID. A saída contém uma linha que declara o projeto PROJECT_ID para esta sessão:
gcloud
é a ferramenta de linha de comando do Google Cloud. Ela vem pré-instalada no Cloud Shell e aceita preenchimento com tabulação.
- (Opcional) É possível listar o nome da conta ativa usando este comando:
-
Clique em Autorizar.
-
A saída será parecida com esta:
Saída:
- (Opcional) É possível listar o ID do projeto usando este comando:
Saída:
Exemplo de saída:
gcloud
, acesse o guia com informações gerais sobre a gcloud CLI no Google Cloud.
Tarefa 1: ativar a API Data Catalog
-
No menu de navegação, selecione APIs e serviços > Biblioteca.
-
Na barra de pesquisa, digite
Data Catalog
e selecione o primeiro resultado. -
Depois clique em Ativar.
Se o erro abaixo aparecer depois que você tentar ativar a API Data Catalog:
- Clique em Fechar.
- Atualize a guia do navegador.
- Clique novamente em Ativar.
A API Data Catalog precisa ser ativada:
Abrir o console do BigQuery
- No Console do Google Cloud, selecione o menu de navegação > BigQuery:
Você verá a caixa de mensagem Olá! Este é o BigQuery no Console do Cloud. Ela tem um link para o guia de início rápido e as notas de versão.
- Clique em OK.
O console do BigQuery vai abrir.
Tarefa 2: criar um conjunto de dados
- No painel de navegação do BigQuery à esquerda, clique em Ver ações, ao lado do ID do projeto. Em seguida, clique em CRIAR CONJUNTO DE DADOS.
- Na caixa de diálogo Criar conjunto de dados:
-
Em ID do conjunto de dados, digite
demo_dataset
-
Em Local dos dados, selecione
us (multiple regions in United States)
.
- Depois clique em Criar conjunto de dados.
Clique em Verificar meu progresso para ver o objetivo.
Tarefa 3: copiar uma tabela pública de táxis de Nova York no seu conjunto de dados
-
No painel à esquerda, clique em + ADICIONAR > Conjuntos de dados públicos.
-
Na barra de pesquisa, digite NYC TLC Trips e clique neste resultado:
Neste laboratório, você vai usar uma tabela desse conjunto de dados com informações de viagens de táxi de Nova York de 2018.
-
Para continuar, feche o painel lateral clicando fora dele.
-
Execute o comando abaixo no painel do Cloud Shell e copie a tabela
tlc_yellow_trips_2018
:
O comando anterior usou a bq command line tool
para copiar a tabela pública no projeto e a organizou no demo_dataset
que você criou.
- Atualize a página do navegador do
BigQuery
.
- Confirme se a tabela trips está listada no seu
demo_dataset
.
Você vai adicionar as tags do Data Catalog à tabela na próxima seção.
Clique em Verificar meu progresso para ver o objetivo.
Tarefa 4: criar um modelo de tag do Data Catalog
Crie um modelo de tag na IU do Data Catalog.
- Abra o Menu de navegação e clique em Data Catalog > Modelos de tags. Depois, clique em + CRIAR MODELO DE TAG:
- Preencha o formulário do modelo e defina um "Modelo de tag de demonstração".
- Nome de exibição do modelo: Demo Tag Template
- ID do modelo: demo_tag_template
-
Local:
Em seguida, crie quatro atributos de tag, também chamados "campos" de tag.
- Clique em Adicionar um campo.
Crie quatro atributos com os valores listados abaixo. Observe que o atributo "source" define um atributo de tag obrigatório. É possível usar letras minúsculas e sublinhados para definir nomes de atributos:
- Nome de exibição do campo: Origem do recurso de dados
- ID do campo: source_of_data_asset
- Tornar este campo obrigatório: marcado
- Tipo: String
-
Clique em Concluído.
-
Depois, selecione Adicionar um campo e insira:
- Nome de exibição do campo: número de linhas no recurso de dados
- ID do campo: number_of_rows_in_data_asset
- Tornar este campo obrigatório: desmarcado
- Tipo: Duplo
-
Clique em Concluído.
-
Depois, selecione Adicionar um campo e insira:
- Nome de exibição do campo: contém PII
- ID do campo: has_pii
- Tornar este campo obrigatório: desmarcado
- Tipo: Booleano
-
Clique em Concluído.
-
Depois, selecione Adicionar um campo e insira:
- Nome de exibição do campo: tipo PII
- ID do campo: pii_type
- Tornar este campo obrigatório: desmarcado
- Tipo: Enumerado
- Adicione três valores a esse atributo:
- CPF ou CNPJ
- Nenhum
- Clique em Concluído.
Os quatro atributos vão aparecer no formulário do modelo de tag preenchido:
- Clique em CRIAR.
A página Modelo de tag do Data Catalog mostra os detalhes e os atributos relacionados:
Clique em Verificar meu progresso para ver o objetivo.
Tarefa 5: marcar a tabela com as tags recém-criadas
-
Para anexar uma tag a uma tabela no seu conjunto de dados, clique no ícone do Data Catalog, no canto superior esquerdo.
-
No painel à esquerda, selecione Pesquisar e digite
demo_dataset
na caixa de pesquisa. -
Clique em Pesquisar:
O demo_dataset e a tabela "trips" que você copiou no conjunto de dados aparecem nos resultados da pesquisa.
- Clique no nome trips para abrir a tabela:
A página Detalhes da entrada é aberta.
- Clique em ANEXAR TAGS.
-
Na caixa de diálogo Anexar tags, em "Selecionar os alvos das tags", selecione a tabela
trips
e clique em "Ok". -
Selecione o Modelo de tag de demonstração para conferir modelos.
-
Depois, digite ou selecione os seguintes valores para cada atributo de tag:
- source_of_data_asset: tlc_yellow_trips_2018
- pii_type: NENHUM
-
Clique em Salvar.
-
Clique em
Demo Tag Template
para conferir os atributos de tag listados na página "Detalhes da entrada".
Clique em Verificar meu progresso para ver o objetivo.
Parabéns!
Bom trabalho! Você aprendeu a anexar tags a uma tabela com o Data Catalog.
Termine a Quest
Este laboratório autoguiado é parte das Quests BigQuery for Marketing Analysts e Data Catalog Fundamentals. Uma Quest é uma série de laboratórios relacionados que formam um programa de aprendizado. Ao concluir uma Quest, você ganha um selo como reconhecimento da sua conquista. É possível publicar os selos e incluir um link para eles no seu currículo on-line ou nas redes sociais. Inscreva-se em qualquer Quest que tenha este laboratório para receber os créditos de conclusão na mesma hora. Consulte o catálogo do Google Cloud Ensina para conferir todas as Quests disponíveis.
Conteúdo abordado
Neste laboratório, você aprendeu a executar as seguintes tarefas:
- Ativar a API Data Catalog
- Criar um conjunto de dados
- Copiar uma tabela pública de táxis de Nova York no seu conjunto de dados
- Criar um modelo de tag e anexar a tag à sua tabela
Próximas etapas / Saiba mais
- Leia a Visão geral do Data Catalog.
- Saiba como pesquisar com o Data Catalog
- Consulte a Visão geral de APIs e bibliotecas de cliente
Finalize o laboratório
Após concluir o laboratório, clique em Terminar o laboratório. Sua conta e os recursos que você utilizou serão removidos da plataforma do laboratório.
Você poderá classificar sua experiência neste laboratório. Basta selecionar o número de estrelas, digitar um comentário e clicar em Enviar.
O número de estrelas indica o seguinte:
- 1 estrela = muito insatisfeito
- 2 estrelas = insatisfeito
- 3 estrelas = neutro
- 4 estrelas = satisfeito
- 5 estrelas = muito satisfeito
Feche a caixa de diálogo se não quiser enviar feedback.
Para enviar seu feedback, fazer sugestões ou correções, use a guia Suporte.
Treinamento e certificação do Google Cloud
Esses treinamentos ajudam você a aproveitar as tecnologias do Google Cloud ao máximo. Nossas aulas incluem habilidades técnicas e práticas recomendadas para ajudar você a alcançar rapidamente o nível esperado e continuar sua jornada de aprendizado. Oferecemos treinamentos que vão do nível básico ao avançado, com opções de aulas virtuais, sob demanda e por meio de transmissões ao vivo para que você possa encaixá-las na correria do seu dia a dia. As certificações validam sua experiência e comprovam suas habilidades com as tecnologias do Google Cloud.
Manual atualizado em 20 de setembro de 2023
Laboratório testado em 20 de setembro de 2023
Copyright 2024 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de produtos e empresas podem ser marcas registradas das respectivas empresas a que estão associados.