Visão geral

Neste laboratório, você vai conhecer o processo de criação e execução de um fluxo de trabalho SQL no Dataform para carregar dados no BigQuery.

Objetivos de aprendizagem

1. Criar um repositório do Dataform.
2. Criar e inicializar um espaço de trabalho de desenvolvimento do Dataform.
3. Criar e executar um fluxo de trabalho SQL.
4. Acessar registros de execução no Dataform.

Configuração

Para cada laboratório, você recebe um novo projeto do Google Cloud e um conjunto de recursos por um determinado período e sem custos financeiros.

1. Faça login no Qwiklabs em uma janela anônima.

2. Confira o tempo de acesso do laboratório (por exemplo, 1:15:00) e finalize todas as atividades nesse prazo.
   Não é possível pausar o laboratório. Você pode reiniciar o desafio, mas vai precisar refazer todas as etapas.

3. Quando tudo estiver pronto, clique em Começar o laboratório.

4. Anote as credenciais (Nome de usuário e Senha). É com elas que você vai fazer login no Console do Google Cloud.

5. Clique em Abrir Console do Google.

6. Clique em Usar outra conta, depois copie e cole as credenciais deste laboratório nos locais indicados.
   Se você usar outras credenciais, vai receber mensagens de erro ou cobranças.

7. Aceite os termos e pule a página de recursos de recuperação.

Tarefa 1: criar um repositório do Dataform

1. No console, abra o menu de navegação e selecione BigQuery > Dataform.

2. Clique em CRIAR REPOSITÓRIO.

3. Na página Criar repositório, faça o seguinte:

   1. No campo ID do repositório, insira quickstart-repository.

   2. Na lista Região, selecione .

   3. Clique em CRIAR.

   4. Depois que o repositório for criado, você verá a conta de serviço do Dataform. Copie essa informação. Ela será usada mais tarde para atribuir as permissões necessárias.

   5. Clique em Acessar repositórios.

Observação: se você receber um erro de permissão negada relacionado à solicitação de API, espere alguns minutos e crie o repositório outra vez.

Teste a tarefa concluída

Clique em Verificar meu progresso para conferir o objetivo.

Criar um repositório do Dataform.

Tarefa 2: criar e inicializar um espaço de trabalho de desenvolvimento do Dataform

1. Na página do Dataform, clique no repositório quickstart-repository que você acabou de criar.

2. Clique em CRIAR ESPAÇO DE TRABALHO DE DESENVOLVIMENTO.

3. Na janela Criar espaço de trabalho de desenvolvimento, faça o seguinte:

   1. No campo ID do espaço de trabalho, digite quickstart-workspace.

   2. Clique em CRIAR.

4. Depois, selecione o espaço de trabalho de desenvolvimento quickstart-workspace.

5. Clique em INICIALIZAR ESPAÇO DE TRABALHO.

Teste a tarefa concluída

Clique em Verificar meu progresso para conferir o objetivo.

Criar um espaço de trabalho do Dataform.

Tarefa 3: criar um arquivo SQLX para definir uma visualização

Nesta seção, você define uma visualização que será usada posteriormente como fonte de dados para uma tabela.

1. No painel Arquivos, ao lado de definitions, clique no menu Mais.

2. Selecione Criar arquivo.

3. No painel Criar novo arquivo, faça o seguinte:

   1. No campo Adicionar um caminho de arquivo, insira definitions/quickstart-source.sqlx.

   2. Clique em CRIAR ARQUIVO.

Defina uma visualização

1. No painel Arquivos, abra a pasta de definições.

2. Clique em quickstart-source.sqlx.

3. No arquivo, digite este snippet de código:

   config { type: "view" } SELECT "apples" AS fruit, 2 AS count UNION ALL SELECT "oranges" AS fruit, 5 AS count UNION ALL SELECT "pears" AS fruit, 1 AS count UNION ALL SELECT "bananas" AS fruit, 0 AS count

Tarefa 4: criar um arquivo SQLX para definição de tabela

Nas próximas seções, você vai definir o tipo da tabela em um arquivo SQLX e, depois, escreverá uma instrução SELECT para escolher a estrutura da tabela no mesmo arquivo.

1. No painel Arquivos, ao lado de definitions, clique no menu Mais e selecione Criar arquivo.

2. No campo Adicionar um caminho de arquivo, insira definitions/quickstart-table.sqlx.

3. Clique em CRIAR ARQUIVO.

Defina o tipo, a estrutura e as dependências da tabela

1. No painel Arquivos, abra o diretório definitions.

2. Clique em quickstart-table.sqlx. Depois insira o tipo de tabela e a instrução SELECT que seguem:

   config { type: "table" } SELECT fruit, SUM(count) as count FROM ${ref("quickstart-source")} GROUP BY 1

Observação: talvez você veja uma mensagem de erro na seção de consultas compiladas. Ignore isso e conclua as próximas etapas para executar o fluxo de trabalho.

Tarefa 5: conceder acesso ao Dataform ao BigQuery

1. No console do Google Cloud, em Menu de navegação (), selecione IAM e administrador > IAM.

2. Clique em VISUALIZAR POR PRINCIPAIS. Depois escolha CONCEDER ACESSO

3. No campo Novos principais, digite o ID da conta de serviço do Dataform.

4. Na lista suspensa do campo Selecionar papel, escolha a opção Usuário de jobs do BigQuery.

5. Clique em Adicionar outro papel. Em seguida, na lista suspensa do campo Selecionar papel, escolha a opção Editor de dados do BigQuery.

6. Clique em Adicionar outro papel. Depois, na lista suspensa do campo Selecionar papel, escolha Leitor de dados do BigQuery.

7. Clique em Salvar.

Teste a tarefa concluída

Clique em Verificar meu progresso para conferir o objetivo.

Conceder acesso ao BigQuery para o Dataform.

Tarefa 6: executar o fluxo de trabalho

1. No console, acesse Menu de navegação > BigQuery > Dataform.

2. Clique em quickstart-repository para abrir o repositório.

3. Selecione quickstart-workspace para abrir o espaço de trabalho de desenvolvimento.

4. Na página quickstart-workspace, clique em INICIAR EXECUÇÃO.

5. Selecione Executar ações.

6. Clique na guia Todas as ações.

7. No painel Executar, clique em INICIAR EXECUÇÃO.

   O Dataform usa as configurações de repositório padrão para criar o conteúdo do seu fluxo de trabalho em um conjunto de dados do BigQuery chamado dataform.

Teste a tarefa concluída

Clique em Verificar meu progresso para conferir o objetivo.

Criar e executar o fluxo de trabalho SQL.

Abra os registros de execução

1. Na página quickstart-workspace, clique em EXECUÇÕES para abrir o painel correspondente.

2. Para conferir os detalhes, clique na última execução.

Finalize o laboratório

Após terminar seu laboratório, clique em End Lab. O Qwiklabs removerá os recursos usados e limpará a conta para você.

Você poderá avaliar sua experiência neste laboratório. Basta selecionar o número de estrelas, digitar um comentário e clicar em Submit.

O número de estrelas indica o seguinte:

• 1 estrela = muito insatisfeito
• 2 estrelas = insatisfeito
• 3 estrelas = neutro
• 4 estrelas = satisfeito
• 5 estrelas = muito satisfeito

Feche a caixa de diálogo se não quiser enviar feedback.

Para enviar seu feedback, fazer sugestões ou correções, use a guia Support.

Copyright 2020 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de produtos e empresas podem ser marcas registradas das respectivas empresas a que estão associados.