GSP523

Visão geral

Nos laboratórios com desafio, apresentamos uma situação e um conjunto de tarefas. Para concluí-las, em vez de seguir instruções detalhadas, você usará o que aprendeu nos laboratórios do curso. Um sistema automático de pontuação (mostrado nesta página) vai avaliar seu desempenho.

Nos laboratórios com desafio, não ensinamos novos conceitos do Google Cloud. O objetivo dessas tarefas é aprimorar aquilo que você já aprendeu, como a alteração de valores padrão ou a leitura e pesquisa de mensagens para corrigir seus próprios erros.

Para alcançar a pontuação de 100%, você precisa concluir todas as tarefas no tempo definido.

Este laboratório é recomendado para estudantes que se inscreveram no curso com o selo de habilidade Implementar a pesquisa vetorial multimodal com o BigQuery. Tudo pronto para começar o desafio?

Cenário do desafio

Você é cientista de dados na Cymbal, uma loja de varejo on-line. Você quer criar um pipeline para pesquisar constantemente produtos semelhantes no mercado e embasar um estudo de comparação de marketing. Você tem alguns desafios:

• Como lidar com dados multimodais: os dados coletados são multimodais, incluindo texto, imagem e vídeo, além de alguns arquivos no Cloud Storage.
• Como fazer uma pesquisa de similaridade semântica em vez de uma pesquisa por palavra-chave: você quer encontrar produtos semelhantes em várias dimensões (por exemplo, imagem, descrição e atributos), e a pesquisa por palavra-chave não é eficaz nisso.
• Como usar o BigQuery para isso: como a maioria dos seus dados já está no BigQuery, usar a mesma ferramenta vai poupar esforço.

Para superar esses desafios, você decide implementar a pesquisa vetorial multimodal com o BigQuery.

Conhecimentos avaliados

• Criar uma conexão com uma fonte externa no BigQuery e conceder as permissões do IAM adequadas.
• Criar uma tabela de objetos para armazenar imagens.
• Gerar embeddings para converter imagens (dados multimodais) em vetores.
• Executar uma pesquisa vetorial para encontrar produtos semelhantes.

Pré-requisitos

Para fazer o laboratório, você precisa ter experiência com o BigQuery e o Cloud Storage.

O programa de aprendizado Gemini no BigQuery oferece uma base de conhecimento abrangente para esse selo de habilidade. Recomendamos que você confira estes três cursos e os respectivos laboratórios para aumentar seus conhecimentos e fazer este laboratório com desafio:

• Aumento de Produtividade com Gemini no BigQuery (iniciante): aprenda a usar o Gemini no BigQuery para assistência de código, preparação de dados e design de pipelines.

• Trabalhar com modelos do Gemini no BigQuery (intermediário): saiba como chamar modelos do Gemini no BigQuery para criar um aplicativo de IA generativa.

• Como criar embeddings, pesquisa vetorial e RAG com o BigQuery (avançado): saiba como evitar alucinações de IA com um pipeline de geração aumentada de recuperação (RAG), desde a criação de embeddings até a execução de pesquisa vetorial e a geração de respostas aprimoradas.

Configuração e requisitos

Antes de clicar no botão Começar o Laboratório

Leia estas instruções. Os laboratórios são cronometrados e não podem ser pausados. O timer é ativado quando você clica em Iniciar laboratório e mostra por quanto tempo os recursos do Google Cloud vão ficar disponíveis.

Este laboratório prático permite que você realize as atividades em um ambiente real de nuvem, e não em uma simulação ou demonstração. Você vai receber novas credenciais temporárias para fazer login e acessar o Google Cloud durante o laboratório.

Confira os requisitos para concluir o laboratório:

• Acesso a um navegador de Internet padrão (recomendamos o Chrome).

Observação: para executar este laboratório, use o modo de navegação anônima (recomendado) ou uma janela anônima do navegador. Isso evita conflitos entre sua conta pessoal e de estudante, o que poderia causar cobranças extras na sua conta pessoal.

• Tempo para concluir o laboratório: não se esqueça que, depois de começar, não será possível pausar o laboratório.

Observação: use apenas a conta de estudante neste laboratório. Se usar outra conta do Google Cloud, você poderá receber cobranças nela.

Como iniciar seu laboratório e fazer login no console do Google Cloud

1. Clique no botão Começar o laboratório. Se for preciso pagar por ele, uma caixa de diálogo vai aparecer para você selecionar a forma de pagamento. No painel Detalhes do Laboratório, à esquerda, você vai encontrar o seguinte:

   • O botão Abrir Console do Google Cloud
   • O tempo restante
   • As credenciais temporárias que você vai usar neste laboratório
   • Outras informações, se forem necessárias

2. Se você estiver usando o navegador Chrome, clique em Abrir console do Google Cloud ou clique com o botão direito do mouse e selecione Abrir link em uma janela anônima.

   O laboratório ativa os recursos e depois abre a página Fazer Login em outra guia.

   Dica: coloque as guias em janelas separadas lado a lado.

   Observação: se aparecer a caixa de diálogo Escolher uma conta, clique em Usar outra conta.

3. Se necessário, copie o Nome de usuário abaixo e cole na caixa de diálogo Fazer login.

   {{{user_0.username | "Username"}}}

   Você também encontra o nome de usuário no painel Detalhes do Laboratório.

4. Clique em Próxima.

5. Copie a Senha abaixo e cole na caixa de diálogo de Olá.

   {{{user_0.password | "Password"}}}

   Você também encontra a senha no painel Detalhes do Laboratório.

6. Clique em Próxima.

   Importante: você precisa usar as credenciais fornecidas no laboratório, e não as da sua conta do Google Cloud. Observação: se você usar sua própria conta do Google Cloud neste laboratório, é possível que receba cobranças adicionais.

7. Acesse as próximas páginas:

   • Aceite os Termos e Condições.
   • Não adicione opções de recuperação nem autenticação de dois fatores (porque essa é uma conta temporária).
   • Não se inscreva em testes gratuitos.

Depois de alguns instantes, o console do Google Cloud será aberto nesta guia.

Observação: para acessar os produtos e serviços do Google Cloud, clique no Menu de navegação ou digite o nome do serviço ou produto no campo Pesquisar.

Tarefa 1: criar uma conexão com uma fonte e conceder permissões do IAM

Crie uma conexão com uma fonte externa

Para usar modelos de IA generativa remotos, como modelos de embeddings, na Vertex AI no BigQuery, crie uma conexão com uma fonte externa chamada vector_conn na região .

Essa conexão funciona como um pipeline seguro entre a Vertex AI e o BigQuery, permitindo o uso seguro de modelos de IA generativa.

Clique na dica para conferir algumas sugestões úteis.

Conceda permissões do IAM à nova conta de serviço

Para acessar os recursos da Vertex AI e os dados do BigQuery, conceda as permissões do IAM adequadas à conta de serviço na conexão com a fonte externa.

Atribua os seguintes papéis à conta de serviço gerada na seção anterior:

• Proprietário de dados do BigQuery
• Leitor de objetos do Storage
• Usuário da Vertex AI

Clique na dica para saber mais.

Clique em Verificar meu progresso para conferir o objetivo. Criar uma conexão com uma fonte e conceder permissões do IAM.

Tarefa 2: criar uma tabela de objetos

Para consultar dados não estruturados, como imagens e vídeos armazenados no Google Cloud Storage, crie uma tabela de objetos chamada gcc_image_object_table no conjunto de dados pré-criado do BigQuery gcc_bqml_dataset.

A tabela armazena metadados sobre o objeto, como o URL e o tipo de conteúdo, mas não os dados não estruturados. As tabelas de objetos aceitam consultas como qualquer outra tabela do BigQuery, então é possível usar SQL ou Python para filtrar e selecionar objetos com base nos metadados.

Execute o código SQL a seguir no editor de SQL do BigQuery. Substitua os marcadores de posição entre colchetes [] pelo código correto, como [PROJECT_ID] pelo ID do projeto atribuído ao ambiente deste laboratório.

Create or replace external table `[PROJECT_ID].[DATASET_NAME].[OBJECT_TABLE_NAME]` with connection `[PROJECT_ID].[CONNECTION_REGION].[CONNECTION_NAME]` options ( object_metadata='SIMPLE', uris=['gs://[PROJECT_ID]/*'] )

Clique na dica para conferir algumas sugestões úteis.

Clique em Verificar meu progresso para conferir o objetivo. Criar uma tabela de objetos.

Tarefa 3: gerar embeddings

Acesse o modelo de embedding

Para acessar o modelo de embedding remoto, crie um modelo no BigQuery chamado gcc_embedding no conjunto de dados pré-criado do BigQuery chamado gcc_bqml_dataset. Especifique o endpoint (nome do modelo) como multimodalembedding@001.

Execute o código SQL a seguir no editor de SQL do BigQuery. Substitua os marcadores de posição entre colchetes [] pelo código correto, como [PROJECT_ID] pelo ID do projeto atribuído ao ambiente deste laboratório.

Create or replace model `[PROJECT_ID].[DATASET_NAME].[MODEL_NAME]` remote with connection `[PROJECT_ID].[CONNECTION_REGION].[CONNECTION_NAME]` options( [DEFINE_ENDPOINT] );

Clique na dica para conferir algumas sugestões úteis.

Gere embeddings

Ao gerar os embeddings de imagens, salve-os em uma tabela chamada gcc_retail_store_embeddings no conjunto de dados pré-criado do BigQuery chamado gcc_bqml_dataset.

1. Execute o código SQL a seguir no editor de SQL do BigQuery. Substitua os marcadores de posição entre colchetes [] pelo código correto, como [PROJECT_ID] pelo ID do projeto atribuído ao ambiente deste laboratório.

Create or replace table `[PROJECT_ID].[DATASET_NAME].[EMBEDDINGS_TABLE_NAME]` as select *, REGEXP_EXTRACT(uri, r'[^/]+$') as product_name from [EMBEDDINGS_FUNCTION] ( MODEL `[PROJECT_ID].[DATASET_NAME].[MODEL_NAME]`, TABLE `[PROJECT_ID].[DATASET_NAME].[OBJECT_TABLE_NAME]` )

Clique na dica para conferir algumas sugestões úteis.

2. [Etapa opcional] Para ver o resultado do embedding, atualize e execute o código a seguir. O resultado do embedding consiste em números de pontos flutuantes, e talvez não seja possível interpretá-lo de imediato.

SELECT * FROM `[PROJECT_ID].[DATASET_NAME].[EMBEDDINGS_TABLE_NAME]`

Clique em Verificar meu progresso para conferir o objetivo. Criar um modelo e gerar embeddings.

Tarefa 4: executar uma pesquisa vetorial

Ao executar a pesquisa vetorial para encontrar as imagens mais semelhantes à frase de pesquisa, salve o resultado em uma tabela chamada gcc_vector_search_table no conjunto de dados pré-criado do BigQuery chamado gcc_bqml_dataset.

1. Execute o código SQL a seguir no editor de SQL do BigQuery. Substitua os marcadores de posição entre colchetes [] pelo código correto, como [PROJECT_ID] pelo ID do projeto atribuído ao ambiente deste laboratório.

Create or replace table `[PROJECT_ID].[DATASET_NAME].[SEARCH_RESULTS_TABLE]` AS select base.uri, base.product_name, base.content_type, distance from [VECTOR_SEARCH_FUNCTION](table [DATASET_NAME].[EMBEDDINGS_TABLE_NAME],'ml_generate_embedding_result', ( SELECT ml_generate_embedding_result as embedding_col FROM [EMBEDDINGS_FUNCTION] ( MODEL `[DATASET_NAME].[MODEL_NAME]`, (select 'Men Sweaters' as content), STRUCT(TRUE AS flatten_json_output) ) ), [STATEMENT_TO_SELECT_TOP_2_RESULTS], distance_type => 'COSINE' );

Clique na dica para conferir algumas sugestões úteis.

2. [Etapa opcional] Para ver o resultado da pesquisa vetorial, atualize e execute o código a seguir:

SELECT * FROM `[PROJECT_ID].[DATASET_NAME].[SEARCH_RESULTS_TABLE]`

Clique em Verificar meu progresso para conferir o objetivo. Executar uma pesquisa vetorial.

Parabéns!

Parabéns por implementar a pesquisa vetorial multimodal com o BigQuery! Neste laboratório, você primeiro estabeleceu conexões com recursos externos e concedeu as permissões apropriadas do IAM à conta de serviço. Em seguida, você criou uma tabela de objetos para armazenar metadados de imagens. Depois, você gerou embeddings para converter as imagens em vetores. Por fim, você pesquisou os vetores e encontrou os produtos desejados.

Agora aplique o mesmo processo para pesquisar dados multimodais nos seus casos de uso.

Treinamento e certificação do Google Cloud

Esses treinamentos ajudam você a aproveitar as tecnologias do Google Cloud ao máximo. Nossas aulas incluem habilidades técnicas e práticas recomendadas para ajudar você a alcançar rapidamente o nível esperado e continuar sua jornada de aprendizado. Oferecemos treinamentos que vão do nível básico ao avançado, com opções de aulas virtuais, sob demanda e por meio de transmissões ao vivo para que você possa encaixá-las na correria do seu dia a dia. As certificações validam sua experiência e comprovam suas habilidades com as tecnologias do Google Cloud.

Manual atualizado em 12 de fevereiro de 2025

Laboratório testado em 12 de fevereiro de 2025

Copyright 2025 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de produtos e empresas podem ser marcas registradas das respectivas empresas a que estão associados.