GSP1154

Visão geral

A Vertex AI é uma plataforma abrangente de desenvolvimento de machine learning que oferece recursos de IA generativa e de previsão. Com ela, é possível treinar, avaliar e implantar modelos preditivos de machine learning para fins de previsão. Além disso, é possível utilizar a plataforma para descobrir, ajustar e disponibilizar modelos de IA generativa para produzir conteúdo.

O Vertex AI Studio serve para fazer testes rápidos e personalizar modelos de IA generativa para incorporar esses recursos aos seus aplicativos. Ele fornece uma variedade de ferramentas e recursos, incluindo IU (interface do usuário) e exemplos de programação que facilitam o uso da IA generativa, mesmo que você não tenha experiência em machine learning.

Neste laboratório prático, você vai conhecer o Vertex AI Studio e descobrir todo o potencial dos modelos de IA generativa modernos. Você vai conhecer o Gemini multimodal e usá-lo para analisar imagens, elaborar comandos e gerar conversas diretamente no console do Google Cloud. Não é necessário ter SDKs de API ou Python. Tudo pode ser acessado por meio da interface do usuário intuitiva.

Objetivos

Neste laboratório, você vai executar as seguintes tarefas:

• Analisar imagens com o Gemini multimodal.
• Explorar recursos multimodais.
• Elaborar comandos nos modos formato livre e estruturado.
• Gerar conversas.

Configuração e requisitos

Antes de clicar no botão Start Lab

Leia estas instruções. Os laboratórios são cronometrados e não podem ser pausados. O timer é iniciado quando você clica em Começar o laboratório e mostra por quanto tempo os recursos do Google Cloud vão ficar disponíveis.

Este laboratório prático permite que você realize as atividades em um ambiente real de nuvem, não em uma simulação ou demonstração. Você vai receber novas credenciais temporárias para fazer login e acessar o Google Cloud durante o laboratório.

Confira os requisitos para concluir o laboratório:

• Acesso a um navegador de Internet padrão (recomendamos o Chrome).

Observação: para executar este laboratório, use o modo de navegação anônima ou uma janela anônima do navegador. Isso evita conflitos entre sua conta pessoal e a conta de estudante, o que poderia causar cobranças extras na sua conta pessoal.

• Tempo para concluir o laboratório---não se esqueça: depois de começar, não será possível pausar o laboratório.

Observação: não use seu projeto ou conta do Google Cloud neste laboratório para evitar cobranças extras na sua conta.

Como iniciar seu laboratório e fazer login no console do Google Cloud

1. Clique no botão Começar o laboratório. Se for preciso pagar, você verá um pop-up para selecionar a forma de pagamento. No painel Detalhes do laboratório à esquerda, você verá o seguinte:

   • O botão Abrir Console do Cloud
   • Tempo restante
   • As credenciais temporárias que você vai usar neste laboratório
   • Outras informações se forem necessárias

2. Clique em Abrir Console do Google. O laboratório ativa recursos e depois abre outra guia com a página Fazer login.

   Dica: coloque as guias em janelas separadas lado a lado.

   Observação: se aparecer a caixa de diálogo Escolher uma conta, clique em Usar outra conta.

3. Caso seja preciso, copie o Nome de usuário no painel Detalhes do laboratório e cole esse nome na caixa de diálogo Fazer login. Clique em Avançar.

4. Copie a Senha no painel Detalhes do laboratório e a cole na caixa de diálogo Olá. Clique em Avançar.

   Importante: você precisa usar as credenciais do painel à esquerda. Não use suas credenciais do Google Cloud Ensina. Observação: se você usar sua própria conta do Google Cloud neste laboratório, é possível que receba cobranças adicionais.

5. Acesse as próximas páginas:

   • Aceite os Termos e Condições.
   • Não adicione opções de recuperação nem autenticação de dois fatores (porque essa é uma conta temporária).
   • Não se inscreva em testes gratuitos.

Depois de alguns instantes, o console do GCP vai ser aberto nesta guia.

Observação: para ver uma lista dos produtos e serviços do Google Cloud, clique no Menu de navegação no canto superior esquerdo.

Ativar a API Vertex AI

1. No console do Google Cloud, digite API Vertex AI na barra de pesquisa da parte de cima.

2. Clique no resultado para API Vertex AI em "Marketplace e APIs".

3. Selecione Ativar.

Clique em Verificar meu progresso para conferir os objetivos.

Ativar a API Vertex AI

Tarefa 1: analisar imagens com o Gemini multimodal

1. No console do Google Cloud, acesse Menu de navegação ()>Inteligência artificial > Vertex AI> Vertex AI Studio> Informações gerais

Observação: se você não encontrar a Vertex AI no menu de navegação, clique no menu suspenso Mais produtos.

Quatro recursos estão disponíveis: Multimodal, Idioma, Visão e Fala. Neste laboratório, você vai se concentrar nas duas primeiras.

2. Em Multimodal com a tecnologia do Gemini, clique em Testar o Gemini.

Observação: a IU contém três seções principais:

Comando (localizado na parte de cima): aqui você pode criar uma tarefa que utilize recursos multimodais.

Configuração (localizada à direita): esta seção permite selecionar modelos, configurar parâmetros e obter o código correspondente.

Resposta (localizada na parte inferior): esta seção exibe os resultados da sua tarefa.

3. Dê ao comando o nome Análise de imagem.

4. Fazer o download da imagem de amostra. Clique com o botão direito do mouse na imagem do horário e salve no computador.

5. Gerar um título para a imagem. Clique em Inserir mídia > Fazer upload do computador no canto superior direito e faça upload da imagem do horário. A mídia pode estar em imagens ou vídeos. Copie as seguintes informações e clique em Enviar.

Title the image.

Ou seja mais específico:

Title the image in 3 words.

O título atende às suas expectativas? Tente modificar o comando para ver se obtém resultados diferentes.

6. Descrever a imagem. Substitua o comando anterior pelas informações abaixo e clique em Enviar.

Describe the image in detail.

7. Ajustar o parâmetro. Ajuste a temperatura deslizando da esquerda (0) para a direita (1). Reenvie o comando para observar qualquer mudança no resultado em comparação com o anterior.

Observação: a temperatura controla o grau de aleatoriedade na seleção do token. Temperaturas mais baixas são boas para solicitações que esperam uma resposta verdadeira ou correta, e as mais altas podem gerar resultados mais diversos ou inesperados. Com uma temperatura de 0, o token de probabilidade mais alta é sempre selecionado.

8. Extrair o texto da imagem. Substitua o comando anterior pelo seguinte:

Read the text in the image.

Além disso, se você quiser formatar a saída como uma lista, substitua o comando anterior pelo seguinte:

Parse the time and city in this image into a list with two columns: time and city.

Agora é sua vez de testar alguns comandos diferentes! Qual é a diferença entre esses resultados e os anteriores?

9. Analisar as informações na imagem. Substitua o comando anterior pelo seguinte:

Calculate the percentage of the flights to different continents.

O resultado atende às suas expectativas? É altamente recomendável que você experimente diferentes comandos para várias tarefas. Recomendamos também que você teste diferentes configurações de temperatura para observar as mudanças no resultado.

10. Salvar o comando. Depois de elaborar o comando, salve-o clicando em Salvar no canto superior direito e confirme com Salvar. Para encontrar seus comandos salvos, acesse Multimodal>Meus comandos.

Clique em Verificar meu progresso para conferir os objetivos.

Extrair o conteúdo da imagem.

Tarefa 2: explorar recursos multimodais

Além de imagens e texto, o Gemini multimodal consegue aceitar vídeos como entradas e gerar texto como saída. Recomendamos que você teste por conta própria. Para isso, envie um vídeo curto e use vários comandos. Como um vídeo de amostra, você pode usar o gs://spls/gsp154/video/train.mp4 (pré-lançamento).

A tecnologia multimodal desenvolvida pelo Gemini oferece muitos recursos, como escrever histórias a partir de imagens, analisar vídeos e gerar anúncios multimídia. Conheça mais casos de uso multimodais clicando em Multimodal> Comandos de amostra. Saiba mais sobre como elaborar comandos multimodais.

Tarefa 3: elaborar comandos nos modos formato livre e estruturado.

1. No menu "Vertex AI", na página Vertex AI Studio > Visão geral , clique em Abrir em Language Powered by Gemini.

Criar comando

É possível criar comandos para tarefas relevantes ao caso de uso da sua empresa, incluindo a geração de códigos.

Clique no botão Comando de texto, como mostra a imagem abaixo. A IU pode ser um pouco diferente dessa captura de tela.

Passe o cursor ou clique nos botões ? do lado direito da página para saber mais sobre cada campo e parâmetro, como "Temperatura" e "Limite de tokens".

Design de comandos

É possível enviar o texto de entrada (uma pergunta, por exemplo) ao modelo, que vai apresentar uma resposta com base na estrutura do comando. O processo de descobrir e criar o melhor texto de entrada (comando) para conseguir a resposta desejada do modelo é chamado de design de comandos.

Ainda não existe uma forma ideal de criar comandos. Há três métodos que podem ser usados para moldar a resposta do modelo:

• Comandos zero-shot: nesse método, o LLM recebe apenas um comando que descreve a tarefa, sem dados adicionais. Por exemplo, se você quiser que o LLM responda a uma pergunta, envie apenas o comando "o que é design de comandos?".
• Comandos one-shot: nesse método, o LLM recebe um exemplo da tarefa que ele deve realizar. Por exemplo, para que o LLM escreva uma poesia, você poderia dar um poema a ele como exemplo.
• Comandos few-shot: nesse método, o LLM recebe alguns exemplos da tarefa que ele deve realizar. Por exemplo, para que o LLM crie matérias jornalísticas, você daria algumas matérias para ele ler.

Também existem as guias FORMATO LIVRE e ESTRUTURADO. Esses são os dois modos usados para criar comandos.

• FORMATO LIVRE: esse modo é uma maneira livre e fácil de criar comandos. Ele é adequado para comandos pequenos e experimentais sem exemplos. Você vai usar esse modo para aprender sobre os comandos zero-shot.
• ESTRUTURADO: esse modo oferece modelos fáceis de usar para o design de comandos. Com ele, é possível adicionar o contexto e vários exemplos ao comando. O modo é útil especialmente para os comandos one-shot e few-shot, que você vai conhecer mais tarde.

---

Modo FORMATO LIVRE

Teste os comandos zero-shot no modo FORMATO LIVRE.

1. Copie o texto a seguir no campo de entrada de comandos. Mantenha a configuração do modelo padrão atual, que é gemini-1.0-pro-002. Observação: o nome do modelo pode mudar com o lançamento de novos modelos.

What is a prompt gallery?

2. Clique no botão ENVIAR, no lado direito da página.

O modelo vai responder com uma definição completa do termo "prompt gallery" (galeria de comandos).

Faça os exercícios abaixo para descobrir mais.

• Mude o parâmetro Limite de tokens para 1 e clique no botão ENVIAR.
• Mude o parâmetro Token limit para 1024 e clique no botão ENVIAR.
• Mude o parâmetro Temperature para 0.5 e clique no botão ENVIAR.
• Mude o parâmetro Temperature para 1.0 e clique no botão ENVIAR.

Analise como as respostas mudam de acordo com as alterações nos parâmetros.

---

Modo ESTRUTURADO

Com o modo ESTRUTURADO, você cria comandos de maneiras mais organizadas. Você pode informar o Contexto e dar Exemplos nos respectivos campos de entrada. Esta é uma boa oportunidade de aprender sobre os comandos one-shot e few-shot.

Nesta seção, você vai pedir ao modelo para completar uma frase.

1. Volte à janela Comando de texto.
2. Na parte de cima da página, clique na guia ESTRUTURADO.
3. Remova o texto de Contexto
4. No campo Teste, copie o texto a seguir no campo ENTRADA.

the color of the sky is Observação: você pode substituir "color" por "colour" se usar a variante britânica do idioma inglês.

5. Clique no botão ENVIAR, no lado direito da página.

Em vez de completar a frase, o modelo respondeu com uma frase completa, o que não era o que você queria. Tente influenciar a resposta do modelo com os comandos one-shot. Desta vez, adicione um exemplo que vai servir de base para a saída do modelo.

No campo Exemplos, faça o seguinte:

1. Adicione o texto abaixo no campo ENTRADA:

the color of the grass is

2. Adicione o texto abaixo ao campo SAÍDA:

the color of the grass is green

3. Clique no botão ENVIAR, no lado direito da página.

Você conseguiu influenciar a resposta do modelo.

---

No próximo exercício, você vai usar o modelo para realizar análise de sentimento em uma frase, por exemplo, para identificar se a avaliação de um filme é positiva ou negativa.

1. Volte à janela Comando de texto.
2. No campo Exemplos, exclua o texto anterior em ENTRADA e SAÍDA para green grass.
3. No campo Teste, copie o comando abaixo no campo ENTRADA.

It was a time well spent!

4. Clique no botão ENVIAR, no lado direito da página.

O modelo não tinha informações suficientes para saber que você pediu uma análise de sentimento. Para melhorar isso, mostre ao modelo alguns exemplos do que você quer.

Adicione os exemplos da imagem abaixo:

ENTRADA	SAÍDA
A well-made and entertaining film	positive
I fell asleep after 10 minutes	negative
The movie was ok	neutral

Clique no botão ENVIAR, no lado direito da página.

Agora o modelo mostra o sentimento do texto de entrada. No caso do texto It was a time well spent!, o rótulo de sentimento indica positive.

Também é possível salvar o comando que você criou. Para salvar o comando, dê a ele o nome que quiser, como teste de análise de sentimentos, clique no botão Salvar e selecione a região do laboratório. Clique em SALVAR

Se você encontrar um erro durante esse processo, selecione Tentar de novo.

O comando salvo vai aparecer na guia MEUS COMANDOS.

---

Clique em Verificar meu progresso para conferir os objetivos.

Criar comandos com texto

Tarefa 4: gerar conversas

É possível criar comandos de chat para conversar livremente com o modelo, que se lembra do que foi dito antes e responde com base no contexto.

1. Volte à página Idioma.
2. Clique no botão CHAT DE TEXTO para criar um comando de chat.

3. Em Modelo, selecione chat-bison (latest). A página de novo comando de chat será aberta.

Nesta seção, você vai adicionar um contexto ao chat, que vai servir de base para a resposta do modelo.

4. Depois, insira o contexto a seguir no campo Contexto.

Your name is Roy. You are a support technician of an IT department. Você só responde com "Você já tentou desligar e ligar novamente?" a qualquer pergunta.

5. Adicione o texto abaixo na caixa de chat, em "Respostas".

My computer is so slow

6. Pressione a tecla Enter ou clique em Enviar mensagem (botão com a seta para a direita).

O modelo vai considerar o contexto informado e responder às perguntas dentro das limitações.

7. Atribua um nome ao comando, clique no botão Salvar e selecione a região do laboratório. Clique em SALVAR

Clique em Verificar meu progresso para conferir os objetivos.

Criar conversas com o comando de chat

Parabéns!

Você aprendeu a analisar uma imagem com multimodal, explorar recursos multimodais, criar e testar um comando e gerar uma conversa. Esse foi o início da sua jornada no uso do Vertex AI Studio e o Gemini Multimodal.

Treinamento e certificação do Google Cloud

Esses treinamentos ajudam você a aproveitar as tecnologias do Google Cloud ao máximo. Nossas aulas incluem habilidades técnicas e práticas recomendadas para ajudar você a alcançar rapidamente o nível esperado e continuar sua jornada de aprendizado. Oferecemos treinamentos que vão do nível básico ao avançado, com opções de aulas virtuais, sob demanda e por meio de transmissões ao vivo para que você possa encaixá-las na correria do seu dia a dia. As certificações validam sua experiência e comprovam suas habilidades com as tecnologias do Google Cloud.

Manual atualizado em 17 de abril de 2024

Laboratório testado em 17 de abril de 2024

Copyright 2024 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de produtos e empresas podem ser marcas registradas das respectivas empresas a que estão associados.