GSP1154

概览

Vertex AI 是一个全面的机器学习开发平台，可提供预测功能和生成式 AI 功能。利用该平台，您可以训练、评估和部署用于预测的预测性机器学习模型。此外，您可以利用该平台发现生成式 AI 模型并对其进行调参，还可以提供这些模型来生成内容。

借助 Vertex AI Studio，您可以快速测试和自定义生成式 AI 模型，以便在您的应用中利用其功能。它提供了各种工具和资源，包括界面和编码示例。这样，即使您没有机器学习的相关背景，也能够轻松上手使用生成式 AI。

本实操实验将引导您完成 Vertex AI Studio 的相关操作，让您能够通过该平台释放先进生成式 AI 模型的潜力。您将探索 Gemini 多模态，并直接在 Google Cloud 控制台中利用多模态来分析图片、设计提示和生成对话。无需 API 或 Python SDK，全部功能都可以通过直观的界面进行访问。

目标

在本实验中，您将执行以下任务：

• 使用 Gemini 多模态分析图片。
• 探索多模态功能。
• 在“自由格式”和“结构化”模式下设计提示。
• 生成对话。

设置和要求

点击“开始实验”按钮前的注意事项

请阅读以下说明。实验是计时的，并且您无法暂停实验。计时器在您点击开始实验后即开始计时，显示 Google Cloud 资源可供您使用多长时间。

此实操实验可让您在真实的云环境中开展实验活动，免受模拟或演示环境的局限。我们会为您提供新的临时凭据，让您可以在实验规定的时间内用来登录和访问 Google Cloud。

为完成此实验，您需要：

• 能够使用标准的互联网浏览器（建议使用 Chrome 浏览器）。

注意：请使用无痕模式或无痕浏览器窗口运行此实验。这可以避免您的个人账号与学生账号之间发生冲突，这种冲突可能导致您的个人账号产生额外费用。

• 完成实验的时间 - 请注意，实验开始后无法暂停。

注意：如果您已有自己的个人 Google Cloud 账号或项目，请不要在此实验中使用，以避免您的账号产生额外的费用。

如何开始实验并登录 Google Cloud 控制台

1. 点击开始实验按钮。如果该实验需要付费，系统会打开一个弹出式窗口供您选择付款方式。左侧是实验详细信息面板，其中包含以下各项：

   • 打开 Google 控制台按钮
   • 剩余时间
   • 进行该实验时必须使用的临时凭据
   • 帮助您逐步完成本实验所需的其他信息（如果需要）

2. 点击打开 Google 控制台。 该实验会启动资源并打开另一个标签页，显示登录页面。

   提示：请将这些标签页安排在不同的窗口中，并将它们并排显示。

   注意：如果您看见选择帐号对话框，请点击使用其他帐号。

3. 如有必要，请从实验详细信息面板复制用户名，然后将其粘贴到登录对话框中。点击下一步。

4. 请从实验详细信息面板复制密码，然后将其粘贴到欢迎对话框中。点击下一步。

   重要提示：您必须使用左侧面板中的凭据。请勿使用您的 Google Cloud Skills Boost 凭据。 注意：在本次实验中使用您自己的 Google Cloud 帐号可能会产生额外费用。

5. 继续在后续页面中点击以完成相应操作：

   • 接受条款及条件。
   • 由于该帐号为临时帐号，请勿添加帐号恢复选项或双重验证。
   • 请勿注册免费试用。

片刻之后，系统会在此标签页中打开 Cloud 控制台。

注意：您可以点击左上角的导航菜单来查看列有 Google Cloud 产品和服务的菜单。

启用 Vertex AI API

1. 在 Google Cloud 控制台顶部的搜索栏中输入 Vertex AI API。

2. 点击“Marketplace 和 API”下面的 Vertex AI API 搜索结果。

3. 点击启用。

点击检查我的进度以验证是否完成了以下目标。

启用 Vertex AI API

任务 1. 使用 Gemini 多模态分析图片

1. 在 Google Cloud 控制台的导航菜单 () 中，依次点击人工智能 > Vertex AI > Vertex AI Studio > 概览。

注意：如果在导航菜单中没有看到 Vertex AI，请点击更多产品下拉菜单。

可以看到四种功能：多模态、语言、视觉和语音。在本实验中，您将着重了解前两项功能。

2. 在由 Gemini 支持的多模态下，点击试用 Gemini。

注意：该界面包含三个主要部分：

提示（位于顶部）：您可以在此处创建一项利用多模态功能的任务。

配置（位于右侧）：您可以在此部分中选择模型、配置参数并获取相应的代码。

回答（位于底部）：此部分显示任务的结果。

3. 将提示命名为图片分析。

4. 下载示例图片。右键点击时间表图片，然后将其保存到您的桌面。

5. 为该图片生成名称。点击右上方的插入媒体 > 从计算机中上传，然后上传此时间表图片。媒体可以是图片，也可以是视频。复制以下内容，然后点击提交。

Title the image.

或者可以提出更具体的要求：

Title the image in 3 words.

此名称是否符合您的预期？尝试修改提示，看看是否会得到不同的结果。

6. 描述图片。将之前的提示替换为以下内容，然后点击提交。

Describe the image in detail.

7. 调整参数。从左 (0) 到右 (1) 调节滑块可调整温度。重新提交提示，观察现在的结果与之前的结果相比有无变化。

注意：温度可以控制词元选择的随机性。较低的温度适合希望获得真实或正确回复的提示，而较高的温度可能会引发更加多样化或意想不到的结果。如果温度为 0，系统始终会选择概率最高的词元。

8. 从图片中提取文字。将之前的提示替换为以下内容：

Read the text in the image.

此外，如果要将输出的格式设置为列表，请将之前的提示替换为以下内容：

Parse the time and city in this image into a list with two columns: time and city.

轮到您了 - 来试试一些不同的提示吧！这些结果与之前有何不同？

9. 分析图片中的信息。将之前的提示替换为以下内容：

Calculate the percentage of the flights to different continents.

结果是否符合您的预期？强烈建议您针对各种任务尝试不同的提示。还建议您尝试不同的温度设置，以观察结果的变化。

10. 保存提示。完成提示设计后，点击右上角的保存以保存提示，然后确认保存。如需查找已保存的提示，请依次前往多模态 > 我的提示。

点击检查我的进度以验证是否完成了以下目标：

提取图片内容。

任务 2：探索多模态功能

除了图片和文本之外，Gemini 多模态还能够接受视频作为输入内容并生成文本作为输出内容。建议您通过上传短视频并试验不同的提示来自行尝试此功能。对于示例视频，您可以使用 gs://spls/gsp154/video/train.mp4（预览）。

由 Gemini 支持的多模态具备许多功能，例如根据图片撰写故事、分析视频以及生成多媒体广告。依次点击多模态 > 示例提示，以探索更多多模态应用场景。如需了解详情，请参阅设计多模态提示。

任务 3. 在“自由格式”和“结构化”模式下设计提示

1. 在 Vertex AI 菜单的 Vertex AI Studio > 概览页面中，点击由 Gemini 支持的语言下的“打开”。

创建提示

您可以使用“创建提示”功能，为业务用例的相关任务（包括代码生成）设计提示。

点击下图所示的文本提示按钮。所显示的界面可能与此屏幕截图略有不同。

您可以将鼠标悬停在页面右侧的 ? 按钮上或点击这类按钮，以了解每个字段和参数的更多信息，例如“温度”和“词元限制”等。

提示设计

您可以根据需求向模型输入文本，例如提一个问题。然后，模型会按照提示的结构给出回答。寻找并设计最佳输入文本（提示），以便模型能够给出所需要的回答，这一过程称作提示设计。

目前还没有最佳的设计提示方法。您可以使用以下 3 种方法来引导模型给出的回答：

• 零样本提示 - 该方法是指仅向 LLM 提供用来描述任务的提示，而不提供任何其他数据。例如，如果您想让 LLM 回答一个问题，那么可以给出类似于下面这样的提示：“什么是提示设计？”。
• 单样本提示 - 该方法是指在要求 LLM 执行特定任务时，向其提供单个任务示例。例如，如果您想让 LLM 写一首诗词，那么可以向其提供一首示例诗词。
• 小样本提示 - 该方法是指在要求 LLM 执行特定任务时，向其提供少量任务示例。例如，如果您想让 LLM 写一篇新闻报道，可以向其提供几篇新闻报道范本。

您可能也注意到了自由格式和结构化标签页。这是您在设计提示时可以用到的两种模式。

• 自由格式 - 在该模式下，您可以轻松设计提示，没有任何限制。该模式适用于没有额外示例的小型实验性提示。您可以在此模式下使用“零样本提示”方法。
• 结构化 - 该模式让您可以利用简单易用的模板来设计提示。该模式下，您可以在提示中添加上下文和多个示例。这一模式特别适合单样本和小样本提示方法，稍后您将尝试这两种方法。

---

“自由格式”模式

在自由格式模式下试用零样本提示。

1. 将以下内容复制到提示输入字段。 保留当前的默认模型设置，即 gemini-1.0-pro-002。 注意：模型名称可能会随着新模型的发布而改变。

What is a prompt gallery?

2. 点击页面右侧的提交按钮。

模型的回答中将包含“提示库”这一术语较为全面的定义。

您还可以尝试以下探索性的做法：

• 将 Token limit（词元限制）参数调整到 1，然后点击提交按钮
• 将词元限制参数调整到 1024，然后点击提交按钮
• 将温度参数调整到 0.5，然后点击提交按钮
• 将温度参数调整到 1.0，然后点击提交按钮

看看随着参数的变化，模型的回答会发生什么样的变化。

---

“结构化”模式

采用结构化模式时，您可以更有条理地设计提示。您可以在相应的输入字段中提供上下文和示例。此模式下，您可以很好地了解单样本和小样本提示。

在本部分，您将要求模型补全一个句子。

1. 返回文本提示窗口。
2. 在页面顶部，点击结构化标签页。
3. 从上下文中移除任意一段文本
4. 将以下内容复制到测试字段下方的输入字段中。

the color of the sky is 注意：如果您所在国家/地区的正确拼写是“colour”而不是“color”，您可能需要进行相应更改。

5. 点击页面右侧的提交按钮。

模型并没有补全句子，而是给出了一个完整的句子，这不是您想要的回答。可以试着用“单样本提示”方法来影响模型的回答。这一次，可以添加一个示例，供模型在给出回答时参考。

在示例字段下，执行以下操作：

1. 将以下内容添加到输入字段中：

the color of the grass is

2. 将以下内容添加到输出字段中：

the color of the grass is green

3. 点击页面右侧的提交按钮。

您成功影响了该模型回答的方式。

---

在下一项练习中，您将使用模型对句子进行情感分析，例如判断电影评论是正面的还是负面的。

1. 返回文本提示窗口。
2. 在示例字段下，删除之前有关绿草地的输入和输出内容。
3. 将以下提示复制到测试字段下的输入字段中。

这些时间花得值！

4. 点击页面右侧的提交按钮。

模型没有得到足够的信息，它并不清楚您希望进行情感分析。您可以提供一些有关情感分析的示例来改进模型的回答。

试着添加下图中所示的示例：

输入	输出
一部制作精良、充满乐趣的电影	正面
我看了 10 分钟就睡着了	负面
这部电影还可以	中性

然后，点击页面右侧的提交按钮。

现在，模型会对输入文本进行情感分析。对于输入文本“这些时间花得值！”，情感分析结果为“正面”。

您也可以保存新设计的提示。如需保存提示，请自行为提示命名，例如“sentiment analysis test”。点击保存按钮，然后选择实验所在的区域 。点击保存

（如果在保存时遇到错误，请点击重试）

已保存的提示会显示在我的提示标签页中。

---

点击检查我的进度以验证是否完成了以下目标。

使用文本创建提示

任务 4. 生成对话

通过“创建聊天提示”功能，您可以与该模型自由聊天，模型会跟踪先前的聊天内容，并根据上下文给出回答。

1. 返回语言页面。
2. 点击文字聊天按钮来创建一个新的聊天提示。

3. 在模型下，选择 chat-bison（最新）。 您将看到新的聊天提示页面。

在本部分中，您将为聊天添加上下文，然后让模型根据所提供的上下文给出回答。

4. 然后，为上下文字段提供以下上下文。

Your name is Roy. You are a support technician of an IT department. You only respond with "Have you tried turning it off and on again?" to any queries.

5. 将以下文本添加到“回答”下方的聊天框中。

My computer is so slow

6. 按下 Enter 键或者点击发送消息（箭头向右的按钮）。

模型会考虑您额外提供的上下文，并在限定的范围内回答问题。

7. 自行为提示命名，点击保存按钮，然后选择实验所在的区域 。点击保存

点击检查我的进度以验证是否完成了以下目标。

使用聊天提示创建对话

恭喜！

您学习了如何使用多模态分析图片，并学习了如何探索多模态功能、创建和测试提示以及生成对话。您已成功迈出第一步，继续使用 Vertex AI Studio 和 Gemini 多模态吧！

Google Cloud 培训和认证

…可帮助您充分利用 Google Cloud 技术。我们的课程会讲解各项技能与最佳实践，可帮助您迅速上手使用并继续学习更深入的知识。我们提供从基础到高级的全方位培训，并有点播、直播和虚拟三种方式选择，让您可以按照自己的日程安排学习时间。各项认证可以帮助您核实并证明您在 Google Cloud 技术方面的技能与专业知识。

上次更新手册的时间：2024 年 4 月 17 日

上次测试实验的时间：2024 年 4 月 17 日

版权所有 2024 Google LLC 保留所有权利。Google 和 Google 徽标是 Google LLC 的商标。其他所有公司名和产品名可能是其各自相关公司的商标。