检查点
Enable the Vertex AI API
/ 25
Extract the content of the image
/ 25
Create prompts with text
/ 25
Create conversations with chat prompt
/ 25
Vertex AI Studio 使用入门
GSP1154
概览
Vertex AI 是一个全面的机器学习开发平台,可提供预测功能和生成式 AI 功能。利用该平台,您可以训练、评估和部署用于预测的预测性机器学习模型。此外,您可以利用该平台发现生成式 AI 模型并对其进行调参,还可以提供这些模型来生成内容。
借助 Vertex AI Studio,您可以快速测试和自定义生成式 AI 模型,以便在您的应用中利用其功能。它提供了各种工具和资源,包括界面和编码示例。这样,即使您没有机器学习的相关背景,也能够轻松上手使用生成式 AI。
本实操实验将引导您完成 Vertex AI Studio 的相关操作,让您能够通过该平台释放先进生成式 AI 模型的潜力。您将探索 Gemini 多模态,并直接在 Google Cloud 控制台中利用多模态来分析图片、设计提示和生成对话。无需 API 或 Python SDK,全部功能都可以通过直观的界面进行访问。
目标
在本实验中,您将执行以下任务:
- 使用 Gemini 多模态分析图片。
- 探索多模态功能。
- 在“自由格式”和“结构化”模式下设计提示。
- 生成对话。
设置和要求
点击“开始实验”按钮前的注意事项
请阅读以下说明。实验是计时的,并且您无法暂停实验。计时器在您点击开始实验后即开始计时,显示 Google Cloud 资源可供您使用多长时间。
此实操实验可让您在真实的云环境中开展实验活动,免受模拟或演示环境的局限。我们会为您提供新的临时凭据,让您可以在实验规定的时间内用来登录和访问 Google Cloud。
为完成此实验,您需要:
- 能够使用标准的互联网浏览器(建议使用 Chrome 浏览器)。
- 完成实验的时间 - 请注意,实验开始后无法暂停。
如何开始实验并登录 Google Cloud 控制台
-
点击开始实验按钮。如果该实验需要付费,系统会打开一个弹出式窗口供您选择付款方式。左侧是实验详细信息面板,其中包含以下各项:
- 打开 Google 控制台按钮
- 剩余时间
- 进行该实验时必须使用的临时凭据
- 帮助您逐步完成本实验所需的其他信息(如果需要)
-
点击打开 Google 控制台。 该实验会启动资源并打开另一个标签页,显示登录页面。
提示:请将这些标签页安排在不同的窗口中,并将它们并排显示。
注意:如果您看见选择帐号对话框,请点击使用其他帐号。 -
如有必要,请从实验详细信息面板复制用户名,然后将其粘贴到登录对话框中。点击下一步。
-
请从实验详细信息面板复制密码,然后将其粘贴到欢迎对话框中。点击下一步。
重要提示:您必须使用左侧面板中的凭据。请勿使用您的 Google Cloud Skills Boost 凭据。 注意:在本次实验中使用您自己的 Google Cloud 帐号可能会产生额外费用。 -
继续在后续页面中点击以完成相应操作:
- 接受条款及条件。
- 由于该帐号为临时帐号,请勿添加帐号恢复选项或双重验证。
- 请勿注册免费试用。
片刻之后,系统会在此标签页中打开 Cloud 控制台。
启用 Vertex AI API
-
在 Google Cloud 控制台顶部的搜索栏中输入 Vertex AI API。
-
点击“Marketplace 和 API”下面的 Vertex AI API 搜索结果。
-
点击启用。
点击检查我的进度以验证是否完成了以下目标。
任务 1. 使用 Gemini 多模态分析图片
- 在 Google Cloud 控制台的导航菜单 () 中,依次点击人工智能 > Vertex AI > Vertex AI Studio > 概览。
可以看到四种功能:多模态、语言、视觉和语音。在本实验中,您将着重了解前两项功能。
- 在由 Gemini 支持的多模态下,点击试用 Gemini。
-
将提示命名为图片分析。
-
下载示例图片。右键点击时间表图片,然后将其保存到您的桌面。
- 为该图片生成名称。点击右上方的插入媒体 > 从计算机中上传,然后上传此时间表图片。媒体可以是图片,也可以是视频。复制以下内容,然后点击提交。
或者可以提出更具体的要求:
此名称是否符合您的预期?尝试修改提示,看看是否会得到不同的结果。
- 描述图片。将之前的提示替换为以下内容,然后点击提交。
- 调整参数。从左 (0) 到右 (1) 调节滑块可调整温度。重新提交提示,观察现在的结果与之前的结果相比有无变化。
- 从图片中提取文字。将之前的提示替换为以下内容:
此外,如果要将输出的格式设置为列表,请将之前的提示替换为以下内容:
轮到您了 - 来试试一些不同的提示吧!这些结果与之前有何不同?
- 分析图片中的信息。将之前的提示替换为以下内容:
结果是否符合您的预期?强烈建议您针对各种任务尝试不同的提示。还建议您尝试不同的温度设置,以观察结果的变化。
- 保存提示。完成提示设计后,点击右上角的保存以保存提示,然后确认保存。如需查找已保存的提示,请依次前往多模态 > 我的提示。
点击检查我的进度以验证是否完成了以下目标:
任务 2:探索多模态功能
除了图片和文本之外,Gemini 多模态还能够接受视频作为输入内容并生成文本作为输出内容。建议您通过上传短视频并试验不同的提示来自行尝试此功能。对于示例视频,您可以使用 gs://spls/gsp154/video/train.mp4
(预览)。
由 Gemini 支持的多模态具备许多功能,例如根据图片撰写故事、分析视频以及生成多媒体广告。依次点击多模态 > 示例提示,以探索更多多模态应用场景。如需了解详情,请参阅设计多模态提示。
任务 3. 在“自由格式”和“结构化”模式下设计提示
- 在 Vertex AI 菜单的 Vertex AI Studio > 概览页面中,点击由 Gemini 支持的语言下的“打开”。
创建提示
您可以使用“创建提示”功能,为业务用例的相关任务(包括代码生成)设计提示。
点击下图所示的文本提示按钮。所显示的界面可能与此屏幕截图略有不同。
您可以将鼠标悬停在页面右侧的 ? 按钮上或点击这类按钮,以了解每个字段和参数的更多信息,例如“温度”和“词元限制”等。
提示设计
您可以根据需求向模型输入文本,例如提一个问题。然后,模型会按照提示的结构给出回答。寻找并设计最佳输入文本(提示),以便模型能够给出所需要的回答,这一过程称作提示设计。
目前还没有最佳的设计提示方法。您可以使用以下 3 种方法来引导模型给出的回答:
- 零样本提示 - 该方法是指仅向 LLM 提供用来描述任务的提示,而不提供任何其他数据。例如,如果您想让 LLM 回答一个问题,那么可以给出类似于下面这样的提示:“什么是提示设计?”。
- 单样本提示 - 该方法是指在要求 LLM 执行特定任务时,向其提供单个任务示例。例如,如果您想让 LLM 写一首诗词,那么可以向其提供一首示例诗词。
- 小样本提示 - 该方法是指在要求 LLM 执行特定任务时,向其提供少量任务示例。例如,如果您想让 LLM 写一篇新闻报道,可以向其提供几篇新闻报道范本。
您可能也注意到了自由格式和结构化标签页。这是您在设计提示时可以用到的两种模式。
- 自由格式 - 在该模式下,您可以轻松设计提示,没有任何限制。该模式适用于没有额外示例的小型实验性提示。您可以在此模式下使用“零样本提示”方法。
- 结构化 - 该模式让您可以利用简单易用的模板来设计提示。该模式下,您可以在提示中添加上下文和多个示例。这一模式特别适合单样本和小样本提示方法,稍后您将尝试这两种方法。
“自由格式”模式
在自由格式模式下试用零样本提示。
- 将以下内容复制到提示输入字段。 保留当前的默认模型设置,即 gemini-1.0-pro-002。
注意:模型名称可能会随着新模型的发布而改变。
- 点击页面右侧的提交按钮。
模型的回答中将包含“提示库”这一术语较为全面的定义。
您还可以尝试以下探索性的做法:
- 将
Token limit
(词元限制)参数调整到1
,然后点击提交按钮 - 将
词元限制
参数调整到1024
,然后点击提交按钮 - 将
温度
参数调整到0.5
,然后点击提交按钮 - 将
温度
参数调整到1.0
,然后点击提交按钮
看看随着参数的变化,模型的回答会发生什么样的变化。
“结构化”模式
采用结构化模式时,您可以更有条理地设计提示。您可以在相应的输入字段中提供上下文和示例。此模式下,您可以很好地了解单样本和小样本提示。
在本部分,您将要求模型补全一个句子。
- 返回文本提示窗口。
- 在页面顶部,点击结构化标签页。
- 从上下文中移除任意一段文本
- 将以下内容复制到测试字段下方的输入字段中。
- 点击页面右侧的提交按钮。
模型并没有补全句子,而是给出了一个完整的句子,这不是您想要的回答。可以试着用“单样本提示”方法来影响模型的回答。这一次,可以添加一个示例,供模型在给出回答时参考。
在示例字段下,执行以下操作:
- 将以下内容添加到输入字段中:
- 将以下内容添加到输出字段中:
- 点击页面右侧的提交按钮。
您成功影响了该模型回答的方式。
在下一项练习中,您将使用模型对句子进行情感分析,例如判断电影评论是正面的还是负面的。
- 返回文本提示窗口。
- 在示例字段下,删除之前有关绿草地的输入和输出内容。
- 将以下提示复制到测试字段下的输入字段中。
- 点击页面右侧的提交按钮。
模型没有得到足够的信息,它并不清楚您希望进行情感分析。您可以提供一些有关情感分析的示例来改进模型的回答。
试着添加下图中所示的示例:
输入 | 输出 |
---|---|
一部制作精良、充满乐趣的电影 | 正面 |
我看了 10 分钟就睡着了 | 负面 |
这部电影还可以 | 中性 |
然后,点击页面右侧的提交按钮。
现在,模型会对输入文本进行情感分析。对于输入文本“这些时间花得值!”,情感分析结果为“正面”。
您也可以保存新设计的提示。如需保存提示,请自行为提示命名,例如“sentiment analysis test”。点击保存按钮,然后选择实验所在的区域
(如果在保存时遇到错误,请点击重试)
已保存的提示会显示在我的提示标签页中。
点击检查我的进度以验证是否完成了以下目标。
任务 4. 生成对话
通过“创建聊天提示”功能,您可以与该模型自由聊天,模型会跟踪先前的聊天内容,并根据上下文给出回答。
- 返回语言页面。
- 点击文字聊天按钮来创建一个新的聊天提示。
- 在模型下,选择 chat-bison(最新)。 您将看到新的聊天提示页面。
在本部分中,您将为聊天添加上下文,然后让模型根据所提供的上下文给出回答。
- 然后,为上下文字段提供以下上下文。
- 将以下文本添加到“回答”下方的聊天框中。
- 按下 Enter 键或者点击发送消息(箭头向右的按钮)。
模型会考虑您额外提供的上下文,并在限定的范围内回答问题。
- 自行为提示命名,点击保存按钮,然后选择实验所在的区域
。点击保存
点击检查我的进度以验证是否完成了以下目标。
恭喜!
您学习了如何使用多模态分析图片,并学习了如何探索多模态功能、创建和测试提示以及生成对话。您已成功迈出第一步,继续使用 Vertex AI Studio 和 Gemini 多模态吧!
Google Cloud 培训和认证
…可帮助您充分利用 Google Cloud 技术。我们的课程会讲解各项技能与最佳实践,可帮助您迅速上手使用并继续学习更深入的知识。我们提供从基础到高级的全方位培训,并有点播、直播和虚拟三种方式选择,让您可以按照自己的日程安排学习时间。各项认证可以帮助您核实并证明您在 Google Cloud 技术方面的技能与专业知识。
上次更新手册的时间:2024 年 4 月 17 日
上次测试实验的时间:2024 年 4 月 17 日
版权所有 2024 Google LLC 保留所有权利。Google 和 Google 徽标是 Google LLC 的商标。其他所有公司名和产品名可能是其各自相关公司的商标。