GSP1154

概览

Vertex AI 是一个全面的机器学习开发平台，可提供预测和生成式 AI 功能。利用该平台，您可以训练、评估和部署用于进行预测的预测性机器学习模型。此外，您可以利用该平台探索生成式 AI 模型并对其进行调参，还可以部署这些模型来生成内容。例如，很多保险公司一直在寻求提高索赔处理和风险评估等方面的效率。Vertex AI Studio 提供了一种强大的方法，可用于针对此类挑战快速开发生成式 AI 解决方案的原型。

借助 Vertex AI Studio，您可以快速测试和自定义生成式 AI 模型，以便在您的应用中利用其功能。它提供了各种工具和资源，操作界面 (UI) 直观友好。这样，即使您在机器学习方面没有丰富的背景知识，也能够轻松上手使用生成式 AI。

本实验将引导您完成 Vertex AI Studio 的相关操作，让您能够通过该平台释放诸如 Gemini 等先进生成式 AI 模型的潜力。您将扮演帮助保险公司开发风险分析助理原型的角色，学习如何将提示想法转化为可部署的应用、设计复杂的提示以实现特定的生成结果，以及使用多模态功能分析各类数据（包括图片），所有这些操作均可直接在 Google Cloud 控制台中完成。无需 API 或 Python SDK 即可执行这些核心任务。

目标

在本实验中，您将学习如何完成以下操作：

• 使用提示创建应用。
• 设计有效的提示。
• 设计和管理提示。
• 使用多模态提示。

设置和要求

点击“开始实验”按钮前的注意事项

请阅读以下说明。实验是计时的，并且您无法暂停实验。计时器在您点击开始实验后即开始计时，显示 Google Cloud 资源可供您使用多长时间。

此实操实验可让您在真实的云环境中开展实验活动，免受模拟或演示环境的局限。为此，我们会向您提供新的临时凭据，您可以在该实验的规定时间内通过此凭据登录和访问 Google Cloud。

为完成此实验，您需要：

• 能够使用标准的互联网浏览器（建议使用 Chrome 浏览器）。

注意：请使用无痕模式（推荐）或无痕浏览器窗口运行此实验。这可以避免您的个人账号与学生账号之间发生冲突，这种冲突可能导致您的个人账号产生额外费用。

• 完成实验的时间 - 请注意，实验开始后无法暂停。

注意：请仅使用学生账号完成本实验。如果您使用其他 Google Cloud 账号，则可能会向该账号收取费用。

如何开始实验并登录 Google Cloud 控制台

1. 点击开始实验按钮。如果该实验需要付费，系统会打开一个对话框供您选择支付方式。左侧是“实验详细信息”窗格，其中包含以下各项：

   • “打开 Google Cloud 控制台”按钮
   • 剩余时间
   • 进行该实验时必须使用的临时凭据
   • 帮助您逐步完成本实验所需的其他信息（如果需要）

2. 点击打开 Google Cloud 控制台（如果您使用的是 Chrome 浏览器，请右键点击并选择在无痕式窗口中打开链接）。

   该实验会启动资源并打开另一个标签页，显示“登录”页面。

   提示：将这些标签页安排在不同的窗口中，并排显示。

   注意：如果您看见选择账号对话框，请点击使用其他账号。

3. 如有必要，请复制下方的用户名，然后将其粘贴到登录对话框中。

   {{{user_0.username | "<用户名>"}}}

   您也可以在“实验详细信息”窗格中找到“用户名”。

4. 点击下一步。

5. 复制下面的密码，然后将其粘贴到欢迎对话框中。

   {{{user_0.password | "<密码>"}}}

   您也可以在“实验详细信息”窗格中找到“密码”。

6. 点击下一步。

   重要提示：您必须使用实验提供的凭据。请勿使用您的 Google Cloud 账号凭据。 注意：在本实验中使用您自己的 Google Cloud 账号可能会产生额外费用。

7. 继续在后续页面中点击以完成相应操作：

   • 接受条款及条件。
   • 由于这是临时账号，请勿添加账号恢复选项或双重验证。
   • 请勿注册免费试用。

片刻之后，系统会在此标签页中打开 Google Cloud 控制台。

注意：如需访问 Google Cloud 产品和服务，请点击导航菜单，或在搜索字段中输入服务或产品的名称。

任务 1. 使用提示创建应用

在此任务中，您将了解如何使用 Vertex AI Studio 快速构思生成式 AI 助理创意，并将其转化为可用的原型。您将重点关注保险应用场景：创建一个提示，帮助保险专业人士总结客户信息以生成风险分析报告，然后将此提示转化成一个简易应用。

1. 在 Google Cloud 控制台的导航菜单 () 中，依次选择 Vertex AI > Vertex AI Studio。

2. 在左上角，依次选择新建 > 聊天。您将进入提示编辑器页面。

该界面包含三个主要部分：

• 系统指令：模型在处理提示之前所处理的一组指令。如果设置了系统指令，则该指令会应用于整个请求。当提示中包含系统指令时，该指令适用于用户与模型间的多轮交互。
• 模型设置：您可以在此部分中选择模型（包括第三方模型）、配置参数、使用工具（如接地）以及设置高级选项。
• 提示：您可以在此部分中起草利用多模态功能的提示。

3. 加载新的“未命名的提示”页面后，点击未命名的提示，将提示重命名为 Insurance Risk Summary - Prototype。

4. 在系统指令框中输入以下内容，为您的 AI 助理分配一个与我们的保险场景相关的角色：

   You are an expert AI assistant for an insurance underwriting department. Your primary goal is to help underwriters by accurately and concisely summarizing client information and highlighting potential risk factors. Maintain a professional and objective tone. Focus only on the information provided in the prompt. Do not invent details.

5. 在系统指令下方，将以下内容粘贴到页面底部的主提示区域中：

   Customer Notes for 'SafeHarbor Warehousing': "The applicant is seeking coverage for their 50,000 sq ft warehouse. The business is 5 years old. The building is a concrete tilt-up structure, originally built in 2010. They store a variety of non-hazardous dry goods. Fire safety measures include a full sprinkler system, a centrally monitored fire alarm, and documented annual inspections by a certified third party. Security measures include a 24/7 centrally monitored burglar alarm, comprehensive security camera coverage of the interior and exterior, a fully fenced perimeter, and nightly patrols by a contracted security guard service. The company reports no major property or liability losses in their 5-year history. They have specifically asked to ensure their new automated shelving and retrieval system, installed last month, is adequately covered under the policy." Your Task: 1. Briefly summarize the key details of the 'SafeHarbor Warehousing' business and its existing safety measures. 2. Based *only* on the notes provided, identify any immediate questions an underwriter should ask or potential risk factors they should consider further. Present the summary first, then the questions/risk factors as bullet points.

6. 在模型设置部分：

   • 确保已选择 模型。您可以点击此模型对其进行更改。
   • 如果尚未设置，对于区域，请选择全球。

7. 点击提交箭头按钮或按 Enter 键。查看模型的回答。

8. 点击提示名称旁边的保存按钮。

9. 在保存提示对话框中，确认区域设置正确 ()，然后点击保存。

注意：第一个提示可能需要几分钟才能保存。

10. 保存提示后，您将探索如何将这份提示草稿转化为原型应用。在页面右上角，点击代码按钮。

11. 在随即显示的菜单中，依次选择部署 > 部署为应用。

12. 在出现的“部署到 Cloud Run”对话框中：

• 如果系统提示您启用服务（例如 Cloud Build API、Cloud Run API），请点击启用必需的 API，然后等待这些 API 启用。

  • 请勾选确认，公开部署您的应用。
  • 点击创建应用。

13. 部署过程将开始，可能需要几分钟时间才能完成部署。您可能会在界面中看到类似以下内容的状态更新：

注意：首次部署有时可能会失败。这通常是因为在部署开始时，用于构建服务的底层权限还未完全生效。如果您在管理 Web 应用对话框中看到状态显示为“失败”，请按以下步骤重试：

1. 等待大约一分钟的时间，以便所有服务和权限完成初始化。
2. 在“管理 Web 应用”对话框中，点击更新应用按钮。
3. 屏幕上会显示一个确认框。点击确认以启动更新流程。

14. 部署完成后，点击管理 Web 应用框中的关闭按钮。

15. 若要打开新部署的应用，请再次点击代码按钮。现在，从下拉菜单中选择打开应用。系统随即会在新的浏览器标签页中打开已部署的生成式 AI 应用。

16. 现在，您应该会看到一个标题为欢迎使用 Vertex AI 生成式 AI 应用！的页面，其中显示了您的提示标题 Insurance Risk Summary - Prototype。

17. 在聊天机器人部分，在底部的“输入消息…”输入字段中，输入一条新的测试消息。例如：

    New Customer Inquiry: "Applicant 'Coastal Goods Delivery' has a fleet of 10 delivery vans, all equipped with GPS and telematics. They operate within a 100-mile radius of their depot. Drivers undergo annual safety training. They had one minor fender bender last year, no injuries, $1500 damages. What are the primary risk considerations?" Please summarize key points and identify potential risks.

18. 点击“提交”箭头按钮，将您的消息发送到应用。

19. 观察您部署的应用的回答。它应该会根据您在 Vertex AI Studio 中定义的逻辑和系统指令处理您的输入。

注意：如应用页面上的警告所示，此应用默认允许未经身份验证的用户访问。在生产环境中，您需要配置适当的安全设置。在本实验中，默认设置即可满足探索需求。

20. 您现在已完成所有流程：
    • 在 Vertex AI Studio 中设计了提示。
    • 通过几个点击步骤，使用 Cloud Run 将提示部署为无服务器应用。
    • 直接通过网页界面打开生成式 AI 模型并与之互动。 这充分体现了 Vertex AI Studio 在快速设计原型和部署生成式 AI 功能方面的超凡实力。

点击检查我的进度以验证是否完成了以下目标：

使用 Vertex AI Studio 创建提示应用。

任务 2. 设计有效的提示

在任务 1 中，您设计了初始提示。现在，您将深入了解如何优化提示，以便从生成式模型中获得更精确、可控且有用的输出。这是提示工程中的核心技能。您将继续以保险为主题，尝试从索赔文件中提取特定信息或提高摘要质量。

如需详细了解提示类型，请参阅此指南。

零样本提示

首先，您将创建一个新的提示，以探索提示设计的详细过程。

1. 确保您位于 Vertex AI Studio 主区域。如果您在任务 1 中查看了已部署的应用，请关闭该浏览器标签页，返回到 Google Cloud 控制台。

2. 在左上角，依次选择新建 > 聊天。您将进入新的提示编辑器页面。

3. 点击未命名的提示，将其重命名为 Insurance Claim Data Extraction。

4. 请熟悉本部分中涉及的场景：保险理赔员经常会收到有关新索赔的非结构化说明或电子邮件，并需要快速提取关键信息，以便输入到索赔管理系统中。

5. 在系统指令框中，输入以下内容：

   You are an AI assistant specializing in parsing and extracting specific data points from unstructured insurance claim notifications. Your goal is to identify and list key information accurately. If a piece of information is not found, clearly state "Not found". Output the extracted information in a key: value format, with each key on a new line.

6. 在主提示区域中，粘贴以下非结构化索赔说明的示例：

   Claim Notification Received: "Hi team, just got a call from Mrs. Eleanor Vance, policy #POL458892. She reported a kitchen fire that occurred on May 12th, 2025, around 3 PM. The main damage seems to be to the oven and surrounding cabinets. She mentioned smoke damage in the kitchen and dining area too. She thinks the total damage might be around $7,500. Her contact is 555-0123. No injuries reported, thankfully." Extract the following: - Policy Number - Claimant Name - Date of Loss - Time of Loss - Type of Loss - Brief Description of Damage - Estimated Loss Amount - Injuries Reported

7. 在模型设置部分：

   • 选择 模型。
   • 将温度设为 0.1（以生成更符合事实、创造性较弱的提取内容）。
   • 将输出 token 限制设为合理的数字，例如 1024。
   • 确保将区域设为全球。

8. 点击提交箭头按钮。查看输出。这种没有明确示例的首次尝试称为零样本提示。

少样本提示

通常来说，提供少量样本（少样本提示）可以显著提高模型的性能，尤其是在采用特定格式或精细提取的情况下。

1. 在左上角，依次选择新建 > 聊天。

2. 在提示部分的底部，点击 + 按钮。

3. 在弹出式菜单中，选择示例。

这将打开一个新窗口，您可以在其中添加提示示例。

4. 在显示的“示例”界面中：

   • 在第一个示例的输入框中，粘贴以下非结构化说明：
   Claim Notification Received: "Email from John Sterling (policy POL77521) re: water damage at his shop. Happened sometime last night, May 10th, 2025. A pipe burst in the ceiling. Stockroom is flooded, some damage to inventory. He's not sure on the cost yet, maybe $5k-$10k? No one was there, so no injuries." Extract the following: - Policy Number - Claimant Name - Date of Loss - Time of Loss - Type of Loss - Brief Description of Damage - Estimated Loss Amount - Injuries Reported
   • 在第一个示例的输出框中，粘贴以下格式完整的提取内容：
   Policy Number: POL77521 Claimant Name: John Sterling Date of Loss: May 10th, 2025 Time of Loss: Night Type of Loss: Water damage Brief Description of Damage: Pipe burst in ceiling, stockroom flooded, some damage to inventory. Estimated Loss Amount: $5,000 - $10,000 Injuries Reported: No
   • 点击添加示例按钮，以保存此示例并返回到主提示界面。

5. 重新添加系统指令：由于清除提示也会清除系统指令，因此请将系统指令再次粘贴到“系统指令”框中：

   You are an AI assistant specializing in parsing and extracting specific data points from unstructured insurance claim notifications. Your goal is to identify and list key information accurately. If a piece of information is not found, clearly state "Not found". Output the extracted information in a key: value format, with each key on a new line.

6. 提供新的输入内容和提示：

   • 在标有 {Input} 在此处写入值的区域中，粘贴您希望模型立即处理的 Eleanor Vance 女士的原始索赔通知：
   Claim Notification Received: "Hi team, just got a call from Mrs. Eleanor Vance, policy #POL458892. She reported a kitchen fire that occurred on May 12th, 2025, around 3 PM. The main damage seems to be to the oven and surrounding cabinets. She mentioned smoke damage in the kitchen and dining area too. She thinks the total damage might be around $7,500. Her contact is 555-0123. No injuries reported, thankfully."

7. 在标有撰写提示的区域中（输入字段下方），您需要为模型提供指令。这会以示例为指导，告诉模型如何处理（输入）文本。输入以下内容：

   Extract the following data points from the provided claim notification: - Policy Number - Claimant Name - Date of Loss - Time of Loss - Type of Loss - Brief Description of Damage - Estimated Loss Amount - Injuries Reported

8. 在模型设置部分：

   • 选择 模型。
   • 将温度设为 0.1（以生成更符合事实、创造性较弱的提取内容）。
   • 将输出 token 限制设为合理的数字，例如 1024。
   • 确保将区域设为全球。

9. 再次点击提交箭头按钮。将新输出与之前零样本提示的输出进行比较。注意在采用少样本示例和结构化输入法后，准确性或格式是否有显著提升。

尝试不同的提示配置

现在，您将探索模型设置中的不同参数对模型的回答有何影响。确保包含少样本示例的“Insurance Claim Data Extraction”提示处于激活状态。

注意：“Insurance Claim Data Extraction”提示旨在确保内容的准确性和结构的严谨性。若要了解温度和 Top-P 等参数的运作方式，最好使用富有创意的提示。

首先，创建一个新提示用于这些实验：

1. 在左上角，依次选择新建 > 聊天。

2. 将提示命名为 Insurance Story。

3. 在提示文本框中，粘贴以下内容：

Write the *first paragraph* of a short story about a homeowner who just used a futuristic AI insurance app to file a claim. The claim was for a bizarre and unexpected incident.

现在，您将尝试调整模型设置。

尝试不同的模型设置

1. 尝试不同的温度值：

   • 说明：温度用于控制模型输出的随机性。值越小（例如 0.0-0.2），输出的针对性和确定性就会越高。值越高（例如 1.5-2），输出的多样性或创造性就会越高。
   • 尝试以下操作：将温度更改为 1.5。点击提交，并记录任何变化。然后，将温度改回 0.1，使用相同的提示，然后再次点击提交。

2. 尝试不同的输出 token 限制值：

   • 说明：此选项用于设置模型在回答时可生成的 token（字词片段）数量上限。
   • 尝试以下操作：将输出 token 限制设为一个很小的数字，例如 500。使用相同的提示，然后点击提交，观察截断的输出。将其重置为最大（默认）长度 65535。

3. 尝试不同的 Top-P 值：

   • 说明：Top-P（核采样）也可用于控制模型输出的随机性。它仅考虑累积概率超过 Top-P 值的最可能的 token。Top-P 值设为 1.0 时，则会考虑所有 token。降低 Top-P 值（例如降至 0.8）会使输出更有针对性，效果类似于降低温度。
   • 尝试以下操作：将温度设为 0.1（或稍微高一点，例如 0.5，以便更好地观察 Top-P 效果），将 Top-P 设为 0.8。使用相同的提示，点击提交。然后将 Top-P 设为 1.0，使用相同的提示，点击提交，并观察是否有细微差别。

4. 简要查看高级模型设置面板中的其他设置：

   • 安全过滤器设置：这些设置默认处于激活状态，可帮助屏蔽有害内容。在本实验中，您将使用默认设置。
   • 思考预算：此参数用于为模型提供指导，帮助其了解在生成回答时可使用的思考 token 数量。一般来说，token 数量越多，推理就越详细，这有助于处理更复杂的任务。默认设置为自动，但也可以设置为关闭或手动。如果设置为“手动”，模型会在达到指定的 token 限制后停止分析；您可以为较简单的任务设置较低的限制，为较复杂的任务设置较高的限制。
   • 结构化输出：强制模型生成严格遵循预定义架构（例如 JSON）的回答。
   • 接地：Google：将模型连接到 Google 搜索或 Google 地图，使其能够根据实时公开信息回答问题。
   • 接地：自有数据：允许模型从您自己的数据源（例如 Vertex AI Search 或 RAG Engine）检索信息，以回答特定于上下文的问题。

点击检查我的进度以验证是否完成了以下目标：

Vertex AI Studio 中的提示工程。

任务 3. 设计和管理提示

具备有效的提示后，建议您尝试对指令或模型配置进行更改，看看是否可以改进模型的回答。Vertex AI Studio 中的“比较”功能就是为此而设计的。在本部分中，您将使用我们刚刚创建的提示。

1. 在左上角，依次选择新建 > 聊天。您将进入新的提示编辑器页面。

2. 将此新提示命名为 Insurance Risk Factor Identification。

3. 设置简单的基础提示：

   • 在系统指令框中，输入以下内容：
   You are an insurance risk analyst assistant. Your task is to identify potential risk factors from a given scenario. Be concise.
   • 在主提示区域中，粘贴以下内容：
   Scenario: "The applicant, 'The Fiery Grill,' is a new upscale restaurant specializing in wood-fired oven pizzas and open-flame grilling. They have installed a brand new, custom-built fire suppression system for their cooking area, but it has not yet been certified by a third party. The restaurant plans to feature live acoustic music on weekend evenings and has a small, raised stage area. They also want to offer valet parking." Based on this scenario, list three primary risk factors an underwriter should consider.
   • 在右侧的配置部分：
     • 选择 模型。
     • 将温度设为 0.2。
     • 确保将区域设为全球。

4. 点击提交箭头按钮。查看模型的初始回答。

5. 如果您的提示尚未自动保存，请点击保存按钮。

6. 现在，在页面显示 Insurance Risk Factor Identification 提示及其回答后，点击提示名称右上角的三点状图标，然后选择比较。

注意：如果出现提示，请点击退出但不保存，然后点击继续。

7. 系统将打开比较界面。Insurance Risk Factor Identification 提示、其配置及最新回答将复制到页面的两侧，以便您轻松比较具有不同模型设置和系统指令的各版本差异。

通过修改系统指令进行比较

现在，您将看到更改提示指令会如何影响提示的输出。

1. 在系统指令框（对应于右侧的提示）中，修改右侧提示的现有系统指令。将其更新为以下内容：

You are an expert insurance risk analyst assistant. Your task is to identify potential risk factors from a given scenario. For each risk factor, also briefly suggest a potential mitigation strategy or question for the underwriter. Be clear and structured.

2. 保留其余模型设置，然后在页面底部的框中提交以下提示：

Scenario: "The applicant, 'The Fiery Grill,' is a new upscale restaurant specializing in wood-fired oven pizzas and open-flame grilling. They have installed a brand new, custom-built fire suppression system for their cooking area, but it has not yet been certified by a third party. The restaurant plans to feature live acoustic music on weekend evenings and has a small, raised stage area. They also want to offer valet parking." Based on this scenario, list three primary risk factors an underwriter should consider.

3. 等待两个提示生成回答。对照查看两个回答。由于修改了指令，第二个提示现在是否包含风险缓解策略或问题？请随意进一步修改系统指令，观察它会如何引导模型回答。

比较不同的温度设置

现在，您将使用比较窗格来测试不同的温度。

1. 在右侧提示的系统指令框中，将其恢复为与左侧提示相同的内容。

You are an insurance risk analyst assistant. Your task is to identify potential risk factors from a given scenario. Be concise.

2. 对于右侧的提示，打开模型设置窗格，并将温度更改为 2.0。确保模型仍处于 状态。

3. 在页面底部的框中提交以下提示：

Scenario: "The applicant, 'The Fiery Grill,' is a new upscale restaurant specializing in wood-fired oven pizzas and open-flame grilling. They have installed a brand new, custom-built fire suppression system for their cooking area, but it has not yet been certified by a third party. The restaurant plans to feature live acoustic music on weekend evenings and has a small, raised stage area. They also want to offer valet parking." Based on this scenario, list three primary risk factors an underwriter should consider.

4. 观察回答的不同之处。与温度值设为 0.2 的输出相比，第二个提示的温度值 (2.0) 很高，是否导致了输出的风险因素列表针对性不足、推测性更强，或者有显著差异？注意：将温度设置得如此高可能会导致输出的连贯性或相关性不足，但它可以展示该参数在极端情况下的影响。

比较不同的模型和配置

现在，您将尝试将基础模型与其他模型和设置进行比较，以观察推理或输出风格的差异。

1. 对于右侧的提示，请打开模型设置窗格，然后进行以下更改：

   • 将模型更改为
   • 将温度设为 0.2

2. 对于左侧的提示，请打开模型设置窗格，然后进行以下更改：

   • 确保将模型设置为
   • 将温度设为 0.2
   • 将思考预算设置为关闭。

3. 在页面底部的框中提交以下提示。此提示有意设计得更复杂，旨在展示不同模型在功能方面的差异。

Scenario: "The applicant, 'The Fiery Grill,' is an upscale restaurant specializing in wood-fired ovens and open-flame grilling. They have a brand new, custom-built fire suppression system, but it has not been certified by a third party. The restaurant will feature live acoustic music on a small, raised stage. They also want to offer valet parking, managed by their own staff. The applicant has no prior business history." Underwriting Guidelines: Priority Hierarchy: Liability risks are classed as: - Class A (Critical): Fire, structural failure, failure of safety systems. - Class B (Standard): General premises liability (e.g., slip-and-fall). - Class C (Niche): Auto/Vehicle liability. Compounding Factors: A "compounding risk" (a condition that makes another risk worse) must be elevated to the highest priority. Inexperience: Lack of prior business history is a general negative factor but does not create a primary risk on its own. Auto Liability: Class C risks (Valet) are only considered a primary risk if the applicant is using an unvetted, third-party contractor. Task: Based on the scenario and the underwriting guidelines, identify the single, #1 highest-priority risk. Then, write a 2-sentence justification that explains why it is the #1 risk, citing the specific guideline(s) that apply.

4. 查看回答。将 （左侧窗格）中的输出与 （右侧窗格）中的输出进行比较。

您应该会看到明显的精度差异。 模型（左）可能会提供简短但笼统的回答，例如识别总体危险（“火灾”）。 模型（右）应会通过隔离特定风险（“未经认证的灭火系统”）来提供更精确、更切实可行的回答。请注意，Pro 模型的理由会更加详细，可能引用多条准则来展示其更深层次的推理。

点击检查我的进度以验证是否完成了以下目标：

比较、评估和管理提示。

任务 4. 使用 Gemini 的多模态提示

在此任务中，您将使用 Vertex AI Studio 中的主提示界面和 Gemini 模型来分析图片并提取其中的信息。这将演示如何针对不同的分析任务（例如基于视觉内容进行描述、文本提取和问答）设计提示。

1. 返回 Vertex AI Studio 页面。

2. 在左上角，依次点击新建 > 聊天。

3. 将提示的名称更改为 Timetable Image Analysis。

4. 在提示框的左下角，点击 + 按钮，然后选择从 Cloud Storage 导入。

5. 在菜单中，选择预构建的 Cloud Storage 存储桶，然后选择 timetable.png 文件。

6. 在右侧的模型设置面板中：

   • 确保已选择 模型。
   • 确保将区域设为全球。

7. 现在，您可以让模型对图片执行一些任务。在提示输入字段中，在插入的图片下方粘贴以下提示：

1. Provide a concise title for this image (under 5 words). 2. Describe the image in one or two sentences. 3. Extract all visible text from the image. Present the flight schedule as a clearly formatted list with columns for "Time" and "City".

8. 提交提示并查看模型的回答。

9. 接下来，您可以提出一个需要根据提取的信息进行推理的问题。提交以下提示：

Based on the flight schedule shown in the image, what percentage of the listed flights depart before 11:30 AM? Show your calculation if possible.

10. 点击提交按钮并查看回答。

11. 简单观察一下温度的影响。在模型设置面板中：

    • 将温度调整到 0.8。
    • 重新提交与第 9 步中完全相同的提示（“Based on the flight schedule... percentage...”）。
    • 注意回答的风格、置信度或详细信息是否发生了变化。
    • 观察完毕后，将温度重新设为较低的值，例如 0.2，以便获得更具可预测性的回答。

注意：温度用于控制模型输出的随机性。值越小（例如 0.0-0.2），得出的回答越具有事实性；值越大（例如，大于 0.7 的值），生成的输出则更具多样化或创造性，但这可能不太适合精确的数据提取或分析需求。

点击检查我的进度以验证是否完成了以下目标：

在 Vertex AI Studio 中使用 Gemini 分析图片。

任务 5. 在 Vertex AI Studio 中生成媒体

除了文本处理之外，Vertex AI Studio 还提供了强大的工具，可直接根据文本提示，或通过优化现有媒体文件，生成各种媒体内容。在此任务中，您将探索如何生成图片和语音。

使用 Imagen 生成图片

您将首先生成一张图片。

1. 在 Vertex AI Studio 页面的左上角，依次点击新建 > 图片。

2. 在底部的文本提示区域中，输入描述性提示：

   A close-up, photorealistic image of a single honeybee collecting pollen from a vibrant purple lavender flower, with a softly blurred garden background.

3. 在右侧的设置面板中：

   • 确保模型设为 Imagen 4（或最新可用的 Imagen 模型）。
   • 在宽高比部分，选择 1:1。
   • 将此首次生成的结果数量设为 4。
   • 查看安全设置（例如，人物生成、安全过滤器阈值）并将其保留为默认值，或者根据您对此非人物针对性提示的偏好进行调整。

4. 点击提交按钮以提交提示。

5. 片刻之后，您生成的图片就会出现在主区域中。

6. 点击生成图片的任意缩略图，即可打开详细视图。

7. 在右侧的图片详情窗格中：
   • 观察可用的 AI 操作，例如 Inpaint（使用蒙版添加/移除元素）、Outpaint（扩展图片）和 Export image（可能提供高清修复功能）。
   • 留意检测到的 SynthID 是否显示绿色对勾标记。
   • （可选）：选择 Inpaint 或 Outpaint 选项并试用，以了解 Imagen 的功能。

什么是 SynthID？

SynthID 是 Google DeepMind 开发的一项技术，可将数字水印直接嵌入 AI 生成图片的像素中。这种水印虽然人眼察觉不到，但算法能够检测到。其目的是帮助识别 AI 生成的图片，即使后续修改（例如压缩、添加滤镜）图片，它依然能够成功识别，以此提升透明度并推动 Responsible AI 实践。

点击检查我的进度以验证是否完成了以下目标：

探索 Vertex AI Media Studio。

使用 Chirp 生成语音（可选）

如果您想探索 AI 生成的语音：

1. 在最左侧的垂直小工具栏中，点击音频图标（看起来像麦克风），切换到语音生成工具。这会打开 Chirp 界面。

2. 如果您尚未为项目启用 Cloud Text-to-Speech API，系统可能会提示您启用该 API。当系统提示时，请点击启用，等待 API 启用（这可能需要一点时间）。

3. 界面准备就绪后，在底部的文本提示区域中输入您想要合成的文本。例如：

Welcome to the world of generative AI on Google Cloud

4. 在右侧的设置面板中：

   • 选择模型（例如，Chirp 3. HD Voices）。
   • 选择所需的语言，例如，English (US)。
   • 从下拉列表中选择语音。您可以尝试几种不同的音色，了解它们的特点。
   • 您可根据需要探索高级选项（如有）。

5. 点击提交按钮。

6. 处理完毕后，您应该能够直接在界面中播放生成的音频。

恭喜！

恭喜！在本实验中，您成功使用 Vertex AI Studio 为保险场景开发了一款生成式 AI 应用的原型，从初始设计和部署到高级提示工程和比较，您都已经一一掌握。您练习了针对特定分析任务优化文本输出，并探索了令人激动的多模态功能，并使用它生成了图片和语音。这些基础技能将助您在 Google Cloud 上构建更复杂的生成式 AI 解决方案。

后续步骤/了解详情

• 访问官方 Vertex AI Model Garden 文档，深入了解您在本实验中探索的生成式 AI 模型（如用于文本和图片分析的 Gemini、Imagen、Veo 和 Chirp）的功能。
• 通过 Google Cloud 的全面提示设计策略指南，了解最佳实践和高级技巧，提升您的提示工程技能。
• 如需了解如何将这些生成式 AI 功能集成到您的应用中并实现自动化，请参阅 Vertex AI SDK 文档。
• 您可以在 Google Cloud Skills Boost 上探索更多生成式 AI 实验和课程，继续您的学习之旅。

Google Cloud 培训和认证

…可帮助您充分利用 Google Cloud 技术。我们的课程会讲解各项技能与最佳实践，可帮助您迅速上手使用并继续学习更深入的知识。我们提供从基础到高级的全方位培训，并有点播、直播和虚拟三种方式选择，让您可以按照自己的日程安排学习时间。各项认证可以帮助您核实并证明您在 Google Cloud 技术方面的技能与专业知识。

本手册的最后更新时间：2025 年 9 月 17 日

本实验的最后测试时间：2025 年 9 月 17 日

版权所有 2025 Google LLC 保留所有权利。Google 和 Google 徽标是 Google LLC 的商标。其他所有公司名和产品名可能是其各自相关公司的商标。