GSP1165

概览

提示设计是指创建能有效地从 PaLM 等大语言模型 (LLM) 中获得所需输出的提示的过程。提示可用于生成文本、翻译语言、撰写不同类型的创意内容，以及通过丰富的信息回答您的问题。

为了让提示能够导向质量良好的输出结果，您需要提供具体的提示，使用与您希望生成的输出贴合的关键词，并向 PaLM 提供您想要的输出示例，帮助它更好地理解您的需求。

在本实验室中，您将扮演房地产公司营销分析师的角色。您需要创建能够从公司网站上的长篇住宅说明中提取摘要的提示，帮助客户找到符合其特定要求的房屋。

学习内容

在本实验中，您将回顾作为 AI/机器学习平台的 Vertex AI 的知识点，并探索如何：

• 设计高质量的提示
• 与 PaLM 进行交互以获得所需回答
• 辨识回答中的幻觉

使用场景

在买家表明希望住宅具备哪些特点之后，您的公司有意使用大语言模型 (LLM) 为买家生成有关住宅的简短文本说明。

您的任务是创建提示，用来对房地产网站上的长篇幅住宅说明生成摘要文本。住宅说明存储在 Google Cloud Storage 存储桶的一个文件中。

您首先使用 Model Garden 探索可用的预构建模型以节省时间，并尽快实现解决方案。

本实验中会使用到 Vertex AI 的功能

生成式 AI 模型

Vertex AI 中提供的生成式 AI 模型（也称为基础模型）按其旨在生成的内容类型分类。这些内容包括文本和聊天、图片、代码和文本嵌入。每个模型都通过特定于您的 Google Cloud 项目的发布者端点公开，因此您无需部署基础模型，除非您需要针对特定应用场景进行调优。

Pathways 和 Pathways Language Model (PaLM)

Pathways 是可以跨多个网域和任务进行泛化，同时非常高效的单一模型。Pathways Language Model (PaLM) 是一种通过 Pathways 系统进行训练且仅使用解码器的密集型 Transformer（转换器）模型，使 Google 能够跨多个 TPU v4 Pod 高效地训练单一模型。PaLM 基于对数百种语言的理解和生成任务进行评估，具有强大的多语言任务能力和源代码生成能力。

PaLM 2 是驱动 PaLM API 的底层模型。PaLM 2 是领先的语言模型，具有改进的多语言、推理和编码功能。如需详细了解 PaLM 2，请参阅 PaLM 2 简介。此笔记本展示了如何设计提示以创建不同类型的摘要。

Vertex AI Studio

Vertex AI Studio 是一种 Google Cloud 控制台工具，用于快速对生成式 AI 模型进行原型设计和测试。您可以测试示例提示，设计自己的提示，以及自定义基础模型来处理符合您的应用需求的任务。您可以执行以下操作：

• 使用提示示例测试模型。
• 设计并保存您自己的提示。
• 对基础模型进行调优。
• 在语音和文字之间转换。

请参阅官方文档，了解有关 AI Studio 的详细信息。

Vertex AI Workbench

Vertex AI Workbench 是一个全托管式可扩缩企业级计算基础架构，可为数据科学家提供单一环境，供其完成从实验、部署到管理和监控模型的所有机器学习工作。它是一种基于 Jupyter 的环境，内含各种工具和服务，例如 Jupyter 笔记本或代管式计算资源。

设置和要求

点击“开始实验”按钮前的注意事项

请阅读以下说明。实验是计时的，并且您无法暂停实验。计时器在您点击开始实验后即开始计时，显示 Google Cloud 资源可供您使用多长时间。

此实操实验可让您在真实的云环境中开展实验活动，免受模拟或演示环境的局限。我们会为您提供新的临时凭据，让您可以在实验规定的时间内用来登录和访问 Google Cloud。

为完成此实验，您需要：

• 能够使用标准的互联网浏览器（建议使用 Chrome 浏览器）。

注意：请使用无痕模式或无痕浏览器窗口运行此实验。这可以避免您的个人账号与学生账号之间发生冲突，这种冲突可能导致您的个人账号产生额外费用。

• 完成实验的时间 - 请注意，实验开始后无法暂停。

注意：如果您已有自己的个人 Google Cloud 账号或项目，请不要在此实验中使用，以避免您的账号产生额外的费用。

如何开始实验并登录 Google Cloud 控制台

1. 点击开始实验按钮。如果该实验需要付费，系统会打开一个弹出式窗口供您选择付款方式。左侧是实验详细信息面板，其中包含以下各项：

   • 打开 Google 控制台按钮
   • 剩余时间
   • 进行该实验时必须使用的临时凭据
   • 帮助您逐步完成本实验所需的其他信息（如果需要）

2. 点击打开 Google 控制台。 该实验会启动资源并打开另一个标签页，显示登录页面。

   提示：请将这些标签页安排在不同的窗口中，并将它们并排显示。

   注意：如果您看见选择帐号对话框，请点击使用其他帐号。

3. 如有必要，请从实验详细信息面板复制用户名，然后将其粘贴到登录对话框中。点击下一步。

4. 请从实验详细信息面板复制密码，然后将其粘贴到欢迎对话框中。点击下一步。

   重要提示：您必须使用左侧面板中的凭据。请勿使用您的 Google Cloud Skills Boost 凭据。 注意：在本次实验中使用您自己的 Google Cloud 帐号可能会产生额外费用。

5. 继续在后续页面中点击以完成相应操作：

   • 接受条款及条件。
   • 由于该帐号为临时帐号，请勿添加帐号恢复选项或双重验证。
   • 请勿注册免费试用。

片刻之后，系统会在此标签页中打开 Cloud 控制台。

注意：您可以点击左上角的导航菜单来查看列有 Google Cloud 产品和服务的菜单。

启用 API

1. 在 Google Cloud 控制台的导航菜单 () 中，点击更多产品，然后在人工智能部分选择 Vertex AI。
2. 在 Vertex AI 信息中心，点击启用所有推荐的 API。

打开 Vertex AI Workbench

1. 还是在 Vertex AI 信息中心，点击左侧窗格中的 Workbench。

   注意：您可能需要拉宽浏览器窗口才能看到左侧窗格。

2. 点击用户管理的笔记本标签页。

任务 1. 使用 Vertex AI 上的生成模型进行问答

您被要求构建一个界面，让潜在客户可以根据他们的回答来筛选房地产产品和服务。

1. 在用户管理的笔记本标签页中，点击笔记本名称旁边的打开 JupyterLab。

Vertex AI Workbench 将会打开，请注意左侧窗格中的文件。

2. 找到并双击打开 training-data-analyst/self-paced-labs/genai/housing_question_answering.ipynb 文件。

housing_question_answering.ipynb 文件将会打开并显示在右侧窗格中。

3. 点击修改 > 清除所有输出

4. 仔细阅读笔记本说明并运行每个单元中的代码。

如需运行当前单元，请点击该单元并按下 Shift + Enter。笔记本界面的运行下列出了其他单元命令。

让您的 Jupyter 笔记本环境保持打开状态，并继续阅读此任务。返回到任务 3 中的笔记本环境。

点击检查我的进度以验证是否完成了以下目标：

运行 housing_question_answering.ipynb 文件中的单元。

参数值

您向模型发送的每次调用都包含控制模型如何生成回答的参数值。模型会针对不同的参数值生成不同的结果。对于此任务，您可以实验不同的参数值，以获得任务的最佳结果。

不同模型的可用参数可能有所不同，但最常见的参数如下：

• 温度
• 词元限制
• Top-K
• Top-P

温度

应用了 Top-K 和 Top-P 后，温度可以控制词元选择的随机性。较低的温度有利于需要更具确定性、更少开放性或创造性回答的提示，而较高的温度可以带来更具多样性或创造性的结果。温度为 0 表示确定性，即始终选择概率最高的回答。

对于大多数应用场景，不妨先试着将温度设为 0.2。如果模型返回的回答过于笼统、过于简短，或者模型给出后备响应，请尝试提高温度。

词元限制

词元限制决定了一条提示的最大文本输出量。一个词元约为 4 个字符。默认值为 256。

指定较低的值可获得较短的回答，指定较高的值可获得较长的回答。

Top-K

Top-K 可更改模型选择输出词元的方式。如果 Top-K 设为 1，表示下一个所选词元是模型词汇表的所有词元中概率最高的词元（也称为贪心解码）。如果 Top-K 设为 3，则表示系统将从 3 个概率最高的词元（通过温度确定）中选择下一个词元。

在每个词元选择步中，系统都会对概率最高的 Top-K 词元进行采样。然后，系统会根据 Top-P 进一步过滤词元，并使用温度采样选择最终的词元。

指定较低的值可获得随机程度较低的回答，指定较高的值可获得随机程度较高的回答。默认的 Top-K 为 40。

Top-P

Top-P 可更改模型选择输出词元的方式。系统会按照概率从最高（见 Top-K）到最低的顺序选择词元，直到所选词元的概率总和等于 Top-P 的值。例如，如果词元 A、B 和 C 的概率分别为 0.3、0.2 和 0.1，并且 Top-P 的值为 0.5，则模型将选择 A 或 B 作为下一个词元（通过温度确定），并会排除 C 作为候选词元。

指定较低的值可获得随机程度较低的回答，指定较高的值可获得随机程度较高的回答。默认 Top-P 为 0.80。

任务 2. 不同的参数值

您已准备好使用不同的参数值进行实验。

1. 在 Google Cloud 控制台的导航菜单 () 中，从人工智能部分选择 Vertex AI。

2. 在左侧窗格的工具中，从 Generative AI Studio 部分选择语言。然后，在开始使用页面点击文本提示。

3. 输入以下提示：

请为我总结一下《哈利·波特》的开头。

4. 在“参数”部分文本框中，将温度从 0.9 改为 1。 依次点击提交和保存。为您的提示命名并将其保存。阅读回答内容以了解不同的温度值对回答有何影响。

5. 在“参数”部分，将词元限制从 2048 改为 1024。依次点击提交和保存。阅读回答内容以了解不同的词元限制对回答有何影响。

6. 在“参数”部分文本框中，点击高级开关选项按钮，将 Top-K 值改为 1。依次点击提交和保存。阅读回答内容以了解不同的 Top-K 的值对回答有何影响。

7. 在“参数”部分，将 Top-P 值改为 1 并依次点击提交和保存。阅读回答内容以了解不同的 Top-P 的值对回答有何影响。

点击检查我的进度以验证是否完成了以下目标：

更改参数并保存生成的回答

任务 3. 使用 Vertex AI 上的生成模型提取文本摘要

提取最重要房屋信息摘要以简化搜索过程。

1. 在您的 JupyterLab 笔记本中，双击打开左侧面板中的 housing_text_summarization.ipynb 文件。

2. 点击修改 > 清除所有输出。

3. 仔细阅读笔记本说明并运行每个单元中的代码。

运行 housing_text_summarization.ipynb 文件中的单元。

恭喜！

您已使用 PaLM API 和 AI Studio 创建和实验了用于各种生成式 AI 应用场景的提示。您还探索了 AI Studio 界面，并使用不同参数创建了文本和代码提示。

后续步骤/了解详情

• 如需详细了解提示设计，请参阅官方文档。

• 查看本实验使用的笔记本。

Google Cloud 培训和认证

…可帮助您充分利用 Google Cloud 技术。我们的课程会讲解各项技能与最佳实践，可帮助您迅速上手使用并继续学习更深入的知识。我们提供从基础到高级的全方位培训，并有点播、直播和虚拟三种方式选择，让您可以按照自己的日程安排学习时间。各项认证可以帮助您核实并证明您在 Google Cloud 技术方面的技能与专业知识。

上次更新手册的时间：2023 年 12 月 28 日

上次测试实验的时间：2023 年 12 月 28 日

版权所有 2024 Google LLC 保留所有权利。Google 和 Google 徽标是 Google LLC 的商标。其他所有公司名和产品名可能是其各自相关公司的商标。