正在加载…
未找到任何结果。

在 Google Cloud 控制台中运用您的技能

使用多模态 Gemini 和多模态 RAG 检查富文档

访问 700 多个实验和课程

使用 Gemini 实现多模态零售推荐

实验 1 小时 universal_currency_alt 5 个积分 show_chart 中级
info 此实验可能会提供 AI 工具来支持您学习。
访问 700 多个实验和课程

GSP1230

概览

Gemini 是 Google DeepMind 开发的一系列生成式 AI 模型,专为多模态应用场景而设计。

对于零售公司来说,推荐系统可以提升客户体验,从而提高销售额。在本实验中,您将学习如何使用 Gemini 模型快速创建多模态推荐系统。Gemini 模型可以使用多模态模型提供建议和解释。

在本实验中,您将从一个场景(如客厅)开始,然后使用 Gemini 模型进行视觉理解。您还将研究 Gemini 模型如何从您输入的家具商品清单中推荐一件商品(如椅子)。

Gemini

Gemini 是 Google DeepMind 开发的一系列强大的生成式 AI 模型,能够理解和生成各种形式的内容,包括文本、代码、图片、音频和视频。

Vertex AI 中的 Gemini API

Vertex AI 中的 Gemini API 提供了与各 Gemini 模型交互的统一接口。通过 Gemini API,开发者可以轻松将这些强大的 AI 功能集成到他们的应用中。如需了解最新版本的最新详细信息和具体功能,请参阅官方 Gemini 文档

Gemini 模型

  • Gemini Pro:专为复杂的推理任务而设计,包括:
    • 分析和总结大量信息。
    • 复杂的跨模态推理(跨文本、代码、图片等)。
    • 有效解决复杂代码库的问题。
  • Gemini Flash:针对速度和效率进行了优化,具有以下特点和功能:
    • 亚秒级响应时间和高吞吐量。
    • 成本低、效率高,适用于各种任务。
    • 增强的多模态功能,包括改进的空间理解、新的输出模态(文本、音频、图片)以及原生工具使用体验(Google 搜索、代码执行和第三方功能)。

前提条件

在开始本实验之前,您应该先熟悉:

  • Python 编程基础知识。
  • API 的一般性概念。
  • Vertex AI Workbench 上的 Jupyter 笔记本中运行 Python 代码

目标

在本实验中,您将学习如何完成以下操作:

  • 使用 Gemini 模型 (gemini-2.0-flash) 进行视觉理解
  • 在为 Gemini 模型输入提示时,将多模态纳入考量
  • 使用 Gemini 模型创建零售推荐应用

设置和要求

点击“开始实验”按钮前的注意事项

请阅读以下说明。实验是计时的,并且您无法暂停实验。计时器在您点击开始实验后即开始计时,显示 Google Cloud 资源可供您使用多长时间。

此实操实验可让您在真实的云环境中开展实验活动,免受模拟或演示环境的局限。为此,我们会向您提供新的临时凭据,您可以在该实验的规定时间内通过此凭据登录和访问 Google Cloud。

为完成此实验,您需要:

  • 能够使用标准的互联网浏览器(建议使用 Chrome 浏览器)。
注意:请使用无痕模式(推荐)或无痕浏览器窗口运行此实验。这可以避免您的个人账号与学生账号之间发生冲突,这种冲突可能导致您的个人账号产生额外费用。
  • 完成实验的时间 - 请注意,实验开始后无法暂停。
注意:请仅使用学生账号完成本实验。如果您使用其他 Google Cloud 账号,则可能会向该账号收取费用。

如何开始实验并登录 Google Cloud 控制台

  1. 点击开始实验按钮。如果该实验需要付费,系统会打开一个对话框供您选择支付方式。左侧是“实验详细信息”窗格,其中包含以下各项:

    • “打开 Google Cloud 控制台”按钮
    • 剩余时间
    • 进行该实验时必须使用的临时凭据
    • 帮助您逐步完成本实验所需的其他信息(如果需要)
  2. 点击打开 Google Cloud 控制台(如果您使用的是 Chrome 浏览器,请右键点击并选择在无痕式窗口中打开链接)。

    该实验会启动资源并打开另一个标签页,显示“登录”页面。

    提示:将这些标签页安排在不同的窗口中,并排显示。

    注意:如果您看见选择账号对话框,请点击使用其他账号
  3. 如有必要,请复制下方的用户名,然后将其粘贴到登录对话框中。

    {{{user_0.username | "<用户名>"}}}

    您也可以在“实验详细信息”窗格中找到“用户名”。

  4. 点击下一步

  5. 复制下面的密码,然后将其粘贴到欢迎对话框中。

    {{{user_0.password | "<密码>"}}}

    您也可以在“实验详细信息”窗格中找到“密码”。

  6. 点击下一步

    重要提示:您必须使用实验提供的凭据。请勿使用您的 Google Cloud 账号凭据。 注意:在本实验中使用您自己的 Google Cloud 账号可能会产生额外费用。
  7. 继续在后续页面中点击以完成相应操作:

    • 接受条款及条件。
    • 由于这是临时账号,请勿添加账号恢复选项或双重验证。
    • 请勿注册免费试用。

片刻之后,系统会在此标签页中打开 Google Cloud 控制台。

注意:如需访问 Google Cloud 产品和服务,请点击导航菜单,或在搜索字段中输入服务或产品的名称。

任务 1. 在 Vertex AI Workbench 中打开笔记本

  1. 在 Google Cloud 控制台的导航菜单 () 中依次点击 Vertex AI > Workbench

  2. 找到 实例,然后点击打开 JupyterLab 按钮。

Workbench 实例的 JupyterLab 界面会在新浏览器标签页中打开。

注意:如果您在 JupyterLab 中没有看到笔记本,请按照以下额外步骤重置实例:

1. 关闭 JupyterLab 的浏览器标签页,然后返回 Workbench 首页。

2. 选中实例名称旁边的复选框,然后点击重置

3. 打开 JupyterLab 按钮重新启用后,请等待一分钟,然后点击打开 JupyterLab

任务 2. 设置笔记本

  1. 打开 文件。

  2. 选择内核对话框中,从可用内核列表中选择 Python 3

  3. 运行笔记本的开始使用导入库部分。

    • 对于项目 ID,请使用 ;对于位置,使用
注意:您可以跳过任何标为“仅限 Colab”的笔记本单元。 如有笔记本单元在执行时遇到 429 响应,请等待 1 分钟,然后再次运行该单元以继续操作。

点击检查我的进度,验证已完成以下目标: 安装 Gen AI SDK for Python 并导入库

在后续部分中,您将运行多个笔记本单元,了解如何使用 Gemini 模型的多模态功能。

任务 3. 使用 Gemini 模型

Gemini 模型 (gemini-2.0-flash) 是一个多模态模型,它支持在文本或聊天提示中添加图片和视频,并向用户提供文本回答。

  1. 在此任务中,您将运行多个笔记本单元,了解如何使用 Gemini 模型,在单个提示中结合使用文本和图片来详细描述图片中的房间。

点击检查我的进度,验证已完成以下目标: 使用 Gemini 模型描述房间

任务 4. 根据内置的知识,生成开放式推荐内容

使用同一张图片,并搭配对房间的描述,您可以要求模型推荐一件适合在房间中摆放的家具。请注意,在这种情况下,模型可以选择推荐任何家具,而且可以根据其仅有的内置知识进行推荐。

  1. 运行多个笔记本单元,了解如何使用同一张图片并搭配对房间的描述,要求 Gemini 模型推荐一件适合在房间中摆放的家具。

点击检查我的进度,验证已完成以下目标: 使用 Gemini 模型推荐一件家具

任务 5. 根据提供的图片生成建议

您也可以提供一个商品清单供模型选择,而不是放开推荐范围。在此部分,您将下载一些椅子图片,将它们设置为 Gemini 模型的推荐来源选项。这对零售公司来说尤其有用,因为他们希望根据用户房间的类型和在售商品向用户提供推荐。

  1. 在此任务中,您将运行多个笔记本单元,了解如何使用 Gemini 模型从商品清单中推荐一件家具。

点击检查我的进度,验证已完成以下目标: 使用 Gemini 模型从备选清单中推荐一件商品

恭喜!

恭喜!在本实验中,您已成功探索如何使用 Gemini 构建多模态家具推荐系统。您学习了如何使用 Gemini 模型进行视觉理解,以及如何在为 Gemini 模型输入提示时将多模态纳入考量。本实验展示了如何使用 Gemini 轻松构建多模态家具推荐系统,您也可以在下列场景中使用类似方法:

  • 根据场合或场地图片推荐服装
  • 根据房间和摆设推荐墙纸

后续步骤/了解详情

请参阅以下资源,详细了解 Gemini:

Google Cloud 培训和认证

…可帮助您充分利用 Google Cloud 技术。我们的课程会讲解各项技能与最佳实践,可帮助您迅速上手使用并继续学习更深入的知识。我们提供从基础到高级的全方位培训,并有点播、直播和虚拟三种方式选择,让您可以按照自己的日程安排学习时间。各项认证可以帮助您核实并证明您在 Google Cloud 技术方面的技能与专业知识。

上次更新手册的时间:2025 年 4 月 17 日

上次测试实验的时间:2025 年 4 月 17 日

版权所有 2025 Google LLC 保留所有权利。Google 和 Google 徽标是 Google LLC 的商标。其他所有公司名和产品名可能是其各自相关公司的商标。

上一步 下一步

准备工作

  1. 实验会创建一个 Google Cloud 项目和一些资源,供您使用限定的一段时间
  2. 实验有时间限制,并且没有暂停功能。如果您中途结束实验,则必须重新开始。
  3. 在屏幕左上角,点击开始实验即可开始

此内容目前不可用

一旦可用,我们会通过电子邮件告知您

太好了!

一旦可用,我们会通过电子邮件告知您

一次一个实验

确认结束所有现有实验并开始此实验

使用无痕浏览模式运行实验

请使用无痕模式或无痕式浏览器窗口运行此实验。这可以避免您的个人账号与学生账号之间发生冲突,这种冲突可能导致您的个人账号产生额外费用。
预览