arrow_back

使用 Dataplex 构建数据网格:实验室挑战赛

登录 加入
访问 700 多个实验和课程

使用 Dataplex 构建数据网格:实验室挑战赛

实验 1 小时 30 分钟 universal_currency_alt 1 个积分 show_chart 入门级
info 此实验可能会提供 AI 工具来支持您学习。
访问 700 多个实验和课程

GSP514

Google Cloud 自学实验的徽标

概览

在实验室挑战赛中,我们会为您提供一个场景和一系列任务。您将使用从课程的各个实验中学到的技能自行确定如何完成这些任务,而不是按照分步说明进行操作。自动评分系统(显示在本页面中)会提供有关您是否已正确完成任务的反馈。

在您参加实验室挑战赛期间,我们不会再教授新的 Google Cloud 概念知识。您需要拓展所学的技能,例如通过更改默认值和查看并研究错误消息来更正您自己所犯的错误。

要想获得满分,您必须在该时间段内成功完成所有任务!

建议已报名参加使用 Dataplex 构建数据网格技能徽章课程的学员参加此实验室挑战赛。准备好接受挑战了吗?

设置和要求

点击“开始实验”按钮前的注意事项

请阅读以下说明。实验是计时的,并且您无法暂停实验。计时器在您点击开始实验后即开始计时,显示 Google Cloud 资源可供您使用多长时间。

此实操实验可让您在真实的云环境中开展实验活动,免受模拟或演示环境的局限。为此,我们会向您提供新的临时凭据,您可以在该实验的规定时间内通过此凭据登录和访问 Google Cloud。

为完成此实验,您需要:

  • 能够使用标准的互联网浏览器(建议使用 Chrome 浏览器)。
注意:请使用无痕模式(推荐)或无痕浏览器窗口运行此实验。这可以避免您的个人账号与学生账号之间发生冲突,这种冲突可能导致您的个人账号产生额外费用。
  • 完成实验的时间 - 请注意,实验开始后无法暂停。
注意:请仅使用学生账号完成本实验。如果您使用其他 Google Cloud 账号,则可能会向该账号收取费用。

挑战场景

您刚开始担任初级数据工程师。到目前为止,您一直在帮助团队创建和管理 Dataplex 资产。

您应该掌握了完成这些任务所需的技能和知识。

您的挑战

您需要帮助新组建的开发团队完成使用 Dataplex 构建新数据网格的任务。具体来说,您需要创建一个拥有多个区域和多项资产的 Dataplex 数据湖。您还需要创建切面类型,向新数据湖中的资产添加切面,并评估数据质量;您收到了完成下列任务的请求:

  • 创建一个拥有两个区域和两项资产的 Dataplex 数据湖。
  • 为受保护数据创建切面类型,并向区域添加切面。
  • 将 Dataplex IAM 角色分配给另一个用户。
  • 创建数据质量规范文件并将其上传到 Cloud Storage。
  • 在 Dataplex 中定义并运行数据质量作业。

您应当遵循如下标准:

  • 确保已成功启用任何所需的 API,例如 Dataplex、Data Catalog 和 Dataproc。
  • 除非另有指示,否则应在 区域中创建所有资源。

下文详细说明了您的每项任务,祝您好运!

任务 1. 创建一个拥有两个区域和两项资产的 Dataplex 数据湖

注意:对于本挑战实验室中的所有任务,除非另有指示,否则请在 区域中创建资源。

本实验中的第 2 步所需的 Cloud Storage 存储桶和 BigQuery 数据集已预先创建好。

  1. 创建一个名为 Sales Lake 的 Dataplex 数据湖,它的两个 Dataplex 区域都位于一个资源区域内:
  • 名为 Raw Customer Zone 的原始区域
  • 名为 Curated Customer Zone 的精选区域
  1. 将一项预先创建的资产附加到每个区域:
  • 将 Cloud Storage 存储桶 -customer-online-sessions 作为新资产 Customer Engagements 附加到原始区域。
  • 将 BigQuery 数据集 .customer_orders 作为新资产 Customer Orders 附加到精选区域。

有关创建 Dataplex 数据湖的实用技巧!

点击检查我的进度以验证是否完成了以下目标: 创建一个拥有两个区域和两项资产的 Dataplex 数据湖

任务 2. 创建切面类型并向区域添加切面

  1. 创建包含两个枚举字段的切面类型 Protected Customer Data Aspect
  • 第一个字段名为 Raw Data Flag,可能的值为 YesNo
  • 第二个字段名为 Protected Contact Information Flag,可能的值为 YesNo
  1. 将此切面添加到 Raw Customer Zone,并将两个标志的值均设为 Yes

有关创建和使用切面类型的实用技巧!

点击检查我的进度以验证是否完成了以下目标: 创建切面类型并向区域添加切面

任务 3. 将 Dataplex IAM 角色分配给另一个用户

  • 按照最小权限原则,将适当的 Dataplex IAM 角色分配给用户 2 ()。拥有此角色后,该用户可以将新的 Cloud Storage 文件上传到 Dataplex 资产 Customer Engagements

有关分配 Dataplex IAM 角色的实用技巧!

点击检查我的进度以验证是否完成了以下目标: 将 Dataplex IAM 角色分配给另一个用户

任务 4. 创建数据质量规范文件并将其上传到 Cloud Storage

本实验中的第 2 步所需的 Cloud Storage 存储桶已预先创建好。

  1. 创建包含以下规范的数据质量规范文件 dq-customer-orders.yaml
  • 针对 customer_orders.ordered_itemsuser_id 列的 NOT NULL 规则(阈值为 100%)
  • 针对 customer_orders.ordered_itemsorder_id 列的 NOT NULL 规则(阈值为 100%)
  • 用于保存结果的 BigQuery 目标表:.orders_dq_dataset.results
  1. 将该文件上传到 Cloud Storage 存储桶 -dq-config

有关创建数据质量规范文件的实用技巧!

点击检查我的进度以验证是否完成了以下目标: 创建并上传数据质量规范文件

任务 5. 在 Dataplex 中定义并运行自动数据质量作业

本实验中的第 1 步所需的 BigQuery 数据集已预先创建好。

  1. 使用包含以下规范的文件 dq-customer-orders.yaml 定义自动数据质量作业:
属性
数据质量作业名称 customer-orders-data-quality-job
源数据 .customer_orders.ordered_items
用户服务账号 Compute Engine 默认服务账号
  1. 立即运行自动数据质量作业。
作业可能需要数分钟才能运行完毕。您可能需要刷新页面才能看到作业已成功运行。

有关定义和运行数据质量作业的实用技巧!

点击检查我的进度以验证是否完成了以下目标: 在 Dataplex 中定义并运行数据质量作业

恭喜!

您已通过创建包含多个区域和资产的 Dataplex 数据湖、创建切面类型并向资产添加切面以及评估数据质量来构建数据网格。

“使用 Dataplex 构建数据网格”徽章

赢得您的下一个技能徽章

本自学实验是使用 Dataplex 构建数据网格技能徽章课程的组成部分。完成此技能徽章课程可赢得上面的徽章,以表彰您取得的成就。您可以在简历和社交平台中分享自己的徽章,并使用 #GoogleCloudBadge 让大家知道您取得的这一成就。

此技能徽章课程是 Google Cloud 的数据工程师学习路线的组成部分。如果您已完成此学习路线中的其他技能徽章课程,可在目录中搜索您可以报名参加的其他技能徽章挑战任务。

Google Cloud 培训和认证

…可帮助您充分利用 Google Cloud 技术。我们的课程会讲解各项技能与最佳实践,可帮助您迅速上手使用并继续学习更深入的知识。我们提供从基础到高级的全方位培训,并有点播、直播和虚拟三种方式选择,让您可以按照自己的日程安排学习时间。各项认证可以帮助您核实并证明您在 Google Cloud 技术方面的技能与专业知识。

本手册的最后更新时间:2025 年 9 月 4 日

本实验的最后测试时间:2025 年 9 月 4 日

版权所有 2025 Google LLC 保留所有权利。Google 和 Google 徽标是 Google LLC 的商标。其他所有公司名和产品名可能是其各自相关公司的商标。

准备工作

  1. 实验会创建一个 Google Cloud 项目和一些资源,供您使用限定的一段时间
  2. 实验有时间限制,并且没有暂停功能。如果您中途结束实验,则必须重新开始。
  3. 在屏幕左上角,点击开始实验即可开始

使用无痕浏览模式

  1. 复制系统为实验提供的用户名密码
  2. 在无痕浏览模式下,点击打开控制台

登录控制台

  1. 使用您的实验凭证登录。使用其他凭证可能会导致错误或产生费用。
  2. 接受条款,并跳过恢复资源页面
  3. 除非您已完成此实验或想要重新开始,否则请勿点击结束实验,因为点击后系统会清除您的工作并移除该项目

此内容目前不可用

一旦可用,我们会通过电子邮件告知您

太好了!

一旦可用,我们会通过电子邮件告知您

一次一个实验

确认结束所有现有实验并开始此实验

使用无痕浏览模式运行实验

请使用无痕模式或无痕式浏览器窗口运行此实验。这可以避免您的个人账号与学生账号之间发生冲突,这种冲突可能导致您的个人账号产生额外费用。