ARC106

概览

在实验室挑战赛中，我们会为您提供一个场景和一系列任务。您将使用从课程的各个实验中学到的技能自行确定如何完成这些任务，而不是按照分步说明进行操作。自动评分系统（显示在本页面中）会提供有关您是否已正确完成任务的反馈。

在您参加实验室挑战赛期间，我们不会再教授新的 Google Cloud 概念知识。您需要拓展所学的技能，例如通过更改默认值和查看并研究错误消息来更正您自己所犯的错误。

要想获得满分，您必须在该时间段内成功完成所有任务！

设置

点击“开始实验”按钮前的注意事项

请阅读以下说明。实验是计时的，并且您无法暂停实验。计时器在您点击开始实验后即开始计时，显示 Google Cloud 资源可供您使用多长时间。

此实操实验可让您在真实的云环境中开展实验活动，免受模拟或演示环境的局限。为此，我们会向您提供新的临时凭据，您可以在该实验的规定时间内通过此凭据登录和访问 Google Cloud。

为完成此实验，您需要：

• 能够使用标准的互联网浏览器（建议使用 Chrome 浏览器）。

注意：请使用无痕模式（推荐）或无痕浏览器窗口运行此实验。这可以避免您的个人账号与学生账号之间发生冲突，这种冲突可能导致您的个人账号产生额外费用。

• 完成实验的时间 - 请注意，实验开始后无法暂停。

注意：请仅使用学生账号完成本实验。如果您使用其他 Google Cloud 账号，则可能会向该账号收取费用。

挑战场景

您刚开始担任初级数据工程师。目前，您的主要职责是协助各团队使用 BigQuery、Pub/Sub 和 Dataflow 来创建和管理数据。

您应该掌握了完成这些任务所需的技能和知识。

您的挑战

您需要帮助新组建的开发团队完成一个新项目的一些初始工作。这是一个与实时环境传感器数据相关的项目。您需要协助团队使用 Pub/Sub 和 Dataflow 将温度数据流式传输到 BigQuery；您收到了请求，需要完成以下任务：

• 创建一个 Cloud Storage 存储桶，并将其作为 Dataflow 作业的临时存储位置。
• 创建一个 BigQuery 数据集和一个表，以接收流式传输的数据。
• 创建一个 Pub/Sub 主题，并测试向该主题发布消息。
• 创建并运行 Dataflow 作业，将数据从 Pub/Sub 主题流式传输到 BigQuery。
• 运行查询来验证流式传输数据。

您应当遵循如下标准：

• 确保已成功启用任何所需的 API，例如 Dataflow。
• 除非另有指示，否则应在 区域中创建所有资源。

下文详细说明了您的每项任务，祝您好运！

任务 1. 创建 Cloud Storage 存储桶

• 使用您的项目 ID 作为存储桶名称，创建一个 Cloud Storage 存储桶：

点击“检查我的进度”以验证是否完成了以下目标： 创建 Cloud Storage 存储桶

任务 2. 创建 BigQuery 数据集和表

1. 在美国（多区域）中创建一个名为 的 BigQuery 数据集。

2. 在创建的数据集中，创建一个名为 的表，并添加一个名为 data 的列（类型为 STRING）。

点击“检查我的进度”以验证是否完成了以下目标： 创建 BigQuery 数据集和表

任务 3. 设置 Pub/Sub 主题

1. 创建名为 的 Pub/Sub 主题。

• 使用默认设置，其中已选中添加默认订阅复选框。

点击“检查我的进度”以验证是否完成了以下目标： 创建 Pub/Sub 主题

任务 4. 运行 Dataflow 流水线，将数据从 Pub/Sub 流式传输到 BigQuery

1. 创建并运行名为 的 Dataflow 作业，以使用您在之前任务中创建的 Pub/Sub 主题和 BigQuery 表，将数据从 Pub/Sub 主题流式传输到 BigQuery。

• 使用自定义 Dataflow 模板。

• 使用以下路径作为存储在 Cloud Storage 中的模板文件：

  gs://dataflow-templates-{{{project_0.default_region | Region }}}/latest/PubSub_to_BigQuery

• 使用您在之前的任务中创建的 Pub/Sub 主题：

• 使用您在之前的任务中创建的 Cloud Storage 存储桶作为临时存储位置：

• 使用您在之前的任务中创建的 BigQuery 数据集和表作为输出表：。

• 使用 作为区域端点。

点击“检查我的进度”以验证是否完成了以下目标： 创建 Dataflow 流水线，将数据从 Pub/Sub 流式传输到 BigQuery

任务 5. 向该主题发布测试消息，并验证 BigQuery 中的数据

1. 对于 Message，按照以下代码语法将消息发布到您的主题：{"data": "73.4 F"}

• 注意：可以将 73.4 F 替换为任何值。

2. 在 BigQuery 中运行 SELECT 语句，查看表中填写的测试消息。

注意：如果您在 BigQuery 表中没有看到任何测试消息，请检查 Dataflow 作业的状态是否为“正在运行”，然后发送另一条测试消息。

点击“检查我的进度”以验证是否完成了以下目标： 向主题发布测试消息，并在 BigQuery 中验证数据

恭喜！

恭喜！在本实验中，您成功创建了 Cloud Storage 存储桶、BigQuery 数据集和表、Pub/Sub 主题，并创建了将数据从 Pub/Sub 流式传输到 BigQuery 的 Dataflow 作业。您还向该主题发布了一条测试消息，并验证了 BigQuery 中的数据。

Google Cloud 培训和认证

…可帮助您充分利用 Google Cloud 技术。我们的课程会讲解各项技能与最佳实践，可帮助您迅速上手使用并继续学习更深入的知识。我们提供从基础到高级的全方位培训，并有点播、直播和虚拟三种方式选择，让您可以按照自己的日程安排学习时间。各项认证可以帮助您核实并证明您在 Google Cloud 技术方面的技能与专业知识。

上次更新手册的时间：2024 年 7 月 17 日

上次测试实验的时间：2024 年 3 月 21 日

版权所有 2025 Google LLC 保留所有权利。Google 和 Google 徽标是 Google LLC 的商标。其他所有公司名和产品名可能是其各自相关公司的商标。