概览

本实验将引导您完成在 Dataform 中创建和执行 SQL 工作流以在 BigQuery 中加载数据的过程。

学习目标

1. 创建 Dataform 仓库。
2. 创建并初始化 Dataform 开发工作区。
3. 创建和执行 SQL 工作流。
4. 在 Dataform 中查看执行日志。

设置

对于每个实验，您都会免费获得一个新的 Google Cloud 项目及一组资源，它们都有固定的使用时限。

1. 请使用无痕式窗口登录 Qwiklabs。

2. 留意实验的访问时限（例如 1:15:00）并确保能在相应时间段内完成实验。
   系统不提供暂停功能。如有需要，您可以重新开始实验，不过必须从头开始。

3. 准备就绪时，点击开始实验。

4. 请记好您的实验凭据（用户名和密码）。您需要使用这组凭据来登录 Google Cloud 控制台。

5. 点击打开 Google 控制台。

6. 点击使用其他账号，然后将此实验的凭据复制并粘贴到相应提示框中。
   如果您使用其他凭据，将会收到错误消息或产生费用。

7. 接受条款并跳过恢复资源页面。

任务 1. 创建 Dataform 仓库

1. 在控制台中，展开导航菜单，然后依次选择 BigQuery > Dataform。

2. 点击创建仓库。

3. 在创建仓库页面上，执行以下操作：

   1. 在仓库 ID 字段中，输入 quickstart-repository。

   2. 在区域列表中，选择 。

   3. 点击创建。

   4. 仓库创建完成后，您会看到 Dataform 服务账号。请将其复制下来，以便稍后用它来分配必要的权限。

   5. 点击前往仓库。

注意：如果收到与 API 请求相关的权限遭拒错误，请等待几分钟后再次创建仓库。

验证您已完成的任务

点击检查我的进度以验证是否完成了以下目标：

创建 Dataform 仓库。

任务 2. 创建并初始化 Dataform 开发工作区

1. 在 Dataform 页面上，点击刚才创建的 quickstart-repository 仓库。

2. 点击创建开发工作区。

3. 在创建开发工作区窗口中，执行以下操作：

   1. 在工作区 ID 字段中，输入quickstart-workspace。

   2. 点击创建。

4. 创建完成后，点击 quickstart-workspace 开发工作区。

5. 点击初始化工作区。

验证您已完成的任务

点击检查我的进度以验证是否完成了以下目标：

创建 Dataform 工作区。

任务 3. 创建用于定义视图的 SQLX 文件

在本部分中，您将定义一个稍后将用作表数据源的视图。

1. 在文件窗格中，点击定义旁边的更多菜单。

2. 点击创建文件。

3. 在创建新文件窗格中，执行以下操作：

   1. 在添加文件路径字段中，输入 definitions/quickstart-source.sqlx。

   2. 点击创建文件。

定义视图

1. 在文件窗格中，展开定义文件夹。

2. 点击 quickstart-source.sqlx。

3. 在文件中输入以下代码段：

   config { type: "view" } SELECT "apples" AS fruit, 2 AS count UNION ALL SELECT "oranges" AS fruit, 5 AS count UNION ALL SELECT "pears" AS fruit, 1 AS count UNION ALL SELECT "bananas" AS fruit, 0 AS count

任务 4. 创建用于表定义的 SQLX 文件

在以下部分中，您将在 SQLX 文件中定义表类型，然后编写 SELECT 语句以在同一文件中定义表结构。

1. 在文件窗格中，点击定义旁边的更多菜单，然后选择创建文件。

2. 在添加文件路径字段中，输入 definitions/quickstart-table.sqlx。

3. 点击创建文件。

定义表类型、结构和依赖项

1. 在文件窗格中，展开定义目录。

2. 选择 quickstart-table.sqlx，然后输入以下表类型和 SELECT 语句：

   config { type: "table" } SELECT fruit, SUM(count) as count FROM ${ref("quickstart-source")} GROUP BY 1

注意：已编译的查询部分可能会显示错误提示。请忽略此消息，继续执行工作流的后续步骤。

任务 5. 向 Dataform 授予对 BigQuery 的访问权限

1. 在 Google Cloud 控制台的导航菜单 () 中，依次选择 IAM 和管理 > IAM。

2. 点击按主账号查看。然后点击授予访问权限

3. 在新的主账号字段中，输入您的 Dataform 服务账号 ID。

4. 在选择角色下拉列表中，选择 BigQuery Job User 角色。

5. 点击添加其他角色，然后在选择角色下拉列表中选择 BigQuery Data Editor 角色。

6. 点击添加其他角色，然后在选择角色下拉列表中选择 BigQuery Data Viewer 角色。

7. 点击保存。

验证您已完成的任务

点击检查我的进度以验证是否完成了以下目标：

向 Dataform 授予对 BigQuery 的访问权限。

任务 6. 执行工作流

1. 在控制台中，依次前往导航菜单 > BigQuery > Dataform。

2. 点击 quickstart-repository 以打开此仓库。

3. 点击 quickstart-workspace 以打开此开发工作区。

4. 在 quickstart-workspace 页面上，点击开始执行。

5. 点击执行操作。

6. 点击所有操作标签页。

7. 在执行窗格中，点击开始执行。

   Dataform 使用默认仓库设置在名为 dataform 的 BigQuery 数据集中创建工作流的内容。

验证您已完成的任务

点击检查我的进度以验证是否完成了以下目标：

创建和执行 SQL 工作流。

查看执行日志

1. 在 quickstart-workspace 页面上，点击执行以打开“执行”窗格。

2. 如需查看执行详情，请点击最新的执行。

结束实验

完成实验后，请点击结束实验。Qwiklabs 会移除您使用过的资源并为您清理帐号。

系统会提示您为实验体验评分。请选择相应的评分星级，输入评论，然后点击提交。

星级的含义如下：

• 1 颗星 = 非常不满意
• 2 颗星 = 不满意
• 3 颗星 = 一般
• 4 颗星 = 满意
• 5 颗星 = 非常满意

如果您不想提供反馈，可以关闭该对话框。

如果要留言反馈、提出建议或做出更正，请使用支持标签页。

版权所有 2020 Google LLC 保留所有权利。Google 和 Google 徽标是 Google LLC 的商标。其他所有公司名和产品名可能是其各自相关公司的商标。