arrow_back

在 Dataform 建立及執行 SQL 工作流程

登录 加入
访问 700 多个实验和课程

在 Dataform 建立及執行 SQL 工作流程

实验 1 小时 universal_currency_alt 1 积分 show_chart 入门级
info 此实验可能会提供 AI 工具来支持您学习。
访问 700 多个实验和课程

總覽

本實驗室將逐步帶您在 Dataform 建立及執行 SQL 工作流程,把資料載入 BigQuery。

學習目標

  1. 建立 Dataform 存放區。
  2. 建立並初始化 Dataform 開發工作區。
  3. 建立及執行 SQL 工作流程。
  4. 在 Dataform 查看執行記錄。

設定

在每個研究室中,您都能在固定時間內免付費建立新的 Google Cloud 專案,並使用一組資源。

  1. 請透過無痕式視窗登入 Qwiklabs。

  2. 請記下研究室的存取時間 (例如 1:15:00),並確保自己能在時間限制內完成作業。
    研究室不提供暫停功能。如有需要,您可以重新開始,但原先的進度恕無法保留。

  3. 準備就緒後,請按一下「Start lab」

  4. 請記下研究室憑證 (使用者名稱密碼),這組資訊將用於登入 Google Cloud 控制台。

  5. 按一下「Open Google Console」

  6. 按一下「Use another account」,然後複製這個研究室的憑證,並貼入提示訊息。
    如果使用其他憑證,系統會顯示錯誤或向您收取費用

  7. 接受條款,然後略過資源復原頁面。

工作 1:建立 Dataform 存放區

  1. 在控制台展開「導覽選單」,依序選取「BigQuery」>「Dataform」

  2. 點選「建立存放區」

  3. 在「建立存放區」頁面中執行下列操作:

    1. 在「存放區 ID」欄位中輸入 quickstart-repository

    2. 在「區域」清單中選取「」。

    3. 點選「建立」。

    4. 建立存放區後,您就會看到 Dataform 服務帳戶。請將帳戶 ID 複製下來,稍後會用來指派必要權限。

    5. 點選「前往存放區」

注意:如收到「跟 API 要求有關的權限遭拒」錯誤,請稍等幾分鐘,然後再次建立存放區。

測試工作已完成

點選「Check my progress」,確認目標已達成。

建立 Dataform 存放區。

工作 2:建立並初始化 Dataform 開發工作區

  1. 在「Dataform」頁面中,點選剛才建立的「quickstart-repository」存放區。

  2. 點選「建立開發工作區」

  3. 在「建立開發工作區」視窗中執行下列操作:

    1. 在「工作區 ID」欄位中輸入 quickstart-workspace

    2. 點選「建立」。

  4. 建立完成後,請點選「quickstart-workspace」開發工作區。

  5. 點選「初始化工作區」

測試工作已完成

點選「Check my progress」,確認目標已達成。

建立 Dataform 工作區。

工作 3:建立用來定義 view 的 SQLX 檔案

在這個部分中,您會定義 view,做為資料表的資料來源。

  1. 在「檔案」窗格中,點選「definitions」旁的「更多」選單。

  2. 點選「建立檔案」

  3. 在「建立新檔案」窗格中,執行下列步驟:

    1. 在「新增檔案路徑」欄位輸入 definitions/quickstart-source.sqlx

    2. 點選「建立檔案」

定義 view

  1. 在「檔案」窗格展開「definitions」資料夾。

  2. 點選「quickstart-source.sqlx」。

  3. 在檔案中輸入下列程式碼片段:

    config { type: "view" } SELECT "apples" AS fruit, 2 AS count UNION ALL SELECT "oranges" AS fruit, 5 AS count UNION ALL SELECT "pears" AS fruit, 1 AS count UNION ALL SELECT "bananas" AS fruit, 0 AS count

工作 4:建立 SQLX 檔案來定義資料表

接下來您將在 SQLX 檔案中定義資料表類型,然後編寫 SELECT 陳述式,在同一個檔案中定義資料表結構。

  1. 在「檔案」窗格中,點選「definitions」旁的「更多」選單,然後選取「建立檔案」

  2. 在「新增檔案路徑」欄位輸入 definitions/quickstart-table.sqlx

  3. 點選「建立檔案」

定義資料表類型、結構與依附元件

  1. 在「檔案」窗格展開「definitions」目錄。

  2. 選取「quickstart-table.sqlx」,輸入下列資料表類型和 SELECT 陳述式:

    config { type: "table" } SELECT fruit, SUM(count) as count FROM ${ref("quickstart-source")} GROUP BY 1
注意:您可能會在已編譯的查詢區塊注意到一則錯誤訊息,請忽略此訊息並繼續後續工作流程。

工作 5:為 Dataform 授予 BigQuery 存取權

  1. 前往 Google Cloud 控制台的「導覽選單」「導覽選單」圖示,依序點選「IAM 與管理」>「身分與存取權管理」

  2. 依序點選「按照主體查看」>「授予存取權」

  3. 在「新增主體」欄位輸入 Dataform 服務帳戶 ID。

  4. 在「請選擇角色」下拉式清單中,選取「BigQuery 工作使用者」角色。

  5. 點選「新增其他角色」,然後在「請選擇角色」下拉式清單中,選取「BigQuery 資料編輯者」角色。

  6. 點選「新增其他角色」,然後在「請選擇角色」下拉式清單中,選取「BigQuery 資料檢視者」角色。

  7. 點選「儲存」

測試工作已完成

點選「Check my progress」,確認目標已達成。

為 Dataform 授予 BigQuery 存取權

工作 6:執行工作流程

  1. 在控制台依序前往「導覽選單」>「BigQuery」>「Dataform」

  2. 點選「quickstart-repository」開啟存放區。

  3. 點選「quickstart-workspace」開啟開發工作區。

  4. 在「quickstart-workspace」頁面,點選「啟動執行作業」

  5. 點選「執行動作」

  6. 點選「所有動作」分頁標籤

  7. 在「執行」窗格中,點選「啟動執行作業」

    Dataform 會使用預設存放區設定,在 BigQuery 資料集 dataform 中建立工作流程的內容。

測試工作已完成

點選「Check my progress」,確認目標已達成。

建立及執行 SQL 工作流程。

查看執行記錄

  1. 在「quickstart-workspace」頁面,點選「EXECUTIONS」來開啟執行作業窗格。

  2. 如要查看執行作業的詳細資料,請點選最新的執行作業。

關閉研究室

如果您已完成研究室,請按一下「End Lab」(關閉研究室)。Qwiklabs 會移除您已用的資源,並清除使用帳戶。

您可以為研究室的使用體驗評分。請選取合適的星級評等並提供意見,然後按一下「Submit」(提交)

星級評等代表您的滿意程度:

  • 1 星 = 非常不滿意
  • 2 星 = 不滿意
  • 3 星 = 普通
  • 4 星 = 滿意
  • 5 星 = 非常滿意

如果不想提供意見回饋,您可以直接關閉對話方塊。

如有任何想法、建議或指教,請透過「Support」(支援) 分頁提交。

Copyright 2022 Google LLC 保留所有權利。Google 和 Google 標誌是 Google LLC 的商標,其他公司和產品名稱則有可能是其關聯公司的商標。

准备工作

  1. 实验会创建一个 Google Cloud 项目和一些资源,供您使用限定的一段时间
  2. 实验有时间限制,并且没有暂停功能。如果您中途结束实验,则必须重新开始。
  3. 在屏幕左上角,点击开始实验即可开始

使用无痕浏览模式

  1. 复制系统为实验提供的用户名密码
  2. 在无痕浏览模式下,点击打开控制台

登录控制台

  1. 使用您的实验凭证登录。使用其他凭证可能会导致错误或产生费用。
  2. 接受条款,并跳过恢复资源页面
  3. 除非您已完成此实验或想要重新开始,否则请勿点击结束实验,因为点击后系统会清除您的工作并移除该项目

此内容目前不可用

一旦可用,我们会通过电子邮件告知您

太好了!

一旦可用,我们会通过电子邮件告知您

一次一个实验

确认结束所有现有实验并开始此实验

使用无痕浏览模式运行实验

请使用无痕模式或无痕式浏览器窗口运行此实验。这可以避免您的个人账号与学生账号之间发生冲突,这种冲突可能导致您的个人账号产生额外费用。