arrow_back

使用 Dataplex 建構資料網格:挑戰實驗室

登录 加入
访问 700 多个实验和课程

使用 Dataplex 建構資料網格:挑戰實驗室

实验 1 小时 30 分钟 universal_currency_alt 1 积分 show_chart 入门级
info 此实验可能会提供 AI 工具来支持您学习。
访问 700 多个实验和课程

GSP514

Google Cloud 自學實驗室標誌

總覽

在挑戰研究室中,您會在特定情境下完成一系列任務。挑戰研究室不會提供逐步說明,您將運用從課程研究室學到的技巧,自行找出方法完成任務!自動評分系統 (如本頁所示) 將根據您是否正確完成任務來提供意見回饋。

在您完成任務的期間,挑戰研究室不會介紹新的 Google Cloud 概念。您須靈活運用所學技巧,例如變更預設值或詳讀並研究錯誤訊息,解決遇到的問題。

若想滿分達標,就必須在時限內成功完成所有任務!

本實驗室適合已參加使用 Dataplex 建構資料網格技能徽章任務的學員。準備好迎接挑戰了嗎?

設定和需求

瞭解以下事項後,再點選「Start Lab」按鈕

請詳閱以下操作說明。實驗室活動會計時,且中途無法暫停。點選「Start Lab」後就會開始計時,顯示可使用 Google Cloud 資源的時間。

您將在真正的雲端環境完成實作實驗室活動,而不是模擬或示範環境。為此,我們會提供新的暫時憑證,供您在實驗室活動期間登入及存取 Google Cloud。

為了順利完成這個實驗室,請先確認:

  • 可以使用標準的網際網路瀏覽器 (Chrome 瀏覽器為佳)。
注意事項:請使用無痕模式 (建議選項) 或私密瀏覽視窗執行此實驗室,這可以防止個人帳戶和學員帳戶之間的衝突,避免個人帳戶產生額外費用。
  • 是時候完成實驗室活動了!別忘了,活動一旦開始將無法暫停。
注意事項:務必使用實驗室專用的學員帳戶。如果使用其他 Google Cloud 帳戶,可能會產生額外費用。

挑戰情境

您剛以「初階資料工程師」的職銜進入公司,目前正在協助多個團隊建立及管理 Dataplex 資產。

公司預期您具備執行這些工作所需的技能與知識。

您的挑戰

您必須協助新建立的開發團隊,使用 Dataplex 建構新的資料網格。具體而言,您需要建立含有多個儲存區和資產的 Dataplex 湖泊,還需要在新湖泊中建立切面類型、為資產新增切面,並評估資料品質。您收到了下列工作與相應要求:

  • 建立含有兩個儲存區及兩項資產的 Dataplex 湖泊。
  • 為受保護資料建立切面類型,並將切面新增至儲存區。
  • 將 Dataplex IAM 角色指派給其他使用者。
  • 建立資料品質規格檔案並上傳至 Cloud Storage。
  • 在 Dataplex 中定義並執行資料品質工作。

您必須遵循下列標準:

  • 確認已成功啟用所有必要 API,例如 Dataplex、Data Catalog 和 Dataproc。
  • 如未特別指定,所有資源均須建立於 區域。

以下詳細說明各項工作,祝您好運!

工作 1:建立含有兩個儲存區及兩項資產的 Dataplex 湖泊

注意:如未特別說明,進行本挑戰實驗室的所有工作時,請將資源建立於 區域。

本實驗室已預先建立步驟 2 要使用的 Cloud Storage bucket 和 BigQuery 資料集。

  1. 建立含有兩個區域性儲存區的 Dataplex 湖泊,並命名為銷售湖泊
  • 名為原始客戶儲存區的原始資料儲存區
  • 名為收錄客戶儲存區的整理後資料儲存區
  1. 將預先建立的資產附加至儲存區:
  • 將名為 -customer-online-sessions 的 Cloud Storage bucket 命名為客戶參與度,附加至原始資料儲存區來做為新資產。
  • 將名為 .customer_orders 的 BigQuery 資料集命名為客戶訂單,附加至整理後資料儲存區做為新資產。

建立 Dataplex 湖泊的實用提示!

點選「Check my progress」,確認目標已達成。 建立含有兩個儲存區及兩項資產的 Dataplex 湖泊

工作 2:建立切面類型,並將切面新增至儲存區

  1. 建立名為 Protected Customer Data Aspect 的切面類型,並加入兩個列舉欄位:
  • 第一個欄位名稱為原始資料旗標,包含兩個值:YesNo
  • 第二個欄位名稱為受保護聯絡資訊旗標,包含兩個值:YesNo
  1. 將這個切面新增至原始客戶儲存區,並將兩個旗標的值設為 Yes

建立及套用切面類型的實用提示!

點選「Check my progress」,確認目標已達成。 建立切面類型,並將切面新增至儲存區

工作 3:將 Dataplex IAM 角色指派給其他使用者

  • 運用最小權限原則,將適當的 Dataplex IAM 角色指派給使用者 2 (),讓使用者可將新的 Cloud Storage 檔案,上傳至名為客戶參與度的 Dataplex 資產。

指派 Dataplex IAM 角色的實用提示!

點選「Check my progress」,確認目標已達成。 將 Dataplex IAM 角色指派給其他使用者

工作 4:建立資料品質規格檔案並上傳至 Cloud Storage

本實驗室已預先建立步驟 2 要使用的 Cloud Storage bucket。

  1. 建立含有下列規格的資料品質規格檔案,並命名為 dq-customer-orders.yaml
  • NOT NULL 規則已套用至 customer_orders.ordered_items 資料表中的 user_id 欄 (門檻為 100%)
  • NOT NULL 規則已套用至 customer_orders.ordered_items 資料表中的 order_id 欄 (門檻為 100%)
  • 存放結果的 BigQuery 目的地資料表:.orders_dq_dataset.results
  1. 將檔案上傳到名為 -dq-config 的 Cloud Storage bucket。

建立資料品質規格檔案的實用提示!

點選「Check my progress」,確認目標已達成。 建立並上傳資料品質規格檔案

工作 5:在 Dataplex 定義並執行自動資料品質工作

本研究室已預先建立步驟 1 要使用的 BigQuery 資料集。

  1. 使用含有下列規格的 dq-customer-orders.yaml 檔案,定義自動資料品質工作:
屬性
資料品質工作名稱 customer-orders-data-quality-job
來源資料 .customer_orders.ordered_items
使用者服務帳戶 Compute Engine 預設服務帳戶
  1. 立即執行自動資料品質工作。
工作會在幾分鐘內開始執行。您可能需要重新整理網頁,才會看到工作已成功執行。

定義及執行資料品質工作的實用提示!

點選「Check my progress」,確認目標已達成。 在 Dataplex 中定義並執行資料品質工作

恭喜!

您已成功建立資料網格,包括建立內含多個儲存區和資產的 Dataplex 湖泊、建立切面類型並將切面新增至資產,以及評估資料品質。

「使用 Dataplex 建構資料網格」徽章

取得下一枚技能徽章

這個自學實驗室屬於使用 Dataplex 建構資料網格技能徽章任務的一部分。完成這個技能徽章課程即可獲得上方的徽章,彰顯您的成就。您可以在履歷表和社群平台張貼徽章,並加上 #GoogleCloudBadge 公開這項成就。

這個技能徽章課程屬於 Google Cloud 資料工程師學習路徑的一部分。如果您已完成這個學習路徑中的其他技能徽章課程,歡迎瀏覽目錄,查詢其他可以參加的技能徽章任務。

Google Cloud 教育訓練與認證

協助您瞭解如何充分運用 Google Cloud 的技術。我們的課程會介紹專業技能和最佳做法,讓您可以快速掌握要領並持續進修。我們提供從基本到進階等級的訓練課程,並有隨選、線上和虛擬課程等選項,方便您抽空參加。認證可協助您驗證及證明自己在 Google Cloud 技術方面的技能和專業知識。

使用手冊上次更新日期:2025 年 9 月 4 日

實驗室上次測試日期:2025 年 9 月 4 日

Copyright 2025 Google LLC 保留所有權利。Google 和 Google 標誌是 Google LLC 的商標,其他公司和產品名稱則有可能是其關聯公司的商標。

准备工作

  1. 实验会创建一个 Google Cloud 项目和一些资源,供您使用限定的一段时间
  2. 实验有时间限制,并且没有暂停功能。如果您中途结束实验,则必须重新开始。
  3. 在屏幕左上角,点击开始实验即可开始

使用无痕浏览模式

  1. 复制系统为实验提供的用户名密码
  2. 在无痕浏览模式下,点击打开控制台

登录控制台

  1. 使用您的实验凭证登录。使用其他凭证可能会导致错误或产生费用。
  2. 接受条款,并跳过恢复资源页面
  3. 除非您已完成此实验或想要重新开始,否则请勿点击结束实验,因为点击后系统会清除您的工作并移除该项目

此内容目前不可用

一旦可用,我们会通过电子邮件告知您

太好了!

一旦可用,我们会通过电子邮件告知您

一次一个实验

确认结束所有现有实验并开始此实验

使用无痕浏览模式运行实验

请使用无痕模式或无痕式浏览器窗口运行此实验。这可以避免您的个人账号与学生账号之间发生冲突,这种冲突可能导致您的个人账号产生额外费用。