arrow_back

以串流方式將分析資料傳入 BigQuery:挑戰實驗室

登录 加入
访问 700 多个实验和课程

以串流方式將分析資料傳入 BigQuery:挑戰實驗室

实验 45 分钟 universal_currency_alt 1 积分 show_chart 入门级
info 此实验可能会提供 AI 工具来支持您学习。
访问 700 多个实验和课程

ARC106

Google Cloud 自學實驗室標誌

總覽

在挑戰研究室中,您會在特定情境下完成一系列任務。挑戰研究室不會提供逐步說明,您將運用從課程研究室學到的技巧,自行找出方法完成任務!自動評分系統 (如本頁所示) 將根據您是否正確完成任務來提供意見回饋。

在您完成任務的期間,挑戰研究室不會介紹新的 Google Cloud 概念。您須靈活運用所學技巧,例如變更預設值或詳讀並研究錯誤訊息,解決遇到的問題。

若想滿分達標,就必須在時限內成功完成所有任務!

設定

瞭解以下事項後,再點選「Start Lab」按鈕

請詳閱以下操作說明。實驗室活動會計時,且中途無法暫停。點選「Start Lab」後就會開始計時,顯示可使用 Google Cloud 資源的時間。

您將在真正的雲端環境完成實作實驗室活動,而不是模擬或示範環境。為此,我們會提供新的暫時憑證,供您在實驗室活動期間登入及存取 Google Cloud。

為了順利完成這個實驗室,請先確認:

  • 可以使用標準的網際網路瀏覽器 (Chrome 瀏覽器為佳)。
注意事項:請使用無痕模式 (建議選項) 或私密瀏覽視窗執行此實驗室,這可以防止個人帳戶和學員帳戶之間的衝突,避免個人帳戶產生額外費用。
  • 是時候完成實驗室活動了!別忘了,活動一旦開始將無法暫停。
注意事項:務必使用實驗室專用的學員帳戶。如果使用其他 Google Cloud 帳戶,可能會產生額外費用。

挑戰情境

您剛獲聘,現在是初階資料工程師。到目前為止,您已使用 BigQuery、Pub/Sub 和 Dataflow 協助多個團隊建立及管理資料。

公司認為您具備執行這些工作所需的技能與知識。

您的挑戰

您必須協助新成立的開發團隊,完成新專案的幾項初期工作。這項專案與即時環境感應器資料有關,您要協助團隊使用 Pub/Sub 和 Dataflow,將溫度資料串流至 BigQuery。請完成下列工作:

  • 建立 Cloud Storage bucket,做為 Dataflow 工作的暫存位置。
  • 建立 BigQuery 資料集和資料表,接收串流資料。
  • 建立 Pub/Sub 主題,並測試將訊息發布至該主題。
  • 建立並執行 Dataflow 工作,將資料從 Pub/Sub 主題串流至 BigQuery。
  • 執行查詢來驗證串流資料。

過程中請遵守以下規則:

  • 確認已成功啟用所有必要 API,例如:Dataplex。
  • 如未特別指定,所有資源均須建立於 區域。

各項工作的詳細說明如下,祝您好運!

工作 1:建立 Cloud Storage bucket

  • 使用專案 ID 做為 bucket 名稱,建立 Cloud Storage bucket:

點選「Check my progress」,確認目標已達成。 建立 Cloud Storage bucket

工作 2:建立 BigQuery 資料集與資料表

  1. 在名為「US (多個美國區域)」的區域建立名為「」的 BigQuery 資料集。

  2. 在建立的資料集中,建立名為 的資料表,並新增 data 資料欄,類型為 STRING

點選「Check my progress」,確認目標已達成。 建立 BigQuery 資料集與資料表

工作 3:設定 Pub/Sub 主題。

  1. 建立名為 的 Pub/Sub 主題
  • 使用預設設定,也就是勾選「新增預設訂閱項目」核取方塊。

點選「Check my progress」,確認目標已達成。 建立 Pub/Sub 主題

工作 4:執行 Dataflow 管道,將資料從 Pub/Sub 串流至 BigQuery

  1. 使用先前工作建立的 Pub/Sub 主題和 BigQuery 資料表,建立並執行名為 的 Dataflow 工作,將資料從 Pub/Sub 主題串流至 BigQuery。
  • 使用自訂 Dataflow 範本

  • 請使用下列路徑,找出儲存在 Cloud Storage 中的範本檔案:

    gs://dataflow-templates-{{{project_0.default_region | Region }}}/latest/PubSub_to_BigQuery
  • 使用您在先前工作建立的 Pub/Sub 主題:

  • 使用您在先前工作建立的 Cloud Storage bucket 做為臨時位置:

  • 使用您在先前工作建立的 BigQuery 資料集和資料表做為輸出資料表:.

  • 使用 做為區域端點。

點選「Check my progress」,確認目標已達成。 建立 Dataflow 管道,將 Pub/Sub 的資料串流至 BigQuery

工作 5:將測試訊息發布至主題,並在 BigQuery 中驗證資料

  1. 使用下列訊息語法,將訊息發布至主題:{"data": "73.4 F"}
  • 注意:73.4 F 可以替換成任何值。
  1. 在 BigQuery 執行 SELECT 陳述式,查看資料表中填入的測試訊息。

注意:如果 BigQuery 資料表中沒有任何測試訊息,請確認 Dataflow 工作狀態為「執行中」,然後傳送另一則測試訊息。

點選「Check my progress」,確認目標已達成。 將測試訊息發布至主題,並在 BigQuery 中驗證資料

恭喜!

恭喜!在本實驗室中,您已成功建立 Cloud Storage bucket、BigQuery 資料集和資料表、Pub/Sub 主題,以及將資料從 Pub/Sub 串流至 BigQuery 的 Dataflow 工作。您也將測試訊息發布至主題,並在 BigQuery 中驗證資料。

Google Cloud 教育訓練與認證

協助您瞭解如何充分運用 Google Cloud 的技術。我們的課程會介紹專業技能和最佳做法,讓您可以快速掌握要領並持續進修。我們提供從基本到進階等級的訓練課程,並有隨選、線上和虛擬課程等選項,方便您抽空參加。認證可協助您驗證及證明自己在 Google Cloud 技術方面的技能和專業知識。

使用手冊上次更新日期:2024 年 7 月 17 日

研究室上次測試日期:2024 年 3 月 21 日

Copyright 2025 Google LLC 保留所有權利。Google 和 Google 標誌是 Google LLC 的商標,其他公司和產品名稱則有可能是其關聯公司的商標。

准备工作

  1. 实验会创建一个 Google Cloud 项目和一些资源,供您使用限定的一段时间
  2. 实验有时间限制,并且没有暂停功能。如果您中途结束实验,则必须重新开始。
  3. 在屏幕左上角,点击开始实验即可开始

使用无痕浏览模式

  1. 复制系统为实验提供的用户名密码
  2. 在无痕浏览模式下,点击打开控制台

登录控制台

  1. 使用您的实验凭证登录。使用其他凭证可能会导致错误或产生费用。
  2. 接受条款,并跳过恢复资源页面
  3. 除非您已完成此实验或想要重新开始,否则请勿点击结束实验,因为点击后系统会清除您的工作并移除该项目

此内容目前不可用

一旦可用,我们会通过电子邮件告知您

太好了!

一旦可用,我们会通过电子邮件告知您

一次一个实验

确认结束所有现有实验并开始此实验

使用无痕浏览模式运行实验

请使用无痕模式或无痕式浏览器窗口运行此实验。这可以避免您的个人账号与学生账号之间发生冲突,这种冲突可能导致您的个人账号产生额外费用。