GSP207

總覽

Apache Beam SDK 是一種用於資料管道的開放原始碼程式設計模型。在 Google Cloud 中，您可以使用 Apache Beam 程式定義管道，並透過 Dataflow 執行管道。

在本研究室中，您會運用 Apache Beam SDK for Python 為 Dataflow 設定 Python 開發環境，並執行 Dataflow 範例管道。

學習內容

本研究室的內容包括：

• 建立儲存 Dataflow 管道結果的 Cloud Storage 值區
• 安裝 Apache Beam SDK for Python
• 從遠端執行 Dataflow 管道

設定和需求

瞭解以下事項後，再點選「Start Lab」按鈕

請詳閱以下操作說明。實驗室活動會計時，且中途無法暫停。點選「Start Lab」後就會開始計時，顯示可使用 Google Cloud 資源的時間。

您將在真正的雲端環境完成實作實驗室活動，而不是模擬或示範環境。為此，我們會提供新的暫時憑證，供您在實驗室活動期間登入及存取 Google Cloud。

為了順利完成這個實驗室，請先確認：

• 可以使用標準的網際網路瀏覽器 (Chrome 瀏覽器為佳)。

注意事項：請使用無痕模式 (建議選項) 或私密瀏覽視窗執行此實驗室，這可以防止個人帳戶和學員帳戶之間的衝突，避免個人帳戶產生額外費用。

• 是時候完成實驗室活動了！別忘了，活動一旦開始將無法暫停。

注意事項：務必使用實驗室專用的學員帳戶。如果使用其他 Google Cloud 帳戶，可能會產生額外費用。

如何開始研究室及登入 Google Cloud 控制台

1. 點選「Start Lab」按鈕。如果實驗室會產生費用，畫面上會出現選擇付款方式的對話方塊。左側的「Lab Details」窗格會顯示下列項目：

   • 「Open Google Cloud console」按鈕
   • 剩餘時間
   • 必須在這個研究室中使用的臨時憑證
   • 完成這個實驗室所需的其他資訊 (如有)

2. 點選「Open Google Cloud console」；如果使用 Chrome 瀏覽器，也能按一下滑鼠右鍵，選取「在無痕視窗中開啟連結」。

   接著，實驗室會啟動相關資源，並開啟另一個分頁，顯示「登入」頁面。

   提示：您可以在不同的視窗中並排開啟分頁。

   注意：如果頁面中顯示「選擇帳戶」對話方塊，請點選「使用其他帳戶」。

3. 如有必要，請將下方的 Username 貼到「登入」對話方塊。

   {{{user_0.username | "Username"}}}

   您也可以在「Lab Details」窗格找到 Username。

4. 點選「下一步」。

5. 複製下方的 Password，並貼到「歡迎使用」對話方塊。

   {{{user_0.password | "Password"}}}

   您也可以在「Lab Details」窗格找到 Password。

6. 點選「下一步」。

   重要事項：請務必使用實驗室提供的憑證，而非自己的 Google Cloud 帳戶憑證。 注意：如果使用自己的 Google Cloud 帳戶來進行這個實驗室，可能會產生額外費用。

7. 按過後續的所有頁面：

   • 接受條款及細則。
   • 由於這是臨時帳戶，請勿新增救援選項或雙重驗證機制。
   • 請勿申請免費試用。

Google Cloud 控制台稍後會在這個分頁開啟。

注意：如要使用 Google Cloud 產品和服務，請點選「導覽選單」，或在「搜尋」欄位輸入服務或產品名稱。

啟動 Cloud Shell

Cloud Shell 是搭載多項開發工具的虛擬機器，提供永久的 5 GB 主目錄，而且在 Google Cloud 中運作。Cloud Shell 提供指令列存取權，方便您使用 Google Cloud 資源。

1. 點按 Google Cloud 控制台頂端的「啟用 Cloud Shell」圖示 。

2. 系統顯示視窗時，請按照下列步驟操作：

   • 繼續操作 Cloud Shell 視窗。
   • 授權 Cloud Shell 使用您的憑證發出 Google Cloud API 呼叫。

連線建立完成即代表已通過驗證，而且專案已設為您的 Project_ID：。輸出內容中有一行文字，宣告本工作階段的 Project_ID：

Your Cloud Platform project in this session is set to {{{project_0.project_id | "PROJECT_ID"}}}

gcloud 是 Google Cloud 的指令列工具，已預先安裝於 Cloud Shell，並支援 Tab 鍵自動完成功能。

3. (選用) 您可以執行下列指令來列出使用中的帳戶：

gcloud auth list

4. 點按「授權」。

輸出內容：

ACTIVE: * ACCOUNT: {{{user_0.username | "ACCOUNT"}}} To set the active account, run: $ gcloud config set account `ACCOUNT`

5. (選用) 您可以使用下列指令來列出專案 ID：

gcloud config list project

輸出內容：

[core] project = {{{project_0.project_id | "PROJECT_ID"}}} 注意：如需 gcloud 的完整說明，請前往 Google Cloud 參閱 gcloud CLI 總覽指南。

設定區域

• 在 Cloud Shell 中執行下列指令，設定這個研究室的專案區域：

gcloud config set compute/region {{{project_0.default_region | "REGION"}}}

確定已成功啟用 Dataflow API

為了確保能使用必要的 API，請重新啟動連至 Dataflow API 的連線。

1. 在 Cloud 控制台最上方的搜尋列中，輸入「Dataflow API」。點選「Dataflow API」搜尋結果。

2. 點選「管理」。

3. 點選「停用 API」。

如果系統要求您確認操作，請點選「停用」。

4. 點選「啟用」。

再次啟用 API 時，頁面上會顯示停用選項。

工作 1：建立 Cloud Storage bucket

透過 Dataflow 執行管道時，結果會儲存於 Cloud Storage bucket。在這項工作中，您會建立 Cloud Storage bucket，用於儲存後續工作的管道執行結果。

1. 在「導覽選單」() 上，依序點選「Cloud Storage」>「值區」。
2. 點選「建立值區」。
3. 在「建立值區」對話方塊中，指定下列屬性：

• 名稱：為確保值區名稱不重複，請使用下列名稱：-bucket。請注意，bucket 命名空間為全域通用並會公開顯示，因此請勿在 bucket 名稱中輸入機密資訊。
• 位置類型：多區域
• 位置：us
• 要儲存值區資料的位置。

4. 點選「建立」。

5. 如果出現「系統會禁止公開存取」提示訊息，請點選「確認」。

測試已完成的工作

點選「Check my progress」，確認工作已完成。如果已成功完成工作，就會看到評估分數。

建立 Cloud Storage bucket。

工作 2：安裝 Apache Beam SDK for Python

1. 為確保您使用系統支援的 Python 版本，請先執行 Python3.9 Docker 映像檔：

docker run -it -e DEVSHELL_PROJECT_ID=$DEVSHELL_PROJECT_ID python:3.9 /bin/bash

這個指令會提取採用 Python 3.9 最新穩定版的 Docker 容器，接著開啟指令殼層，方便您在容器中執行下列指令。

2. 容器開始運作後，請透過虛擬環境執行下列指令，安裝 Apache Beam SDK for Python 最新版本：

pip install 'apache-beam[gcp]'==2.42.0

您會看到一些系統傳回的依附元件相關警告。在本研究室中，您可以放心忽略這些警告。

3. 執行下列指令，在本機執行 wordcount.py 範例：

python -m apache_beam.examples.wordcount --output OUTPUT_FILE

畫面上可能會顯示如下訊息：

INFO:root:Missing pipeline option (runner). Executing pipeline using the default runner: DirectRunner. INFO:oauth2client.client:Attempting refresh to obtain initial access_token

您可以忽略這則訊息。

4. 現在您可以列出本機雲端環境中的檔案，以取得 OUTPUT_FILE 名稱：

ls

5. 複製 OUTPUT_FILE 的名稱，然後貼到 cat 指令中：

cat <file name>

執行結果會顯示檔案中的每個字詞，以及字詞出現的次數。

工作 3：從遠端執行 Dataflow 範例管道

1. 將 BUCKET 環境變數設為先前建立的值區：

BUCKET=gs://<bucket name provided earlier>

2. 現在，請從遠端執行 wordcount.py 範例：

python -m apache_beam.examples.wordcount --project $DEVSHELL_PROJECT_ID \ --runner DataflowRunner \ --staging_location $BUCKET/staging \ --temp_location $BUCKET/temp \ --output $BUCKET/results/output \ --region {{{project_0.default_region | "filled in at lab start"}}}

等待輸出內容顯示下列訊息：

JOB_MESSAGE_DETAILED: Workers have started successfully.

接著繼續完成研究室工作。

工作 4：確認 Dataflow 工作是否順利完成

1. 開啟「導覽選單」，並點按服務清單中的「Dataflow」。

畫面上會顯示 wordcount 工作，一開始的狀態為「執行中」。

2. 按一下名稱即可查看處理程序。當所有方塊皆已勾選，您可以繼續查看 Cloud Shell 中的記錄。

如果狀態顯示「成功」，表示程序已完成。

測試已完成的工作

點選「Check my progress」 確認工作已完成。如果已成功完成工作，就會看到評估分數。

從遠端執行範例管道。

3. 在 Cloud 控制台中，依序按一下「導覽選單」>「Cloud Storage」。

4. 按一下 bucket 名稱。bucket 中應該會顯示 results 和 staging 目錄。

5. 按一下 results 資料夾，您應該會看到工作建立的輸出檔案：

6. 按一下檔案即可查看內含字數。

工作 5：隨堂測驗

您可以透過下列選擇題加強自己的理解，確實掌握這個研究室介紹的概念。盡力回答即可。

恭喜！

您已瞭解如何運用 Apache Beam SDK for Python 為 Dataflow 設定 Python 開發環境，並成功執行 Dataflow 範例管道。

後續行動/瞭解詳情

這個實驗室屬於 Qwik Start 實驗室系列，這些實驗室旨在讓您簡單瞭解 Google Cloud 提供的眾多功能。在「Google Cloud Skills Boost 目錄」中搜尋「Qwik Start」，即可找到您想進行的下一個研究室！

如想取得本研究室的內容參考書籍，請參閱：《Data Science on the Google Cloud Platform: O'Reilly Media, Inc.》(Google Cloud Platform 的數據資料學：O'Reilly Media, Inc.)。

Google Cloud 教育訓練與認證

協助您瞭解如何充分運用 Google Cloud 的技術。我們的課程會介紹專業技能和最佳做法，讓您可以快速掌握要領並持續進修。我們提供從基本到進階等級的訓練課程，並有隨選、線上和虛擬課程等選項，方便您抽空參加。認證可協助您驗證及證明自己在 Google Cloud 技術方面的技能和專業知識。

使用手冊上次更新日期：2024 年 2 月 4 日

研究室上次測試日期：2023 年 5 月 4 日

Copyright 2025 Google LLC 保留所有權利。Google 和 Google 標誌是 Google LLC 的商標，其他公司和產品名稱則有可能是其關聯公司的商標。