GSP196

總覽

在本研究室中，您會將 CSV 文字檔的資料匯入 Cloud SQL，然後使用簡單的查詢執行基本資料分析。

本實驗室使用的資料集來自 US Bureau of Transport Statistics，包含美國國內航班的歷史資訊。這個資料集可用來示範各種資料學概念和技術。

目標

• 建立 Cloud SQL 執行個體
• 建立 Cloud SQL 資料庫
• 將文字資料匯入 Cloud SQL
• 使用查詢建立初始資料模型

設定和需求

瞭解以下事項後，再點選「Start Lab」按鈕

請詳閱以下操作說明。實驗室活動會計時，且中途無法暫停。點選「Start Lab」後就會開始計時，顯示可使用 Google Cloud 資源的時間。

您將在真正的雲端環境完成實作實驗室活動，而不是模擬或示範環境。為此，我們會提供新的暫時憑證，供您在實驗室活動期間登入及存取 Google Cloud。

為了順利完成這個實驗室，請先確認：

• 可以使用標準的網際網路瀏覽器 (Chrome 瀏覽器為佳)。

注意事項：請使用無痕模式 (建議選項) 或私密瀏覽視窗執行此實驗室，這可以防止個人帳戶和學員帳戶之間的衝突，避免個人帳戶產生額外費用。

• 是時候完成實驗室活動了！別忘了，活動一旦開始將無法暫停。

注意事項：務必使用實驗室專用的學員帳戶。如果使用其他 Google Cloud 帳戶，可能會產生額外費用。

如何開始研究室及登入 Google Cloud 控制台

1. 點選「Start Lab」按鈕。如果實驗室會產生費用，畫面上會出現選擇付款方式的對話方塊。左側的「Lab Details」窗格會顯示下列項目：

   • 「Open Google Cloud console」按鈕
   • 剩餘時間
   • 必須在這個研究室中使用的臨時憑證
   • 完成這個實驗室所需的其他資訊 (如有)

2. 點選「Open Google Cloud console」；如果使用 Chrome 瀏覽器，也能按一下滑鼠右鍵，選取「在無痕視窗中開啟連結」。

   接著，實驗室會啟動相關資源，並開啟另一個分頁，顯示「登入」頁面。

   提示：您可以在不同的視窗中並排開啟分頁。

   注意：如果頁面中顯示「選擇帳戶」對話方塊，請點選「使用其他帳戶」。

3. 如有必要，請將下方的 Username 貼到「登入」對話方塊。

   {{{user_0.username | "Username"}}}

   您也可以在「Lab Details」窗格找到 Username。

4. 點選「下一步」。

5. 複製下方的 Password，並貼到「歡迎使用」對話方塊。

   {{{user_0.password | "Password"}}}

   您也可以在「Lab Details」窗格找到 Password。

6. 點選「下一步」。

   重要事項：請務必使用實驗室提供的憑證，而非自己的 Google Cloud 帳戶憑證。 注意：如果使用自己的 Google Cloud 帳戶來進行這個實驗室，可能會產生額外費用。

7. 按過後續的所有頁面：

   • 接受條款及細則。
   • 由於這是臨時帳戶，請勿新增救援選項或雙重驗證機制。
   • 請勿申請免費試用。

Google Cloud 控制台稍後會在這個分頁開啟。

注意：如要使用 Google Cloud 產品和服務，請點選「導覽選單」，或在「搜尋」欄位輸入服務或產品名稱。

啟動 Cloud Shell

Cloud Shell 是搭載多項開發工具的虛擬機器，提供永久的 5 GB 主目錄，而且在 Google Cloud 中運作。Cloud Shell 提供指令列存取權，方便您使用 Google Cloud 資源。

1. 點按 Google Cloud 控制台頂端的「啟用 Cloud Shell」圖示 。

2. 系統顯示視窗時，請按照下列步驟操作：

   • 繼續操作 Cloud Shell 視窗。
   • 授權 Cloud Shell 使用您的憑證發出 Google Cloud API 呼叫。

連線建立完成即代表已通過驗證，而且專案已設為您的 Project_ID：。輸出內容中有一行文字，宣告本工作階段的 Project_ID：

Your Cloud Platform project in this session is set to {{{project_0.project_id | "PROJECT_ID"}}}

gcloud 是 Google Cloud 的指令列工具，已預先安裝於 Cloud Shell，並支援 Tab 鍵自動完成功能。

3. (選用) 您可以執行下列指令來列出使用中的帳戶：

gcloud auth list

4. 點按「授權」。

輸出內容：

ACTIVE: * ACCOUNT: {{{user_0.username | "ACCOUNT"}}} To set the active account, run: $ gcloud config set account `ACCOUNT`

5. (選用) 您可以使用下列指令來列出專案 ID：

gcloud config list project

輸出內容：

[core] project = {{{project_0.project_id | "PROJECT_ID"}}} 注意：如需 gcloud 的完整說明，請前往 Google Cloud 參閱 gcloud CLI 總覽指南。

工作 1：準備環境

本研究室使用 O'Reilly Media, Inc. 出版的《Data Science on the Google Cloud Platform, 2nd Edition》(Google Cloud Platform 的數據資料學，第 2 版) 一書中開發的一系列程式碼範例和指令碼。本研究室涵蓋第 3 章「Creating Compelling Dashboards」(建立引人入勝的資訊主頁) 第一部分介紹的 Cloud SQL 設定和資料匯入工作。您會將第 2 章使用的範例存放區從 GitHub 複製到 Cloud Shell，並從該處完成所有實驗室工作。

複製 Data Science on Google Cloud 存放區

1. 在 Cloud Shell 輸入下列指令，複製存放區：

git clone \ https://github.com/GoogleCloudPlatform/data-science-on-gcp/

2. 切換至存放區目錄：

cd data-science-on-gcp/03_sqlstudio

3. 建立環境變數，用於儲存專案 ID 和包含資料的儲存空間 bucket，這些變數會在實驗室後續步驟中使用：

export PROJECT_ID=$(gcloud info --format='value(config.project)') export BUCKET=${PROJECT_ID}-ml

4. 輸入下列指令，將檔案放入 Cloud Storage bucket：

gsutil cp create_table.sql \ gs://$BUCKET/create_table.sql

工作 2：建立 Cloud SQL 執行個體

1. 輸入下列指令，建立 Cloud SQL 執行個體：

gcloud sql instances create flights \ --database-version=POSTGRES_13 --cpu=2 --memory=8GiB \ --region={{{project_0.default_region | "REGION"}}} --root-password=Passw0rd

此程序需要幾分鐘才能完成。

測試已完成的工作

點選「Check my progress」，確認工作已完成。如果已成功建立 Cloud SQL 執行個體，就會看到評估分數。

建立 Cloud SQL 執行個體

2. 使用 Cloud Shell IP 位址建立環境變數：

export ADDRESS=$(curl -s http://ipecho.net/plain)/32

3. 將 Cloud Shell 執行個體加入許可清單，以取得 SQL 執行個體的管理存取權：

gcloud sql instances patch flights --authorized-networks $ADDRESS

4. 系統提示時，請按下 Y 接受變更。

測試已完成的工作

點選「Check my progress」，確認工作已完成。如果已成功將 Cloud Shell 加入允許清單，進而存取 SQL 執行個體，您就會看見評估分數。

將 Cloud Shell 執行個體加入許可清單，允許存取 SQL 執行個體。

建立資料庫和資料表

如要將資料匯入 Postgres 資料表，請先建立空白資料庫和具有正確結構定義的資料表。

1. 在 Cloud 控制台的「導覽選單」 中，按一下「SQL」。

2. 點選執行個體名稱 flights，開啟執行個體的「總覽」頁面。

3. 在左側的 SQL 導覽選單中，選取「資料庫」。

4. 按一下「建立資料庫」。

5. 在「新增資料庫」對話方塊中，將資料庫命名為 bts。

6. 點選「建立」。

7. 如要開啟執行個體的「總覽」頁面，請從 SQL 導覽選單中選取「總覽」。

8. 按一下頂端的「匯入」。

9. 在 Cloud Storage 檔案列中，按一下「Browse」(瀏覽)。

10. 在「Buckets」部分，點按 bucket 名稱旁的箭頭。

11. 選取 create_table.sql 檔案。

12. 按一下「選取」。

13. 在「檔案格式」部分，選取「SQL」。

14. 在 Cloud SQL 執行個體中指定資料庫 bts。

15. 按一下「匯入」即可開始匯入。

幾秒後，系統就會建立空白資料表。

測試已完成的工作

點選「Check my progress」，確認工作已完成。如果已使用 create_table.sql 檔案成功建立 bts 資料庫和 flights 資料表，就會看到評估分數。

使用 create_table.sql 檔案建立 bts 資料庫和 flights 資料表。

工作 3：將資料新增至 Cloud SQL 執行個體

您已建立空的資料庫和資料表，現在請將 CSV 檔案載入這個資料表。瀏覽至 bucket 中的 201501.csv，指定格式為 CSV、資料庫為 bts，以及資料表為 flights，即可載入 1 月資料。

1. 在 Cloud SQL 執行個體頁面中，按一下「匯入」。

2. 在 Cloud Storage 檔案欄位按一下「瀏覽」，然後依序點選值區名稱附近的箭頭和 201501.csv。

3. 按一下「選取」。

4. 檔案格式請選取「CSV」。

5. 選取 bts 資料庫，然後輸入 flights 做為資料表名稱。

6. 按一下「匯入」。

工作 4：與資料庫互動

1. 使用下列指令，從 Cloud Shell 連線至 Cloud SQL 執行個體：

gcloud sql connect flights --user=postgres

2. 系統提示輸入密碼時，請輸入：Passw0rd輸入時可能不會顯示字母。

3. 在隨即顯示的提示中，連線至 bts 資料庫：

\c bts;

4. 系統提示輸入密碼時，請輸入：Passw0rd

5. 接著執行查詢，取得 5 個最繁忙的機場：

SELECT "Origin", COUNT(*) AS num_flights FROM flights GROUP BY "Origin" ORDER BY num_flights DESC LIMIT 5;

由於資料集相對較小 (只有 1 月的資料)，這個查詢的效能不錯，但隨著月份增加，資料庫速度會變慢。

關聯式資料庫適合用於小型資料集，並執行傳回少量資料子集的臨時查詢。對於較大的資料集，您可以為感興趣的資料欄建立索引，藉此調整關聯式資料庫的效能。此外，關聯式資料庫通常支援交易並保證強一致性，因此非常適合經常更新的資料。

不過，在下列情況下，關聯式資料庫並非理想選擇：

• 資料主要為唯讀
• 如果資料集大小達到 TB 級
• 您需要掃描整個資料表 (例如計算資料欄的最大值)，或是資料串流的速率很高。

這部分說明航班延誤的應用情境。在這種情況下，您會從關聯式資料庫改用數據分析資料倉儲 BigQuery。分析資料倉儲可讓我們使用 SQL，且更擅長處理大型資料集和臨時查詢 (即不需要建立資料欄索引)。

恭喜！

現在您已瞭解如何建立資料表，並將儲存在 Cloud Storage 的文字資料匯入 Cloud SQL。

後續步驟/瞭解詳情

以下是幾個後續步驟：

• Data Science on the Google Cloud Platform, 2nd Edition: O'Reilly Media, Inc.

Google Cloud 教育訓練與認證

協助您瞭解如何充分運用 Google Cloud 的技術。我們的課程會介紹專業技能和最佳做法，讓您可以快速掌握要領並持續進修。我們提供從基本到進階等級的訓練課程，並有隨選、線上和虛擬課程等選項，方便您抽空參加。認證可協助您驗證及證明自己在 Google Cloud 技術方面的技能和專業知識。

使用手冊上次更新日期：2024 年 7 月 9 日

實驗室上次測試日期：2025 年 7 月 21 日

Copyright 2025 Google LLC 保留所有權利。Google 和 Google 標誌是 Google LLC 的商標，其他公司和產品名稱則有可能是其關聯公司的商標。