GSP649
總覽
這個實驗室會帶您運用 Cloud Run functions 和 Cloud Scheduler,找出並清理浪費的雲端資源。您會觸發 Cloud Run 函式,將儲存空間 bucket 從 Cloud Monitoring 警告政策,移至費用較低的儲存空間級別。
Google Cloud 提供儲存空間物件生命週期規則,可根據一組屬性 (例如建立日期或啟用狀態),自動將物件移至不同的儲存空間級別,但這類規則無法考量物件是否經過存取。有時,如果較新的物件已有一段時間未經存取,您或許會想移至 Nearline Storage。
目標
本實驗室的學習內容包括:
- 建立兩個儲存空間 bucket,將檔案新增至
serving-bucket
並產生流量。
- 建立 Cloud Monitoring 資訊主頁,以圖表呈現 bucket 使用率。
- 部署 Cloud Run 函式,將閒置的 bucket 移至費用較低的儲存空間級別,並使用意在模擬 Cloud 警告政策發出的模擬通知酬載來觸發該函式。
設定和需求
瞭解以下事項後,再點選「Start Lab」按鈕
請詳閱以下操作說明。實驗室活動會計時,且中途無法暫停。點選「Start Lab」後就會開始計時,顯示可使用 Google Cloud 資源的時間。
您將在真正的雲端環境完成實作實驗室活動,而不是模擬或示範環境。為此,我們會提供新的暫時憑證,供您在實驗室活動期間登入及存取 Google Cloud。
為了順利完成這個實驗室,請先確認:
- 可以使用標準的網際網路瀏覽器 (Chrome 瀏覽器為佳)。
注意事項:請使用無痕模式 (建議選項) 或私密瀏覽視窗執行此實驗室,這可以防止個人帳戶和學員帳戶之間的衝突,避免個人帳戶產生額外費用。
- 是時候完成實驗室活動了!別忘了,活動一旦開始將無法暫停。
注意事項:務必使用實驗室專用的學員帳戶。如果使用其他 Google Cloud 帳戶,可能會產生額外費用。
如何開始研究室及登入 Google Cloud 控制台
-
點選「Start Lab」按鈕。如果實驗室會產生費用,畫面上會出現選擇付款方式的對話方塊。左側的「Lab Details」窗格會顯示下列項目:
- 「Open Google Cloud console」按鈕
- 剩餘時間
- 必須在這個研究室中使用的臨時憑證
- 完成這個實驗室所需的其他資訊 (如有)
-
點選「Open Google Cloud console」;如果使用 Chrome 瀏覽器,也能按一下滑鼠右鍵,選取「在無痕視窗中開啟連結」。
接著,實驗室會啟動相關資源,並開啟另一個分頁,顯示「登入」頁面。
提示:您可以在不同的視窗中並排開啟分頁。
注意:如果頁面中顯示「選擇帳戶」對話方塊,請點選「使用其他帳戶」。
-
如有必要,請將下方的 Username 貼到「登入」對話方塊。
{{{user_0.username | "Username"}}}
您也可以在「Lab Details」窗格找到 Username。
-
點選「下一步」。
-
複製下方的 Password,並貼到「歡迎使用」對話方塊。
{{{user_0.password | "Password"}}}
您也可以在「Lab Details」窗格找到 Password。
-
點選「下一步」。
重要事項:請務必使用實驗室提供的憑證,而非自己的 Google Cloud 帳戶憑證。
注意:如果使用自己的 Google Cloud 帳戶來進行這個實驗室,可能會產生額外費用。
-
按過後續的所有頁面:
- 接受條款及細則。
- 由於這是臨時帳戶,請勿新增救援選項或雙重驗證機制。
- 請勿申請免費試用。
Google Cloud 控制台稍後會在這個分頁開啟。
注意:如要使用 Google Cloud 產品和服務,請點選「導覽選單」,或在「搜尋」欄位輸入服務或產品名稱。
啟動 Cloud Shell
Cloud Shell 是搭載多項開發工具的虛擬機器,提供永久的 5 GB 主目錄,而且在 Google Cloud 中運作。Cloud Shell 提供指令列存取權,方便您使用 Google Cloud 資源。
-
點按 Google Cloud 控制台頂端的「啟用 Cloud Shell」圖示 。
-
系統顯示視窗時,請按照下列步驟操作:
- 繼續操作 Cloud Shell 視窗。
- 授權 Cloud Shell 使用您的憑證發出 Google Cloud API 呼叫。
連線建立完成即代表已通過驗證,而且專案已設為您的 Project_ID:。輸出內容中有一行文字,宣告本工作階段的 Project_ID:
Your Cloud Platform project in this session is set to {{{project_0.project_id | "PROJECT_ID"}}}
gcloud
是 Google Cloud 的指令列工具,已預先安裝於 Cloud Shell,並支援 Tab 鍵自動完成功能。
- (選用) 您可以執行下列指令來列出使用中的帳戶:
gcloud auth list
- 點按「授權」。
輸出內容:
ACTIVE: *
ACCOUNT: {{{user_0.username | "ACCOUNT"}}}
To set the active account, run:
$ gcloud config set account `ACCOUNT`
- (選用) 您可以使用下列指令來列出專案 ID:
gcloud config list project
輸出內容:
[core]
project = {{{project_0.project_id | "PROJECT_ID"}}}
注意:如需 gcloud
的完整說明,請前往 Google Cloud 參閱 gcloud CLI 總覽指南。
架構
如下圖所示,您會觸發 Cloud Run 函式,依據 Cloud Monitoring 警告政策,將儲存空間 bucket 移至費用較低的儲存空間級別。
工作 1:啟用 API 並下載原始碼
-
點選 Google Cloud 控制台頂端的「啟用 Cloud Shell」圖示 。
-
在 Cloud Shell 啟用 Cloud Scheduler API:
gcloud services enable cloudscheduler.googleapis.com
點選「Check my progress」確認目標已達成。
啟用 Cloud Scheduler API
- 下載實驗室的原始碼:
gcloud storage cp -r gs://spls/gsp649/* . && cd gcf-automated-resource-cleanup/
- 設定環境變數,並將存放區資料夾設為 $WORKDIR,本實驗室相關的所有指令都會在這個資料夾中執行:
export PROJECT_ID=$(gcloud config list --format 'value(core.project)' 2>/dev/null)
WORKDIR=$(pwd)
- 安裝開放原始碼的負載產生工具 Apache Bench:
sudo apt-get update
sudo apt-get install apache2-utils -y
工作 2:建立 Cloud Storage bucket 並新增檔案
- 在 Cloud Shell 前往
migrate-storage
目錄:
cd $WORKDIR/migrate-storage
- 建立 Cloud Storage bucket 並命名為
serving-bucket
,稍後會用到這個 bucket 來變更儲存空間級別:
export PROJECT_ID=$(gcloud config list --format 'value(core.project)' 2>/dev/null)
gcloud storage buckets create gs://${PROJECT_ID}-serving-bucket -l {{{project_0.default_region|REGION}}}
點選「Check my progress」確認目標已達成。
建立 Cloud Storage bucket
- 將 bucket 設為公開:
gsutil acl ch -u allUsers:R gs://${PROJECT_ID}-serving-bucket
- 將文字檔案上傳至 bucket:
gcloud storage cp $WORKDIR/migrate-storage/testfile.txt gs://${PROJECT_ID}-serving-bucket
- 將檔案設為公開:
gsutil acl ch -u allUsers:R gs://${PROJECT_ID}-serving-bucket/testfile.txt
- 確認您可以存取檔案:
curl http://storage.googleapis.com/${PROJECT_ID}-serving-bucket/testfile.txt
輸出內容會如下所示:
this is a test
點選「Check my progress」確認目標已達成。
將 Cloud Storage bucket 設為公開
- 建立第二個 bucket 並命名為 idle-bucket,這個 bucket 不會提供任何資料:
gcloud storage buckets create gs://${PROJECT_ID}-idle-bucket -l {{{project_0.default_region|REGION}}}
export IDLE_BUCKET_NAME=$PROJECT_ID-idle-bucket
點選「Check my progress」確認目標已達成。
建立另一個 Cloud Storage bucket
工作 3:建立監控資訊主頁
建立 Monitoring 指標範圍
設定要用於 Google Cloud 專案的 Monitoring 指標範圍。如要建立可免費試用 Monitoring 的新帳戶,請按照下列步驟操作:
- 前往 Cloud 控制台,依序點按「導覽選單」圖示 >「查看所有產品」>「觀測能力」>「Monitoring」。
「Monitoring 總覽」頁面開啟之後,即可開始設定專案指標範圍。
-
在左側面板,依序點選「資訊主頁」>「建立自訂資訊主頁」。
-
將資訊主頁命名為 Bucket Usage
。
-
點選「+ 新增小工具」。
-
點選「折線圖」。
-
「小工具標題」請輸入 Bucket Access
。
-
在「選取指標」部分,依序選取「GCS Bucket」>「API」>「Request count」指標,然後點選「套用」。
注意:如果找不到「Request count」指標,請取消勾選「有效」。
-
如要依 bucket 名稱將指標分組,請從「分組依據」下拉式清單中,選取「bucket_name」,然後點選「確定」。
-
點選「+ 新增篩選器」。
如要依方法名稱篩選:
- 「按照指標標籤篩選」請選取「method」。
- 從「method」旁的下拉式選單選取「ReadObject」。
- 點選「套用」。
您已設定 Cloud Monitoring,以便監控 bucket 中的物件存取情形。如果圖表中沒有資料,是因為 Cloud Storage bucket 目前沒有流量。
工作 4:在 serving-bucket 上產生負載
設定監控功能後,請透過 Apache Bench 將流量傳送至 serving-bucket
。
- 在 Cloud Shell 將要求傳送至 serving-bucket 中的物件:
ab -n 10000 http://storage.googleapis.com/$PROJECT_ID-serving-bucket/testfile.txt
- 在左側面板,依序點選「資訊主頁」和資訊主頁名稱「Bucket Usage」,即可查看「Bucket Access」圖表。
注意:如果先前關閉了這個分頁,請依序選取「導覽選單」>「查看所有產品」>「觀測能力」>「Monitoring」,然後在左側面板依序點選「資訊主頁」>「Bucket Usage」。
注意:請稍候至少 1 分鐘,「Bucket Usage」資訊主頁就會顯示圖表。
- 查看流量詳細資料。
您可能需要輸入 CTRL-C,才能返回命令提示字元。
工作 5:檢查並部署 Cloud Run 函式
- 在 Cloud Shell 輸入下列指令,查看 Cloud Run 函式程式碼,用於將儲存空間 bucket 移至 Nearline Storage 級別:
cat $WORKDIR/migrate-storage/main.py | grep "migrate_storage(" -A 15
輸出內容會如下所示:
def migrate_storage(request):
request_json = request.get_json(force=True)
bucket_name = request_json['incident']['resource_name']
print(f"bucket_name: {bucket_name}") # Print the bucket name
if not bucket_name:
print("Error: bucket_name is empty")
return "Invalid bucket name", 400
storage_client = storage.Client(project)
bucket = storage_client.get_bucket(bucket_name)
bucket.storage_class = "NEARLINE"
bucket.patch()
return "Bucket migrated successfully", 200
請注意,Cloud Run 函式會使用要求中的 bucket 名稱,將儲存空間級別變更為 Nearline。
- 更新 Python 指令碼,改用專案 ID:
sed -i "s/<project-id>/$PROJECT_ID/" $WORKDIR/migrate-storage/main.py
- 停用 Cloud Run functions API:
gcloud services disable cloudfunctions.googleapis.com
- 重新啟用 Cloud Run functions API:
gcloud services enable cloudfunctions.googleapis.com
- 匯出專案編號:
export PROJECT_NUMBER=$(gcloud projects describe $PROJECT_ID --format="value(projectNumber)")
- 為開發人員服務帳戶新增
artifactregistry.reader
權限:
gcloud projects add-iam-policy-binding $PROJECT_ID \
--member="serviceAccount:$PROJECT_NUMBER-compute@developer.gserviceaccount.com" \
--role="roles/artifactregistry.reader"
- 部署 Cloud Run 函式:
gcloud functions deploy migrate_storage --gen2 --trigger-http --runtime=python39 --region {{{project_0.default_region | Region}}}
系統提示時,請輸入 Y
為專案啟用 API [run.googleapis.com],然後再試一次。如需允許未經驗證的叫用,請執行相同的操作。
注意:如果出現權限錯誤的訊息,請稍候幾分鐘,然後再試一次。
- 擷取觸發網址並設為環境變數,下一節會用到這個值:
export FUNCTION_URL=$(gcloud functions describe migrate_storage --format=json --region {{{project_0.default_region | Region}}} | jq -r '.url')
點選「Check my progress」確認目標已達成。
部署 Cloud Run 函式
工作 6:測試及驗證警告自動化功能
- 使用 bucket 名稱更新 JSON 檔案:
export IDLE_BUCKET_NAME=$PROJECT_ID-idle-bucket
sed -i "s/\\\$IDLE_BUCKET_NAME/$IDLE_BUCKET_NAME/" $WORKDIR/migrate-storage/incident.json
- 使用
incident.json
檔案,將測試通知傳送至您部署的 Cloud Run 函式:
envsubst < $WORKDIR/migrate-storage/incident.json | curl -X POST -H "Content-Type: application/json" $FUNCTION_URL -d @-
輸出內容會如下所示:
Bucket migrated successfully
輸出內容不會以換行符號終止,因此會緊接著顯示命令提示字元。
- 確認 idle-bucket 已移至 Nearline:
gsutil defstorageclass get gs://$PROJECT_ID-idle-bucket
輸出內容會如下所示:
gs://<project-id>-idle-bucket: NEARLINE
點選「Check my progress」確認目標已達成。
確認 bucket 已移至 Nearline
恭喜!
恭喜!在這個實驗室,您成功建立了兩個 Cloud Storage bucket、將物件新增至其中一個 bucket、設定 Cloud Monitoring 來追蹤 bucket 的存取情形、檢查並部署 Cloud Run 函式來將物件移至 Nearline bucket,以及使用 Cloud Monitoring 警告來測試函式。
Google Cloud 教育訓練與認證
協助您瞭解如何充分運用 Google Cloud 的技術。我們的課程會介紹專業技能和最佳做法,讓您可以快速掌握要領並持續進修。我們提供從基本到進階等級的訓練課程,並有隨選、線上和虛擬課程等選項,方便您抽空參加。認證可協助您驗證及證明自己在 Google Cloud 技術方面的技能和專業知識。
使用手冊上次更新日期:2025 年 3 月 4 日
實驗室上次測試日期:2025 年 3 月 4 日
Copyright 2025 Google LLC 保留所有權利。Google 和 Google 標誌是 Google LLC 的商標,其他公司和產品名稱則有可能是其關聯公司的商標。