arrow_back

開始使用 Vertex AI Studio

登录 加入
Test and share your knowledge with our community!
done
Get access to over 700 hands-on labs, skill badges, and courses

開始使用 Vertex AI Studio

Lab 1 小时 universal_currency_alt 1 积分 show_chart 入门级
Test and share your knowledge with our community!
done
Get access to over 700 hands-on labs, skill badges, and courses

GSP1154

Google Cloud 自修研究室標誌

總覽

Vertex AI 是全方位的機器學習開發平台，提供預測式和生成式 AI 功能，方便您訓練、評估及部署預測機器學習模型來預測趨勢。此外，您可以利用平台探索、調整及提供生成式 AI 模型來產生內容。

有了 Vertex AI Studio，您就能快速測試及自訂生成式 AI 模型，並用於應用程式。這個平台提供各種工具和資源，包括使用者介面 (UI) 和程式碼範例，即使您沒有機器學習相關背景，也能輕鬆開始使用生成式 AI。

本實作研究室會逐步說明 Vertex AI Studio，協助您發揮先進生成式 AI 模型的潛在價值。您將探索 Gemini 多模態，直接在 Google Cloud 控制台用於分析圖片、設計提示及生成對話。透過直覺的使用者介面即可開始使用，不需要 API 或 Python SDK。

目標

在本研究室中，您會執行下列工作：

  • 運用 Gemini 多模態分析圖片。
  • 探索多模態功能。
  • 運用任意形式和結構化模式來設計提示。
  • 生成對話。

設定和需求

點選「Start Lab」按鈕前的須知事項

請詳閱以下操作說明。研究室活動會計時，而且中途無法暫停。點選「Start Lab」 後就會開始計時，讓您瞭解有多少時間可以使用 Google Cloud 資源。

您將在真正的雲端環境中完成實作研究室活動，而不是在模擬或示範環境。為達此目的，我們會提供新的暫時憑證，讓您用來在研究室活動期間登入及存取 Google Cloud。

如要完成這個研究室活動，請先確認：

  • 您可以使用標準的網際網路瀏覽器 (Chrome 瀏覽器為佳)。
注意：請使用無痕模式或私密瀏覽視窗執行此研究室。這可以防止個人帳戶和學生帳戶之間的衝突，避免個人帳戶產生額外費用。
  • 是時候完成研究室活動了！別忘了，活動一開始將無法暫停。
注意：如果您擁有個人 Google Cloud 帳戶或專案，請勿用於本研究室，以免產生額外費用。

如何開始研究室及登入 Google Cloud 控制台

  1. 按一下「Start Lab」(開始研究室) 按鈕。如果研究室會產生費用，畫面中會出現選擇付款方式的彈出式視窗。左側的「Lab Details」(研究室詳細資料) 面板會顯示下列項目：

    • 「Open Google Console」(開啟 Google 控制台) 按鈕
    • 剩餘時間
    • 必須在這個研究室中使用的暫時憑證
    • 完成這個研究室所需的其他資訊 (如有)

  2. 按一下「Open Google Console」(開啟 Google 控制台)。接著，研究室會啟動相關資源並開啟另一個分頁，當中會顯示「Sign in」(登入) 頁面。

    提示：您可以在不同的視窗中並排開啟分頁。

    注意事項：如果頁面中顯示了「Choose an account」(選擇帳戶) 對話方塊，請按一下「Use Another Account」(使用其他帳戶)。

  3. 如有必要，請複製「Lab Details」(研究室詳細資料) 面板中的使用者名稱，然後貼到「Sign in」(登入) 對話方塊。按一下「Next」(下一步)。

  4. 複製「Lab Details」(研究室詳細資料) 面板中的密碼，然後貼到「Welcome」(歡迎使用) 對話方塊。按一下「Next」(下一步)。

    重要注意事項：請務必使用左側面板中的憑證，而非 Google Cloud 技能重點加強的憑證。 注意事項：如果使用自己的 Google Cloud 帳戶來進行這個研究室，可能會產生額外費用。

  5. 按過後續的所有頁面：

    • 接受條款及細則。
    • 由於這是臨時帳戶，請勿新增救援選項或雙重驗證機制。
    • 請勿申請免費試用。

Cloud 控制台稍後會在這個分頁中開啟。

注意事項：按一下畫面左上方的導覽選單，即可在選單中查看 Google Cloud 產品與服務的清單。「導覽選單」圖示

啟用 Vertex AI API

  1. 在 Google Cloud 控制台頂端的搜尋列中輸入 Vertex AI API。

  2. 點選「Marketplace & APIs」(Marketplace 與 API) 下方的 Vertex AI API 搜尋結果。

  3. 點選「ENABLE」(啟用)。

點選「Check my progress」，確認目標已達成。

啟用 Vertex AI API

工作 1：運用 Gemini 多模態分析圖片

  1. 前往 Google Cloud 控制台，依序點選「Navigation menu」(導覽選單) 導覽選單 >「Artificial Intelligence」(人工智慧) >「Vertex AI」>「Vertex AI Studio」>「Overview」(總覽)。
注意：如果在導覽選單找不到「Vertex AI」，請點選「More Products」(更多產品) 下拉式選單。

您會看到四項功能：「Multimodal」(多模態)、「Language」(語言)、「Vision」(視覺) 及「Speech」(語音)。本研究室著重在前兩項。

  1. 在「Multimodal Powered by Gemini」(多模態模型 採用 Gemini) 下方，點選「TRY GEMINI」(試用 GEMINI)。
注意，UI 分為三大區塊：
  • 提示 (位於頂端)：您可以在這裡建立運用多模態功能的工作。
  • 設定 (位於右方)：您可以在這裡選取模型、設定參數並取得相應的程式碼。
  • 回覆 (位於底部)：這裡會顯示工作結果。
    •

    1. 將提示命名為圖片分析。 為提示命名

    2. 下載範例圖片。在時刻表圖片上按一下滑鼠右鍵，然後存到電腦。

    時刻表

    1. 生成圖片標題。依序點選右上方的「INSERT MEDIA」(插入媒體) >「Upload from computer」(從電腦上傳)，然後上傳時刻表圖片。媒體可以是圖片或影片。將下列文字複製到提示輸入欄位，然後點選「SUBMIT」(提交)。
    Title the image.

    或更加明確：

    Title the image in 3 words.

    標題是否符合預期？請試著修改提示，看看結果是否不同。

    1. 說明圖片。將之前的提示換成下列文字，然後點選「SUBMIT」(提交)。
    Describe the image in detail.
    1. 調整參數。從左 (0) 捲至右 (1)，調整隨機性參數。重新提交提示，與先前結果相比，觀察結果是否有任何變化。
    注意：隨機性參數會決定選取詞元的隨機程度。如果您想藉由提示生成正確或適當的回覆，建議調低隨機性參數。另一方面，如果隨機性參數較高，則可能產生較多元或預料之外的結果。如果隨機性參數為 0，系統一律會選取可能性最高的詞元。
    1. 從圖片擷取文字。將之前的提示換成下列文字：
    Read the text in the image.

    接著，如要以清單呈現輸出內容，請將之前的提示換成下列文字：

    Parse the time and city in this image into a list with two columns: time and city.

    換您上場，請試試不同的提示，觀察結果和之前有何差異。

    1. 分析圖片中的資訊。將之前的提示換成下列文字：
    Calculate the percentage of the flights to different continents.

    結果是否符合預期？強烈建議對不同的工作試試別的提示，或是用不同的隨機性參數設定進行測試，觀察結果有何變化。

    1. 儲存提示。在設計好提示後，點選右上方的「SAVE」(儲存)，接著確認「SAVE」(儲存) 即可儲存提示。如要找到儲存的提示，請依序前往「Multimodal」(多模態) >「MY PROMPTS」(我的提示)。

    點選「Check my progress」，確認目標已達成。

    擷取圖片內容。

    工作 2：探索多模態功能

    除了圖片和文字之外，Gemini 多模態也支援輸入影片並生成文字。建議您下載短片，用不同的提示自行測試。您可以使用 gs://spls/gsp154/video/train.mp4 做為範例影片 (預覽)。

    採用 Gemini 的多模態提供多種功能，例如用圖片撰寫故事、分析影片，以及生成多媒體廣告。依序前往「Multimodal」(多模態) >「Sample prompts」(提示範例)，即可探索其他多模態用途。如要進一步瞭解設計多模態提示，請點選這裡。

    工作 3：運用任意形式和結構化模式來設計提示

    1. 在 Vertex AI 的選單中，依序前往「Vertex AI Studio」>「Overview」(總覽) 頁面，在「Language Powered by Gemini」 (語言 Powered by Gemini) 下方，點選「OPEN」(開啟)。

    建立提示

    您可以使用「建立提示」功能，為業務用途相關工作設計提示，包括生成程式碼。

    點選「TEXT PROMPT」(文字提示) 按鈕，如下圖所示。實際 UI 可能會與螢幕截圖稍有不同。

    click-text-prompt

    點選頁面右側的「?」按鈕或將滑鼠游標懸停在上方，即可進一步瞭解各欄位和參數，例如「Temperature」(隨機性參數) 和「Output token limit」(輸出詞元限制)。

    提示設計

    您可以視需求輸入文字，例如向模型提問，模型就會根據提示結構回覆。找出及設計最適當的輸入文字 (提示)，讓模型提供所需的回覆，這個過程稱為提示設計。

    關於設計提示的最佳方式，目前仍沒有定論。您可以透過 3 種方法讓模型生成所需的回覆：

    • 零樣本提示：僅給予 LLM 工作說明的提示，而不提供其他資料。舉例來說，如果要 LLM 回答問題，就直接輸入「什麼是提示設計？」這樣的提示。
    • 單樣本提示：針對要求 LLM 執行的工作給予一個工作範例。舉例來說，如果要 LLM 寫詩，您可以先提供一段詩詞樣本。
    • 少量樣本提示：針對要求 LLM 執行的工作給予少量工作範例。舉例來說，如果要 LLM 撰寫新聞文章，您可以先提供幾篇文章。

    您可能也注意到「FREEFORM」(任意形式) 和「STRUCTURED」(結構化) 分頁，這些是設計提示時可使用的兩種模式。

    • 任意形式：您可以輕鬆設計提示，沒有任何限制。如果提示不多、屬實驗性質且沒有額外範例，則適合使用這種模式。稍後您將在這種模式中試用零樣本提示。
    • 結構化：您可以在設計提示時使用簡便的範本。使用這種模式時，您可以在提示中加入情境和多個範例。稍後將試用的單樣本和少量樣本提示方法，特別適用於這種模式。

    任意形式模式

    請試著在任意形式模式中使用零樣本提示。

    1. 將下列文字複製到提示輸入欄位。保留目前預設的模型設定：gemini-1.0-pro-002。 注意：發布新模型時，模型名稱可能會變更。
    What is a prompt gallery?
    1. 點選頁面右側的「SUBMIT」(提交) 按鈕。

    模型會回覆「提示庫」一詞的完整定義。

    您可以試試下列幾個做法，瞭解提示的運作原理。

    • 將「Output token limit」(輸出詞元限制) 參數調整為 1，點選「SUBMIT」(提交) 按鈕
    • 將「Output token limit」(輸出詞元限制) 參數調整為 1024，點選「SUBMIT」(提交) 按鈕
    • 將「Temperature」(隨機性參數) 調整為 0.5，點選「SUBMIT」(提交) 按鈕
    • 將「Temperature」(隨機性參數) 調整為 1.0，點選「SUBMIT」(提交) 按鈕

    看看回覆是否跟著改變。

    結構化模式

    在結構化模式中，您可以更有條理地設計提示，在相應輸入欄位中提供情境和範例，瞭解單樣本和少量樣本提示的運作方式。

    在本節中，您將要求模型完成一個句子。

    1. 返回文字提示視窗。
    2. 點選頁面頂端的「STRUCTURED」(結構化) 分頁標籤。
    3. 清除「情境」中的所有文字。
    4. 在「Test」欄位下方，將下列文字複製到「INPUT」(輸入內容) 欄位。
    the color of the sky is 注意：如果您國家/地區的拼字使用「colour」而非「color」，可以更改。
    1. 點選頁面右側的「SUBMIT」(提交) 按鈕。

    與預期不同，模型沒有接續完成句子，而是另外提供一個完整的句子。請試著使用單樣本提示來影響模型的回覆。這次加入一個範例，供模型輸出內容時參考。

    在「Examples」欄位下方執行下列操作：

    1. 將下列文字新增至「INPUT」(輸入內容) 欄位：
    the color of the grass is
    1. 將下列文字新增至「OUTPUT」(輸出內容) 欄位：
    the color of the grass is green
    1. 點選頁面右側的「SUBMIT」(提交) 按鈕。

    您已成功改變模型的回覆方式。

    在下一個練習中，您將使用模型對句子執行情緒分析，例如判定電影評論為正面或負面。

    1. 返回文字提示視窗。
    2. 在「Examples」欄位下方，刪除「輸入內容」和「輸出內容」欄位中的內容。
    3. 在「Test」欄位下方，將下列提示複製到「輸入內容」欄位。
    看完覺得有收穫！
    1. 點選頁面右側的「SUBMIT」(提交) 按鈕。

    模型並未取得充足資訊，無法得知您想執行情緒分析。您可以提供模型一些範例來調整回覆方式。

    試著加入下圖中的範例：

    輸入內容 輸出內容
    一部成功且有趣的電影 正面
    10 分鐘後我就睡著了 負面
    這部電影還可以 沒意見

    接著，點選頁面右側的「SUBMIT」(提交) 按鈕。

    這次模型會對輸入文字提供情緒分析結果，像是「看完覺得有收穫！」，就會標為「正面」。

    您也可以儲存新設計的提示。如要儲存提示，請為提示命名，例如「情緒分析測試」，然後點選「SAVE」(儲存) 按鈕，選取研究室所在區域「」。點選「SAVE」(儲存)。

    如果儲存時發生錯誤，請點選「Retry」(重試)。

    儲存的提示會顯示在「MY PROMPTS」(我的提示) 分頁中。

    my-prompts-saved

    點選「Check my progress」，確認目標已達成。

    使用文字來建立提示

    工作 4：生成對話

    您可以透過「建立聊天提示」享有形式不限的聊天體驗，模型會記錄說過的內容並根據情境回覆。

    1. 返回「語言」頁面。
    2. 點選「TEXT CHAT」(文字即時通訊) 按鈕，建立新的聊天提示。

    建立聊天提示

    1. 選取「Model」(模型) 下方的「chat-bison (latest)」，您會看見新的聊天提示頁面。

    在這個部分，您會加入聊天情境，做為模型的回覆依據。

    1. 接著將下列文字複製到「Context」(情境) 欄位。
    Your name is Roy. 擔任 IT 部門的支援人員。You only respond with "Have you tried turning it off and on again?" to any queries.
    1. 將下列文字複製到「Responses」(回應) 下方的即時通訊方塊中。
    My computer is so slow
    1. 按下 Enter 鍵，或是點選「Send message」(傳送訊息) 圖示 (向右箭頭按鈕)。

    模型會考量您提供的情境資訊，在限制範圍內回答問題。

    1. 為提示命名，然後點選「SAVE」(儲存) 按鈕，選取研究室所在區域「」。點選「SAVE」(儲存)。

    點選「Check my progress」，確認目標已達成。

    使用聊天提示建立對話

    恭喜！

    您學會了如何運用多模態分析圖片、探索多模態功能、建立和測試提示，以及生成對話。您已經踏出第一步，開始使用 Vertex AI Studio 和 Gemini 多模態！

    Google Cloud 教育訓練與認證

    協助您瞭解如何充分運用 Google Cloud 的技術。我們的課程會介紹專業技能和最佳做法，讓您可以快速掌握要領並持續進修。我們提供從基本到進階等級的訓練課程，並有隨選、線上和虛擬課程等選項，方便您抽空參加。認證可協助您驗證及證明自己在 Google Cloud 技術方面的技能和專業知識。

    使用手冊上次更新日期：2024 年 4 月 17 日

    研究室上次測試日期：2024 年 4 月 17 日

    Copyright 2024 Google LLC 保留所有權利。Google 和 Google 標誌是 Google LLC 的商標，其他公司和產品名稱則有可能是其關聯公司的商標。