GSP1228

總覽

Gemini 是由 Google DeepMind 開發的一系列生成式 AI 模型，專為多模態用途而設計。Gemini API 可讓您使用 Gemini Pro Vision 和 Gemini Pro 模型。在本研究室中，您將瞭解如何搭配使用 Vertex AI Gemini API 和 cURL 指令，藉此與 Gemini Pro (gemini-pro) 模型和 Gemini Pro Vision (gemini-pro-vision) 模型互動。

Vertex AI Gemini API

Vertex AI Gemini API 提供統一的 Gemini 模型互動介面。Gemini API 目前有兩種可用模型：

1. Gemini Pro 模型 (gemini-pro)：可處理自然語言工作、進行多輪文字和程式碼即時通訊，以及生成程式碼。
2. Gemini Pro Vision 模型 (gemini-pro-vision)：支援多模態提示。您可以在提示要求中納入文字、圖片和影片，並取得文字或程式碼形式的回覆。

與 Gemini API 互動的方法如下：

• 使用 Vertex AI Studio 快速測試並生成指令
• 使用 cURL 指令
• 使用 Vertex AI SDK

本研究室聚焦於使用 cURL 指令呼叫 Vertex AI Gemini API。

詳情請參閱 Generative AI on Vertex AI 說明文件。

目標

在本研究室中，您將瞭解如何執行下列工作：

• 安裝 Python SDK。
• 透過 Vertex AI Gemini API 與各個模型互動。
• 使用 Gemini Pro (gemini-pro) 模型，透過文字提示生成文字。
• 使用 Gemini Pro Vision (gemini-pro-vision) 模型，透過圖片和影片提示生成文字。

設定和需求

點選「Start Lab」按鈕前的須知事項

請詳閱以下操作說明。研究室活動會計時，而且中途無法暫停。點選「Start Lab」 後就會開始計時，讓您瞭解有多少時間可以使用 Google Cloud 資源。

您將在真正的雲端環境中完成實作研究室活動，而不是在模擬或示範環境。為達此目的，我們會提供新的暫時憑證，讓您用來在研究室活動期間登入及存取 Google Cloud。

如要完成這個研究室活動，請先確認：

• 您可以使用標準的網際網路瀏覽器 (Chrome 瀏覽器為佳)。

注意：請使用無痕模式或私密瀏覽視窗執行此研究室。這可以防止個人帳戶和學生帳戶之間的衝突，避免個人帳戶產生額外費用。

• 是時候完成研究室活動了！別忘了，活動一開始將無法暫停。

注意：如果您擁有個人 Google Cloud 帳戶或專案，請勿用於本研究室，以免產生額外費用。

如何開始研究室及登入 Google Cloud 控制台

1. 按一下「Start Lab」(開始研究室) 按鈕。如果研究室會產生費用，畫面中會出現選擇付款方式的彈出式視窗。左側的「Lab Details」(研究室詳細資料) 面板會顯示下列項目：

   • 「Open Google Console」(開啟 Google 控制台) 按鈕
   • 剩餘時間
   • 必須在這個研究室中使用的暫時憑證
   • 完成這個研究室所需的其他資訊 (如有)

2. 按一下「Open Google Console」(開啟 Google 控制台)。接著，研究室會啟動相關資源並開啟另一個分頁，當中會顯示「Sign in」(登入) 頁面。

   提示：您可以在不同的視窗中並排開啟分頁。

   注意事項：如果頁面中顯示了「Choose an account」(選擇帳戶) 對話方塊，請按一下「Use Another Account」(使用其他帳戶)。

3. 如有必要，請複製「Lab Details」(研究室詳細資料) 面板中的使用者名稱，然後貼到「Sign in」(登入) 對話方塊。按一下「Next」(下一步)。

4. 複製「Lab Details」(研究室詳細資料) 面板中的密碼，然後貼到「Welcome」(歡迎使用) 對話方塊。按一下「Next」(下一步)。

   重要注意事項：請務必使用左側面板中的憑證，而非 Google Cloud 技能重點加強的憑證。 注意事項：如果使用自己的 Google Cloud 帳戶來進行這個研究室，可能會產生額外費用。

5. 按過後續的所有頁面：

   • 接受條款及細則。
   • 由於這是臨時帳戶，請勿新增救援選項或雙重驗證機制。
   • 請勿申請免費試用。

Cloud 控制台稍後會在這個分頁中開啟。

注意事項：按一下畫面左上方的導覽選單，即可在選單中查看 Google Cloud 產品與服務的清單。

工作 1：開啟 Vertex AI Workbench 中的筆記本

1. 前往 Google Cloud 控制台，依序點選「導覽選單」>「Vertex AI」>「Workbench」。

2. 前往「使用者自行管理的 Notebooks」頁面中，找出 generative-ai-jupyterlab 筆記本，然後點選「Open JupyterLab」按鈕。

JupyterLab 介面會在新的瀏覽器分頁中開啟。

工作 2：開啟 generative-ai 資料夾

1. 在筆記本左側，前往 generative-ai 資料夾。

2. 前往 /gemini/getting-started 資料夾。

3. 點選「intro_gemini_curl.ipynb」檔案。

4. 執行筆記本的「Getting Started」和「Import libraries」部分。

   • 在「Project ID」部分使用「」，並在「Location」部分使用「」。

注意：您可以略過任何標有「Colab only」的筆記本儲存格。

在下列各節中，您將執行筆記本儲存格，瞭解如何搭配使用 Vertex AI Gemini API 和 cURL 指令，與 Gemini Pro (gemini-pro) 模型和 Gemini Pro Vision (gemini-pro-vision) 模型互動。

工作 3：使用 Gemini Pro 模型

Gemini Pro (gemini-pro) 模型專為自然語言工作而設計，例如分類、摘要、擷取和撰寫。在這項工作中，您將瞭解如何透過文字提示，使用 Gemini Pro 生成文字。

1. 在這項工作中，請執行各個筆記本儲存格，瞭解如何透過文字提示，使用 Gemini Pro 模型生成文字。

透過文字提示生成文字 透過對話提示生成多輪對話 執行筆記本中的「Function calling」儲存格

工作 4：使用 Gemini Pro Vision 模型

Gemini Pro Vision (gemini-pro-vision) 是多模態模型，支援在文字或對話提示中加入圖片和影片，並取得文字回覆。

注意：Gemini Pro Vision 模型不支援純文字提示。如要使用這類提示，請改用 Gemini Pro 模型。

1. 在這項工作中，請執行各個筆記本儲存格，瞭解如何透過影片檔、本機圖片檔和 Google Cloud Storage 中的圖片，使用 Gemini Pro Vision 模型生成文字。

透過圖片檔生成文字 透過影片檔生成文字

恭喜！

恭喜！在本研究室中，您已順利學會如何搭配使用 Vertex AI Gemini API 和 cURL 指令，與 Gemini Pro (gemini-pro) 模型和 Gemini Pro Vision (gemini-pro-vision) 模型互動來生成文字、新增模型參數、對話，以及透過影片檔、本機圖片檔和 Google Cloud Storage 中的圖片生成文字。

後續步驟/瞭解詳情

• 查看 Generative AI on Vertex AI 說明文件
• 前往 Google Cloud Tech 的 YouTube 頻道，進一步瞭解生成式 AI
• Google Cloud 生成式 AI 官方存放區
• Gemini 筆記本示例

Google Cloud 教育訓練與認證

協助您瞭解如何充分運用 Google Cloud 的技術。我們的課程會介紹專業技能和最佳做法，讓您可以快速掌握要領並持續進修。我們提供從基本到進階等級的訓練課程，並有隨選、線上和虛擬課程等選項，方便您抽空參加。認證可協助您驗證及證明自己在 Google Cloud 技術方面的技能和專業知識。

使用手冊上次更新日期：2024 年 3 月 8 日

研究室上次測試日期：2024 年 3 月 8 日

Copyright 2024 Google LLC 保留所有權利。Google 和 Google 標誌是 Google LLC 的商標，其他公司和產品名稱則有可能是其關聯公司的商標。