GSP1227

總覽

Gemini 是由 Google DeepMind 開發的一系列生成式 AI 模型，專為多模態用途而設計。Gemini API 可讓您使用 Gemini Pro Vision 和 Gemini Pro 模型。本研究室將說明如何透過 Vertex AI Gemini API，使用文字提示生成函式呼叫。

Gemini 的函式呼叫

函式呼叫可讓開發人員在程式碼中撰寫函式說明，然後透過要求傳遞至語言模型。模型的回應會包含符合該說明的函式名稱，以及呼叫所用的引數。

函式呼叫類似 Vertex AI 擴充功能，兩者都能產生函式資訊。差別在於函式呼叫會傳回 JSON 資料，其中包括函式名稱及用於程式碼的引數，Vertex AI 擴充功能則會傳回函式並為您呼叫。

目標

本研究室的內容包括：

• 安裝 Python 適用的 Vertex AI SDK。
• 使用 Vertex AI Gemini API 與 Gemini Pro (gemini-pro) 模型互動：
  • 使用文字提示生成函式呼叫，協助消費者獲得 Google 商店的產品資訊。
  • 使用文字提示生成函式呼叫，以便呼叫外部 API 為地址進行地理編碼。
  • 使用文字提示生成函式呼叫，從記錄檔資料中擷取實體。

設定和需求

點選「Start Lab」按鈕前的須知事項

請詳閱以下操作說明。研究室活動會計時，而且中途無法暫停。點選「Start Lab」 後就會開始計時，讓您瞭解有多少時間可以使用 Google Cloud 資源。

您將在真正的雲端環境中完成實作研究室活動，而不是在模擬或示範環境。為達此目的，我們會提供新的暫時憑證，讓您用來在研究室活動期間登入及存取 Google Cloud。

如要完成這個研究室活動，請先確認：

• 您可以使用標準的網際網路瀏覽器 (Chrome 瀏覽器為佳)。

注意：請使用無痕模式或私密瀏覽視窗執行此研究室。這可以防止個人帳戶和學生帳戶之間的衝突，避免個人帳戶產生額外費用。

• 是時候完成研究室活動了！別忘了，活動一開始將無法暫停。

注意：如果您擁有個人 Google Cloud 帳戶或專案，請勿用於本研究室，以免產生額外費用。

如何開始研究室及登入 Google Cloud 控制台

1. 按一下「Start Lab」(開始研究室) 按鈕。如果研究室會產生費用，畫面中會出現選擇付款方式的彈出式視窗。左側的「Lab Details」(研究室詳細資料) 面板會顯示下列項目：

   • 「Open Google Console」(開啟 Google 控制台) 按鈕
   • 剩餘時間
   • 必須在這個研究室中使用的暫時憑證
   • 完成這個研究室所需的其他資訊 (如有)

2. 按一下「Open Google Console」(開啟 Google 控制台)。接著，研究室會啟動相關資源並開啟另一個分頁，當中會顯示「Sign in」(登入) 頁面。

   提示：您可以在不同的視窗中並排開啟分頁。

   注意事項：如果頁面中顯示了「Choose an account」(選擇帳戶) 對話方塊，請按一下「Use Another Account」(使用其他帳戶)。

3. 如有必要，請複製「Lab Details」(研究室詳細資料) 面板中的使用者名稱，然後貼到「Sign in」(登入) 對話方塊。按一下「Next」(下一步)。

4. 複製「Lab Details」(研究室詳細資料) 面板中的密碼，然後貼到「Welcome」(歡迎使用) 對話方塊。按一下「Next」(下一步)。

   重要注意事項：請務必使用左側面板中的憑證，而非 Google Cloud 技能重點加強的憑證。 注意事項：如果使用自己的 Google Cloud 帳戶來進行這個研究室，可能會產生額外費用。

5. 按過後續的所有頁面：

   • 接受條款及細則。
   • 由於這是臨時帳戶，請勿新增救援選項或雙重驗證機制。
   • 請勿申請免費試用。

Cloud 控制台稍後會在這個分頁中開啟。

注意事項：按一下畫面左上方的導覽選單，即可在選單中查看 Google Cloud 產品與服務的清單。

工作 1：開啟 Vertex AI Workbench 中的筆記本

1. 前往 Google Cloud 控制台，依序點選「導覽選單」>「Vertex AI」>「Workbench」。

2. 前往「使用者自行管理的 Notebooks」頁面中，找出 generative-ai-jupyterlab 筆記本，然後點選「Open JupyterLab」按鈕。

JupyterLab 介面會在新的瀏覽器分頁中開啟。

工作 2：開啟 generative-ai 資料夾

1. 在筆記本左側，前往 generative-ai 資料夾。

2. 前往 /gemini/function-calling 資料夾。

3. 點按 intro_function_calling.ipynb 檔案。

4. 執行筆記本的「Getting Started」、「Set Google Cloud project information」和「Import libraries」部分。

   • 在「Project ID」部分使用「」，並在「Location」部分使用「」。

注意：您可以略過任何標有「Colab only」的筆記本儲存格。

在下列各節中，您將執行筆記本儲存格，瞭解如何搭配使用 Vertex AI Gemini API 和 Python 適用的 Vertex AI SDK。

點按「Check my progress」，確認目標已達成。 安裝 Python 適用的 Vertex AI SDK 並匯入程式庫。

工作 3：運用函式呼叫取得 Google 商店結構化查詢

使用生成式文字模型時，想要求大型語言模型以 JSON 等結構化格式提供一致的回應，可能並不簡單。然而使用函式呼叫，即可透過提示和非結構化輸入內容，輕鬆搭配大型語言模型運作，要求傳回可用於呼叫外部函式的結構化回應。

您可以透過函式呼叫，利用使用者提示和函式定義取得結構化輸出內容，用來向外部系統提出 API 要求，然後將函式回應傳回至大型語言模型，生成回覆給使用者。換句話說，Gemini 函式呼叫可從使用者的非結構化文字或訊息，擷取出結構化參數。在這個例子中，您可以搭配使用函式呼叫與 Gemini 模型中的對話模式，協助消費者取得 Google 商店內的產品資訊。

1. 在這項工作中，請執行各個筆記本儲存格，瞭解如何使用 Gemini 模型，協助消費者取得 Google 商店內的產品資訊。

點按「Check my progress」，確認目標已達成。 生成簡單的天氣函式呼叫。

工作 4：使用函式呼叫，透過 Maps API 為地址進行地理編碼

在這個例子中，您將使用 Gemini API 中的文字模式，定義以多個參數做為輸入內容的函式。接著，您可運用函式呼叫回應來發出即時 API 呼叫，將地址轉換成經緯度座標。

1. 在這項工作中，請執行各個筆記本儲存格，瞭解如何使用 Gemini Pro 模型生成將地址進行地理編碼的函式呼叫。

這裡我們使用 OpenStreetMap Nominatim API 為地址進行地理編碼，幫助您在此筆記本中輕鬆操作及學習。若您需要大量地圖或地理位置資料，可使用 Google Maps Geocoding API。

點按「Check my progress」，確認目標已達成。 生成複雜函式呼叫。

工作 5：使用函式呼叫擷取實體

在先前的例子中，您運用了 Gemini 函式呼叫的擷取實體函式，所以可以傳遞結果參數到 REST API 或用戶端程式庫。然而，您可能只想利用 Gemini 函式呼叫擷取實體就好，不用真的呼叫 API。這個函式如同一個簡便的工具，可以把非結構化文字資料轉換成結構化欄位。

在這個例子中，您可以建構記錄檔擷取器來收集原始記錄檔資料，並轉換成包含錯誤訊息詳細資料的結構化資料。

1. 在這項工作中，請執行各個筆記本儲存格，瞭解如何使用 Gemini Pro 模型生成函式呼叫，從記錄檔資料中擷取實體。

點按「Check my progress」，確認目標已達成。 利用對話提示生成函式呼叫。

恭喜！

恭喜！在本研究室中，您學會了如何透過 Vertex AI Gemini API，使用文字提示生成函式呼叫。您運用了 Gemini Pro 模型生成函式呼叫，協助消費者取得 Google 商店內的產品資訊、將地址地理編碼，並從記錄檔資料中擷取實體。

後續步驟/瞭解詳情

• 查看 Generative AI on Vertex AI 說明文件
• 前往 Google Cloud Tech 的 YouTube 頻道，進一步瞭解生成式 AI
• Google Cloud 生成式 AI 官方存放區
• Gemini 筆記本示例

Google Cloud 教育訓練與認證

協助您瞭解如何充分運用 Google Cloud 的技術。我們的課程會介紹專業技能和最佳做法，讓您可以快速掌握要領並持續進修。我們提供從基本到進階等級的訓練課程，並有隨選、線上和虛擬課程等選項，方便您抽空參加。認證可協助您驗證及證明自己在 Google Cloud 技術方面的技能和專業知識。

使用手冊上次更新日期：2024 年 4 月 23 日

研究室上次測試日期：2024 年 4 月 23 日

Copyright 2024 Google LLC 保留所有權利。Google 和 Google 標誌是 Google LLC 的商標，其他公司和產品名稱則有可能是其關聯公司的商標。