GSP1154

概要

Vertex AI は、予測 AI と生成 AI の両方の機能を備えた包括的な ML 開発プラットフォームです。予測を目的とした ML モデルのトレーニング、評価、デプロイと、コンテンツ生成を目的とした生成 AI モデルの選定、チューニング、サービングが可能です。たとえば、保険会社は常に、請求処理やリスク評価などの分野で効率向上を目指しています。Vertex AI Studio は、このような課題に対する生成 AI ソリューションのプロトタイプを迅速に開発するための強力な方法を提供します。

Vertex AI Studio では、生成 AI モデルを迅速にテスト、カスタマイズし、その機能をアプリケーションで利用できます。直感的なユーザー インターフェース（UI）を含むさまざまなツールとリソースが用意されており、機械学習の専門的な知識がなくても生成 AI を簡単に使い始めることができます。

このラボでは、Vertex AI Studio を使用して Gemini のような最先端の生成 AI モデルの可能性を引き出します。自身が保険会社がリスク分析アシスタントのプロトタイプを作成できるようサポートする役割を担っているとします。その前提のもとで、Google Cloud コンソールで直接、プロンプトのアイデアをデプロイ可能なアプリケーションに発展させる方法、特定の生成結果を得るための高度なプロンプトを設計する方法、マルチモーダル機能を使用して画像を含むさまざまな種類のデータを分析する方法を学習します。これらのコアタスクに API や Python SDK は必要ありません。

目標

このラボでは、次の方法について学びます。

• プロンプトからアプリケーションを作成する。
• 効果的なプロンプトを設計する。
• プロンプト エンジニアリングと管理を行う。
• マルチモーダル プロンプトを使用する。

設定と要件

[ラボを開始] ボタンをクリックする前に

こちらの説明をお読みください。ラボには時間制限があり、一時停止することはできません。タイマーは、Google Cloud のリソースを利用できる時間を示しており、[ラボを開始] をクリックするとスタートします。

このハンズオンラボでは、シミュレーションやデモ環境ではなく実際のクラウド環境を使って、ラボのアクティビティを行います。そのため、ラボの受講中に Google Cloud にログインおよびアクセスするための、新しい一時的な認証情報が提供されます。

このラボを完了するためには、下記が必要です。

• 標準的なインターネット ブラウザ（Chrome を推奨）

注: このラボの実行には、シークレット モード（推奨）またはシークレット ブラウジング ウィンドウを使用してください。これにより、個人アカウントと受講者アカウント間の競合を防ぎ、個人アカウントに追加料金が発生しないようにすることができます。

• ラボを完了するための時間（開始後は一時停止できません）

注: このラボでは、受講者アカウントのみを使用してください。別の Google Cloud アカウントを使用すると、そのアカウントに料金が発生する可能性があります。

ラボを開始して Google Cloud コンソールにログインする方法

1. [ラボを開始] ボタンをクリックします。ラボの料金をお支払いいただく必要がある場合は、表示されるダイアログでお支払い方法を選択してください。 左側の [ラボの詳細] ペインには、以下が表示されます。

   • [Google Cloud コンソールを開く] ボタン
   • 残り時間
   • このラボで使用する必要がある一時的な認証情報
   • このラボを行うために必要なその他の情報（ある場合）

2. [Google Cloud コンソールを開く] をクリックします（Chrome ブラウザを使用している場合は、右クリックして [シークレット ウィンドウで開く] を選択します）。

   ラボでリソースがスピンアップし、別のタブで [ログイン] ページが表示されます。

   ヒント: タブをそれぞれ別のウィンドウで開き、並べて表示しておきましょう。

   注: [アカウントの選択] ダイアログが表示されたら、[別のアカウントを使用] をクリックします。

3. 必要に応じて、下のユーザー名をコピーして、[ログイン] ダイアログに貼り付けます。

   {{{user_0.username | "Username"}}}

   [ラボの詳細] ペインでもユーザー名を確認できます。

4. [次へ] をクリックします。

5. 以下のパスワードをコピーして、[ようこそ] ダイアログに貼り付けます。

   {{{user_0.password | "Password"}}}

   [ラボの詳細] ペインでもパスワードを確認できます。

6. [次へ] をクリックします。

   重要: ラボで提供された認証情報を使用する必要があります。Google Cloud アカウントの認証情報は使用しないでください。 注: このラボでご自身の Google Cloud アカウントを使用すると、追加料金が発生する場合があります。

7. その後次のように進みます。

   • 利用規約に同意してください。
   • 一時的なアカウントなので、復元オプションや 2 要素認証プロセスは設定しないでください。
   • 無料トライアルには登録しないでください。

その後、このタブで Google Cloud コンソールが開きます。

注: Google Cloud のプロダクトやサービスにアクセスするには、ナビゲーション メニューをクリックするか、[検索] フィールドにサービス名またはプロダクト名を入力します。

タスク 1. プロンプトからアプリケーションを作成する

このタスクでは、Vertex AI Studio を使って、生成 AI アシスタントのアイデアをすばやく実用的なプロトタイプに変換する方法を学びます。保険会社のユースケースとして、リスク分析レポートを目的としたクライアント情報の要約に役立つプロンプトを作成し、このプロンプトをシンプルなアプリケーションとして準備します。

1. Google Cloud コンソールのナビゲーション メニュー（）で、[Vertex AI] > [Vertex AI Studio] > [概要] を選択します。

2. Vertex AI のメニューの [Vertex AI Studio] で、[プロンプトを作成] を選択します。プロンプト エディタ ページが表示されます。

UI には次の 3 つのメイン セクションがあります。

• システム指示（上部）: プロンプト処理の前にモデルが処理する一連の指示です。システム指示はリクエスト全体に適用されます。このシステム指示がプロンプトに含まれている場合、ユーザーとモデルの複数回のやり取り全体で機能します。システム指示を使用して、モデルの動作とプロンプトへの応答方法を指定することをおすすめします。
• 構成（右側）: モデル（サードパーティのモデルを含む）の選択、パラメータの構成、ツール（グラウンディングなど）の使用、詳細オプションの設定を行うことができます。
• プロンプト（下部）: マルチモーダル機能を利用するプロンプトを作成できます。

3. 新しい無題のプロンプト ページが読み込まれたら、左上の [無題のプロンプト] をクリックして、プロンプトの名前を「保険リスク概要 - プロトタイプ」に変更します。

4. メイン キャンバスで [システム指示] テキスト ボックスをクリックし、以下を入力して、AI アシスタントに保険のシナリオに関連する役割を割り当てます。

   You are an expert AI assistant for an insurance underwriting department. Your primary goal is to help underwriters by accurately and concisely summarizing client information and highlighting potential risk factors. Maintain a professional and objective tone. Focus only on the information provided in the prompt. Do not invent details.

5. システム指示の下の、ページの下部にあるメインのプロンプト領域に、次の内容を貼り付けます。

   Customer Notes for 'SafeHarbor Warehousing': "The applicant is seeking coverage for their 50,000 sq ft warehouse. The business is 5 years old. The building is a concrete tilt-up structure, originally built in 2010. They store a variety of non-hazardous dry goods. Fire safety measures include a full sprinkler system, a centrally monitored fire alarm, and documented annual inspections by a certified third party. Security measures include a 24/7 centrally monitored burglar alarm, comprehensive security camera coverage of the interior and exterior, a fully fenced perimeter, and nightly patrols by a contracted security guard service. The company reports no major property or liability losses in their 5-year history. They have specifically asked to ensure their new automated shelving and retrieval system, installed last month, is adequately covered under the policy." Your Task: 1. Briefly summarize the key details of the 'SafeHarbor Warehousing' business and its existing safety measures. 2. Based *only* on the notes provided, identify any immediate questions an underwriter should ask or potential risk factors they should consider further. Present the summary first, then the questions/risk factors as bullet points.

6. 右側の [構成] セクションで、次の操作を行います。

   • モデルが選択されていることを確認します。モデルを変更する必要がある場合は、[モデルの切り替え] をクリックします。
   • 設定されていない場合は、[詳細] オプションを切り替えて、[リージョン] で [] を選択します。

7. 送信ボタンをクリックします（通常はプロンプト入力エリアの右下にあります。CTRL+Enter キーでも送信できます）。モデルの回答を確認します。

8. ページの上部にある [保存] ボタンをクリックします。[プロンプトを保存] ダイアログでは名前に [保険リスク概要 - プロトタイプ] があらかじめ入力されています。[リージョン] が正しいことを確認し（）、[保存] をクリックします。

9. 次に、この下書きのプロンプトをプロトタイプ アプリケーションに変換する方法を説明します。ページの右上にある [コードで構築] ボタンをクリックします。表示されたプルダウン メニューから、[アプリとしてデプロイ（Powered by Cloud Run）] を選択します。

10. 表示された [Cloud Run へのデプロイ] ダイアログで次の操作を行います。

    • プロンプトが表示された場合は、サービスの有効化が必要になる場合があります（例: Cloud Build API、Cloud Run API など）。必要に応じて [有効にする] をクリックし、サービスが有効になるまで待ちます。
    • アプリを公開でデプロイする場合は、[同意する] チェックボックスをオンにします。
    • [アプリを作成] をクリックします。

11. デプロイ プロセスが開始されます。完了するまで数分ほどかかることがあります。次のようなステータス更新が UI に表示される場合があります。

12. 完了したら、[ウェブアプリの管理] ボックスの [閉じる] ボタンをクリックします。次に、新しくデプロイしたアプリケーションを開くために、ページの右上にある [コードで構築] ボタンをもう一度クリックします。プルダウン メニューから [アプリを開く（Powered by Cloud Run）] を選択します。新しいブラウザタブで「Vertex AI GenAI App」が開きます。

13. 「Vertex AI GenAI App へようこそ」というタイトルのページが表示され、プロンプトのタイトル「保険リスク概要 - プロトタイプ」が表示されます。

14. [Chatbot] セクションの下部にある [メッセージを入力してください...] 入力フィールドに、新しいテスト メッセージを入力します。例:

    New Customer Inquiry: "Applicant 'Coastal Goods Delivery' has a fleet of 10 delivery vans, all equipped with GPS and telematics. They operate within a 100-mile radius of their depot. Drivers undergo annual safety training. They had one minor fender bender last year, no injuries, $1500 damages. What are the primary risk considerations?" Please summarize key points and identify potential risks.

15. 送信ボタンをクリックして、メッセージをアプリケーションに送信します。

16. デプロイした生成 AI アプリからの回答を確認します。Vertex AI Studio で定義したロジックとシステムの指示に基づいて入力が処理されます。

注: アプリページの警告に示されているように、このアプリケーションはデフォルトで認証されていないアクセスを許可します。本番環境のシナリオでは、適切なセキュリティ設定を構成します。このラボでは、デフォルトのままでも学習に支障はありません。

17. これで全体のサイクルが完了しました。
    • Vertex AI Studio でプロンプトを設計しました。
    • Cloud Run を使用してサーバーレス アプリケーションとして数回のクリックでデプロイしました。
    • ウェブ インターフェースを通じて生成 AI モデルを直接開いて操作しました。 これは、生成 AI 機能の迅速なプロトタイピングとデプロイを行うことのできる Vertex AI Studio の機能を示しています。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。

Vertex AI Studio でプロンプト アプリケーションを作成する。

タスク 2. 効果的なプロンプトを設計する

タスク 1 では、初期プロンプトのプロトタイプを作成しました。次に、生成モデルからより正確で制御可能かつ有用な出力を得るために、プロンプトをどのように調整すればよいかについて詳細を見ていきます。これはプロンプト エンジニアリングの基本的なスキルです。引き続き保険会社の例を使って、請求書類から特定の情報を抽出する方法や、要約の品質を改善する方法を試していきます。

ゼロショット プロンプト

まず、新しいプロンプトを作成して、プロンプトの詳細な設計を検討します。

1. メインの Vertex AI Studio エリアにいることを確認します。タスク 1 でデプロイしたアプリを表示している場合は、そのブラウザタブを閉じて Google Cloud コンソールに戻ります。

2. ナビゲーション メニュー（）から、[Vertex AI] > [Vertex AI Studio] > [プロンプトを作成] を選択します。

3. 新しいプロンプト ページ（[プロンプトのサンプル] と表示されている）から始めた場合は、左上にある [無題のプロンプト] をクリックして、プロンプトの名前を [保険請求のデータ抽出] に変更します。

4. このセクションのシナリオをよく理解してください。保険査定員は、新しい保険請求に関する構造化されていないメモやメールを受け取ることがよくあります。その際、保険請求管理システムに入力するために、重要な情報をすばやく抽出する必要があります。

5. [システム指示] ボックスに以下を入力します。

   You are an AI assistant specializing in parsing and extracting specific data points from unstructured insurance claim notifications. Your goal is to identify and list key information accurately. If a piece of information is not found, clearly state "Not found". Output the extracted information in a key: value format, with each key on a new line.

6. メインのプロンプト領域に、次の非構造化請求メモの例を貼り付けます。

   Claim Notification Received: "Hi team, just got a call from Mrs. Eleanor Vance, policy #POL458892. She reported a kitchen fire that occurred on May 12th, 2025, around 3 PM. The main damage seems to be to the oven and surrounding cabinets. She mentioned smoke damage in the kitchen and dining area too. She thinks the total damage might be around $7,500. Her contact is 555-0123. No injuries reported, thankfully." Extract the following: - Policy Number - Claimant Name - Date of Loss - Time of Loss - Type of Loss - Brief Description of Damage - Estimated Loss Amount - Injuries Reported

7. 右側の [構成] セクションで、次の操作を行います。

   • モデルを選択します。
   • 温度（Temperature）を 0.1 に設定します（事実に基づいた抽出を優先し、クリエイティブな抽出を抑制します）。
   • [出力トークンの上限] を 1024 などの適切な数値に設定します。
   • リージョンが になっていることを確認します。

8. 送信ボタンをクリックします。出力を確認します。明示的な例を追加せずに試してみることをゼロショット プロンプトと呼びます。

9. ゼロショット プロンプトの回答を確認したら、上部ツールバーの [クリア] アイコンをクリックして、プロンプト キャンバス全体をクリアします。通常、例は新しいプロンプトにのみ追加できるため、この操作が必要です。

少数ショット プロンプト

多くの場合、少数の例（少数ショット プロンプト）を提供することで、特に特定のフォーマットやニュアンスの抽出において、モデルのパフォーマンスを大幅に向上させることができます。

1. [プロンプト] セクションの右下にある [例を追加]（）ボタンをクリックします。

プロンプト用に例を追加できる新しいウィンドウが開きます。

2. 表示される「例」のインターフェースで、次の操作を行います。

   • 最初の例の入力に、次の非構造化メモを貼り付けます。
   Claim Notification Received: "Email from John Sterling (policy POL77521) re: water damage at his shop. Happened sometime last night, May 10th, 2025. A pipe burst in the ceiling. Stockroom is flooded, some damage to inventory. He's not sure on the cost yet, maybe $5k-$10k? No one was there, so no injuries." Extract the following: - Policy Number - Claimant Name - Date of Loss - Time of Loss - Type of Loss - Brief Description of Damage - Estimated Loss Amount - Injuries Reported
   • 最初の例の出力に、次のように正しく書式設定された抽出結果を貼り付けます。
   Policy Number: POL77521 Claimant Name: John Sterling Date of Loss: May 10th, 2025 Time of Loss: Night Type of Loss: Water damage Brief Description of Damage: Pipe burst in ceiling, stockroom flooded, some damage to inventory. Estimated Loss Amount: $5,000 - $10,000 Injuries Reported: No
   • [例を追加] ボタンをクリックして、この例を保存し、メイン プロンプトに戻ります。

3. システム指示を再追加: プロンプトをクリアするとシステム指示もクリアされるため、上部の [システム指示] ボックスに再度貼り付けます。

   You are an AI assistant specializing in parsing and extracting specific data points from unstructured insurance claim notifications. Your goal is to identify and list key information accurately. If a piece of information is not found, clearly state "Not found". Output the extracted information in a key: value format, with each key on a new line.

4. 次のように新しい入力とプロンプトを指定します。

   • (Input) Write value here と表示されている領域に、モデルで処理する Eleanor Vance さんの元の請求通知を貼り付けます。
   Claim Notification Received: "Hi team, just got a call from Mrs. Eleanor Vance, policy #POL458892. She reported a kitchen fire that occurred on May 12th, 2025, around 3 PM. The main damage seems to be to the oven and surrounding cabinets. She mentioned smoke damage in the kitchen and dining area too. She thinks the total damage might be around $7,500. Her contact is 555-0123. No injuries reported, thankfully."

5. [ここにプロンプトを入力] と表示されている領域（入力フィールドの下）に、モデルの指示を入力する必要があります。これは、例をガイドとして使用しながら、モデルに入力（Input）テキストをどのように処理すべきかを指示するものです。次の情報を入力します。

   Extract the following data points from the provided claim notification: - Policy Number - Claimant Name - Date of Loss - Time of Loss - Type of Loss - Brief Description of Damage - Estimated Loss Amount - Injuries Reported

6. 構成（モデル、温度、トークンの上限、リージョン）が引き続き希望どおりに設定されていることを確認します（例: 温度: 0.1）。

7. 送信ボタンをもう一度クリックします。この新しい出力を、前のゼロショット プロンプトの出力と比較してください。少数ショットの例と構造化入力方法によって、精度やフォーマットが大幅に改善されたかどうかに注目します。

プロンプト構成をテストする

次に、構成（右側）パネルのさまざまなパラメータがモデルの回答にどのように影響するかを調べます。少数ショットの例が含まれる「保険請求のデータ抽出」プロンプトが有効になっていることを確認します。

1. 温度を変えて試す

   • 説明: 温度はランダム性を制御します。値が低くなると（例: 0.0 ～ 0.2）、より焦点が絞られた決定的な出力になります。値が高くなると（例: 0.7 ～ 1.0）、より多様で創造的な回答が得られます。
   • 試してみる: 温度を 0.7 に変更します。[送信] をクリックして、変更内容をメモします。次に、温度を 0.1 に戻します。

2. 出力トークンの上限を次のようにテストします。

   • 説明: モデルが回答に対して生成できるトークンの最大数（単語の一部）を設定します。
   • 試してみる: 出力トークンの上限を 20 など、非常に小さい値に設定します。[送信] をクリックして、省略された出力を確認します。適切な値（例: 1024 またはデフォルト）にリセットします。

3. Top-P を次のようにテストします。

   • 説明: Top-P（nucleus サンプリング）もランダム性を制御します。確率の合計が Top-P の値を超える最も確率の高いトークンのみが考慮されます。値が 1.0 の場合、すべてのトークンが考慮されます。Top-P を下げる（例: 0.8）と、温度を下げるのと同じように、出力の焦点が絞られます。
   • 試してみる: 温度を 0.1（または Top-P の効果をよりよく観察するために 0.5 など、少し高く設定）に設定し、Top-P を 0.8 に設定します。[送信] をクリックします。次に、Top-P を 1.0 に設定し、[送信] をクリックして、微妙な違いがあるかどうかを確認します。

4. [詳細] 構成パネルの他の設定を次のように簡単に確認します。

   • 安全フィルタの設定: 有害なコンテンツをブロックするために、デフォルトで有効になっています。このラボでは、デフォルトの設定を使用します。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。

Vertex AI Studio でのプロンプト エンジニアリング。

タスク 3. プロンプト エンジニアリングと管理を行う

動作するプロンプトを作成したら、指示やモデル構成を変更して、回答を改善できるかどうかを試すことがよくあります。Vertex AI Studio の「比較」機能は、この目的のために設計されています。このセクションでは、先ほど作成したプロンプトを使用します。

1. メインの Vertex AI Studio エリアにいることを確認します。タスク 1 でデプロイしたアプリを表示している場合は、そのブラウザタブを閉じて Google Cloud コンソールに戻ります。

2. 新しいプロンプトを作成するために移動します。ナビゲーション メニュー（）から、[Vertex AI] > [Vertex AI Studio] > [プロンプトを作成] を選択します。

3. 左上の [無題のプロンプト] をクリックし、この新しいプロンプトの名前を「比較ベース - レストランのリスク」に変更します。

4. 次のシンプルなベース プロンプトを設定します。

   • [システム指示] ボックスに以下を入力します。
   You are an insurance risk analyst assistant. Your task is to identify potential risk factors from a given scenario. Be concise.
   • メインのプロンプト領域（「ここにプロンプトを入力します」の部分）に、以下を貼り付けます。
   Scenario: "The applicant, 'The Fiery Grill,' is a new upscale restaurant specializing in wood-fired oven pizzas and open-flame grilling. They have installed a brand new, custom-built fire suppression system for their cooking area, but it has not yet been certified by a third party. The restaurant plans to feature live acoustic music on weekend evenings and has a small, raised stage area. They also want to offer valet parking." Based on this scenario, list three primary risk factors an underwriter should consider.
   • 右側の [構成] セクションで、次の操作を行います。
     • モデルを選択します。
     • 温度を 0.2 に設定します。
     • リージョンが になっていることを確認します。

5. 送信ボタンをクリックします。モデルの最初の回答を確認します。

6. [保存] ボタンをクリックします。名前が [比較ベース - レストランのリスク] になっていることを確認して保存します。通常、プロンプトを比較ワークフローで効果的に使用するには、まずプロンプトを保存する必要があります。特に、後で保存したプロンプトと比較する予定がある場合は、保存が必要です。

7. この [比較ベース - レストランのリスク] プロンプトとその回答が表示されたら、上部のツールバーの [比較] ボタンをクリックします。

   注: プロンプトが表示されたら、[保存せずに終了] をクリックしてから [続行] をクリックします。

8. [比較] インターフェースが開きます。通常、比較ベース - レストランのリスクプロンプト、その構成、最新の回答が左側の列に表示されます。

プロンプトの指示を変更して比較する

指示を変更すると「The Fiery Grill」の出力にどのような影響が出るかを見てみましょう。[比較] ビューでは、比較ペインに個別の「システム指示」フィールドがない場合があります。その場合は、システムレベルの指示をメイン プロンプトの先頭に追加します。

1. [比較] インターフェースの中央エリア（または最初のプロンプトの右側）にある [+ 新しいプロンプトを比較] ボタンをクリックします。

2. 新しいプロンプト編集ペインが右側に表示されます。

3. この新しい（2 番目の）プロンプトをバリエーションとして次のように構成します。

   • この右側のペインにあるプロンプトの大きな 1 つのテキスト ボックスに、次の指示とシナリオを組み合わせたものを貼り付けます。
   You are an expert insurance risk analyst assistant. Your task is to identify potential risk factors from a given scenario. For each risk factor, also briefly suggest a potential mitigation strategy or question for the underwriter. Be clear and structured. Scenario: "The applicant, 'The Fiery Grill,' is a new upscale restaurant specializing in wood-fired oven pizzas and open-flame grilling. They have installed a brand new, custom-built fire suppression system for their cooking area, but it has not yet been certified by a third party. The restaurant plans to feature live acoustic music on weekend evenings and has a small, raised stage area. They also want to offer valet parking." Based on this scenario, list three primary risk factors an underwriter should consider.
   • このバリエーションの構成:
     • モデルが最初のプロンプトと同じであることを確認します。
     • 温度を 0.2 に維持します。
     • 他の構成（トークンの上限、リージョンなど）は最初のプロンプトと同一にして、指示の変更による影響を分離します。
     • ペインで下にスクロールして [適用] をクリックします。

4. 右側のペインで新しいプロンプト バリエーションのテキストと構成を設定したら、[プロンプトを送信] ボタン（通常は [比較] インターフェースの上部にあります）をクリックします。

5. 両方のプロンプトが回答を生成するまで待ちます。2 つの回答を並べて確認します。指示を変更したことで、2 番目のプロンプトに緩和策や質問事項が含まれているかを確認してください。

6. これを新しいプロンプトとして保存するには、[新規として保存] をクリックし、任意の [プロンプト名] を入力して、[保存] をクリックします。

異なる温度設定との比較

次に、比較ペインを使用して、別の温度をテストします。

1. 2 番目のプロンプト ペイン（右側）にあるテキスト ボックスで、次の操作を行います。

   • プロンプト テキスト: プロンプト テキストを元のシンプルなバージョンに戻します（緩和策に関するシステム指示が追加されていないもの）。比較ベース - レストランのリスク（左側ペイン）のプロンプトをコピーして貼り付けます。
   Scenario: "The applicant, 'The Fiery Grill,' is a new upscale restaurant specializing in wood-fired oven pizzas and open-flame grilling. They have installed a brand new, custom-built fire suppression system for their cooking area, but it has not yet been certified by a third party. The restaurant plans to feature live acoustic music on weekend evenings and has a small, raised stage area. They also want to offer valet parking." Based on this scenario, list three primary risk factors an underwriter should consider.

   *比較ビューにこのペイン用のシステム指示ボックスがない場合: システム指示「You are an insurance risk analyst assistant...」が消去されている時はこのシステム指示をここに追加し、左側ペインからこのシステム指示をグローバルに適用する場合は元のシステム指示を使用します。

   

2. テキスト ボックスの下の 2 番目のプロンプト ペインで、編集アイコン（鉛筆のアイコン）をクリックします。

   • 構成の変更: この 2 番目のプロンプト ペインの構成設定で、温度を 2.0 に変更します。モデルが引き続き であることを確認します。
   • ペインで下にスクロールして [適用] をクリックします。

3. [プロンプトを送信] をもう一度クリックします。

4. 回答の違いを確認します。2 番目のプロンプトの温度（2.0）が高いと、リスク要因のリストが 0.2 の温度出力と比べて焦点が絞られず、推測的になったり、大きく異なる結果になったりしますか？注: このように高い温度に設定すると、出力の整合性や関連性が低下する可能性がありますが、このパラメータの極端な効果を確認できます。

5. 変更を更新するには、2 番目のプロンプト ペインの下にある [更新] ボタンをクリックします。

異なるモデルと構成を比較する

次に、ベースモデルを別のモデルと比較し、推論や出力スタイルの違いを確認します。

1. 2 番目のプロンプト ペイン（右側）にあるテキスト ボックスで、次の操作を行います。

   • プロンプト テキスト: 元の「Fiery Grill」シナリオと同じものを使用し、比較ベース - レストランのリスク（左側ペイン）で示されている 3 つのリスク要因をリクエストします（繰り返しになりますが、このペインに基本システムの指示が効果的に表示されるように、必要に応じて先頭に付けるか、UI が暗黙的に引き継ぐようにします）。

2. テキスト ボックスの下の 2 番目のプロンプト ペインで、編集アイコン（鉛筆のアイコン）をクリックします。

   • このバリエーションの構成の変更:
     • [モデル] を [] に変更します（このペインのモデル プルダウンからこれを選択します）。
     • 温度を 0.2 に設定します。
     • [出力トークンの上限] を 65535（または UI でモデルが許可する最大値）に設定します。
     • ペインで下にスクロールして [適用] をクリックします。

3. [プロンプトを送信] をクリックします。

4. 回答を確認します。（左側ペイン）の出力と （右側ペイン）の出力を比較します。

特定されたリスク要因、提供された詳細、回答の構造、シナリオをどのように推論しているかの違いに注目してください。

5. 新しい変更を保存するには、2 番目のプロンプト ペインの下にある [更新] ボタンをクリックしてください。

その他の比較オプション（概要）

Vertex AI Studio には、比較用のプロンプトを追加する方法が他にもあります。

1. 比較対象として「新しいプロンプト」を追加した領域に、[+ 保存したプロンプトを比較] ボタンが表示されます。

   • これをクリックすると、[プロンプトの管理] で以前に保存したプロンプトから比較するプロンプトを選択できます。 注: UI に示されているように（また、「会話履歴」の範囲を明確にするために）、プロンプトの比較には制限があります。たとえば、チャット プロンプト、メディアを含むプロンプト、複数のやり取りを含む会話履歴のあるプロンプトはサポートされていません。

2. [+ グラウンド トゥルース] ボタンが表示されることもあります。

   • この機能を使用すると、プロンプトに対する「理想的な」または「完璧な」回答を入力できます。グラウンド トゥルースが提供されている場合、システムがより詳細な評価指標を提供する場合があります。これは高度なプロンプト テストに役立ちますが、この入門ラボの範囲を超えています。このラボの目的としては、視覚的に並べて比較するだけで十分です。

3. [比較] ビューを終了してメインのプロンプト編集インターフェースに戻るには（たとえば、好みのバージョンの作業を続ける場合）、[比較] インターフェースの左上にある戻るをクリックします。

プロンプト管理

さまざまな指示、例、構成を試す際には、作業を保存することが重要です。プロンプトを保存すると、次のようなことができます。

• テストを整理する。
• 効果的なプロンプトを簡単に再利用する。

Vertex AI Studio には、この目的のためのプロンプト管理機能が用意されています。

プロンプトの保存

たとえば、比較演習で作成したプロンプトのバリエーションの 1 つや、「保険請求のデータ抽出」プロンプトの改良版など、保存したいイテレーションが完了したとします。

1. 保存するプロンプトがメインのプロンプト編集インターフェースでアクティブになっていることを確認します（たとえば、[比較] ビューを終了したばかりで、好みのバージョンを開いている場合や、比較ベース - レストランのリスク プロンプトを使用している場合）。

2. プロンプトをすでに保存している場合は、上部のツールバーに [自動保存] ボタンが表示されます。プロンプトを最初に保存すると、自動保存がデフォルトでオンになります。この機能を無効にするには、ボタンをクリックして [自動保存をオフにする] を選択します。

プロンプト管理へのアクセス

プロンプトを保存したら、[プロンプト管理] で管理できます。

1. 新しいプロンプトを作成するために移動します。ナビゲーション メニュー（）から、[Vertex AI] > [Vertex AI Studio] > [プロンプト管理] を選択します。

2. 保存したプロンプトのリストが表示されます。通常、名前、メディア、モデル、最終更新日が含まれます。

3. このページでは、保存したプロンプトを表示、削除、エクスポートしたり、最適化ツールにアクセスしてプロンプトを改善したりできます。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。

プロンプトを比較、評価、管理する。

タスク 4. Gemini でマルチモーダル プロンプトを使用する

このタスクでは、Vertex AI Studio のメイン プロンプト インターフェースと Gemini モデルを使用して、画像を分析し、そこから情報を抽出します。説明、テキスト抽出、視覚コンテンツに基づく質問応答など、さまざまな分析タスクのプロンプトを設計する方法を示します。

1. Google Cloud コンソールのナビゲーション メニュー（）から、[Vertex AI] > [Vertex AI Studio] > [プロンプトを作成] を選択します。

2. 左上の [無題のプロンプト] をクリックして、プロンプトの名前を「Timetable Image Analysis」に変更します。

3. 右側の [構成] パネルで、次の操作を行います。

   • モデルが選択されていることを確認します。モデルを変更する必要がある場合は、[モデルの切り替え] をクリックします。
   • [詳細] オプションを切り替え、[リージョン] で [] を選択します。

4. サンプルの時刻表の画像をローカルマシンにダウンロードします。

   • 下の画像を右クリックして保存します。

5. [プロンプト] セクション（ページの下部）で、通常はプロンプト入力エリアの右側にある [メディアを挿入]（）ボタンをクリックします。

6. 表示された [ソースの選択] メニューで [アップロード] をクリックし、パソコンから先ほどダウンロードした時刻表の画像ファイルを選択します。画像はプロンプト入力エリアに直接表示されます。

注: メディアのソースには、複数のオプションがあります。通常、このオプションには、直接アップロード、URL によるファイルの提供、Cloud Storage または Google ドライブからのインポート、さらに YouTube 動画のリンクなどが含まれます。このラボでは、直接アップロードの方法について学びます。

7. これで、画像に対していくつかのタスクを実行するようモデルに指示できるようになります。プロンプト入力フィールドに挿入した画像の下に、次のプロンプトを貼り付けます。

1. Provide a concise title for this image (under 5 words). 2. Describe the image in one or two sentences. 3. Extract all visible text from the image. Present the flight schedule as a clearly formatted list with columns for "Time" and "City".

8. 送信ボタン（プロンプト セクションの右下）をクリックして、モデルの回答を確認します。

9. 次に、抽出された情報に基づいて推論を必要とする質問をします。前のテキスト プロンプトを以下と置き換えます（画像はそのままにします）。

Based on the flight schedule shown in the image, what percentage of the listed flights depart before 11:30 AM? Show your calculation if possible.

10. 送信ボタンをクリックして、回答を確認します。

11. 温度の影響を簡単に観察します。右側の [構成] パネルで、次の操作を行います。

    • [温度] を 0.8 に調整します。
    • ステップ 9 の同じプロンプト（Based on the flight schedule... percentage...）を再度送信します。
    • 説明のスタイル、確信度、詳細が変化するかどうかに注目します。
    • 観察した後、温度を 0.2 などの低い値に戻して、より予測可能な回答を返すようにします。

注: 温度はランダム性を制御します。低い値（例: 0.0 ～ 0.2）は、事実に基づく回答に適しています。一方、高い値（例: 0.7 以上）は、より多様で創造的な出力を導く可能性があるため、正確なデータの抽出や分析には適さない可能性があります。

12. 十分にデータ探索をしたら、作業を保存します。上部のツールバーにある [保存] ボタンをクリックします。
    • 名前は Timetable Image Analysis が事前に入力されています。
    • [リージョン] が であることを確認します。
    • ダイアログで [保存] をクリックします。

注: [保存] をクリックした後、プロンプトが保存されるまで少し時間をおいてから、移動する場合は先に進んでください。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。

Vertex AI Studio で Gemini を使用して画像を分析する。

タスク 5. Vertex AI Media Studio を詳しく見る

Vertex AI Studio は、テキストだけでなく、テキスト プロンプトから直接、または既存のメディアを改良してさまざまな種類のメディアを生成するための優れたツールも提供します。このタスクでは、画像、動画、音声の生成について説明します。

1. Vertex AI Studio にアクセスしていることを確認します。まだ Media Studio に移動していない場合は、ナビゲーション メニュー（）から [Vertex AI] > [Vertex AI Studio] > [Media Studio] を選択します。ページは次のようになります。

Imagen で画像を生成する

まず、画像を生成します。

1. Media Studio ランディング ページの [テキスト プロンプトで始める] セクションで、[Imagen - 画像を生成] をクリックします。

2. 画面下部のテキスト プロンプト領域に、詳細な説明を含むプロンプトを入力します。例:

   A close-up, photorealistic image of a single honeybee collecting pollen from a vibrant purple lavender flower, with a softly blurred garden background.

3. 右側の [設定] パネルで次の操作を行います。

   • [モデル] が [Imagen 4]（または利用可能な最新の Imagen モデル）に設定されていることを確認します。
   • [アスペクト比] で [1:1] を選択します。
   • この最初の生成では、[結果の件数] を 4 に設定します。
   • 安全性設定（例: 人物生成、安全フィルタのしきい値）を確認してデフォルトのままにするか、この人物に焦点を当てないプロンプトに合わせて適宜調整します。

4. プロンプト領域の右下にある送信ボタンをクリックします。

5. しばらくすると、生成された画像がメインエリアに表示されます。

6. 生成された画像サムネイルの 1 つをクリックして、詳細ビューを開きます。

7. 右側の [画像の詳細] ペインで、次の操作を行います。
   • インペイント（マスクを使用して要素を追加 / 削除する）、アウトペイント（画像を拡張する）、画像のエクスポート（アップスケーリングを提供する場合がある）などの利用可能な AI アクションを確認します。
   • SynthID 検出が緑色のチェックマーク付きで表示されているかどうかを確認します。
   • （省略可）[インペイント] または [アウトペイント] のいずれかのオプションを選択して、試してみると、Imagen の機能を確認できます。

SynthID とは

SynthID は Google DeepMind が開発した技術で、AI によって生成された画像のピクセルに電子透かしを直接埋め込みます。この透かしは、人間の目には見えず、アルゴリズムによって検出できるように設計されています。この目的は、画像が AI によって生成されたものであることを識別し、画像が後で変更された場合（圧縮、フィルタ処理など）でも、透明性と責任ある AI への取り組みを促進することにあります。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。

Vertex AI Media Studio を確認する。

Chirp による音声の生成（省略可）

AI で生成された音声を確認するには、次のように操作します。

1. 左端にある小さな縦型ツールバーで、音声アイコン（マイクの形をしたアイコン）をクリックして、音声生成ツールに切り替えます。Chirp のインターフェースが開きます。

2. プロジェクトで Cloud Text-to-Speech API がまだ有効になっていない場合は、これを有効にするよう求められることがあります。有効にするよう求められた場合は、[有効にする] をクリックして、API が有効になるまで待ちます（しばらく時間がかかることがあります）。

3. インターフェースの準備ができたら、画面下部のテキスト プロンプト領域に、合成したいテキストを入力します。例:

Welcome to the world of generative AI on Google Cloud

4. 右側の [設定] パネルで次の操作を行います。

   • モデル（例: Chirp 3. HD 音声）を選択します。
   • 使用する言語を選択します（例: 英語（アメリカ））。
   • プルダウン リストから音声を選択します。いくつか試して、それぞれの特徴を聞くことができます。
   • 利用可能な詳細オプションを必要に応じて確認します。

5. 送信ボタンをクリックします。

6. 処理が完了すると、生成された音声をインターフェースで直接再生できるようになります。

お疲れさまでした

これで完了です。このラボでは、Vertex AI Studio を操作して、保険会社のシナリオ向けの生成 AI アプリケーションのプロトタイプを作成しました。このプロトタイプでは、初期の設計とデプロイから、高度なプロンプト エンジニアリングと比較まで扱っています。さらに、特定の分析タスクに対するテキスト出力の改善を練習し、画像、動画、音声を生成する魅力的なマルチモーダル機能について学びました。これらの基本的なスキルを身に付けることで、Google Cloud でさらに高度な生成 AI ソリューションを構築できるようになります。

次のステップと詳細情報

• これまでに学んだ生成 AI モデル（テキストと画像の分析のための Gemini、Imagen、Veo、Chirp など）の機能について詳しくは、Vertex AI Model Garden の公式ドキュメントをご覧ください。
• Google Cloud の包括的なプロンプト設計戦略ガイドで、プロンプト エンジニアリングのスキルを高め、ベスト プラクティスと高度な手法を学びます。
• Vertex AI SDK のドキュメントを参照して、これらの生成 AI 機能をアプリケーションに統合して自動化する方法を学びます。
• Google Cloud Skills Boost の生成 AI ラボとコースで学習を続けましょう。

Google Cloud トレーニングと認定資格

Google Cloud トレーニングと認定資格を通して、Google Cloud 技術を最大限に活用できるようになります。必要な技術スキルとベスト プラクティスについて取り扱うクラスでは、学習を継続的に進めることができます。トレーニングは基礎レベルから上級レベルまであり、オンデマンド、ライブ、バーチャル参加など、多忙なスケジュールにも対応できるオプションが用意されています。認定資格を取得することで、Google Cloud テクノロジーに関するスキルと知識を証明できます。

マニュアルの最終更新日: 2025 年 7 月 4 日

ラボの最終テスト日: 2025 年 7 月 4 日

Copyright 2025 Google LLC. All rights reserved. Google および Google のロゴは Google LLC の商標です。その他すべての企業名および商品名はそれぞれ各社の商標または登録商標です。