概要

このラボでは、パイプラインや実行アーティファクトなど、TFX パイプライン メタデータについて学びます。AI Platform Pipelines のインスタンスには、ML メタデータ サービスが含まれています。AI Platform Pipelines では、ML メタデータが MySQL をデータベース バックエンドとして使用します。ML メタデータには GRPC サーバーでアクセスできます。

目標

AI Platform Pipelines インスタンスの ML メタデータ サービスに保存されているパイプライン アーティファクトにアクセスして分析するために、GRPC サーバーを使用します。

設定

各ラボでは、新しい Google Cloud プロジェクトとリソースセットを一定時間無料で利用できます。

1. Qwiklabs にシークレット ウィンドウでログインします。

2. ラボのアクセス時間（例: 1:15:00）に注意し、時間内に完了できるようにしてください。
   一時停止機能はありません。必要な場合はやり直せますが、最初からになります。

3. 準備ができたら、[ラボを開始] をクリックします。

4. ラボの認証情報（ユーザー名とパスワード）をメモしておきます。この情報は、Google Cloud Console にログインする際に使用します。

5. [Google Console を開く] をクリックします。

6. [別のアカウントを使用] をクリックし、このラボの認証情報をコピーしてプロンプトに貼り付けます。
   他の認証情報を使用すると、エラーが発生したり、料金の請求が発生したりします。

7. 利用規約に同意し、再設定用のリソースページをスキップします。

Cloud Shell をアクティブにする

Cloud Shell は、開発ツールが組み込まれた仮想マシンです。5 GB の永続ホーム ディレクトリを提供し、Google Cloud 上で実行されます。Cloud Shell を使用すると、コマンドラインで Google Cloud リソースにアクセスできます。gcloud は Google Cloud のコマンドライン ツールで、Cloud Shell にプリインストールされており、Tab キーによる入力補完がサポートされています。

1. Google Cloud Console のナビゲーション パネルで、「Cloud Shell をアクティブにする」アイコン（）をクリックします。

2. [次へ] をクリックします。
   環境がプロビジョニングされ、接続されるまでしばらく待ちます。接続の際に認証も行われ、プロジェクトは現在のプロジェクト ID に設定されます。次に例を示します。

サンプル コマンド

• 有効なアカウント名前を一覧表示する:

gcloud auth list

（出力）

Credentialed accounts: - <myaccount>@<mydomain>.com (active)

（出力例）

Credentialed accounts: - google1623327_student@qwiklabs.net

• プロジェクト ID を一覧表示する:

gcloud config list project

（出力）

[core] project = <プロジェクト ID>

（出力例）

[core] project = qwiklabs-gcp-44776a13dea667a6

タスク 1. AI Platform Pipelines のインスタンスを作成する

このタスクでは、Kubeflow Pipelines を Kubernetes アプリとしてデプロイします。Kubeflow Pipelines は、シンプルなクリック操作で Google Kubernetes Engine にデプロイできるソリューションです。オンプレミスまたはサードパーティ クラウド内の Kubernetes クラスタにデプロイできる柔軟性も備えています。この Kubeflow Pipelines が AI Platform Pipelines として Google Cloud 環境に統合されます。興味があれば、インストール中に Kubeflow の概要ドキュメントで Kubeflow Pipelines の詳細を確認できます。

1. Google Cloud コンソールのナビゲーション メニューで、下にスクロールして [AI Platform] を見つけます。以降の作業でアクセスしやすくするために、ピンのアイコンをクリックして固定します。

2. [AI Platform] から [パイプライン] に移動します。

3. [新しいインスタンス] をクリックします。

4. [構成] をクリックします。

5. クラスタを作成するには、 として [ゾーン] を選択した後、[次の Cloud API へのアクセスを許可する] をオンにし、名前をそのままにして、[クラスタを新規作成] をクリックします。

注: クラスタの作成には 3～5 分かかります。次のステップに進む前に、このステップが完了するまで待つ必要があります。 注: 特定のリージョンやゾーンのリソース不足が原因でクラスタの作成に失敗した場合は、別のゾーンでもう一度お試しください。

6. ページの一番下までスクロールして Marketplace の利用規約に同意し、[デプロイ] をクリックします。KubeFlow パイプラインの個々のサービスが GKE クラスタにデプロイされます。デプロイが完了するまで次のタスクに進まないでください。

7. Cloud Shell で、次のコマンドを実行して kubectl コマンドライン アクセスを構成します。

gcloud container clusters get-credentials cluster-1 --zone {{{project_0.default_zone|place_holder_text}}} --project {{{project_0.project_id|place_holder_text}}}

8. Cloud Shell で次のコマンドを実行して、KFP デプロイのエンドポイントを取得します。

kubectl describe configmap inverse-proxy-config | grep googleusercontent.com 重要: 後のタスクで、ノートブックのいずれかのセルに KFP のエンドポイントを設定する必要があります。上記の出力をエンドポイントとして使用してください。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 AI Platform Pipelines のインスタンスを作成する

タスク 2. Vertex AI Workbench にアクセスする

AI Platform Workbench を起動するには:

1. ナビゲーション メニューをクリックして、[Vertex AI]、[ワークベンチ] の順に選択します。

2. [ユーザー管理のノートブック] をクリックします。

あらかじめプロビジョニングされているノートブック tfx-on-googlecloud が表示されます。表示されない場合、数分待ってからページを更新します。

3. [JupyterLab を開く] をクリックします。JupyterLab ウィンドウが新しいタブで開きます。

タスク 3. AI Platform Notebooks インスタンス内でサンプル リポジトリのクローンを作成する

mlops-on-gcp ノートブックのクローンを JupyterLab インスタンス内に作成するには、次の手順を行います。

1. JupyterLab で、[Terminal] アイコンをクリックして新しいターミナルを開きます。

2. コマンドライン プロンプトで、次のコマンドを入力して Enter キーを押します。

   git clone https://github.com/GoogleCloudPlatform/mlops-on-gcp 注: クローンが作成されたリポジトリが JupyterLab UI に表示されない場合、上部に並んだメニューの [Git] > [Clone a repository] から、UI を使ってリポジトリ（https://github.com/GoogleCloudPlatform/mlops-on-gcp）のクローンを作成できます。

   

3. リポジトリのクローンが作成されたことを確認するには、mlops-on-gcp ディレクトリをダブルクリックし、リポジトリのコンテンツが表示されることを確認します。このディレクトリには、本コースのすべての Jupyter ノートブック ラボで使用するファイルが含まれています。

ラボのノートブックに移動する

1. mlops-labs/workshops/tfx-caip-tf23 フォルダから install.sh スクリプトを実行して、TFX SDK および KFP SDK をインストールします。

cd mlops-on-gcp/workshops/tfx-caip-tf23 ./install.sh

2. 次に、AI Platform Notebooks の mlops-labs/workshops/tfx-caip-tf23/lab-04-tfx-metadata/labs に移動し、lab-04.ipynb を開きます。

3. ノートブックのすべてのセルをクリア（ノートブックのツールバーの [クリア] ボタンを使用）したうえで、セルを 1 つずつ実行します。

4. メッセージが表示されたら、以下の手順に沿って進行状況を確認します。

さらに情報が必要な場合は、mlops-on-gcp/workshops/tfx-caip-tf23/lab-04-tfx-metadata/solutions に移動して lab-04.ipynb を開くことで、ソリューションの全体を見ることもできます。

タスク 4. クラウドでトレーニング ジョブを実行する

完了したタスクをテストする - Kubeflow パイプラインをコンパイルする

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 Kubeflow パイプラインをコンパイルする

完了したタスクをテストする - パイプライン パッケージを AI Platform Pipelines にデプロイする

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 パイプライン パッケージを AI Platform Pipelines にデプロイする

お疲れさまでした

このラボでは、TFX パイプライン ResolverNodes を使用して TFX のパイプライン実行によって作成された ML メタデータと ML アーティファクトについて説明しました。

ラボを終了する

ラボでの学習が完了したら、[ラボを終了] をクリックします。ラボで使用したリソースが Qwiklabs から削除され、アカウントの情報も消去されます。

ラボの評価を求めるダイアログが表示されたら、星の数を選択してコメントを入力し、[送信] をクリックします。

星の数は、それぞれ次の評価を表します。

• 星 1 つ = 非常に不満
• 星 2 つ = 不満
• 星 3 つ = どちらともいえない
• 星 4 つ = 満足
• 星 5 つ = 非常に満足

フィードバックを送信しない場合は、ダイアログ ボックスを閉じてください。

フィードバック、ご提案、修正が必要な箇所については、[サポート] タブからお知らせください。

Copyright 2020 Google LLC All rights reserved. Google および Google のロゴは Google LLC の商標です。その他すべての企業名および商品名はそれぞれ各社の商標または登録商標です。