GSP1144

概要

Dataplex は、組織がデータレイク、データ ウェアハウス、データマートに分散したデータを一元的に検出、管理、モニタリング、統制し、大規模に分析できるように支援するインテリジェントなデータ ファブリックです。具体的には、Dataplex を使用してデータメッシュ アーキテクチャを構築できます。データメッシュ アーキテクチャとは、ドメインデータ所有者間でデータ所有権を分散する組織的および技術的なアプローチです。

Dataplex は、データの移動や複製を必要としない方法でデータを管理します。新しいデータアセットが追加されると、Dataplex は構造化データと非構造化データの両方のメタデータを収集し、すべてのメタデータをセキュリティが確保され、統合された metastore に自動的に登録します。その後、データおよびメタデータは Data Catalog や BigQuery などの Google Cloud サービスを通じて評価できます。

このラボでは、コマンドラインを使用して Dataplex でレイク、ゾーン、アセットを作成および削除することで、独自のデータメッシュの構築を開始する方法を学習します。

演習内容

• Dataplex API を有効にする
• レイクを作成する
• ゾーンをレイクに追加する
• アセットをアタッチおよび切断する
• ゾーンとレイクを削除する

設定と要件

[ラボを開始] ボタンをクリックする前に

こちらの説明をお読みください。ラボには時間制限があり、一時停止することはできません。タイマーは、Google Cloud のリソースを利用できる時間を示しており、[ラボを開始] をクリックするとスタートします。

このハンズオンラボでは、シミュレーションやデモ環境ではなく実際のクラウド環境を使って、ラボのアクティビティを行います。そのため、ラボの受講中に Google Cloud にログインおよびアクセスするための、新しい一時的な認証情報が提供されます。

このラボを完了するためには、下記が必要です。

• 標準的なインターネット ブラウザ（Chrome を推奨）

注: このラボの実行には、シークレット モード（推奨）またはシークレット ブラウジング ウィンドウを使用してください。これにより、個人アカウントと受講者アカウント間の競合を防ぎ、個人アカウントに追加料金が発生しないようにすることができます。

• ラボを完了するための時間（開始後は一時停止できません）

注: このラボでは、受講者アカウントのみを使用してください。別の Google Cloud アカウントを使用すると、そのアカウントに料金が発生する可能性があります。

ラボを開始して Google Cloud コンソールにログインする方法

1. [ラボを開始] ボタンをクリックします。ラボの料金をお支払いいただく必要がある場合は、表示されるダイアログでお支払い方法を選択してください。 左側の [ラボの詳細] ペインには、以下が表示されます。

   • [Google Cloud コンソールを開く] ボタン
   • 残り時間
   • このラボで使用する必要がある一時的な認証情報
   • このラボを行うために必要なその他の情報（ある場合）

2. [Google Cloud コンソールを開く] をクリックします（Chrome ブラウザを使用している場合は、右クリックして [シークレット ウィンドウで開く] を選択します）。

   ラボでリソースがスピンアップし、別のタブで [ログイン] ページが表示されます。

   ヒント: タブをそれぞれ別のウィンドウで開き、並べて表示しておきましょう。

   注: [アカウントの選択] ダイアログが表示されたら、[別のアカウントを使用] をクリックします。

3. 必要に応じて、下のユーザー名をコピーして、[ログイン] ダイアログに貼り付けます。

   {{{user_0.username | "Username"}}}

   [ラボの詳細] ペインでもユーザー名を確認できます。

4. [次へ] をクリックします。

5. 以下のパスワードをコピーして、[ようこそ] ダイアログに貼り付けます。

   {{{user_0.password | "Password"}}}

   [ラボの詳細] ペインでもパスワードを確認できます。

6. [次へ] をクリックします。

   重要: ラボで提供された認証情報を使用する必要があります。Google Cloud アカウントの認証情報は使用しないでください。 注: このラボでご自身の Google Cloud アカウントを使用すると、追加料金が発生する場合があります。

7. その後次のように進みます。

   • 利用規約に同意してください。
   • 一時的なアカウントなので、復元オプションや 2 要素認証プロセスは設定しないでください。
   • 無料トライアルには登録しないでください。

その後、このタブで Google Cloud コンソールが開きます。

注: Google Cloud のプロダクトやサービスにアクセスするには、ナビゲーション メニューをクリックするか、[検索] フィールドにサービス名またはプロダクト名を入力します。

Cloud Shell をアクティブにする

Cloud Shell は、開発ツールと一緒に読み込まれる仮想マシンです。5 GB の永続ホーム ディレクトリが用意されており、Google Cloud で稼働します。Cloud Shell を使用すると、コマンドラインで Google Cloud リソースにアクセスできます。

1. Google Cloud コンソールの上部にある「Cloud Shell をアクティブにする」アイコン をクリックします。

2. ウィンドウで次の操作を行います。

   • Cloud Shell 情報ウィンドウで操作を進めます。
   • Cloud Shell が認証情報を使用して Google Cloud API を呼び出すことを承認します。

接続した時点で認証が完了しており、プロジェクトに各自の Project_ID、 が設定されます。出力には、このセッションの PROJECT_ID を宣言する次の行が含まれています。

Your Cloud Platform project in this session is set to {{{project_0.project_id | "PROJECT_ID"}}}

gcloud は Google Cloud のコマンドライン ツールです。このツールは、Cloud Shell にプリインストールされており、タブ補完がサポートされています。

3. （省略可）次のコマンドを使用すると、有効なアカウント名を一覧表示できます。

gcloud auth list

4. [承認] をクリックします。

出力:

ACTIVE: * ACCOUNT: {{{user_0.username | "ACCOUNT"}}} To set the active account, run: $ gcloud config set account `ACCOUNT`

5. （省略可）次のコマンドを使用すると、プロジェクト ID を一覧表示できます。

gcloud config list project

出力:

[core] project = {{{project_0.project_id | "PROJECT_ID"}}} 注: Google Cloud における gcloud ドキュメントの全文については、gcloud CLI の概要ガイドをご覧ください。

Dataplex API を有効にして変数を設定する

1. Cloud Shell で次のコマンドを実行して、Dataplex API を有効にします。

gcloud services enable \ dataplex.googleapis.com

2. 次のコマンドを実行して、プロジェクト ID の変数を作成します。

export PROJECT_ID=$(gcloud config get-value project)

3. 次のコマンドを実行して、リージョンの変数を作成します。

export REGION={{{project_0.default_region | "filled in at lab start"}}} gcloud config set compute/region $REGION

タスク 1. レイクを作成する

Dataplex において、レイクは特定のデータ領域やビジネス ユニットを表す、最上位の組織ドメインです。たとえば、組織内の部門やデータドメインごとにレイクを作成できるため、特定のユーザー グループに対してデータを整理して提供できます。

このタスクでは、コマンドラインを使用してレイクを作成し、データメッシュの構築を開始します。

• Cloud Shell で次のコマンドを実行して、Ecommerce という新しいレイクを作成します。

gcloud dataplex lakes create ecommerce \ --location=$REGION \ --display-name="Ecommerce" \ --description="Ecommerce Domain"

レイクが作成されるまで 3 分ほどかかる場合があります。

ステータス コード: 403. Permission 'dataplex.lakes.create' denied というエラーが表示された場合は、数分待ってからもう一度試してください。前の「設定」セクションで Dataplex API を有効にしてから権限が付与されるまでに時間がかかる場合があります。

最終的な出力は次のようになります。

Created [ecommerce] Lake created in [projects/$PROJECT_ID/locations/$REGION]. Dataplex レイクを作成する

タスク 2. ゾーンをレイクに追加する

レイクを作成すると、ゾーンをレイクに追加できるようになります。ゾーンはレイク内のサブドメインです。ゾーンを使用するとデータをより細かく分類できます。たとえば、ステージ、使用状況、制限ごとにデータを分類できます。

ゾーンには次の 2 種類があります。

• 未加工データ用ゾーン: 未加工の形式のデータ（Cloud Storage バケット内のファイルなど）が含まれます。なお、厳格な型チェックの対象にはなりません。
• キュレート済みデータ用ゾーン: クリーンアップおよびフォーマットされ、分析の準備が整っているデータ（BigQuery データセットなど）が含まれます。

このタスクでは、コマンドラインを使用して、BigQuery データセットを操作するためのキュレート済みデータ用ゾーンを作成します。

• Cloud Shell で次のコマンドを実行して、メタデータ検出が有効な Orders Curated Zone という名前の新しいキュレート済みデータ用ゾーンを作成します。

gcloud dataplex zones create orders-curated-zone \ --location=$REGION \ --lake=ecommerce \ --display-name="Orders Curated Zone" \ --resource-location-type=SINGLE_REGION \ --type=CURATED \ --discovery-enabled \ --discovery-schedule="0 * * * *"

ゾーンが作成されるまで 2 分ほどかかる場合があります。

最終的な出力は次のようになります。

Created [orders-curated-zone] Zone created in [projects/$PROJECT_ID/locations/$REGION/lakes/ecommerce]. ゾーンをレイクに追加する

タスク 3. アセットをゾーンにアタッチする

Cloud Storage バケットまたは BigQuery データセットに保存されたデータは、アセットとして Dataplex レイク内のゾーンにアタッチできます。

このタスクでは、コマンドラインを使用して BigQuery データセットを作成し、そのデータセットを前に作成したゾーンにアタッチします。

BigQuery データセットを作成する

• Cloud Shell で次のコマンドを実行して、orders という名前の新しい BigQuery データセットを作成します。

bq mk --location=$REGION --dataset orders

このデータセットはテーブルやデータを含んでいませんが、すぐにゾーンにアタッチできます。そして、新しく作成したテーブルや読み込んだデータは自動的にこのゾーンに統合されます。

最終的な出力は次のようになります。

Dataset '$PROJECT_ID:orders' successfully created.

BigQuery データセットをゾーンにアタッチする

• Cloud Shell で次のコマンドを実行して、メタデータ検出を有効にした状態で、Orders Curated Data というアセットとして BigQuery データセットをゾーンにアタッチします。

gcloud dataplex assets create orders-curated-dataset \ --location=$REGION \ --lake=ecommerce \ --zone=orders-curated-zone \ --display-name="Orders Curated Dataset" \ --resource-type=BIGQUERY_DATASET \ --resource-name=projects/$PROJECT_ID/datasets/orders \ --discovery-enabled

アセットが作成されるまで 2 分ほどかかる場合があります。

最終的な出力は次のようになります。

Created [orders-curated-dataset] Asset created in [projects/$PROJECT_ID/locations/$REGION/lakes/ecommerce/zones/orders-curated-zone]. アセットをゾーンにアタッチする

タスク 4. アセット、ゾーン、レイクを削除する

レイクを削除するには、まずアセットを切断してからゾーンを削除する必要があります。

このタスクでは、コマンドラインを使用して、ゾーンからアセットを切断し、次にゾーンを削除して、最後にレイクを削除します。

アセットを切断する

• Cloud Shell で次のコマンドを実行して、BigQuery データセットをゾーンから切断します。

gcloud dataplex assets delete orders-curated-dataset --location=$REGION --zone=orders-curated-zone --lake=ecommerce

確認するメッセージが表示されたら、「Y」と入力します。

このアクションにより、BigQuery データセット内の基盤となるデータが削除されます。これは、Dataplex のレイクを使用して、BigQuery データセットをアクセス不可または検出不可にするだけです。

最終的な出力は次のようになります。

Deleted asset [orders-curated-dataset].

ゾーンを削除する

• Cloud Shell で次のコマンドを実行して、ゾーンを削除します。

gcloud dataplex zones delete orders-curated-zone --location=$REGION --lake=ecommerce

確認するメッセージが表示されたら、「Y」と入力します。

最終的な出力は次のようになります。

Deleted zone [orders-curated-zone].

レイクを削除する

• Cloud Shell で次のコマンドを実行して、レイクを削除します。

gcloud dataplex lakes delete ecommerce --location=$REGION

確認するメッセージが表示されたら、「Y」と入力します。

最終的な出力は次のようになります。

Deleted lake [ecommerce]. アセット、ゾーン、Dataplex レイクを削除する

お疲れさまでした

コマンドラインを使用して、Dataplex でレイク、ゾーン、アセットを作成および削除しました。

Google Cloud トレーニングと認定資格

Google Cloud トレーニングと認定資格を通して、Google Cloud 技術を最大限に活用できるようになります。必要な技術スキルとベスト プラクティスについて取り扱うクラスでは、学習を継続的に進めることができます。トレーニングは基礎レベルから上級レベルまであり、オンデマンド、ライブ、バーチャル参加など、多忙なスケジュールにも対応できるオプションが用意されています。認定資格を取得することで、Google Cloud テクノロジーに関するスキルと知識を証明できます。

マニュアルの最終更新日: 2025 年 4 月 23 日

ラボの最終テスト日: 2025 年 4 月 23 日

Copyright 2025 Google LLC. All rights reserved. Google および Google のロゴは Google LLC の商標です。その他すべての企業名および商品名はそれぞれ各社の商標または登録商標です。