Dataplex を使用したデータメッシュの構築

コース · 5時間 30分

< 1%

完了

700 以上のラボとコースにアクセス

Dataplex を使用したデータメッシュの構築: チャレンジラボ

ラボ 1時間 30分 universal_currency_alt クレジット: 1 show_chart 入門

info このラボでは、学習をサポートする AI ツールが組み込まれている場合があります。

GSP514
概要
設定と要件
チャレンジシナリオ
タスク 1. 2 つのゾーンと 2 つのアセットを含む Dataplex レイクを作成する
タスク 2. タグテンプレートを作成してゾーンに適用する
タスク 3. Dataplex IAM ロールを別のユーザーに割り当てる
タスク 4. データ品質仕様ファイルを作成して Cloud Storage にアップロードする
タスク 5. Dataplex でデータ品質ジョブを定義して実行する
お疲れさまでした

700 以上のラボとコースにアクセス

GSP514

概要

チャレンジラボでは、シナリオと一連のタスクが提供されます。手順ガイドに沿って進める形式ではなく、コース内のラボで習得したスキルを駆使して、ご自身でタスクを完了していただきます。タスクが適切に完了したかどうかは、このページに表示される自動スコアリングシステムで確認できます。

チャレンジラボは、Google Cloud の新しいコンセプトについて学習するためのものではありません。デフォルト値を変更する、エラーメッセージを読み調査を行ってミスを修正するなど、習得したスキルを応用する能力が求められます。

100% のスコアを達成するには、制限時間内に全タスクを完了する必要があります。

このラボは、「Dataplex を使用したデータメッシュの構築」スキルバッジコースに登録している受講者を対象としています。準備が整ったらチャレンジを開始しましょう。

設定と要件

[ラボを開始] ボタンをクリックする前に

こちらの説明をお読みください。ラボには時間制限があり、一時停止することはできません。タイマーは、Google Cloud のリソースを利用できる時間を示しており、[ラボを開始] をクリックするとスタートします。

このハンズオンラボでは、シミュレーションやデモ環境ではなく実際のクラウド環境を使って、ラボのアクティビティを行います。そのため、ラボの受講中に Google Cloud にログインおよびアクセスするための、新しい一時的な認証情報が提供されます。

このラボを完了するためには、下記が必要です。

標準的なインターネットブラウザ（Chrome を推奨）

注: このラボの実行には、シークレットモード（推奨）またはシークレットブラウジングウィンドウを使用してください。これにより、個人アカウントと受講者アカウント間の競合を防ぎ、個人アカウントに追加料金が発生しないようにすることができます。

ラボを完了するための時間（開始後は一時停止できません）

注: このラボでは、受講者アカウントのみを使用してください。別の Google Cloud アカウントを使用すると、そのアカウントに料金が発生する可能性があります。

チャレンジシナリオ

あなたは、新たにジュニアデータエンジニアの職務についたところです。各チームが Dataplex のアセットを作成して管理できるようサポートしており、

これらのタスクのスキルや知識がすでにあると想定されています。

チャレンジ

あなたに任務が与えられました。それは、新たに結成された開発チームが Dataplex を使用して新しいデータメッシュを構築できるようサポートすることです。そのためには、複数のゾーンとアセットを含む Dataplex レイクを作成するほか、新しいレイク内のアセットにタグを付け、データ品質を評価する必要があります。具体的には、次のタスクを行うよう依頼されています。

2 つのゾーンと 2 つのアセットを含む Dataplex レイクを作成する。
タグテンプレートを作成して適用し、ゾーン全体を保護対象データとしてタグ付けする。
Dataplex IAM ロールを別のユーザーに割り当てる。
データ品質仕様ファイルを作成して Cloud Storage にアップロードする。
Dataplex でデータ品質ジョブを定義して実行する。

以下のような基準に従う必要があります。

必要な API（Dataplex、Data Catalog、Dataproc など）が正常に有効になっていること。
特別な指示がない限り、すべてのリソースをリージョンに作成すること。

それぞれのタスクについて以下に詳しく説明します。それでは始めましょう。

タスク 1. 2 つのゾーンと 2 つのアセットを含む Dataplex レイクを作成する

注: このチャレンジラボのすべてのタスクでは、特別な指示がない限り、リソースをリージョンに作成します。

このラボでは、ステップ 2 の Cloud Storage バケットと BigQuery データセットは事前に作成済みです。

次の 2 つのリージョンゾーンを持つ Sales Lake という名前の Dataplex レイクを作成します。

Raw Customer Zone という名前の未加工データ用ゾーン
Curated Customer Zone という名前のキュレート済みデータ用ゾーン

各ゾーンに、事前に作成されたアセットを 1 つずつ関連付けます。

未加工データ用ゾーンには、-customer-online-sessions という Cloud Storage バケットを Customer Engagements という新しいアセットとして関連付けます。
キュレート済みデータ用ゾーンには、.customer_orders という BigQuery データセットを Customer Orders という新しいアセットとして関連付けます。

Dataplex レイクを作成する際のヒントについては、

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 2 つのゾーンと 2 つのアセットを含む Dataplex レイクを作成する

タスク 2. タグテンプレートを作成してゾーンに適用する

次の 2 つの列挙型フィールドを含む、Protected Customer Data Template という名前の公開タグテンプレートを作成します。

最初のフィールド: Raw Data Flag（Yes と No の 2 つの値）
2 番目のフィールド: Protected Contact Information Flag（Yes と No の 2 つの値）

このテンプレートを使用して、両方のフラグに値 Yes を設定して Raw Customer Zone にタグを付けます。

タグテンプレートの作成と適用に関するヒントについては、

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。タグテンプレートを作成してゾーンに適用する

タスク 3. Dataplex IAM ロールを別のユーザーに割り当てる

最小権限の原則を使用して、適切な Dataplex IAM ロールをユーザー 2（）に割り当てます。これにより、ユーザー 2 は新しい Cloud Storage ファイルを Customer Engagements という名前の Dataplex アセットにアップロードできるようになります。

Dataplex IAM ロールを割り当てる際のヒントについては、

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 Dataplex IAM ロールを別のユーザーに割り当てる

タスク 4. データ品質仕様ファイルを作成して Cloud Storage にアップロードする

このラボでは、ステップ 2 の Cloud Storage バケットは事前に作成済みです。

dq-customer-orders.yaml という名前のデータ品質仕様ファイルを次の仕様で作成します。

NOT NULL ルールを customer_orders.ordered_items テーブルの user_id 列に適用
NOT NULL ルールを customer_orders.ordered_items テーブルの order_id 列に適用

このファイルを -dq-config という名前の Cloud Storage バケットにアップロードします。

データ品質仕様ファイルを作成する際のヒントについては、

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。データ品質仕様ファイルを作成してアップロードする

タスク 5. Dataplex でデータ品質ジョブを定義して実行する

このラボでは、ステップ 1 の BigQuery データセットは事前に作成済みです。

次の仕様で、dq-customer-orders.yaml ファイルを使用してデータ品質ジョブを定義します。

プロパティ	値
データ品質ジョブ名	Customer Orders Data Quality Job
結果保存用の BigQuery 宛先テーブル	.orders_dq_dataset.results
ユーザーサービスアカウント	Compute Engine のデフォルトのサービスアカウント

データ品質ジョブを直ちに実行します。

ジョブの実行には数分かかることがあり、正常に実行されたことを確認するためにページの更新が必要になる場合があります。

データ品質ジョブの定義と実行に関するヒントについては、

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 Dataplex でデータ品質ジョブを定義して実行する

お疲れさまでした

このラボでは、複数のゾーンとアセットを含む Dataplex レイクを作成し、その新しいレイク内のアセットにタグを付け、データ品質を評価することによって、データメッシュを構築しました。

次のスキルバッジを獲得する

このセルフペースラボは、「Dataplex を使用したデータメッシュの構築」スキルバッジコースの一部です。完了すると成果が認められて上のようなバッジが贈られます。獲得したバッジを履歴書やソーシャルプラットフォームで共有し、#GoogleCloudBadge を使用して成果を公表しましょう。

このスキルバッジコースは、Google Cloud のデータエンジニア向け学習プログラムの一部です。この学習プログラムの他のスキルバッジを獲得済みの場合は、他の登録可能なスキルバッジコースをカタログから検索してみてください。

Google Cloud トレーニングと認定資格

Google Cloud トレーニングと認定資格を通して、Google Cloud 技術を最大限に活用できるようになります。必要な技術スキルとベストプラクティスについて取り扱うクラスでは、学習を継続的に進めることができます。トレーニングは基礎レベルから上級レベルまであり、オンデマンド、ライブ、バーチャル参加など、多忙なスケジュールにも対応できるオプションが用意されています。認定資格を取得することで、Google Cloud テクノロジーに関するスキルと知識を証明できます。

マニュアルの最終更新日: 2024 年 11 月 18 日

ラボの最終テスト日: 2024 年 7 月 23 日