概要

このラボでは、Colab Enterprise を使用して BigQuery に保存されているデータセットを分析するプロセスについて学びます。Colab Enterprise は、クエリを実行するため、およびさまざまな統計プロット手法でデータを表示するために使用します。この分析により、データのパターンを特定できます。

学習目標

• Colab Enterprise ノートブックを作成する
• BigQuery データセットに接続する
• Pandas DataFrame に対して統計分析を実行する
• Python による探索的データ分析のために seaborn グラフを作成する
• BigQuery データセットから特定のフィールドを取得する SQL クエリを作成する
• 変更履歴でコードの変更を確認する
• Colab Enterprise ノートブックを共有する

Vertex AI は、ML アプリケーションの構築、デプロイ、管理のための統合プラットフォームです。

Vertex AI Colab Enterprise は、コラボレーションに対応した強力なインタラクティブ ツールであり、Google Cloud 上でデータを探索、分析、変換、可視化するため、および ML モデルを構築するために作成されました。企業に必要なセキュリティとコンプライアンスの機能を備えており、Vertex AI や BigQuery などの他の Google Cloud サービスと統合して、データ サイエンスと ML のワークフローを強化します。

BigQuery は、大規模なデータセットを簡単に分析、管理するための、高性能なフルマネージド型サーバーレス データ ウェアハウスです。BigQuery では、馴染みのある標準 SQL 言語を使用するため、アナリストやデータ サイエンティストは、新たな言語を学ばなくても簡単に使用できます。

Vertex AI には、Workbench と Colab Enterprise の 2 つのノートブック ソリューションがあります。

Colab Enterprise

Colab Enterprise ワークスペースは、（1）ノートブック ストレージ、（2）ノートブック アクション、（3）ランタイムとランタイム テンプレート、（4）ノートブック エディタ、（5）ノートブック コードセルの 5 つの主要なセクションで構成されています（下の画像を参照）。ノートブック ストレージはノートブックの保存場所、ノートブック アクションはノートブックで実行できるアクション、ランタイムはノートブックを「実行」する場所、ノートブック エディタはノートブックを編集する場所、コードセルはコードを入力する場所です。

Qwiklabs 環境を設定する

Qwiklabs の設定

各ラボでは、新しい Google Cloud プロジェクトとリソースセットを一定時間無料で利用できます。

1. Qwiklabs にシークレット ウィンドウでログインします。

2. ラボのアクセス時間（例: 1:15:00）に注意し、時間内に完了できるようにしてください。
   一時停止機能はありません。必要な場合はやり直せますが、最初からになります。

3. 準備ができたら、[ラボを開始] をクリックします。

4. ラボの認証情報（ユーザー名とパスワード）をメモしておきます。この情報は、Google Cloud Console にログインする際に使用します。

5. [Google Console を開く] をクリックします。

6. [別のアカウントを使用] をクリックし、このラボの認証情報をコピーしてプロンプトに貼り付けます。
   他の認証情報を使用すると、エラーが発生したり、料金の請求が発生したりします。

7. 利用規約に同意し、再設定用のリソースページをスキップします。

タスク 1. 環境の設定

1. Vertex AI API を有効にする

Cloud コンソールの [Vertex AI] セクションに移動し、[すべての推奨 API を有効にする] をクリックします。

タスク 2. Colab Enterprise ノートブックを作成する

1. [Vertex AI] セクションで、ノートブックが表示されるまで下にスクロールします。[Colab Enterprise] をクリックします。

[Colab Enterprise へようこそ] ページが表示されます。

2. [リージョン] メニューで、ノートブックを作成するリージョンとして を選択します。

3. [クイック操作] セクションで [+ ノートブックを作成する] をクリックします。

新しいノートブックが開きます。

セルを実行するには、ランタイムを作成する必要があります。前に説明したように、ランタイムはランタイム テンプレートから派生したインスタンスであり、ユーザーが Colab ノートブックを実行するためのものです。ランタイムを作成するには、まずランタイム テンプレートを作成する必要があります。

4. [ランタイム テンプレート] をクリックします。[ランタイム テンプレート] ページで [+ 新しいテンプレート] をクリックします。

ランタイムの基本情報

これには 3 つのステップがあります。ステップ 2 とステップ 3 は省略可能です。

ステップ 1: ランタイムの基本情報を入力し、リージョンとして を選択します。

コンピューティングの構成

ステップ 2: コンピューティングを構成する（省略可）

ネットワークとセキュリティ

ステップ 3: ネットワークとセキュリティ（省略可）

[作成] をクリックします。

タスク 3. Colab Enterprise ノートブックでコードを実行する

この例では、「はじめに」の下のコードセルで、numpy を使用してランダムデータを生成し、matplotlib を使用して視覚化しています。

1. [Colab Enterprise] をクリックし、作成したノートブックをクリックします。

2. 以下のコードをコピーし、実行アイコンをクリックしてセルを実行します。

   import numpy as np from matplotlib import pyplot as plt ys = 200 + np.random.randn(100) x = [x for x in range(len(ys))] plt.plot(x, ys, '-') plt.fill_between(x, ys, 195, where=(ys > 195), facecolor='g', alpha=0.6) plt.title("Sample Visualization") plt.show()

セルを実行すると、ランタイムがアクティブで接続を開始していることを示すメッセージがポップアップ表示されます（下の画像を参照）。

3. [OAuth ポップアップを開く] の [開く] をクリックして、[ユーザー名] を選択し、[許可] をクリックします。

4. 実行したセルを確認します。セルが正常に実行された場合は、セルの横に緑色のチェックマークが表示されます。

5. 次に、コードを変更します。たとえば、プロットのタイトルを「Sample Visualization」から「Colab Enterprise」に変更します。その後、セルを実行します。

タスク 4. 変更履歴を表示する

ソフトウェア開発における最も重要な機能の一つは、変更履歴の追跡です。

1. ノートブックのストレージ セクションに移動します。作成したノートブックの横にあるその他アイコンをクリックします。

2. [変更履歴] を選択します（下の画像のふきだし 1 を参照）。

変更履歴を選択すると、変更内容が日付スタンプとともに横並びで表示され、「変更前」は赤、「変更後」は緑で色分けされます（ふきだし 2 を参照）。変更履歴には 3 つの表示方法（[元の形式のソース]、[インラインで差分を表示]、[出力を表示]）があります（ふきだし 3 を参照）。

タスク 5. セルにコードを追加する

ノートブックにコードまたはテキストを追加するには、ノートブック エディタの上にあるメニューバーで [コード] または [テキスト] をクリックします。

次に、ノートブックにいくつかのコードブロックを追加します。コードブロックをコピーしたら、コードを実行して出力を確認します。注 - 一部のセル（ライブラリのインポートなど）には出力がありません。すべて完了したら、ノートブックを共有します。

1. ノートブックのストレージ セクションに戻り、ノートブックをクリックします。
2. 最初のコードをもう一度実行します。
3. コードセルを追加します。
4. 次のコードを新しいセルにコピーします。

ライブラリをインポートする

import seaborn as sns import pandas as pd import numpy as np from google.cloud import bigquery bq = bigquery.Client()

5. 実行アイコンをクリックしてセルを実行します。

出力は表示されません。

以下のコードをセルとして挿入して、必要なモジュールをインポートし、BigQuery クライアントを初期化します。BigQuery クライアントは、BigQuery API からのメッセージの送受信に使用されます。

BigQuery クライアントをインポートする

client = bigquery.Client() query = """SELECT * FROM `bigquery-public-data.catalonian_mobile_coverage_eu.mobile_data_2015_2017` LIMIT 1000""" job = client.query(query) df = job.to_dataframe()

出力は表示されません。

BigQuery テーブルを Pandas Dataframe にダウンロードする

Google では、%%bigquery は、Jupyter ノートブックなどのインタラクティブな環境で BigQuery を操作するために使用するマジック コマンドです。つまり、%%bigquery の指示に従って環境が BigQuery モードに切り替わり、BigQuery クエリを受け入れて実行できるようになります。その後、BigQuery によってクエリが実行され、データが取得され、ノートブック環境内で表示されます。このデータは多くの場合、pandas DataFrame（コード内では「df」など）として表示されます。

%%bigquery df SELECT * FROM `bigquery-public-data.catalonian_mobile_coverage_eu.mobile_data_2015_2017`

出力:

Pandas DataFrame の最初の 5 行を表示する

df.head()

出力:

Pandas DataFrame に関する情報を取得する

df.info()

出力:

Pandas DataFrame の統計情報を取得する

df.describe()

出力:

seaborn を使用して相関関係をプロットする

numeric_df = df.select_dtypes(include=[np.number]) corr_matrix = numeric_df.corr() plt.figure(figsize=(10, 5)) sns.heatmap(corr_matrix, annot=True, vmin=0, vmax=1, cmap='viridis') plt.show()

出力:

BigQuery データセットから特定のフィールドを取得する SQL クエリを作成する

%%bigquery df2 SELECT signal, status FROM `bigquery-public-data.catalonian_mobile_coverage_eu.mobile_data_2015_2017`

出力:

新しいフィールドの最初の 5 行を取得する

df2.head()

出力:

タスク 6. ノートブックを共有する

次に、ノートブックを共有します。

1. ノートブックを右クリックして [共有] を選択すると、権限を共有するためのウィンドウが表示されます。このウィンドウでは、権限を編集または削除したり、[プリンシパルを追加] を選択して新しいアクセス権を付与したりできます。

2. また、プリンシパルにリソースへのアクセス権を付与する際には、ロールを追加して、プリンシパルが実行できるアクションを指定します。特定の条件が満たされた場合にのみプリンシパルにアクセス権を付与するよう、条件を追加することも可能です。

プリンシパルは、ユーザー、グループ、ドメイン、またはサービス アカウントです。ロールは一連の権限で構成され、このリソースでプリンシパルが実行できることを判別します。

お疲れさまでした

このラボでは、以下の操作について学習しました。

• Colab Enterprise ノートブックを作成する
• BigQuery データセットに接続する
• Pandas DataFrame に対して統計分析を実行する
• Python による探索的データ分析のために seaborn グラフを作成する
• BigQuery データセットから特定のフィールドを取得する SQL クエリを作成する
• 変更履歴でコードの変更を確認する
• Colab Enterprise ノートブックを共有する

ラボを終了する

ラボでの学習が完了したら、[ラボを終了] をクリックします。ラボで使用したリソースが Qwiklabs から削除され、アカウントの情報も消去されます。

ラボの評価を求めるダイアログが表示されたら、星の数を選択してコメントを入力し、[送信] をクリックします。

星の数は、それぞれ次の評価を表します。

• 星 1 つ = 非常に不満
• 星 2 つ = 不満
• 星 3 つ = どちらともいえない
• 星 4 つ = 満足
• 星 5 つ = 非常に満足

フィードバックを送信しない場合は、ダイアログ ボックスを閉じてください。

フィードバック、ご提案、修正が必要な箇所については、[サポート] タブからお知らせください。

マニュアルの最終更新日: 2024 年 12 月 11 日

ラボの最終テスト日: 2024 年 12 月 11 日

Copyright 2024 Google LLC All rights reserved. Google および Google のロゴは、Google LLC の商標です。その他すべての社名および製品名は、それぞれ該当する企業の商標である可能性があります。