参加 ログイン

Mettler Stefan

メンバー加入日: 2023

ダイヤモンド リーグ

24715 ポイント
Engineer Data for Predictive Modeling with BigQuery ML のバッジ Engineer Data for Predictive Modeling with BigQuery ML Earned 2月 4, 2024 EST
Prepare Data for ML APIs on Google Cloud のバッジ Prepare Data for ML APIs on Google Cloud Earned 2月 4, 2024 EST
Serverless Data Processing with Dataflow: Operations - 日本語版 のバッジ Serverless Data Processing with Dataflow: Operations - 日本語版 Earned 11月 25, 2023 EST
Serverless Data Processing with Dataflow: Developing Pipelines - 日本語版 のバッジ Serverless Data Processing with Dataflow: Developing Pipelines - 日本語版 Earned 11月 15, 2023 EST
Serverless Data Processing with Dataflow: Foundations - 日本語版 のバッジ Serverless Data Processing with Dataflow: Foundations - 日本語版 Earned 11月 10, 2023 EST
Smart Analytics, Machine Learning, and AI on Google Cloud - 日本語版 のバッジ Smart Analytics, Machine Learning, and AI on Google Cloud - 日本語版 Earned 11月 6, 2023 EST
Building Resilient Streaming Analytics Systems on Google Cloud - 日本語版 のバッジ Building Resilient Streaming Analytics Systems on Google Cloud - 日本語版 Earned 11月 4, 2023 EDT
Building Batch Data Pipelines on Google Cloud - 日本語版 のバッジ Building Batch Data Pipelines on Google Cloud - 日本語版 Earned 9月 29, 2023 EDT
Modernizing Data Lakes and Data Warehouses with Google Cloud - 日本語版 のバッジ Modernizing Data Lakes and Data Warehouses with Google Cloud - 日本語版 Earned 9月 27, 2023 EDT
Google Cloud Big Data and Machine Learning Fundamentals - 日本語版 のバッジ Google Cloud Big Data and Machine Learning Fundamentals - 日本語版 Earned 9月 27, 2023 EDT
Preparing for Your Professional Data Engineer Journey - 日本語版 のバッジ Preparing for Your Professional Data Engineer Journey - 日本語版 Earned 9月 25, 2023 EDT

Complete the intermediate Engineer Data for Predictive Modeling with BigQuery ML skill badge to demonstrate skills in the following: building data transformation pipelines to BigQuery using Dataprep by Trifacta; using Cloud Storage, Dataflow, and BigQuery to build extract, transform, and load (ETL) workflows; building machine learning models using BigQuery ML; and using Cloud Composer to copy data across multiple locations. A skill badge is an exclusive digital badge issued by Google Cloud in recognition of your proficiency with Google Cloud products and services and tests your ability to apply your knowledge in an interactive hands-on environment. Complete the skill badge course, and final assessment challenge lab, to receive a digital badge that you can share with your network.

詳細

Complete the introductory Prepare Data for ML APIs on Google Cloud skill badge to demonstrate skills in the following: cleaning data with Dataprep by Trifacta, running data pipelines in Dataflow, creating clusters and running Apache Spark jobs in Dataproc, and calling ML APIs including the Cloud Natural Language API, Google Cloud Speech-to-Text API, and Video Intelligence API. A skill badge is an exclusive digital badge issued by Google Cloud in recognition of your proficiency with Google Cloud products and services and tests your ability to apply your knowledge in an interactive hands-on environment. Complete this skill badge course, and the final assessment challenge lab, to receive a skill badge that you can share with your network.

詳細

Dataflow シリーズの最後のコースでは、Dataflow 運用モデルのコンポーネントを紹介します。パイプラインのパフォーマンスのトラブルシューティングと最適化に役立つツールと手法を検証した後で、Dataflow パイプラインのテスト、デプロイ、信頼性に関するベスト プラクティスについて確認します。最後に、数百人のユーザーがいる組織に対して Dataflow パイプラインを簡単に拡張するためのテンプレートについても確認します。これらの内容を習得することで、データ プラットフォームの安定性を保ち、予期せぬ状況に対する回復力を確保できるようになります。

詳細

Dataflow コースシリーズの 2 回目である今回は、Beam SDK を使用したパイプラインの開発について詳しく説明します。まず、Apache Beam のコンセプトについて復習します。次に、ウィンドウ、ウォーターマーク、トリガーを使用したストリーミング データの処理について説明します。さらに、パイプラインのソースとシンクのオプション、構造化データを表現するためのスキーマ、State API と Timer API を使用してステートフル変換を行う方法について説明します。続いて、パイプラインのパフォーマンスを最大化するためのベスト プラクティスを再確認します。コースの終盤では、Beam でビジネス ロジックを表現するための SQL と DataFrame、および Beam ノートブックを使用してパイプラインを反復的に開発する方法を説明します。

詳細

このコースは、Dataflow を使用したサーバーレスのデータ処理に関する 3 コースシリーズのパート 1 です。この最初のコースでは、始めに Apache Beam とは何か、そして Dataflow とどのように関係しているかを復習します。次に、Apache Beam のビジョンと Beam Portability フレームワークの利点について説明します。Beam Portability フレームワークによって、デベロッパーが好みのプログラミング言語と実行バックエンドを使用できるビジョンが実現します。続いて、Dataflow によってどのように費用を節約しながらコンピューティングとストレージを分離できるか、そして識別ツール、アクセスツール、管理ツールがどのように Dataflow パイプラインと相互に機能するかを紹介します。最後に、Dataflow でそれぞれのユースケースに合った適切なセキュリティ モデルを実装する方法について学習します。

詳細

機械学習をデータ パイプラインに組み込むと、企業がデータから分析情報を抽出する能力を向上できます。このコースでは、必要なカスタマイズのレベルに応じて Google Cloud でデータ パイプラインに機械学習を含める複数の方法について説明します。カスタマイズをまったくしないか、またはほとんどしない場合については、AutoML を紹介します。よりカスタマイズされた機械学習機能については、Notebooks と BigQuery の機械学習（BigQuery ML）を紹介します。また、Kubeflow を使用して機械学習ソリューションを本番環境に導入する方法も説明します。受講者には、QwikLabs を使って、Google Cloud で機械学習モデルを構築する実習を行っていただきます。

詳細

ストリーミングによって企業が事業運営に関するリアルタイムの指標を取得できるようになり、ストリーミング データの処理を行う機会が増えてきました。このコースでは、Google Cloud でストリーミング データ パイプラインを構築する方法について学習します。受信ストリーミング データの処理のための Pub/Sub について説明します。また、このコースでは、Dataflow を使用してストリーミング データを集計または変換する方法、処理済みのレコードを分析用に BigQuery や Cloud Bigtable に保存する方法についても説明します。そして、Qwiklabs を使用して Google Cloud でストリーミング データ パイプラインのコンポーネントを構築する実践演習を行います。

詳細

通常、データ パイプラインは、「抽出、読み込み」、「抽出、読み込み、変換」、「抽出、変換、読み込み」のいずれかの枠組みに分類できます。このコースでは、バッチデータではどの枠組みを、どのような場合に使用するのかについて説明します。本コースではさらに、BigQuery、Dataproc 上での Spark の実行、Cloud Data Fusion のパイプラインのグラフ、Dataflow でのサーバーレスのデータ処理など、データ変換用の複数の Google Cloud テクノロジーについて説明します。受講者には、Qwiklabs を使用して Google Cloud でデータ パイプラインのコンポーネントを構築する実践演習を行っていただきます。

詳細

すべてのデータ パイプラインには、データレイクとデータ ウェアハウスという 2 つの主要コンポーネントがあります。このコースでは、各ストレージ タイプのユースケースを紹介し、Google Cloud で利用可能なデータレイクとデータ ウェアハウスのソリューションを技術的に詳しく説明します。また、データ エンジニアの役割や、効果的なデータ パイプラインが事業運営にもたらすメリットについて確認し、クラウド環境でデータ エンジニアリングを行うべき理由を説明します。 これは「Data Engineering on Google Cloud」シリーズの最初のコースです。このコースを修了したら、「Building Batch Data Pipelines on Google Cloud」コースに登録してください。

詳細

このコースでは、データから AI へのライフサイクルをサポートする Google Cloud のビッグデータと ML のプロダクトやサービスを紹介します。また、Google Cloud で Vertex AI を使用してビッグデータ パイプラインと ML モデルを作成する際のプロセス、課題、メリットについて説明します。

詳細

このコースでは、Professional Data Engineer（PDE）認定資格試験に向けた学習計画を作成できます。学習者は、試験の範囲を把握できます。また、試験への準備状況を把握して、個々の学習計画を作成します。

詳細