Stefan Mettler
Date d'abonnement : 2023
Date d'abonnement : 2023
Cette quête Qwiklabs de niveau avancé est unique en son genre. Elle se compose d''ateliers pratiques qui permettent aux professionnels de l''informatique de se familiariser avec les sujets et les services au programme de la certification "Google Cloud Certified – Professional Data Engineer" . De BigQuery à Dataproc en passant par Tensorflow, cette quête mettra à l''épreuve vos connaissances sur l''ingénierie des données GCP. Même si les ateliers constituent une bonne base pour développer vos compétences, ils ne suffisent pas à réussir la quête. L''examen final étant assez difficile, nous vous recommandons d''avoir suivi une formation préalable ou de posséder de l''expérience en matière d''ingénierie des données cloud et de compléter votre apprentissage à l''aide d''autres ressources. Terminez cette quête, y compris le laboratoire de défi à la fin, pour recevoir un badge numérique exclusif de Google Cloud. Le laboratoire de défi ne fournit pas d'étapes normatives, mais nécessite la cré…
Aujourd'hui, le big data, le machine learning et l'intelligence artificielle sont des thèmes récurrents de l'informatique, mais ces domaines sont spécialisés, et il est ardu de dénicher du matériel de référence. Heureusement, GCP fournit des services conviviaux dans ces domaines, et Qwiklabs vous y forme dans cette quête introductive. Ainsi, vous pourrez faire vos premiers pas avec des outils tels que BigQuery, l'API Cloud Speech et Cloud ML Engine. Terminez cette quête, y compris le laboratoire de défi à la fin, pour recevoir un badge numérique exclusif de Google Cloud. Des vidéos d'une minute résument les concepts clés de chaque atelier.
In the last installment of the Dataflow course series, we will introduce the components of the Dataflow operational model. We will examine tools and techniques for troubleshooting and optimizing pipeline performance. We will then review testing, deployment, and reliability best practices for Dataflow pipelines. We will conclude with a review of Templates, which makes it easy to scale Dataflow pipelines to organizations with hundreds of users. These lessons will help ensure that your data platform is stable and resilient to unanticipated circumstances.
In this second installment of the Dataflow course series, we are going to be diving deeper on developing pipelines using the Beam SDK. We start with a review of Apache Beam concepts. Next, we discuss processing streaming data using windows, watermarks and triggers. We then cover options for sources and sinks in your pipelines, schemas to express your structured data, and how to do stateful transformations using State and Timer APIs. We move onto reviewing best practices that help maximize your pipeline performance. Towards the end of the course, we introduce SQL and Dataframes to represent your business logic in Beam and how to iteratively develop pipelines using Beam notebooks.
This course is part 1 of a 3-course series on Serverless Data Processing with Dataflow. In this first course, we start with a refresher of what Apache Beam is and its relationship with Dataflow. Next, we talk about the Apache Beam vision and the benefits of the Beam Portability framework. The Beam Portability framework achieves the vision that a developer can use their favorite programming language with their preferred execution backend. We then show you how Dataflow allows you to separate compute and storage while saving money, and how identity, access, and management tools interact with your Dataflow pipelines. Lastly, we look at how to implement the right security model for your use case on Dataflow.
En intégrant le machine learning à des pipelines de données, les entreprises peuvent dégager davantage d'insights de leurs données. Ce cours passera en revue plusieurs façons d'intégrer le machine learning à des pipelines de données sur Google Cloud, selon le niveau de personnalisation requis. Vous découvrirez AutoML pour les cas ne nécessitant que peu de personnalisation (voire aucune), ainsi que Notebooks et BigQuery ML pour les situations qui requièrent des capacités de machine learning plus adaptées. Enfin, vous apprendrez à utiliser des solutions de machine learning en production avec Kubeflow. Les participants mettront en pratique les connaissances qu'ils auront acquises en créant des modèles de machine learning sur Google Cloud à l'aide de Qwiklabs.
Traiter des flux de données est une pratique de plus en plus populaire, car ceux-ci permettent aux entreprises d'obtenir des métriques sur leurs activités commerciales en temps réel. Ce cours explique comment créer des pipelines de flux de données sur Google Cloud et présente Pub/Sub, une solution qui permet de gérer des données de flux entrants. Par ailleurs, vous verrez comment appliquer des agrégations et des transformations à des flux de données à l'aide de Dataflow, mais aussi comment stocker des enregistrements traités dans BigQuery ou Cloud Bigtable pour qu'ils puissent être analysés. Les participants mettront en pratique les connaissances qu'ils auront acquises en créant des composants de pipelines de flux de données sur Google Cloud à l'aide de Qwiklabs.
Les pipelines de données s'inscrivent généralement dans le paradigme EL (extraction et chargement), ELT (extraction, chargement et transformation) ou ETL (extraction, transformation et chargement). Ce cours vous indiquera quel paradigme utiliser pour le traitement de données par lot en fonction du contexte. Il vous présentera également plusieurs solutions Google Cloud de transformation des données, y compris BigQuery, l'exécution de Spark sur Dataproc, les graphiques de pipelines dans Cloud Data Fusion et le traitement des données sans serveur avec Dataflow. Les participants mettront en pratique les connaissances qu'ils auront acquises en créant des composants de pipelines de données sur Google Cloud à l'aide de Qwiklabs.
Les lacs de données et les entrepôts de données sont les deux principaux composants des pipelines de données. Ce cours présente des cas d'utilisation de chaque type de stockage, ainsi que les détails techniques des solutions de lacs et d'entrepôts de données disponibles sur Google Cloud. Il décrit également le rôle des ingénieurs de données et les avantages d'un pipeline de données réussi sur les opérations commerciales, avant d'expliquer pourquoi il est important de procéder à l'ingénierie des données dans un environnement cloud. Il s'agit du premier cours de la série "Data Engineering on Google Cloud". Après l'avoir terminé, inscrivez-vous au cours Building Batch Data Pipelines on Google Cloud.
Ce cours présente les produits et services Google Cloud pour le big data et le machine learning compatibles avec le cycle de vie "des données à l'IA". Il explore les processus, défis et avantages liés à la création d'un pipeline de big data et de modèles de machine learning avec Vertex AI sur Google Cloud.
This course helps learners create a study plan for the PDE (Professional Data Engineer) certification exam. Learners explore the breadth and scope of the domains covered in the exam. Learners assess their exam readiness and create their individual study plan.