Ana Katherine Cortes Sobrino
Date d'abonnement : 2022
Ligue de bronze
800 points
Date d'abonnement : 2022
Ce cours est le premier d'une série en trois volets sur le traitement des données sans serveur avec Dataflow. Dans ce premier cours, nous allons commencer par rappeler ce qu'est Apache Beam et sa relation avec Dataflow. Ensuite, nous aborderons la vision d'Apache Beam et les avantages de son framework de portabilité, qui permet aux développeurs d'utiliser le langage de programmation et le backend d'exécution de leur choix. Nous vous montrerons aussi comment séparer le calcul du stockage et économiser de l'argent grâce à Dataflow, puis nous examinerons les interactions entre les outils de gestion de l'identification et des accès avec vos pipelines Dataflow. Enfin, nous verrons comment implémenter le modèle de sécurité adapté à votre cas d'utilisation sur Dataflow.
Intégrer le machine learning à des pipelines de données renforce la capacité à dégager des insights des données. Ce cours passera en revue plusieurs façons d'intégrer le machine learning à des pipelines de données sur Google Cloud. Vous découvrirez AutoML pour les cas ne nécessitant que peu de personnalisation (voire aucune), ainsi que Notebooks et BigQuery ML pour les situations qui requièrent des capacités de machine learning plus adaptées. Enfin, vous apprendrez à utiliser des solutions de machine learning en production avec Vertex AI.
Le traitement de flux de données est une pratique de plus en plus courante, car elle permet aux entreprises d'obtenir des métriques sur leurs activités commerciales en temps réel. Ce cours explique comment créer des pipelines de flux de données sur Google Cloud et présente Pub/Sub, une solution qui permet de gérer des données de flux entrants. Par ailleurs, vous verrez comment appliquer des agrégations et des transformations à des flux de données à l'aide de Dataflow, mais aussi comment stocker des enregistrements traités dans BigQuery ou Bigtable pour qu'ils puissent être analysés. Les participants mettront en pratique les connaissances qu'ils auront acquises en créant des composants de pipelines de flux de données sur Google Cloud à l'aide de Qwiklabs.
Les pipelines de données s'inscrivent généralement dans l'un des paradigmes EL (extraction et chargement), ELT (extraction, chargement et transformation) ou ETL (extraction, transformation et chargement). Ce cours indique quel paradigme utiliser pour le traitement de données par lot en fonction du contexte. Il présente également plusieurs technologies Google Cloud de transformation des données, y compris BigQuery, l'exécution de Spark sur Dataproc, les graphiques de pipelines dans Cloud Data Fusion et le traitement des données sans serveur avec Dataflow. Les participants mettront en pratique les connaissances qu'ils auront acquises en créant des composants de pipelines de données sur Google Cloud à l'aide de Qwiklabs.
Terminez le cours intermédiaire Créer un entrepôt de données avec BigQuery pour recevoir un badge démontrant vos compétences dans les domaines suivants : la jointure de données pour créer des tables, la résolution des problèmes liés aux jointures, l'ajout de données avec des unions, la création de tables partitionnées par date, et l'utilisation d'objets JSON, ARRAY et STRUCT dans BigQuery. Un badge de compétence est un badge numérique exclusif délivré par Google Cloud. Il atteste de votre expertise des produits et services Google Cloud, et de votre capacité à mettre en pratique vos connaissances dans un environnement concret et interactif. Terminez ce cours et passez l'évaluation finale de l'atelier challenge
Les lacs de données et les entrepôts de données sont les deux principaux composants des pipelines de données. Ce cours présente des cas d'utilisation de chaque type de stockage, ainsi que les détails techniques des solutions de lacs et d'entrepôts de données disponibles sur Google Cloud. Il décrit également le rôle des ingénieurs de données et les avantages d'un pipeline de données réussi sur les opérations commerciales, avant d'expliquer pourquoi il est important de procéder à l'ingénierie des données dans un environnement cloud. Il s'agit du premier cours de la série "Ingénierie des données sur Google Cloud". Après l'avoir terminé, inscrivez-vous au cours "Créer des pipelines de données en batch sur Google Cloud".