Gagan Ichake
Date d'abonnement : 2022
Ligue de Diamant
22975 points
Date d'abonnement : 2022
Dans ce deuxième volet de la série de cours sur Dataflow, nous allons nous intéresser de plus près au développement de pipelines à l'aide du SDK Beam. Nous allons commencer par passer en revue les concepts d'Apache Beam. Nous allons ensuite parler du traitement des données par flux à l'aide de fenêtres, de filigranes et de déclencheurs. Nous passerons ensuite aux options de sources et de récepteurs dans vos pipelines, aux schémas pour présenter vos données structurées, et nous verrons comment effectuer des transformations avec état à l'aide des API State et Timer. Nous aborderons ensuite les bonnes pratiques qui vous aideront à maximiser les performances de vos pipelines. Vers la fin du cours, nous présentons le langage SQL et les DataFrames pour représenter votre logique métier dans Beam, et nous expliquons comment développer des pipelines de manière itérative à l'aide des notebooks Beam.
Dans le dernier volet de la série de cours sur Dataflow, nous allons présenter les composants du modèle opérationnel de Dataflow. Nous examinerons les outils et techniques permettant de résoudre les problèmes et d'optimiser les performances des pipelines. Nous passerons ensuite en revue les bonnes pratiques en matière de test, de déploiement et de fiabilité pour les pipelines Dataflow. Nous terminerons par une présentation des modèles, qui permettent de faire évoluer facilement les pipelines Dataflow pour les adapter aux organisations comptant des centaines d'utilisateurs. Ces leçons vous aideront à vous assurer que votre plate-forme de données est stable et résiliente face aux imprévus.
Ce cours est le premier d'une série en trois volets sur le traitement des données sans serveur avec Dataflow. Dans ce premier cours, nous allons commencer par rappeler ce qu'est Apache Beam et sa relation avec Dataflow. Ensuite, nous aborderons la vision d'Apache Beam et les avantages de son framework de portabilité, qui permet aux développeurs d'utiliser le langage de programmation et le backend d'exécution de leur choix. Nous vous montrerons aussi comment séparer le calcul du stockage et économiser de l'argent grâce à Dataflow, puis nous examinerons les interactions entre les outils de gestion de l'identification et des accès avec vos pipelines Dataflow. Enfin, nous verrons comment implémenter le modèle de sécurité adapté à votre cas d'utilisation sur Dataflow.
Intégrer le machine learning à des pipelines de données renforce la capacité à dégager des insights des données. Ce cours passera en revue plusieurs façons d'intégrer le machine learning à des pipelines de données sur Google Cloud. Vous découvrirez AutoML pour les cas ne nécessitant que peu de personnalisation (voire aucune), ainsi que Notebooks et BigQuery ML pour les situations qui requièrent des capacités de machine learning plus adaptées. Enfin, vous apprendrez à utiliser des solutions de machine learning en production avec Vertex AI.
Le traitement de flux de données est une pratique de plus en plus courante, car elle permet aux entreprises d'obtenir des métriques sur leurs activités commerciales en temps réel. Ce cours explique comment créer des pipelines de flux de données sur Google Cloud et présente Pub/Sub, une solution qui permet de gérer des données de flux entrants. Par ailleurs, vous verrez comment appliquer des agrégations et des transformations à des flux de données à l'aide de Dataflow, mais aussi comment stocker des enregistrements traités dans BigQuery ou Bigtable pour qu'ils puissent être analysés. Les participants mettront en pratique les connaissances qu'ils auront acquises en créant des composants de pipelines de flux de données sur Google Cloud à l'aide de Qwiklabs.
Ce cours a pour objectif d'aider les participants à créer un plan de formation pour l'examen de certification Professional Data Engineer. Les participants découvriront l'étendue et le champ d'application des domaines abordés lors de l'examen, puis évalueront leur niveau de préparation à l'examen et créeront leur propre plan de formation.
Les pipelines de données s'inscrivent généralement dans l'un des paradigmes EL (extraction et chargement), ELT (extraction, chargement et transformation) ou ETL (extraction, transformation et chargement). Ce cours indique quel paradigme utiliser pour le traitement de données par lot en fonction du contexte. Il présente également plusieurs technologies Google Cloud de transformation des données, y compris BigQuery, l'exécution de Spark sur Dataproc, les graphiques de pipelines dans Cloud Data Fusion et le traitement des données sans serveur avec Dataflow. Les participants mettront en pratique les connaissances qu'ils auront acquises en créant des composants de pipelines de données sur Google Cloud à l'aide de Qwiklabs.
Terminez le cours d'introduction Dégager des insights des données BigQuery pour recevoir un badge démontrant vos compétences dans les domaines suivants : l'écriture de requêtes SQL, l'interrogation de tables publiques, le chargement d'exemples de données dans BigQuery, la résolution d'erreurs de syntaxe courantes avec l'outil de validation des requêtes de BigQuery et la création de rapports dans Looker Studio en se connectant aux données BigQuery.
Les lacs de données et les entrepôts de données sont les deux principaux composants des pipelines de données. Ce cours présente des cas d'utilisation de chaque type de stockage, ainsi que les détails techniques des solutions de lacs et d'entrepôts de données disponibles sur Google Cloud. Il décrit également le rôle des ingénieurs de données et les avantages d'un pipeline de données réussi sur les opérations commerciales, avant d'expliquer pourquoi il est important de procéder à l'ingénierie des données dans un environnement cloud. Il s'agit du premier cours de la série "Ingénierie des données sur Google Cloud". Après l'avoir terminé, inscrivez-vous au cours "Créer des pipelines de données en batch sur Google Cloud".
Ce cours présente les produits et services Google Cloud pour le big data et le machine learning compatibles avec le cycle de vie "des données à l'IA". Il explore les processus, défis et avantages liés à la création d'un pipeline de big data et de modèles de machine learning avec Vertex AI sur Google Cloud.
This course helps learners create a study plan for the PCA (Professional Cloud Architect) certification exam. Learners explore the breadth and scope of the domains covered in the exam. Learners assess their exam readiness and create their individual study plan.
Bienvenue dans le cours "Premiers pas avec Google Kubernetes Engine". Si vous vous intéressez à Kubernetes, une couche logicielle située entre vos applications et votre infrastructure matérielle, vous êtes au bon endroit. Google Kubernetes Engine vous permet d'accéder à Kubernetes en tant que service géré sur Google Cloud. L'objectif de ce cours est de vous présenter les principes de base de Google Kubernetes Engine (GKE), et de vous apprendre à conteneuriser et exécuter des applications dans Google Cloud. Le cours commence par une introduction aux principes de base de Google Cloud, puis se poursuit par une présentation des conteneurs et de Kubernetes, de l'architecture de Kubernetes et des opérations Kubernetes.
Ce cours permet aux participants d'apprendre à créer des solutions hautement fiables et efficaces sur Google Cloud en s'appuyant sur des modèles de conception éprouvés. Il s'inscrit dans la continuité des cours "Concevoir une architecture avec Google Compute Engine" et "Concevoir une architecture avec Google Kubernetes Engine" et demande une expérience pratique des technologies abordées dans chaque cours. À travers un ensemble de présentations, d'activités de conception et d'ateliers pratiques, les participants apprennent à définir des exigences techniques et commerciales, et à trouver un équilibre entre elles pour concevoir des déploiements Google Cloud hautement fiables et disponibles, sécurisés et économes.
This course introduces participants to the strategies to migrate from a source environment to Google Cloud. Participants are introduced to Google Cloud's fundamental concepts and more in depth topics, like creating virtual machines, configuring networks and managing access and identities. The course then covers the installation and migration process of Migrate for Compute Engine, including special features like test clones and wave migrations.
Terminez le cours intermédiaire Créer une infrastructure avec Terraform sur Google Cloud pour recevoir un badge démontrant vos compétences dans les domaines suivants : les principes d'Infrastructure as Code (IaC) avec Terraform, le provisionnement et la gestion des ressources Google Cloud avec des configurations Terraform, la gestion efficace des états (local et distant) et la modularisation du code Terraform à des fins de réutilisabilité et d'organisation.
Terminez le cours d'introduction Implémenter l'équilibrage de charge sur Compute Engine pour recevoir un badge démontrant vos compétences dans les domaines suivants : l'écriture de commandes gcloud et l'utilisation de Cloud Shell, la création et le déploiement de machines virtuelles dans Compute Engine, ainsi que la configuration d'équilibreurs de charge réseau et HTTP. Un badge de compétence est un badge numérique exclusif délivré par Google Cloud. Il atteste de votre expertise des produits et services Google Cloud, et de votre capacité à mettre en pratique vos connaissances dans un environnement concret et interactif. Terminez ce cours et passez l'évaluation finale de l'atelier challenge pour recevoir un badge de compétence que vous pourrez partager avec votre réseau.
Suivez le cours Configurer un environnement de développement d'applications sur Google Cloud et obtenez un badge de compétence. Dans ce cours, vous apprendrez à créer et connecter une infrastructure cloud axée sur le stockage à l'aide des fonctionnalités de base des technologies suivantes Cloud Storage, Identity and Access Management, Cloud Functions et Pub/Sub.
Complete these 6 hands-on Google Cloud skills challenges by October 13th to earn a special digital badge, plus a no-cost e-copy of Priyanka Vergadia’s best selling Visualizing Google Cloud book!
Ce cours à la demande accéléré présente aux participants les services complets et flexibles d'infrastructure et de plate-forme offerts par Google Cloud. À travers un ensemble de cours vidéo, de démonstrations et d'ateliers pratiques, les participants explorent et déploient des éléments de solution, y compris l'interconnexion sécurisée de réseaux, l'équilibrage de charge, l'autoscaling, l'automatisation de l'infrastructure et les services gérés.
Ce cours accéléré à la demande présente aux participants l'infrastructure complète et flexible de Google Cloud Platform ainsi que les services de plate-forme fournis, en s'intéressant plus particulièrement à Compute Engine. À travers un ensemble de vidéos de présentation, de démonstrations et d'ateliers pratiques, les participants découvrent et déploient des éléments de solution, y compris des composants d'infrastructure tels que les réseaux, les systèmes et les services applicatifs. Ce cours aborde également le déploiement de solutions pratiques, telles que les clés de chiffrement fournies par le client, la gestion de la sécurité et des accès, les quotas et la facturation, ainsi que la surveillance des ressources.
Ce cours accéléré à la demande présente aux participants les services complets et flexibles d'infrastructure et de plate-forme offerts par Google Cloud, en s'intéressant plus particulièrement à Compute Engine. À travers un ensemble de cours vidéo, de démonstrations et d'ateliers pratiques, les participants découvrent et déploient des éléments de solution, y compris des composants d'infrastructure tels que des réseaux, des machines virtuelles et des services d'applications. Vous découvrirez comment utiliser Google Cloud via la console et Cloud Shell. Vous en apprendrez également plus sur le rôle d'un architecte cloud, sur les approches de la conception d'infrastructure et sur la configuration de réseaux virtuels avec Virtual Private Cloud (VPC), les projets, les réseaux, les sous-réseaux, les adresses IP, les routes et les règles de pare-feu.
"Concepts fondamentaux de Google Cloud : infrastructure de base" présente les concepts et les termes à connaître pour utiliser Google Cloud. À travers des vidéos et des ateliers pratiques, il décrit et compare la plupart des services Google Cloud de calcul et de stockage, ainsi que des outils importants de gestion des ressources et des règles.