Meredith Olson
Date d'abonnement : 2022
Ligue d'Argent
7390 points
Date d'abonnement : 2022
Dans ce deuxième volet de la série de cours sur Dataflow, nous allons nous intéresser de plus près au développement de pipelines à l'aide du SDK Beam. Nous allons commencer par passer en revue les concepts d'Apache Beam. Nous allons ensuite parler du traitement des données par flux à l'aide de fenêtres, de filigranes et de déclencheurs. Nous passerons ensuite aux options de sources et de récepteurs dans vos pipelines, aux schémas pour présenter vos données structurées, et nous verrons comment effectuer des transformations avec état à l'aide des API State et Timer. Nous aborderons ensuite les bonnes pratiques qui vous aideront à maximiser les performances de vos pipelines. Vers la fin du cours, nous présentons le langage SQL et les DataFrames pour représenter votre logique métier dans Beam, et nous expliquons comment développer des pipelines de manière itérative à l'aide des notebooks Beam.
Les organisations de toutes tailles exploitent le potentiel et la flexibilité du cloud afin de transformer leurs opérations. Toutefois, la gestion et le scaling des ressources cloud peuvent s'avérer complexes. "Scaling avec la suite Google Cloud Operations" présente les concepts fondamentaux des opérations modernes, de la fiabilité et de la résilience dans le cloud, ainsi que la manière dont Google Cloud peut vous aider à atteindre ces objectifs. Ce cours fait partie du parcours de formation Cloud Digital Leader. Il vise à aider les participants à évoluer dans leur poste et à bâtir l'avenir de leur entreprise.
De nombreuses entreprises traditionnelles utilisent d'anciens systèmes et d'anciennes applications qui ne peuvent plus satisfaire les attentes des clients d'aujourd'hui. Les chefs d'entreprise doivent régulièrement choisir entre deux options : entretenir leurs systèmes informatiques vieillissants ou investir dans de nouveaux produits et services. Le cours "Moderniser l'infrastructure et les applications avec Google Cloud" aborde ces problématiques et propose des solutions pour les résoudre à l'aide de la technologie cloud. Ce cours fait partie du parcours de formation Cloud Digital Leader. Il vise à aider les participants à évoluer dans leur poste et à bâtir l'avenir de leur entreprise.
La technologie cloud est une grande source de valeur pour les entreprises. En combinant le potentiel de cette technologie avec celui des données, il est possible de créer encore plus de valeur et d'offrir de nouvelles expériences client. "Explorer la transformation des données avec Google Cloud" vous fait découvrir la valeur que les données peuvent apporter à une entreprise et les façons dont Google Cloud peut les rendre utiles et accessibles. Ce cours fait partie du parcours de formation Cloud Digital Leader. Il a pour but d'aider les participants à évoluer dans leur poste et à façonner l'avenir de leur entreprise.
La technologie cloud et la transformation numérique suscitent beaucoup d'enthousiasme, mais elles génèrent aussi souvent beaucoup de questions laissées sans réponse. Par exemple : Qu'est-ce que la technologie cloud ? Qu'entend-on par transformation numérique ? Que peut vous apporter la technologie cloud ? Et par où commencer ? Si vous vous êtes déjà posé une de ces questions, vous êtes au bon endroit. Ce cours offre un aperçu des opportunités et des défis que les entreprises peuvent rencontrer lors de leur transformation numérique. Si vous souhaitez découvrir les technologies cloud afin de pouvoir exceller dans votre rôle et contribuer à bâtir l'avenir de votre entreprise, ce cours d'introduction sur la transformation numérique est pour vous. Il fait partie du parcours de formation Cloud Digital Leader.
Quelles sont les bonnes pratiques pour implémenter le machine learning sur Google Cloud ? En quoi consiste la plate-forme Vertex AI et comment pouvez-vous l'utiliser pour créer, entraîner et déployer rapidement des modèles de machine learning AutoML sans écrire une seule ligne de code ? Qu'est-ce que le machine learning et quels types de problèmes permet-il de résoudre ? Google aborde le machine learning d'une façon particulière, qui consiste à fournir une plate-forme unifiée pour les ensembles de données gérés, ainsi qu'un magasin de caractéristiques et un moyen de créer, d'entraîner et de déployer des modèles de machine learning sans écrire une seule ligne de code. Il s'agit également de permettre aux utilisateurs d'étiqueter les données et de créer des notebooks Workbench à l'aide de frameworks tels que TensorFlow, Scikit Learn, Pytorch et R. Avec notre plate-forme Vertex AI, il est également possible d'entraîner des modèles personnalisés, de créer des pipelines de composants, …
Complete the introductory Create and Manage Bigtable Instances skill badge to demonstrate skills in the following: creating instances, designing schemas, querying data, and performing administrative tasks in Bigtable including monitoring performance and configuring node autoscaling and replication.
Complete the introductory Create and Manage Cloud Spanner Instances skill badge to demonstrate skills in the following: creating and interacting with Cloud Spanner instances and databases; loading Cloud Spanner databases using various techniques; backing up Cloud Spanner databases; defining schemas and understanding query plans; and deploying a Modern Web App connected to a Cloud Spanner instance.
This course is intended to give architects, engineers, and developers the skills required to help enterprise customers architect, plan, execute, and test database migration projects. Through a combination of presentations, demos, and hands-on labs participants move databases to Google Cloud while taking advantage of various services. This course covers how to move on-premises, enterprise databases like SQL Server to Google Cloud (Compute Engine and Cloud SQL) and Oracle to Google Cloud bare metal.
"Concepts fondamentaux de Google Cloud : infrastructure de base" présente les concepts et les termes à connaître pour utiliser Google Cloud. À travers des vidéos et des ateliers pratiques, il décrit et compare la plupart des services Google Cloud de calcul et de stockage, ainsi que des outils importants de gestion des ressources et des règles.
Ce cours est le premier d'une série en trois volets sur le traitement des données sans serveur avec Dataflow. Dans ce premier cours, nous allons commencer par rappeler ce qu'est Apache Beam et sa relation avec Dataflow. Ensuite, nous aborderons la vision d'Apache Beam et les avantages de son framework de portabilité, qui permet aux développeurs d'utiliser le langage de programmation et le backend d'exécution de leur choix. Nous vous montrerons aussi comment séparer le calcul du stockage et économiser de l'argent grâce à Dataflow, puis nous examinerons les interactions entre les outils de gestion de l'identification et des accès avec vos pipelines Dataflow. Enfin, nous verrons comment implémenter le modèle de sécurité adapté à votre cas d'utilisation sur Dataflow.
Intégrer le machine learning à des pipelines de données renforce la capacité à dégager des insights des données. Ce cours passera en revue plusieurs façons d'intégrer le machine learning à des pipelines de données sur Google Cloud. Vous découvrirez AutoML pour les cas ne nécessitant que peu de personnalisation (voire aucune), ainsi que Notebooks et BigQuery ML pour les situations qui requièrent des capacités de machine learning plus adaptées. Enfin, vous apprendrez à utiliser des solutions de machine learning en production avec Vertex AI.
Le traitement de flux de données est une pratique de plus en plus courante, car elle permet aux entreprises d'obtenir des métriques sur leurs activités commerciales en temps réel. Ce cours explique comment créer des pipelines de flux de données sur Google Cloud et présente Pub/Sub, une solution qui permet de gérer des données de flux entrants. Par ailleurs, vous verrez comment appliquer des agrégations et des transformations à des flux de données à l'aide de Dataflow, mais aussi comment stocker des enregistrements traités dans BigQuery ou Bigtable pour qu'ils puissent être analysés. Les participants mettront en pratique les connaissances qu'ils auront acquises en créant des composants de pipelines de flux de données sur Google Cloud à l'aide de Qwiklabs.
Les pipelines de données s'inscrivent généralement dans l'un des paradigmes EL (extraction et chargement), ELT (extraction, chargement et transformation) ou ETL (extraction, transformation et chargement). Ce cours indique quel paradigme utiliser pour le traitement de données par lot en fonction du contexte. Il présente également plusieurs technologies Google Cloud de transformation des données, y compris BigQuery, l'exécution de Spark sur Dataproc, les graphiques de pipelines dans Cloud Data Fusion et le traitement des données sans serveur avec Dataflow. Les participants mettront en pratique les connaissances qu'ils auront acquises en créant des composants de pipelines de données sur Google Cloud à l'aide de Qwiklabs.
Suivez le cours Configurer un environnement de développement d'applications sur Google Cloud et obtenez un badge de compétence. Dans ce cours, vous apprendrez à créer et connecter une infrastructure cloud axée sur le stockage à l'aide des fonctionnalités de base des technologies suivantes Cloud Storage, Identity and Access Management, Cloud Functions et Pub/Sub.
Big data, machine learning et données scientifiques ? Il semble que ce soit la combinaison parfaite. Dans cette quête avancée, vous allez vous familiariser avec des services GCP tels que Big Query, Dataproc et Tensorflow, que vous appliquerez à des cas utilisant des ensembles de données scientifiques réelles. En vous faisant acquérir de l'expérience avec des tâches telles que l'analyse des données sismiques et l'agrégation d'images satellites, le traitement de données scientifiques développera vos compétences dans le domaine du Big data et du machine learning, et vous aidera à résoudre les problèmes que vous rencontrez dans différentes disciplines scientifiques.
In this course you will learn how to use several BigQuery ML features to improve retail use cases. Predict the demand for bike rentals in NYC with demand forecasting, and see how to use BigQuery ML for a classification task that predicts the likelihood of a website visitor making a purchase.
Les lacs de données et les entrepôts de données sont les deux principaux composants des pipelines de données. Ce cours présente des cas d'utilisation de chaque type de stockage, ainsi que les détails techniques des solutions de lacs et d'entrepôts de données disponibles sur Google Cloud. Il décrit également le rôle des ingénieurs de données et les avantages d'un pipeline de données réussi sur les opérations commerciales, avant d'expliquer pourquoi il est important de procéder à l'ingénierie des données dans un environnement cloud. Il s'agit du premier cours de la série "Ingénierie des données sur Google Cloud". Après l'avoir terminé, inscrivez-vous au cours "Créer des pipelines de données en batch sur Google Cloud".
Ce cours a pour objectif d'aider les participants à créer un plan de formation pour l'examen de certification Professional Data Engineer. Les participants découvriront l'étendue et le champ d'application des domaines abordés lors de l'examen, puis évalueront leur niveau de préparation à l'examen et créeront leur propre plan de formation.
Ce cours présente les produits et services Google Cloud pour le big data et le machine learning compatibles avec le cycle de vie "des données à l'IA". Il explore les processus, défis et avantages liés à la création d'un pipeline de big data et de modèles de machine learning avec Vertex AI sur Google Cloud.
Terminez le cours d'introduction Préparer des données pour les API de ML sur Google Cloud pour recevoir un badge démontrant vos compétences dans les domaines suivants : le nettoyage des données avec Dataprep by Trifacta, l'exécution de pipelines de données dans Dataflow, la création de clusters et l'exécution de jobs Apache Spark dans Dataproc, et l'appel d'API de ML comme l'API Cloud Natural Language, l'API Google Cloud Speech-to-Text et l'API Video Intelligence. Un badge de compétence est un badge numérique exclusif délivré par Google Cloud. Il atteste de votre expertise des produits et services Google Cloud, et de votre capacité à mettre en pratique vos connaissances dans un environnement concret et interactif. Terminez ce cours et passez l'évaluation finale de l'atelier challenge pour recevoir un badge de compétence que vous pourrez partager avec votre réseau.
Aujourd'hui, le big data, le machine learning et l'intelligence artificielle sont des thèmes en vogue dans le domaine de l'informatique. Ce sont toutefois des disciplines pointues, pour lesquelles il n'est pas toujours simple de trouver des documents de référence. Heureusement, Google Cloud propose des services conviviaux dédiés, ainsi que ce cours d'introduction, pour vous aider à faire vos premiers pas avec des outils comme BigQuery, l'API Cloud Speech et Video Intelligence.
Complete the introductory Create and Manage AlloyDB Instances skill badge to demonstrate skills in the following: performing core AlloyDB operations and tasks, migrating to AlloyDB from PostgreSQL, administering an AlloyDB database, and accelerating analytical queries using the AlloyDB Columnar Engine.
Créer des modèles de machine learning en quelques minutes au lieu de plusieurs heures grâce à SQL, ça vous intéresse ? BigQuery ML démocratise le machine learning en permettant aux analystes de données de créer, d'entraîner et d'évaluer des modèles de ML, puis de les utiliser pour faire des prédictions, en s'appuyant sur leurs outils SQL et leurs connaissances actuelles dans ce langage. Dans cette série d'ateliers, vous allez essayer différents types de modèles et apprendre ce qui caractérise un bon modèle.
Cette quête d'introduction se compose d'ateliers pratiques qui vous permettent de vous familiariser avec les outils et services de base de Google Cloud Platform. "GCP Essentials" est la première quête recommandée pour les personnes s'intéressant à Google Cloud. Vous pouvez la suivre sans aucune connaissance (ou presque) du cloud et, une fois la quête terminée, vous disposerez de compétences pratiques qui vous seront utiles pour n'importe quel projet GCP. De l'écriture de lignes de commande Cloud Shell au déploiement de votre première machine virtuelle en passant par l'exécution d'applications sur Kubernetes Engine avec l'équilibrage de charge, "GCP Essentials" constitue une excellente introduction aux fonctionnalités de base de la plate-forme. Des vidéos d'une minute résument les concepts clés de ces ateliers.
In this fundamental-level course, you will learn the ins and outs of Google Cloud's operations suite running on Google Kubernetes Engine, an important service for generating insights into the health of your applications. It provides a wealth of information in application monitoring, report logging, and diagnoses. The labs in this course will give you hands-on practice with and will teach you how to monitor virtual machines, generate logs and alerts, and create custom metrics for application data. It is recommended that the students have at least earned a Badge by completing the Google Cloud Essentials course. Additional lab experience with the labs in the Baseline - Infrastructure course will also be useful. Looking for a hands-on challenge lab to demonstrate your skills and validate your knowledge? On completing this course, enroll in and finish the additional challenge lab at the end of this course to receive an exclusive Google Cloud digital badge.
Want to scale your data analysis efforts without managing database hardware? Learn the best practices for querying and getting insights from your data warehouse with this interactive series of BigQuery labs. BigQuery is Google's fully managed, NoOps, low cost analytics database. With BigQuery you can query terabytes and terabytes of data without having any infrastructure to manage or needing a database administrator. BigQuery uses SQL and can take advantage of the pay-as-you-go model. BigQuery allows you to focus on analyzing data to find meaningful insights.
In this series of labs you will learn how to use BigQuery to analyze NCAA basketball data with SQL. Build a Machine Learning Model to predict the outcomes of NCAA March Madness basketball tournament games.
In this quest you will get hands-on experience writing infrastructure as code with Terraform.