Na última parte da série de cursos do Dataflow, vamos abordar os componentes do modelo operacional do Dataflow. Veremos ferramentas e técnicas para solucionar problemas e otimizar o desempenho do pipeline. Depois analisaremos as práticas recomendadas de teste, implantação e confiabilidade para pipelines do Dataflow. Por fim, faremos uma revisão dos modelos, que facilitam o escalonamento dos pipelines do Dataflow para organizações com centenas de usuários. Essas lições garantem que a plataforma de dados seja estável e resiliente a circunstâncias imprevistas.
Este curso ajuda estudantes a criar um plano de estudo para o exame de certificação PDE (Professional Data Engineer). É possível conferir a amplitude e o escopo dos domínios abordados no exame. Os estudantes também podem acompanhar os preparativos para o exame e criar planos de estudos individuais.
Na segunda parte desta série, vamos nos aprofundar no desenvolvimento de pipelines usando o SDK do Beam. Primeiro, vamos conferir um resumo dos conceitos do Apache Beam. Depois disso, falaremos sobre como processar dados de streaming usando janelas, marcas d’água e gatilhos. Em seguida, vamos ver as opções de origens e coletores para seus pipelines, além de esquemas para expressar seus dados estruturados e como fazer transformações com estado usando as APIs State e Timer. A próxima tarefa será conferir as práticas recomendadas para maximizar o desempenho do pipeline. No final do curso, apresentaremos as APIs SQL e Dataframes, que representam sua lógica de negócios no Beam. Além disso, veremos como desenvolver pipelines de maneira iterativa usando os notebooks do Beam.
Este é o primeiro de uma série de três cursos sobre processamento de dados sem servidor com o Dataflow. Nele, vamos relembrar o que é o Apache Beam e qual é a relação entre ele e o Dataflow. Depois, falaremos sobre a visão do Apache Beam e os benefícios do framework de portabilidade desse modelo de programação. Com esse processo, o desenvolvedor pode usar a linguagem de programação favorita com o back-end de execução que quiser. Em seguida, mostraremos como o Dataflow permite a separação entre a computação e o armazenamento para economizar dinheiro. Além disso, você vai aprender como as ferramentas de identidade, acesso e gerenciamento interagem com os pipelines do Dataflow. Por fim, vamos ver como implementar o modelo de segurança ideal para seu caso de uso no Dataflow.
A incorporação de machine learning em pipelines de dados aumenta a capacidade de extrair insights dessas informações. Neste curso, mostramos as várias formas de incluir essa tecnologia em pipelines de dados do Google Cloud. Para casos de pouca ou nenhuma personalização, vamos falar sobre o AutoML. Para usar recursos de machine learning mais personalizados, vamos apresentar os Notebooks e o machine learning do BigQuery (BigQuery ML). No curso, você também vai aprender sobre a produção de soluções de machine learning usando a Vertex AI.
O processamento de dados de streaming é cada vez mais usado pelas empresas para gerar métricas sobre as operações comerciais em tempo real. Neste curso, você vai aprender a criar pipelines de dados de streaming no Google Cloud. O Pub/Sub é apresentado como a ferramenta para gerenciar dados de streaming de entrada. No curso, também abordamos a aplicação de agregações e transformações a dados de streaming usando o Dataflow, além de formas de armazenar registros processados no BigQuery ou no Bigtable para análise. Os participantes vão ganhar experiência prática na criação de componentes de pipelines de dados de streaming no Google Cloud usando o Qwiklabs.
Conquiste o selo de habilidade introdutório Preparar dados para APIs de ML no Google Cloud para demonstrar que você é capaz de: limpar dados com o Dataprep by Trifacta, executar pipelines de dados no Dataflow, criar clusters e executar jobs do Apache Spark no Dataproc e chamar APIs de ML, incluindo as APIs Cloud Natural Language, Google Cloud Speech-to-Text e Video Intelligence.
Conclua o selo de habilidade intermediário Dados de engenharia para modelagem preditiva com o BigQuery ML para mostrar que você sabe: criar pipelines de transformação de dados no BigQuery usando o Dataprep by Trifacta; usar o Cloud Storage, o Dataflow e o BigQuery para criar fluxos de trabalho de extração, transformação e carregamento de dados (ELT); e criar modelos de machine learning usando o BigQuery ML.
Os pipelines de dados geralmente se encaixam em um desses três paradigmas: extração e carregamento (EL), extração, carregamento e transformação (ELT) ou extração, transformação e carregamento (ETL). Este curso descreve qual paradigma deve ser usado em determinadas situações e quando isso ocorre com dados em lote. Além disso, vamos falar sobre várias tecnologias no Google Cloud para transformação de dados, incluindo o BigQuery, a execução do Spark no Dataproc, gráficos de pipeline no Cloud Data Fusion e processamento de dados sem servidor com o Dataflow. Os participantes vão ganhar experiência prática na criação de componentes de pipelines de dados no Google Cloud usando o Qwiklabs.
Complete the introductory Secure BigLake Data skill badge course to demonstrate skills with IAM, BigQuery, BigLake, and Data Catalog within Dataplex to create and secure BigLake tables.
Conclua o selo de habilidade introdutório Como criar uma malha de dados com o Dataplex para mostrar sua capacidade de usar o Dataplex para criar uma malha de dados e assim facilitar a segurança, a governança e a descoberta de dados no Google Cloud. Você vai praticar e testar suas habilidades em aplicar tags a recursos, atribuir papéis do IAM e avaliar a qualidade dos dados no Dataplex.
Conclua o curso do selo de habilidade introdutório Introdução ao Dataplex para demonstrar habilidades em: criação de recursos do Dataplex, criação de tipos de aspectos e aplicação de aspectos às entradas no Dataplex.
Confira neste curso uma introdução ao uso do Terraform para Google Cloud. Nele, você aprende como o Terraform pode ser usado para implementar infraestrutura como código e aplicar alguns dos principais recursos e funcionalidades para criar e gerenciar a infraestrutura do Google Cloud. Também incluímos experiências práticas de criação e gerenciamento de recursos do Google Cloud usando o Terraform.
Conclua o selo de habilidade intermediário Como criar infraestrutura com o Terraform no Google Cloud para mostrar que você sabe: usar os princípios de infraestrutura como código (IaC, na sigla em inglês) no Terraform, provisionar e gerenciar recursos do Google Cloud usando configurações do Terraform, gerenciamento de estado eficaz (local e remoto) e modularização do código do Terraform para reutilização e organização.
Organizações de vários portes estão adotando a tecnologia e a flexibilidade da nuvem para transformar a forma como operam. No entanto, gerenciar e escalonar recursos na nuvem de maneira eficaz é uma tarefa complexa. O curso Escalonamento com as Operações do Google Cloud traz noções básicas de confiabilidade, resiliência e operações modernas na nuvem, explicando como o Google Cloud pode ajudar nesses esforços. Como parte do programa de aprendizado do Líder digital do Cloud, o objetivo deste curso é ajudar você a crescer profissionalmente e desenvolver o futuro do seu próprio negócio.
Conforme as organizações movem os próprios dados e aplicativos para a nuvem, novos problemas de segurança podem aparecer. No curso Confiança e segurança com o Google Cloud, explicamos os conceitos básicos de segurança na nuvem, o valor da abordagem multicamadas do Google Cloud para a proteção da infraestrutura e como o Google conquista e mantém a confiança dos clientes na nuvem. Como parte do programa de aprendizado do Líder digital do Cloud, o objetivo deste curso é ajudar você a crescer profissionalmente e desenvolver o futuro do seu próprio negócio.
Muitas empresas tradicionais usam sistemas e aplicativos legados que não conseguem atender às expectativas dos clientes modernos. Com frequência, os líderes empresariais precisam escolher entre manter sistemas de TI antigos ou investir em novos produtos e serviços. O curso "Modernização de infraestrutura e aplicativos com o Google Cloud" aborda esses desafios e oferece soluções relacionadas à tecnologia de nuvem para cada um. Como parte do programa de aprendizado do Líder digital do Cloud, o objetivo deste curso é ajudar você a crescer profissionalmente e desenvolver o futuro do seu próprio negócio.
A inteligência artificial (IA) e o machine learning (ML) representam importantes evoluções na tecnologia da informação que estão transformando uma ampla variedade de setores. O curso "Como inovar com a inteligência artificial do Google Cloud" mostra como as organizações podem usar a IA e o ML para transformar processos comerciais. Como parte do programa de aprendizado do Líder digital do Cloud, o objetivo deste curso é ajudar você a crescer profissionalmente e desenvolver o futuro do seu próprio negócio.
As tecnologias de nuvem podem agregar muito valor a uma organização e, ao combinar esse poder com dados, o potencial de crescer e criar novas experiências para os clientes é ainda maior. O curso "Como é feita a transformação de dados com o Google Cloud" mostra como os dados agregam valor às organizações e como o Google Cloud torna esses dados eficientes e acessíveis. Este curso, que faz parte do programa de aprendizado do Líder digital do Cloud, se destina às pessoas que querem crescer na profissão e construir o futuro da empresa.
As pessoas estão muito animadas com a tecnologia de nuvem e a transformação digital, mas também ainda têm muitas dúvidas. Exemplo: O que é a tecnologia de nuvem? O que significa transformação digital? Como a tecnologia de nuvem pode ajudar sua organização? Por onde começar? Se você já se questionou sobre isso, veio ao lugar certo. Este curso fornece uma visão geral dos tipos de oportunidades e desafios que as empresas encaram em suas jornadas de transformação digital. Se quiser saber mais sobre tecnologia de nuvem para se destacar no trabalho e ajudar a construir o futuro da sua empresa, este curso introdutório sobre transformação digital é para você. Este curso faz parte do programa de aprendizado do Líder digital do Cloud.
Conclua o selo de habilidade intermediário Criar um data warehouse com o BigQuery para mostrar que você sabe mesclar dados para criar novas tabelas; solucionar problemas de mesclagens; adicionar dados ao final com uniões; criar tabelas particionadas por data; além de trabalhar com JSON, matrizes e structs no BigQuery. Os selos de habilidade são digitais e exclusivos. Eles são emitidos pelo Google Cloud como forma de reconhecer sua proficiência nos produtos e serviços do Cloud, comprovando sua capacidade de aplicar o conhecimento em um ambiente prático e interativo. Conclua o curso com selo de habilidade e o laboratório com desafio da avaliação final para receber uma certificação digital que você pode compartilhar com seus contatos.
Os dois principais componentes de um pipeline de dados são data lakes e warehouses. Neste curso, destacamos os casos de uso para cada tipo de armazenamento e as soluções de data lake e warehouse disponíveis no Google Cloud de forma detalhada e técnica. Além disso, também descrevemos o papel de um engenheiro de dados, os benefícios de um pipeline de dados funcional para operações comerciais e analisamos por que a engenharia de dados deve ser feita em um ambiente de nuvem. Este é o primeiro curso da série "Engenharia de dados no Google Cloud". Após a conclusão, recomendamos que você comece o curso "Como criar pipelines de dados em lote no Google Cloud".
Este curso apresenta os produtos e serviços de Big Data e machine learning do Google Cloud que auxiliam no ciclo de vida de dados para IA. Ele explica os processos, os desafios e os benefícios de criar um pipeline de Big Data e modelos de machine learning com a Vertex AI no Google Cloud.