Gagan Ichake
Participante desde 2022
Liga Diamante
22975 pontos
Participante desde 2022
Na segunda parte desta série, vamos nos aprofundar no desenvolvimento de pipelines usando o SDK do Beam. Primeiro, vamos conferir um resumo dos conceitos do Apache Beam. Depois disso, falaremos sobre como processar dados de streaming usando janelas, marcas d’água e gatilhos. Em seguida, vamos ver as opções de origens e coletores para seus pipelines, além de esquemas para expressar seus dados estruturados e como fazer transformações com estado usando as APIs State e Timer. A próxima tarefa será conferir as práticas recomendadas para maximizar o desempenho do pipeline. No final do curso, apresentaremos as APIs SQL e Dataframes, que representam sua lógica de negócios no Beam. Além disso, veremos como desenvolver pipelines de maneira iterativa usando os notebooks do Beam.
Na última parte da série de cursos do Dataflow, vamos abordar os componentes do modelo operacional do Dataflow. Veremos ferramentas e técnicas para solucionar problemas e otimizar o desempenho do pipeline. Depois analisaremos as práticas recomendadas de teste, implantação e confiabilidade para pipelines do Dataflow. Por fim, faremos uma revisão dos modelos, que facilitam o escalonamento dos pipelines do Dataflow para organizações com centenas de usuários. Essas lições garantem que a plataforma de dados seja estável e resiliente a circunstâncias imprevistas.
Este é o primeiro de uma série de três cursos sobre processamento de dados sem servidor com o Dataflow. Nele, vamos relembrar o que é o Apache Beam e qual é a relação entre ele e o Dataflow. Depois, falaremos sobre a visão do Apache Beam e os benefícios do framework de portabilidade desse modelo de programação. Com esse processo, o desenvolvedor pode usar a linguagem de programação favorita com o back-end de execução que quiser. Em seguida, mostraremos como o Dataflow permite a separação entre a computação e o armazenamento para economizar dinheiro. Além disso, você vai aprender como as ferramentas de identidade, acesso e gerenciamento interagem com os pipelines do Dataflow. Por fim, vamos ver como implementar o modelo de segurança ideal para seu caso de uso no Dataflow.
A incorporação de machine learning em pipelines de dados aumenta a capacidade de extrair insights dessas informações. Neste curso, mostramos as várias formas de incluir essa tecnologia em pipelines de dados do Google Cloud. Para casos de pouca ou nenhuma personalização, vamos falar sobre o AutoML. Para usar recursos de machine learning mais personalizados, vamos apresentar os Notebooks e o machine learning do BigQuery (BigQuery ML). No curso, você também vai aprender sobre a produção de soluções de machine learning usando a Vertex AI.
O processamento de dados de streaming é cada vez mais usado pelas empresas para gerar métricas sobre as operações comerciais em tempo real. Neste curso, você vai aprender a criar pipelines de dados de streaming no Google Cloud. O Pub/Sub é apresentado como a ferramenta para gerenciar dados de streaming de entrada. No curso, também abordamos a aplicação de agregações e transformações a dados de streaming usando o Dataflow, além de formas de armazenar registros processados no BigQuery ou no Bigtable para análise. Os participantes vão ganhar experiência prática na criação de componentes de pipelines de dados de streaming no Google Cloud usando o Qwiklabs.
Este curso ajuda estudantes a criar um plano de estudo para o exame de certificação PDE (Professional Data Engineer). É possível conferir a amplitude e o escopo dos domínios abordados no exame. Os estudantes também podem acompanhar os preparativos para o exame e criar planos de estudos individuais.
Os pipelines de dados geralmente se encaixam em um desses três paradigmas: extração e carregamento (EL), extração, carregamento e transformação (ELT) ou extração, transformação e carregamento (ETL). Este curso descreve qual paradigma deve ser usado em determinadas situações e quando isso ocorre com dados em lote. Além disso, vamos falar sobre várias tecnologias no Google Cloud para transformação de dados, incluindo o BigQuery, a execução do Spark no Dataproc, gráficos de pipeline no Cloud Data Fusion e processamento de dados sem servidor com o Dataflow. Os participantes vão ganhar experiência prática na criação de componentes de pipelines de dados no Google Cloud usando o Qwiklabs.
Conclua o selo de habilidade introdutório Gerar insights a partir de dados do BigQuery para mostrar que você sabe gravar consultas SQL, consultar tabelas públicas e carregar dados de amostra no BigQuery, solucionar erros comuns de sintaxe com o validador de consultas no BigQuery e criar relatórios no Looker Studio fazendo a conexão com dados do BigQuery.
Os dois principais componentes de um pipeline de dados são data lakes e warehouses. Neste curso, destacamos os casos de uso para cada tipo de armazenamento e as soluções de data lake e warehouse disponíveis no Google Cloud de forma detalhada e técnica. Além disso, também descrevemos o papel de um engenheiro de dados, os benefícios de um pipeline de dados funcional para operações comerciais e analisamos por que a engenharia de dados deve ser feita em um ambiente de nuvem. Este é o primeiro curso da série "Engenharia de dados no Google Cloud". Após a conclusão, recomendamos que você comece o curso "Como criar pipelines de dados em lote no Google Cloud".
Este curso apresenta os produtos e serviços de Big Data e machine learning do Google Cloud que auxiliam no ciclo de vida de dados para IA. Ele explica os processos, os desafios e os benefícios de criar um pipeline de Big Data e modelos de machine learning com a Vertex AI no Google Cloud.
Este curso ajuda a criar um plano de estudos para o exame de certificação Professional Cloud Architect (PCA). É possível conferir a amplitude e o escopo dos domínios abordados no exame. Os estudantes também podem acompanhar os preparativos para o exame e criar planos de estudos individuais.
Bem-vindo ao curso "Introdução ao Google Kubernetes Engine". Se você têm interesse no Kubernetes, uma camada de software que fica entre seus aplicativos e a infraestrutura de hardware, aqui é o lugar certo. O Google Kubernetes Engine transforma o Kubernetes em um serviço gerenciado no Google Cloud. O objetivo deste curso é apresentar os conceitos básicos do Google Kubernetes Engine, ou GKE, como é comumente conhecido, e aprender a conteinerizar e executar aplicativos no Google Cloud. O curso começa com uma introdução básica ao Google Cloud e é seguido pelos conceitos gerais dos contêineres e do Kubernetes, da arquitetura do Kubernetes e das operações do Kubernetes.
Este curso prepara estudantes para criar soluções altamente confiáveis e eficientes no Google Cloud usando padrões de design comprovados. Ele é uma continuação do curso "Como criar arquiteturas com o Google Compute Engine" ou "Como criar arquiteturas com o Google Kubernetes Engine" e exige experiência prática com as tecnologias abordadas nesses dois cursos. Com uma combinação de apresentações, atividades de design e laboratórios práticos, os participantes aprendem a definir e equilibrar requisitos técnicos e comerciais para projetar implantações do Google Cloud que sejam seguras, econômicas e altamente confiáveis e disponíveis.
This course introduces participants to the strategies to migrate from a source environment to Google Cloud. Participants are introduced to Google Cloud's fundamental concepts and more in depth topics, like creating virtual machines, configuring networks and managing access and identities. The course then covers the installation and migration process of Migrate for Compute Engine, including special features like test clones and wave migrations.
Conclua o selo de habilidade intermediário Como criar infraestrutura com o Terraform no Google Cloud para mostrar que você sabe: usar os princípios de infraestrutura como código (IaC, na sigla em inglês) no Terraform, provisionar e gerenciar recursos do Google Cloud usando configurações do Terraform, gerenciamento de estado eficaz (local e remoto) e modularização do código do Terraform para reutilização e organização.
Conquiste o selo de habilidade Implementar o balanceamento de carga no Compute Engine para demonstrar que você é capaz de: escrever comandos gcloud, usar o Cloud Shell, criar e implantar máquinas virtuais no Compute Engine e configurar balanceadores de carga HTTP e de rede. Um selo de habilidade é um selo digital exclusivo emitido pelo Google Cloud como forma de reconhecer sua proficiência com os produtos e serviços do Cloud, comprovando sua capacidade de aplicar o conhecimento em um ambiente prático e interativo. Complete esse curso e o laboratório com desafio da avaliação final para receber o selo de habilidade que pode ser compartilhado com seus contatos.
Conquiste um selo de habilidade ao concluir o curso Como configurar um ambiente de desenvolvimento de apps no Google Cloud. Nele, você aprende a criar e conectar uma infraestrutura em nuvem focada em armazenamento usando recursos básicos das seguintes tecnologias: Cloud Storage, Identity and Access Management, Cloud Functions e Pub/Sub.
Complete these 6 hands-on Google Cloud skills challenges by October 13th to earn a special digital badge, plus a no-cost e-copy of Priyanka Vergadia’s best selling Visualizing Google Cloud book!
Neste curso intensivo sob demanda, os participantes vão conhecer os serviços abrangentes e flexíveis de infraestrutura e plataforma fornecidos pelo Google Cloud. Com o auxílio de videoaulas, demonstrações e laboratórios práticos, os participantes têm a chance de conhecer e implantar elementos da solução. Isso inclui interconexão segura entre redes, balanceamento de carga, escalonamento automático, automação de infraestrutura e serviços gerenciados.
Neste curso intensivo sob demanda, os participantes vão conhecer os serviços abrangentes e flexíveis de infraestrutura e plataforma fornecidos pelo Google Cloud, com foco no Compute Engine. Com o auxílio de videoaulas, demonstrações e laboratórios práticos, os participantes têm a chance de conhecer e implantar elementos da solução, incluindo componentes de infraestrutura, como redes, sistemas e serviços de aplicativos. O curso também aborda a implantação de soluções práticas, como chaves de criptografia fornecidas pelo cliente, gerenciamento de segurança e acesso, cotas e faturamento, além do monitoramento de recursos.
Neste curso intensivo sob demanda, os participantes vão conhecer os serviços abrangentes e flexíveis de infraestrutura e plataforma fornecidos pelo Google Cloud, com foco no Compute Engine. Com o auxílio de videoaulas, demonstrações e laboratórios práticos, os participantes têm chance de conhecer e implantar elementos da solução, incluindo componentes de infraestrutura, como redes, máquinas virtuais e serviços de aplicativos. Você vai aprender a usar o Google Cloud no Console e no Cloud Shell. Além disso, vamos detalhar o papel de um arquiteto de nuvem, abordagens de design de infraestruturas, configuração de redes virtuais com a nuvem privada virtual (VPC), projetos, redes, sub-redes, endereços IP, rotas e regras de firewall.
"Noções básicas do Google Cloud: infraestrutura principal" é uma apresentação da terminologia e de conceitos importantes para trabalhar com o Google Cloud. Usando vídeos e laboratórios práticos, o curso apresenta e compara vários serviços de armazenamento e computação do Google Cloud, além de ferramentas importantes para o gerenciamento de políticas e recursos.