데이터 파이프라인은 일반적으로 추출-로드(EL), 추출-로드-변환(ELT) 또는 추출-변환-로드(ETL) 패러다임 중 하나에 속합니다. 이 과정에서는 일괄 데이터에 사용해야 할 패러다임과 사용 시기에 대해 설명합니다. 또한 BigQuery, Dataproc에서의 Spark 실행, Cloud Data Fusion의 파이프라인 그래프, Dataflow를 사용한 서버리스 데이터 처리 등 데이터 변환을 위한 Google Cloud의 여러 가지 기술을 다룹니다. Google Cloud에서 Qwiklabs를 사용해 데이터 파이프라인 구성요소를 빌드하는 실무형 실습도 진행합니다.
Welcome Gamers! Create and test a prompt, create a conversation, and explore the prompt gallery, all while having fun! Explore Generative AI Studio in Vertex AI. You will compete to see who can finish the game with the highest score. Earn the points by completing the steps in the lab.... and get bonus points for speed! Be sure to click "End" when you're done with each lab to get the maximum points. All players will be awarded the game badge.
This course helps learners create a study plan for the PDE (Professional Data Engineer) certification exam. Learners explore the breadth and scope of the domains covered in the exam. Learners assess their exam readiness and create their individual study plan.
데이터 파이프라인의 두 가지 주요 구성요소는 데이터 레이크와 웨어하우스입니다. 이 과정에서는 스토리지 유형별 사용 사례를 살펴보고 Google Cloud에서 사용 가능한 데이터 레이크 및 웨어하우스 솔루션을 기술적으로 자세히 설명합니다. 또한 데이터 엔지니어의 역할, 성공적인 데이터 파이프라인이 비즈니스 운영에 가져오는 이점, 클라우드 환경에서 데이터 엔지니어링을 수행해야 하는 이유도 알아봅니다. 'Google Cloud의 데이터 엔지니어링' 시리즈의 첫 번째 과정입니다. 이 과정을 완료한 후 'Google Cloud에서 일괄 데이터 파이프라인 빌드하기' 과정에 등록하세요.