개요

이 실습에서는 Dataform에서 SQL 워크플로를 생성 및 실행하여 BigQuery에 데이터를 로드하는 프로세스를 살펴봅니다.

학습 목표

1. Dataform 저장소 만들기
2. Dataform 개발 작업공간 만들기 및 초기화
3. SQL 워크플로 만들기 및 실행
4. Dataform에서 실행 로그 확인

설정

각 실습에서는 정해진 기간 동안 새 Google Cloud 프로젝트와 리소스 집합이 무료로 제공됩니다.

1. 시크릿 창을 사용하여 Qwiklabs에 로그인합니다.

2. 실습 사용 가능 시간(예: 1:15:00)을 참고하여 해당 시간 내에 완료합니다.
   일시중지 기능은 없습니다. 필요한 경우 다시 시작할 수 있지만 처음부터 시작해야 합니다.

3. 준비가 되면 실습 시작을 클릭합니다.

4. 실습 사용자 인증 정보(사용자 이름 및 비밀번호)를 기록해 두세요. Google Cloud Console에 로그인합니다.

5. Google Console 열기를 클릭합니다.

6. 다른 계정 사용을 클릭한 다음, 안내 메시지에 이 실습에 대한 사용자 인증 정보를 복사하여 붙여넣습니다.
   다른 사용자 인증 정보를 사용하는 경우 오류가 발생하거나 요금이 부과됩니다.

7. 약관에 동의하고 리소스 복구 페이지를 건너뜁니다.

작업 1. Dataform 저장소 만들기

1. 콘솔에서 탐색 메뉴를 펼친 다음 BigQuery > Dataform을 선택합니다.

2. 저장소 만들기를 클릭합니다.

3. 저장소 만들기 페이지에서 다음을 수행합니다.

   1. 저장소 ID 필드에 quickstart-repository를 입력합니다.

   2. 리전 목록에서 을(를) 선택합니다.

   3. 만들기를 클릭합니다.

   4. 저장소가 만들어지면 Dataform 서비스 계정이 표시됩니다. 추후 필요한 권한을 할당할 때 사용할 수 있도록 복사해 두세요.

   5. 저장소로 이동을 클릭합니다.

참고: API 요청과 관련한 권한 거부 오류가 발생하면 몇 분 기다린 다음, 저장소를 다시 생성하세요.

완료된 작업 테스트하기

내 진행 상황 확인하기를 클릭하여 목표를 확인합니다.

Dataform 저장소 만들기

작업 2. Dataform 개발 작업공간 만들기 및 초기화

1. Dataform 페이지에서 방금 만든 quickstart-repository 저장소를 클릭합니다.

2. 개발 작업공간 만들기를 클릭합니다.

3. 개발 작업공간 만들기 창에서 다음을 수행합니다.

   1. 작업공간 ID 필드에서 quickstart-workspace를 입력합니다.

   2. 만들기를 클릭합니다.

4. 작업공간이 만들어지면 quickstart-workspace 개발 작업공간을 클릭합니다.

5. 작업공간 초기화를 클릭합니다.

완료된 작업 테스트하기

내 진행 상황 확인하기를 클릭하여 목표를 확인합니다.

Dataform 작업공간 만들기

작업 3. 뷰를 정의하기 위한 SQLX 파일 만들기

이 섹션에서는 나중에 테이블의 데이터 소스로 사용할 뷰를 정의합니다.

1. 파일 창에서 definitions 옆에 있는 더보기 메뉴를 클릭합니다.

2. 파일 만들기를 클릭합니다.

3. 새 파일 만들기 창에서 다음을 수행합니다.

   1. 파일 경로 추가 필드에 definitions/quickstart-source.sqlx를 입력합니다.

   2. 파일 만들기를 클릭합니다.

뷰 정의하기

1. 파일 창에서 definitions 폴더를 펼칩니다.

2. quickstart-source.sqlx를 클릭합니다.

3. 파일에 다음 코드 스니펫을 입력합니다.

   config { type: "view" } SELECT "apples" AS fruit, 2 AS count UNION ALL SELECT "oranges" AS fruit, 5 AS count UNION ALL SELECT "pears" AS fruit, 1 AS count UNION ALL SELECT "bananas" AS fruit, 0 AS count

작업 4. 테이블 정의를 위한 SQLX 파일 만들기

다음 섹션에서는 SQLX 파일에 테이블 유형을 정의한 후 SELECT 문을 작성하여 동일한 파일 내에서 테이블 구조를 정의합니다.

1. 파일 창에서 definitions 옆에 있는 더보기 메뉴를 클릭한 다음 파일 만들기를 선택합니다.

2. 파일 경로 추가 필드에 definitions/quickstart-table.sqlx을 입력합니다.

3. 파일 만들기를 클릭합니다.

테이블 유형, 구조, 종속 항목 정의하기

1. 파일 창에서 definitions 디렉터리를 펼칩니다.

2. quickstart-table.sqlx를 선택한 후, 다음 테이블 유형을입력하고 SELECT 문을 입력합니다.

   config { type: "table" } SELECT fruit, SUM(count) as count FROM ${ref("quickstart-source")} GROUP BY 1

참고: 컴파일된 쿼리 섹션에 오류 메시지가 표시될 수 있습니다. 메시지를 무시하고 다음 단계를 진행하여 워크플로를 실행하세요.

작업 5. BigQuery에 Dataform 액세스 권한 부여하기

1. Google Cloud 콘솔의 탐색 메뉴()에서 IAM 및 관리자 > IAM을 선택합니다.

2. 주 구성원별로 보기를 클릭합니다. 그런 다음 액세스 권한 부여를 클릭합니다.

3. 새 주 구성원 필드에 Dataform 서비스 계정 ID를 입력합니다.

4. 역할 선택 드롭다운 목록에서 BigQuery 작업 사용자 역할을 선택합니다.

5. 다른 역할 추가를 클릭한 다음 역할 선택 드롭다운 목록에서 BigQuery 데이터 편집자 역할을 선택합니다.

6. 다른 역할 추가를 클릭한 다음 역할 선택 드롭다운 목록에서 BigQuery 데이터 뷰어 역할을 선택합니다.

7. 저장을 클릭합니다.

완료된 작업 테스트하기

내 진행 상황 확인하기를 클릭하여 목표를 확인합니다.

BigQuery에 Dataform 액세스 권한 부여하기

작업 6. 워크플로 실행하기

1. 콘솔에서 탐색 메뉴 > BigQuery > Dataform으로 이동합니다.

2. quickstart-repository를 클릭하여 저장소를 엽니다.

3. quickstart-workspace를 클릭하여 개발 작업공간을 엽니다.

4. quickstart-workspace 페이지에서 실행 시작을 클릭합니다.

5. 작업 실행을 클릭합니다.

6. 모든 작업 탭을 클릭합니다.

7. 실행 창에서 실행 시작을 클릭합니다.

   Dataform은 기본 저장소 설정을 사용하여 dataform이라는 BigQuery 데이터 세트에서 워크플로 콘텐츠를 만듭니다.

완료된 작업 테스트하기

내 진행 상황 확인하기를 클릭하여 목표를 확인합니다.

SQL 워크플로 만들기 및 실행하기

실행 로그 보기

1. quickstart-workspace 페이지에서 실행을 클릭하여 '실행' 창을 엽니다.

2. 실행 세부정보를 보려면 최근 실행을 클릭합니다.

실습 종료

실습을 완료하면 실습 종료를 클릭합니다. Qwiklabs에서 사용된 리소스를 자동으로 삭제하고 계정을 지웁니다.

실습 경험을 평가할 수 있습니다. 해당하는 별표 수를 선택하고 의견을 입력한 후 제출을 클릭합니다.

별점의 의미는 다음과 같습니다.

• 별표 1개 = 매우 불만족
• 별표 2개 = 불만족
• 별표 3개 = 중간
• 별표 4개 = 만족
• 별표 5개 = 매우 만족

의견을 제공하고 싶지 않다면 대화상자를 닫으면 됩니다.

의견이나 제안 또는 수정할 사항이 있다면 지원 탭을 사용하세요.

Copyright 2020 Google LLC All rights reserved. Google 및 Google 로고는 Google LLC의 상표입니다. 기타 모든 회사명 및 제품명은 해당 업체의 상표일 수 있습니다.