개요

대규모 데이터 세트를 저장하고 쿼리할 때 올바른 하드웨어와 인프라를 사용하지 않으면 많은 시간과 비용이 들 수 있습니다. BigQuery는 Google 인프라의 처리 능력을 사용하여 매우 빠른 SQL 쿼리를 지원함으로써 이러한 문제를 해결하는 기업용 데이터 웨어하우스입니다. BigQuery로 데이터를 이동하기만 하면 됩니다. 힘든 작업은 Google에서 처리합니다. 비즈니스 요구사항을 기준으로 다른 사용자에게 데이터를 보거나 쿼리할 수 있는 능력을 부여하는 등 프로젝트와 데이터에 대한 액세스를 제어할 수 있습니다.

Cloud 콘솔, 명령줄 도구를 통해 또는 자바, .NET, Python과 같은 다양한 클라이언트 라이브러리를 사용하여 BigQuery REST API를 호출하여 BigQuery에 액세스합니다. 또한 데이터를 시각화하거나 로드하는 등 BigQuery와 상호작용하기 위해 사용할 수 있는 다양한 타사 도구도 있습니다. 이 실습에서는 웹 UI를 사용하여 BigQuery에 액세스합니다.

Cloud 콘솔에서 BigQuery 웹 UI를 쿼리 실행, 데이터 로드, 데이터 내보내기와 같은 작업을 수행하기 위한 시각적 인터페이스로 사용할 수 있습니다. 이 실습에서는 공개 데이터 세트에서 테이블을 쿼리하는 방법과 Cloud 콘솔을 통해 BigQuery로 샘플 데이터를 로드하는 방법을 알려줍니다.

목표

이 실습에서는 다음 작업을 수행하는 방법을 알아봅니다.

• 공개 데이터 세트 쿼리하기
• 커스텀 테이블 만들기
• 테이블에 데이터 로드
• 테이블 쿼리

환경 설정

실습 설정

각 실습에서는 정해진 기간 동안 새 Google Cloud 프로젝트와 리소스 집합이 무료로 제공됩니다.

1. 시크릿 창을 사용하여 Qwiklabs에 로그인합니다.

2. 실습 사용 가능 시간(예: 1:15:00)을 참고하여 해당 시간 내에 완료합니다.
   일시중지 기능은 없습니다. 필요한 경우 다시 시작할 수 있지만 처음부터 시작해야 합니다.

3. 준비가 되면 실습 시작을 클릭합니다.

4. 실습 사용자 인증 정보(사용자 이름 및 비밀번호)를 기록해 두세요. Google Cloud Console에 로그인합니다.

5. Google Console 열기를 클릭합니다.

6. 다른 계정 사용을 클릭한 다음, 안내 메시지에 이 실습에 대한 사용자 인증 정보를 복사하여 붙여넣습니다.
   다른 사용자 인증 정보를 사용하는 경우 오류가 발생하거나 요금이 부과됩니다.

7. 약관에 동의하고 리소스 복구 페이지를 건너뜁니다.

BigQuery 콘솔 열기

1. Google Cloud Console에서 탐색 메뉴 > BigQuery를 선택합니다.

Cloud Console의 BigQuery에 오신 것을 환영합니다라는 메시지 상자가 열립니다. 이 메시지 상자에서는 빠른 시작 가이드 링크 및 UI 업데이트 목록을 확인할 수 있습니다.

2. 완료를 클릭합니다.

작업 1. 공개 데이터 세트 쿼리하기

이 작업에서는 '미국 이름' 공개 데이터 세트를 BigQuery에 로드한 후 데이터 세트를 쿼리하여 1910년~2013년에 미국에서 가장 많이 쓰인 이름을 확인합니다.

미국 이름 데이터 세트 로드하기

1. 탐색기 창의 검색어 입력에 usa_names를 입력한 후 Enter 키를 누릅니다.

2. 모든 프로젝트 검색을 클릭합니다.

3. 탐색기 창에서 마우스 포인터를 bigquery-public-data로 가져간 후 별표표시를 클릭합니다.

4. 검색어 입력 필드에 bigquery-public-data를 입력합니다. 프로젝트의 모든 데이터 세트가 표시됩니다.

참고: 새 프로젝트 bigquery-public-data가 탐색기 창에 표시되지 않으면 + 데이터 추가 > 이름으로 프로젝트에 별표표시 > 프로젝트에 별표표시(bigquery-public-data) 및 별표표시를 클릭합니다.

5. bigquery-public-data의 노드 펼치기를 클릭합니다.

6. 공개 데이터 세트 목록을 아래로 스크롤하여 usa_names가 나올 때까지 결과 더보기를 클릭합니다.

7. usa_names를 클릭하여 데이터 세트를 펼칩니다.

8. usa_1910_2013를 클릭하여 테이블을 엽니다.

미국 이름 데이터 세트 쿼리하기

이 데이터 세트에 있는 bigquery-public-data.usa_names.usa_1910_2013에서 아기의 이름과 성별을 쿼리한 후 상위 10개 이름을 내림차순으로 나열합니다.

1. 쿼리를 클릭한 후 새 탭을 선택합니다.

2. 다음 쿼리를 복사하여 쿼리 편집기 텍스트 영역에 있는 기존 쿼리 대신 붙여넣습니다.

SELECT name, gender, SUM(number) AS total FROM `bigquery-public-data.usa_names.usa_1910_2013` GROUP BY name, gender ORDER BY total DESC LIMIT 10

3. 창의 오른쪽 상단에서 쿼리 검사기를 봅니다.

쿼리가 유효하면 BigQuery에 녹색 체크표시 아이콘이 표시되고 쿼리가 유효하지 않으면 빨간색 느낌표 아이콘이 표시됩니다. 쿼리가 유효하면 검사기에 쿼리를 실행할 때 처리하는 데이터의 양도 표시됩니다. 이를 통해 쿼리 실행 비용을 확인할 수 있습니다.

4. 실행을 클릭합니다.

쿼리 편집기 아래에 쿼리 결과가 열립니다. BigQuery의 쿼리 결과 섹션 상단에 경과 시간과 쿼리에 의해 처리된 데이터가 표시됩니다. 시간 아래에는 쿼리 결과를 표시하는 테이블이 있습니다. 헤더 행에는 쿼리의 GROUP BY에 지정된 대로 열 이름이 포함됩니다.

작업 2. 커스텀 테이블 만들기

이 작업에서는 커스텀 테이블을 만들고 데이터를 로드한 후 쿼리를 테이블에 실행합니다.

로컬 컴퓨터에 데이터 다운로드

다운로드하는 파일에는 미국 사회보장국에서 제공한 약 7MB의 인기 있는 아기 이름 데이터가 포함되어 있습니다.

1. 아기 이름 ZIP 파일을 로컬 컴퓨터에 다운로드합니다. 참고: 이 다운로드 링크 연결에 실패할 경우 안내 가이드의 왼쪽 창에 있는 학생 리소스에서 아기 이름 ZIP 파일을 복사하세요.
2. 컴퓨터에 파일의 압축을 풉니다.
3. yob2014.txt 파일을 열어 데이터를 살펴봅니다. 파일은 쉼표로 구분된 값(CSV) 파일이며 이름, 성별(M 또는 F), 해당 이름의 어린이 수 등 3개의 열이 있습니다. 파일에는 헤더 행이 없습니다.
4. 나중에 찾을 수 있도록 yob2014.txt 파일의 위치를 기록해 둡니다.

작업 3. 데이터 세트 만들기

이 작업에서는 테이블을 보관할 데이터 세트를 만들고 프로젝트에 데이터를 추가한 후 쿼리할 데이터 테이블을 만듭니다.

데이터 세트를 통해 프로젝트의 테이블 및 뷰에 대한 액세스를 제어할 수 있습니다. 이 실습에서는 테이블을 하나만 사용하지만 테이블을 보관하려면 데이터 세트가 필요합니다.

1. Cloud 콘솔로 돌아갑니다. 탐색기 창의 검색어 입력 창에서 bigquery-public-data를 삭제합니다.

참고: 이름으로 프로젝트에 별표표시 메서드를 사용한 경우 검색 결과 상단까지 위로 다시 스크롤합니다.

2. 프로젝트 ID(Qwiklabs로 시작됨)를 클릭합니다.

3. 프로젝트 ID 옆에 있는 점 3개를 클릭한 다음 데이터 세트 만들기를 클릭합니다.

4. 데이터 세트 만들기 페이지에서 다음을 실행합니다.

   • 데이터 세트 ID에 babynames를 입력합니다.
   • 데이터 위치에서 us(미국 내 여러 리전)를 선택합니다.
   • 기본 테이블 만료 시간의 경우 기본값을 그대로 놔둡니다.
   • 암호화는 기본값으로 둡니다.

5. 창 하단에서 데이터 세트 만들기를 클릭합니다.

작업 4. 새 테이블에 데이터 로드

이 작업에서는 만든 테이블에 데이터를 로드합니다.

1. 탐색기 창에서 프로젝트 ID 데이터 세트를 펼칩니다.

2. babynames 옆에 있는 점 3개를 클릭한 후 테이블 만들기를 클릭합니다.

달리 명시되지 않는 한 모든 설정에 기본값을 사용합니다.

3. 테이블 만들기 페이지에서 다음을 실행합니다.

   • 소스의 경우 Create table from: 드롭다운 메뉴에서 업로드를 선택합니다.
   • 파일 선택에서 탐색을 클릭하고 yob2014.txt 파일로 이동한 후 열기를 클릭합니다.
   • 파일 형식의 경우 드롭다운 메뉴에서 CSV를 선택합니다.
   • 테이블 이름으로 names_2014를 입력합니다.
   • 스키마 섹션에서 텍스트로 수정 전환을 클릭하고 다음 스키마 정의를 텍스트 상자에 붙여넣습니다.

name:string,gender:string,count:integer

4. 창 하단에서 테이블 만들기를 클릭합니다.

참고: 가져오기 오류가 표시되어도 데이터 가져오기는 완료된 것입니다. 오류를 지우려면 닫기를 클릭한 다음 취소를 클릭하여 가져오기 대화상자를 종료합니다. 그런 다음 변경사항이 저장되지 않는다는 경고가 표시되면 마지막으로 나가기를 클릭합니다.

테이블 미리보기

1. 탐색기 창에서 babynames > names_2014를 선택합니다.
2. 세부정보 창에서 미리보기 탭을 클릭합니다.

작업 5. 테이블 쿼리

이제 테이블에 데이터를 로드했으므로 테이블을 대상으로 쿼리를 실행할 수 있습니다. 이 프로세스는 공개 테이블 대신 내 테이블을 쿼리한다는 점을 제외하고 위의 예시와 동일합니다.

1. 쿼리 편집기에서 SQL 쿼리 만들기를 클릭합니다.
2. 다음 쿼리를 복사하여 쿼리 편집기에 붙여넣습니다. 이 쿼리에서는 2014년에 미국에서 가장 많이 사용된 남자 아이 이름 5개를 보여줍니다.

참고: '' 내부는 대소문자를 구분하므로 데이터 세트의 이름과 생성한 테이블의 이름이 정확히 일치해야 합니다. SELECT name, count FROM `babynames.names_2014` WHERE gender = 'M' ORDER BY count DESC LIMIT 5

3. 실행을 클릭합니다. 쿼리 창 아래에 결과가 표시됩니다.

수고하셨습니다

공개 데이터 세트를 쿼리한 다음 커스텀 테이블을 만들고 테이블에 데이터를 로드한 후 테이블을 대상으로 쿼리를 실행했습니다.

실습 종료하기

실습을 완료하면 실습 종료를 클릭합니다. Google Cloud Skills Boost에서 사용된 리소스를 자동으로 삭제하고 계정을 지웁니다.

실습 경험을 평가할 수 있습니다. 해당하는 별표 수를 선택하고 의견을 입력한 후 제출을 클릭합니다.

별점의 의미는 다음과 같습니다.

• 별표 1개 = 매우 불만족
• 별표 2개 = 불만족
• 별표 3개 = 중간
• 별표 4개 = 만족
• 별표 5개 = 매우 만족

의견을 제공하고 싶지 않다면 대화상자를 닫으면 됩니다.

의견이나 제안 또는 수정할 사항이 있다면 지원 탭을 사용하세요.

Copyright 2020 Google LLC All rights reserved. Google 및 Google 로고는 Google LLC의 상표입니다. 기타 모든 회사명 및 제품명은 해당 업체의 상표일 수 있습니다.