개요

이 실습에서는 Colab Enterprise를 사용해 BigQuery에 저장된 데이터 세트를 분석하여 쿼리를 수행하고 다양한 통계 차트 기법을 사용하여 데이터를 표시하는 과정을 알아봅니다. 이러한 분석은 데이터에서 패턴을 발견하는 데 도움이 됩니다.

학습 목표

• Colab Enterprise 노트북 만들기
• BigQuery 데이터 세트에 연결
• Pandas DataFrame에 대한 통계 분석 수행
• Python에서 탐색적 데이터 분석을 위한 Seaborn 플롯 생성
• BigQuery 데이터 세트에서 특정 필드를 선택하는 SQL 쿼리 작성
• 버전 기록을 사용하여 코드 변경사항 확인
• Colab Enterprise 노트북 공유

Vertex AI는 머신러닝(ML) 애플리케이션을 빌드, 배포, 관리하는 통합 플랫폼입니다.

Vertex AI Colab Enterprise는 Google Cloud에서 데이터를 탐색, 분석, 변환, 시각화하고 머신러닝 모델을 빌드하도록 제작된 강력한 공동작업 대화형 도구입니다. Workbench는 기업 조직에 필요한 보안 및 규정 준수 기능을 제공하며 Vertex AI 및 BigQuery와 같은 다른 Google Cloud 서비스와 통합되어 데이터 과학 및 머신러닝 워크플로를 향상합니다.

BigQuery는 강력한 완전 관리형 서버리스 데이터 웨어하우스로, 대규모 데이터 세트를 손쉽게 분석하고 관리할 수 있습니다. BigQuery는 익숙한 표준 SQL 언어를 사용하기 때문에 분석가와 데이터 과학자가 새로운 언어를 학습할 필요 없이 쉽게 사용할 수 있습니다.

Vertex AI는 두 가지 노트북 솔루션인 Workbench와 Colab Enterprise를 제공합니다.

Colab Enterprise

Colab Enterprise 작업공간은 아래 이미지와 같이 (1) 노트북 스토리지, (2) 노트북 작업, (3) 런타임 및 런타임 템플릿, (4) 노트북 편집기, (4) 노트북 코드 셀 등 5개의 주요 섹션으로 구성됩니다. 노트북 스토리지란 노트북의 위치를 말하며, 노트북 작업이란 노트북에서 수행할 수 있는 작업을 말합니다. 런타임을 사용하면 노트북을 '실행'할 수 있고, 노트북 편집기는 노트북을 수정하는 데 사용하며, 코드 셀은 코드를 입력하는 데 사용합니다.

Qwiklabs 환경 설정

Qwiklabs 설정

각 실습에서는 정해진 기간 동안 새 Google Cloud 프로젝트와 리소스 집합이 무료로 제공됩니다.

1. 시크릿 창을 사용하여 Qwiklabs에 로그인합니다.

2. 실습 사용 가능 시간(예: 1:15:00)을 참고하여 해당 시간 내에 완료합니다.
   일시중지 기능은 없습니다. 필요한 경우 다시 시작할 수 있지만 처음부터 시작해야 합니다.

3. 준비가 되면 실습 시작을 클릭합니다.

4. 실습 사용자 인증 정보(사용자 이름 및 비밀번호)를 기록해 두세요. Google Cloud Console에 로그인합니다.

5. Google Console 열기를 클릭합니다.

6. 다른 계정 사용을 클릭한 다음, 안내 메시지에 이 실습에 대한 사용자 인증 정보를 복사하여 붙여넣습니다.
   다른 사용자 인증 정보를 사용하는 경우 오류가 발생하거나 요금이 부과됩니다.

7. 약관에 동의하고 리소스 복구 페이지를 건너뜁니다.

작업 1. 환경 설정하기

1. Vertex AI API 사용 설정하기

Cloud 콘솔의 Vertex AI 섹션으로 이동하여 모든 권장 API 사용 설정을 클릭합니다.

작업 2. Colab Enterprise 노트북 만들기

1. Vertex AI 섹션에서 노트북까지 아래로 스크롤합니다. Colab Enterprise를 클릭합니다.

그러면 'Colab Enterprise에 오신 것을 환영합니다' 페이지가 표시됩니다.

2. 리전 메뉴에서 노트북을 만들 리전()을 선택합니다.

3. 빠른 작업 섹션에서 + 노트북 만들기를 클릭합니다.

새 노트북이 열립니다.

셀을 실행하려면 런타임을 만들어야 합니다. 런타임은 사용자가 Colab 노트북을 실행할 수 있도록 런타임 템플릿에서 파생된 인스턴스입니다. 런타임을 만들려면 먼저 런타임 템플릿을 만들어야 합니다.

4. 런타임 템플릿을 클릭합니다. 런타임 템플릿 페이지에서 + 새 템플릿을 클릭합니다.

런타임 기본사항

이 과정은 3단계로 진행됩니다. 2단계와 3단계는 선택사항입니다.

1단계: 런타임 기본 정보를 제공하고 리전으로 을(를) 선택합니다.

컴퓨팅 구성

2단계: 컴퓨팅 구성(선택사항)

네트워킹 및 보안

3단계: 네트워킹 및 보안(선택사항)

만들기를 클릭합니다.

작업 3. Colab Enterprise 노트북에서 코드 실행

이 예시에서는 '시작하기' 아래의 코드 셀에서 Numpy를 사용하여 임의의 데이터를 생성하고 Matplotlib를 사용하여 이를 시각화합니다.

1. Colab Enterprise를 클릭한 다음 만든 노트북을 클릭합니다.

2. 아래 코드를 복사하고 실행 아이콘을 클릭하여 셀을 실행합니다.

   import numpy as np from matplotlib import pyplot as plt ys = 200 + np.random.randn(100) x = [x for x in range(len(ys))] plt.plot(x, ys, '-') plt.fill_between(x, ys, 195, where=(ys > 195), facecolor='g', alpha=0.6) plt.title("Sample Visualization") plt.show()

셀을 실행하면 아래 이미지와 같이 런타임이 활성화되고 연결을 시작한다는 메시지가 표시됩니다.

3. OAuth 팝업 열기에서 열기를 클릭한 다음 사용자 이름을 선택하고 허용을 클릭합니다.

4. 이제 실행한 셀을 확인해 보세요. 셀 옆에 녹색 체크표시가 있어야 하며, 이는 셀이 제대로 실행되었음을 나타냅니다.

5. 이제 코드를 변경해 보겠습니다. 예를 들어 플롯의 제목을 '샘플 시각화'에서 'Colab Enterprise'로 변경합니다. 그런 다음 셀을 실행합니다.

작업 4. 버전 기록 표시

버전 기록을 추적하는 기능은 소프트웨어 개발에서 가장 중요한 기능 중 하나입니다.

1. 노트북 스토리지 섹션으로 이동합니다. 만든 노트북 옆에 있는 점 3개를 클릭합니다.

2. 버전 기록을 선택합니다(아래 이미지의 도움말 풍선 1 참고).

버전 기록을 선택하면 변경사항이 날짜 스탬프와 함께 나란히 표시되며 '기존'은 빨간색, '신규'는 녹색으로 색상이 지정됩니다(도움말 풍선 2 참고). 버전 기록을 확인하는 방법은 원본 소스, 인라인 차이점, 소스 출력 등 세 가지입니다(도움말 풍선 #3 참고).

작업 5. 셀에 코드 추가

노트북에 코드 또는 텍스트를 추가하려면 노트북 편집기 위의 메뉴 바에서 코드 또는 텍스트를 클릭하기만 하면 됩니다.

이제 노트북에 여러 코드 블록을 추가하겠습니다. 코드 블록을 복사한 후 코드를 실행하여 출력을 확인합니다. 참고: 일부 셀에는 출력이 없습니다(예: 라이브러리를 가져오는 경우). 작업을 마치면 노트북을 공유합니다.

1. 노트북 스토리지 섹션으로 돌아가 노트북을 클릭합니다.
2. 첫 번째 코드를 다시 실행합니다.
3. 코드 셀을 추가합니다.
4. 아래 코드를 새 셀에 복사합니다.

라이브러리 가져오기

import seaborn as sns import pandas as pd import numpy as np from google.cloud import bigquery bq = bigquery.Client()

5. 실행 아이콘을 클릭하여 셀을 실행합니다.

출력이 표시되지 않아야 합니다.

다음 코드를 셀로 삽입하여 필요한 모듈을 가져오고 BigQuery 클라이언트를 초기화합니다. BigQuery 클라이언트는 BigQuery API에서 메시지를 주고받는 데 사용됩니다.

BigQuery 클라이언트 가져오기

client = bigquery.Client() query = """SELECT * FROM `bigquery-public-data.catalonian_mobile_coverage_eu.mobile_data_2015_2017` LIMIT 1000""" job = client.query(query) df = job.to_dataframe()

출력이 표시되지 않습니다.

BigQuery 테이블을 Pandas DataFrame에 다운로드

Google에서 %%bigquery는 Jupyter 노트북 및 기타 대화형 환경에서 BigQuery와 상호작용하기 위해 사용되는 매직 명령어입니다. 따라서 %%bigquery는 기본적으로 BigQuery 모드로 전환하도록 환경에 알려줍니다. 이에 따라 BigQuery 쿼리를 수락하고 실행할 수 있도록 환경을 준비합니다. BigQuery는 쿼리를 실행하고 데이터를 가져와 노트북 환경에서 표시하며, 주로 Pandas DataFrame(예: 코드에 'df'로 표시됨)으로 표시합니다.

%%bigquery df SELECT * FROM `bigquery-public-data.catalonian_mobile_coverage_eu.mobile_data_2015_2017`

표시된 출력

Pandas DataFrame의 처음 5개 행 표시

df.head()

표시된 출력

Pandas DataFrame에 대한 정보 가져오기

df.info()

표시된 출력

Pandas DataFrame에 대한 통계 가져오기

df.describe()

표시된 출력

Seaborn을 사용하여 상관관계를 플롯합니다.

numeric_df = df.select_dtypes(include=[np.number]) corr_matrix = numeric_df.corr() plt.figure(figsize=(10, 5)) sns.heatmap(corr_matrix, annot=True, vmin=0, vmax=1, cmap='viridis') plt.show()

표시된 출력

BigQuery 데이터 세트에서 특정 필드를 선택하는 SQL 쿼리 작성

%%bigquery df2 SELECT signal, status FROM `bigquery-public-data.catalonian_mobile_coverage_eu.mobile_data_2015_2017`

표시된 출력

새 필드의 처음 5개 행을 가져옵니다.

df2.head()

표시된 출력

작업 6. 노트북 공유

이제 노트북을 공유합니다.

1. 노트북을 마우스 오른쪽 버튼으로 클릭하여 '공유'를 선택하면 공유 권한 창이 나타납니다. 여기에서 권한하거나 삭제할 수 있으며, '주 구성원 추가'를 선택하여 새로운 액세스 권한을 부여할 수도 있습니다.

2. 주 구성원에게 리소스에 대한 액세스 권한을 부여할 때는 역할도 추가하여 주 구성원이 수행할 수 있는 작업을 지정합니다. 필요에 따라 특정 기준을 충족하는 경우에만 주 구성원에게 액세스 권한을 부여하는 조건을 추가할 수 있습니다.

주 구성원은 사용자, 그룹, 도메인 또는 서비스 계정입니다. 역할은 권한 집합으로 구성되며 주 구성원이 리소스에서 수행할 수 있는 작업을 결정합니다.

수고하셨습니다

이 실습에서는 다음을 수행하는 방법을 배웠습니다.

• Colab Enterprise 노트북 만들기
• BigQuery 데이터 세트에 연결
• Pandas DataFrame에 대한 통계 분석 수행
• Python에서 탐색적 데이터 분석을 위한 Seaborn 플롯 생성
• BigQuery 데이터 세트에서 특정 필드를 선택하는 SQL 쿼리 작성
• 버전 기록을 사용하여 코드 변경사항 확인
• Colab Enterprise 노트북 공유

실습 종료

실습을 완료하면 실습 종료를 클릭합니다. Qwiklabs에서 사용된 리소스를 자동으로 삭제하고 계정을 지웁니다.

실습 경험을 평가할 수 있습니다. 해당하는 별표 수를 선택하고 의견을 입력한 후 제출을 클릭합니다.

별점의 의미는 다음과 같습니다.

• 별표 1개 = 매우 불만족
• 별표 2개 = 불만족
• 별표 3개 = 중간
• 별표 4개 = 만족
• 별표 5개 = 매우 만족

의견을 제공하고 싶지 않다면 대화상자를 닫으면 됩니다.

의견이나 제안 또는 수정할 사항이 있다면 지원 탭을 사용하세요.

설명서 최종 업데이트: 2024년 12월 11일

실습 최종 테스트: 2024년 12월 11일

Copyright 2024 Google LLC All rights reserved. Google 및 Google 로고는 Google LLC의 상표입니다. 기타 모든 회사명 및 제품명은 해당 업체의 상표일 수 있습니다.