GSP196

概览

在本实验中，您将数据从 CSV 文本文件导入 Cloud SQL，然后使用简单查询执行一些基本的数据分析。

本实验中使用的数据集来自 US Bureau of Transport Statistics（美国交通统计局），其中包含美国国内航班的历史信息。此数据集可用于演示各种数据科学概念和技术。

目标

• 创建 Cloud SQL 实例
• 创建 Cloud SQL 数据库
• 将文本数据导入 Cloud SQL
• 使用查询构建初始数据模型

设置和要求

点击“开始实验”按钮前的注意事项

请阅读以下说明。实验是计时的，并且您无法暂停实验。计时器在您点击开始实验后即开始计时，显示 Google Cloud 资源可供您使用多长时间。

此实操实验可让您在真实的云环境中开展实验活动，免受模拟或演示环境的局限。为此，我们会向您提供新的临时凭据，您可以在该实验的规定时间内通过此凭据登录和访问 Google Cloud。

为完成此实验，您需要：

• 能够使用标准的互联网浏览器（建议使用 Chrome 浏览器）。

注意：请使用无痕模式（推荐）或无痕浏览器窗口运行此实验。这可以避免您的个人账号与学生账号之间发生冲突，这种冲突可能导致您的个人账号产生额外费用。

• 完成实验的时间 - 请注意，实验开始后无法暂停。

注意：请仅使用学生账号完成本实验。如果您使用其他 Google Cloud 账号，则可能会向该账号收取费用。

如何开始实验并登录 Google Cloud 控制台

1. 点击开始实验按钮。如果该实验需要付费，系统会打开一个对话框供您选择支付方式。左侧是“实验详细信息”窗格，其中包含以下各项：

   • “打开 Google Cloud 控制台”按钮
   • 剩余时间
   • 进行该实验时必须使用的临时凭据
   • 帮助您逐步完成本实验所需的其他信息（如果需要）

2. 点击打开 Google Cloud 控制台（如果您使用的是 Chrome 浏览器，请右键点击并选择在无痕式窗口中打开链接）。

   该实验会启动资源并打开另一个标签页，显示“登录”页面。

   提示：将这些标签页安排在不同的窗口中，并排显示。

   注意：如果您看见选择账号对话框，请点击使用其他账号。

3. 如有必要，请复制下方的用户名，然后将其粘贴到登录对话框中。

   {{{user_0.username | "<用户名>"}}}

   您也可以在“实验详细信息”窗格中找到“用户名”。

4. 点击下一步。

5. 复制下面的密码，然后将其粘贴到欢迎对话框中。

   {{{user_0.password | "<密码>"}}}

   您也可以在“实验详细信息”窗格中找到“密码”。

6. 点击下一步。

   重要提示：您必须使用实验提供的凭据。请勿使用您的 Google Cloud 账号凭据。 注意：在本实验中使用您自己的 Google Cloud 账号可能会产生额外费用。

7. 继续在后续页面中点击以完成相应操作：

   • 接受条款及条件。
   • 由于这是临时账号，请勿添加账号恢复选项或双重验证。
   • 请勿注册免费试用。

片刻之后，系统会在此标签页中打开 Google Cloud 控制台。

注意：如需访问 Google Cloud 产品和服务，请点击导航菜单，或在搜索字段中输入服务或产品的名称。

激活 Cloud Shell

Cloud Shell 是一种装有开发者工具的虚拟机。它提供了一个永久性的 5GB 主目录，并且在 Google Cloud 上运行。Cloud Shell 提供可用于访问您的 Google Cloud 资源的命令行工具。

1. 点击 Google Cloud 控制台顶部的激活 Cloud Shell 。

2. 在弹出的窗口中执行以下操作：

   • 继续完成 Cloud Shell 信息窗口中的设置。
   • 授权 Cloud Shell 使用您的凭据进行 Google Cloud API 调用。

如果您连接成功，即表示您已通过身份验证，且项目 ID 会被设为您的 Project_ID 。输出内容中有一行说明了此会话的 Project_ID：

Your Cloud Platform project in this session is set to {{{project_0.project_id | "PROJECT_ID"}}}

gcloud 是 Google Cloud 的命令行工具。它已预先安装在 Cloud Shell 上，且支持 Tab 自动补全功能。

3. （可选）您可以通过此命令列出活跃账号名称：

gcloud auth list

4. 点击授权。

输出：

ACTIVE: * ACCOUNT: {{{user_0.username | "ACCOUNT"}}} To set the active account, run: $ gcloud config set account `ACCOUNT`

5. （可选）您可以通过此命令列出项目 ID：

gcloud config list project

输出：

[core] project = {{{project_0.project_id | "PROJECT_ID"}}} 注意：如需查看在 Google Cloud 中使用 gcloud 的完整文档，请参阅 gcloud CLI 概览指南。

任务 1. 准备环境

本实验使用 O'Reilly Media, Inc 出版的《Data Science on the Google Cloud Platform》第二版一书中开发的一组代码示例和脚本。它涵盖了第 3 章“创建引人注目的信息中心”第一部分中介绍的 Cloud SQL 配置和数据导入任务。您将第 2 章中使用的示例代码库从 GitHub 克隆到 Cloud Shell，并从那里执行所有实验任务。

克隆“Google Cloud 上的数据科学”代码库

1. 在 Cloud Shell 中输入以下命令，克隆此代码库：

git clone \ https://github.com/GoogleCloudPlatform/data-science-on-gcp/

2. 切换到代码库目录：

cd data-science-on-gcp/03_sqlstudio

3. 创建环境变量，以存储您的项目 ID 和包含数据的存储桶，供本实验后续使用：

export PROJECT_ID=$(gcloud info --format='value(config.project)') export BUCKET=${PROJECT_ID}-ml

4. 输入以下命令，将文件暂存到 Cloud Storage 存储桶中：

gsutil cp create_table.sql \ gs://$BUCKET/create_table.sql

任务 2. 创建 Cloud SQL 实例

1. 输入以下命令以创建 Cloud SQL 实例：

gcloud sql instances create flights \ --database-version=POSTGRES_13 --cpu=2 --memory=8GiB \ --region={{{project_0.default_region | "REGION"}}} --root-password=Passw0rd

此命令需要几分钟才能完成。

测试完成的任务

点击检查我的进度，验证您已完成的任务。如果您已成功创建 Cloud SQL 实例，会看到一个评估分数。

创建 Cloud SQL 实例。

2. 使用 Cloud Shell IP 地址创建环境变量：

export ADDRESS=$(curl -s http://ipecho.net/plain)/32

3. 将 Cloud Shell 实例列入允许名单，以获得对 SQL 实例的管理访问权限：

gcloud sql instances patch flights --authorized-networks $ADDRESS

4. 出现提示时，按 Y 接受更改。

测试完成的任务

点击检查我的进度，验证您已完成的任务。如果您已成功将 Cloud Shell 列入允许访问 SQL 实例的名单，系统会显示一个评估分数。

将 Cloud Shell 实例列入允许名单，以访问 SQL 实例。

创建数据库和表

如需将数据导入 Postgres 表，您首先需要创建一个空数据库和一个具有正确架构的表。

1. 在 Cloud 控制台的导航菜单 () 中，点击 SQL。

2. 如需打开实例的“概览”页面，点击实例名称 flights。

3. 从左侧的 SQL 导航菜单中选择数据库。

4. 点击创建数据库。

5. 在“新建数据库”对话框中，将数据库命名为 bts。

6. 点击创建。

7. 如需打开实例的“概览”页面，请从 SQL 导航菜单中选择概览。

8. 点击顶部的导入。

9. 在 Cloud Storage 文件字段中，点击浏览。

10. 在“存储桶”部分，点击存储桶名称旁边的箭头。

11. 选择文件 create_table.sql。

12. 点击选择。

13. 在文件格式部分，选择 SQL。

14. 指定 Cloud SQL 实例中的数据库 bts。

15. 点击导入，开始导入作业。

几秒钟后，空表即创建完成。

测试完成的任务

点击检查我的进度，验证您已完成的任务。如果您已使用 create_table.sql 文件成功创建了 bts 数据库和 flights 表，系统会显示一个评估分数。

使用 create_table.sql 文件创建 bts 数据库和 flights 表。

任务 3. 向 Cloud SQL 实例添加数据

您已经创建了空数据库和空表，现在将 CSV 文件加载到此表中。加载 1 月份的数据，方法是浏览到存储桶中的 201501.csv，并将格式指定为 CSV，数据库指定为 bts，表指定为 flights。

1. 在您的 Cloud SQL 实例页面中，点击导入。

2. 在 Cloud Storage 文件字段，点击浏览，然后点击存储桶名称旁边的箭头，再点击 201501.csv。

3. 点击选择。

4. 选择 CSV 作为文件格式。

5. 选择 bts 数据库，并输入 flights 作为表名称。

6. 点击导入。

任务 4. 与数据库交互

1. 使用以下命令从 Cloud Shell 连接到 Cloud SQL 实例：

gcloud sql connect flights --user=postgres

2. 当系统提示输入密码时，输入 Passw0rd。输入时您可能看不到字母。

3. 在出现的提示中，连接到 bts 数据库：

\c bts;

4. 当系统提示输入密码时，输入 Passw0rd。

5. 然后，运行查询以获取最繁忙的 5 个机场：

SELECT "Origin", COUNT(*) AS num_flights FROM flights GROUP BY "Origin" ORDER BY num_flights DESC LIMIT 5;

虽然此查询的性能不错，因为数据集相对较小（只有 1 月份的数据！），但随着您添加更多月份的数据，数据库的速度会变慢。

关系数据库适合处理较小的数据集，您可以在这些数据集上执行返回少量数据子集的临时查询。对于较大的数据集，您可以为感兴趣的列编制索引，来优化关系型数据库的性能。此外，由于关系型数据库通常支持事务并保证强一致性，因此非常适合经常更新的数据。

但对于以下情形，关系型数据库不是合适的选择：

• 您的数据主要面向只读操作
• 数据集大小达到 TB 级
• 您需要扫描整个表（例如计算列的最大值），或者您的数据以高速率流式传输。

航班延误应用场景符合以上情形。在这种情况下，您需要从关系型数据库切换到分析数据仓库 BigQuery。分析数据仓库允许使用 SQL，并且其处理大型数据集和临时查询（即不需要对列进行索引）的能力要高得多。

恭喜！

现在，您已经了解了如何创建表，以及如何将存储在 Cloud Storage 中的文本数据导入 Cloud SQL。

后续步骤/了解详情

下面是一些后续步骤：

• 《Data Science on the Google Cloud Platform》，第二版：O'Reilly Media, Inc。

Google Cloud 培训和认证

…可帮助您充分利用 Google Cloud 技术。我们的课程会讲解各项技能与最佳实践，可帮助您迅速上手使用并继续学习更深入的知识。我们提供从基础到高级的全方位培训，并有点播、直播和虚拟三种方式选择，让您可以按照自己的日程安排学习时间。各项认证可以帮助您核实并证明您在 Google Cloud 技术方面的技能与专业知识。

上次更新手册的时间：2024 年 7 月 9 日

上次测试实验的时间：2024 年 7 月 16 日

版权所有 2025 Google LLC 保留所有权利。Google 和 Google 徽标是 Google LLC 的商标。其他所有公司名和产品名可能是其各自相关公司的商标。