GSP1250

Descripción general

Si bien BigQuery ofrece capacidades de observabilidad integradas, como las vistas de INFORMATION_SCHEMA, el registro detallado sigue siendo fundamental para el análisis detallado de uso, las auditorías y la solución de problemas potenciales. Habilitar el Análisis de registros te permite consultar y analizar tus datos de registros con consultas en SQL conocidas y, luego, ver o graficar los resultados de las consultas.

BigQuery es el almacén de datos empresarial completamente administrado de Google Cloud que te ayuda a administrar y analizar tus datos con funciones integradas como el aprendizaje automático, el análisis geoespacial y la inteligencia empresarial.

En este lab, habilitarás el Análisis de registros en buckets de almacenamiento de registros y, luego, visualizarás los registros de BigQuery en Cloud Logging. También usarás SQL para analizar los registros con el Análisis de registros.

Objetivos

En este lab, aprenderás a hacer lo siguiente:

• Usar Cloud Logging de forma eficaz para obtener estadísticas sobre el uso de BigQuery
• Crear y ejecutar consultas en SQL de manera eficaz con el Análisis de registros
• Visualizar y graficar los resultados

Configuración y requisitos

Antes de hacer clic en el botón Comenzar lab

Lee estas instrucciones. Los labs cuentan con un temporizador que no se puede pausar. El temporizador, que comienza a funcionar cuando haces clic en Comenzar lab, indica por cuánto tiempo tendrás a tu disposición los recursos de Google Cloud.

Este lab práctico te permitirá realizar las actividades correspondientes en un entorno de nube real, no en uno de simulación o demostración. Para ello, se te proporcionan credenciales temporales nuevas que utilizarás para acceder a Google Cloud durante todo el lab.

Para completar este lab, necesitarás lo siguiente:

• Acceso a un navegador de Internet estándar. Se recomienda el navegador Chrome.

Nota: Usa una ventana del navegador privada o de incógnito (opción recomendada) para ejecutar el lab. Así evitarás conflictos entre tu cuenta personal y la cuenta de estudiante, lo que podría generar cargos adicionales en tu cuenta personal.

• Tiempo para completar el lab (recuerda que, una vez que comienzas un lab, no puedes pausarlo).

Nota: Usa solo la cuenta de estudiante para este lab. Si usas otra cuenta de Google Cloud, es posible que se apliquen cargos a esa cuenta.

Cómo iniciar tu lab y acceder a la consola de Google Cloud

1. Haz clic en el botón Comenzar lab. Si debes pagar por el lab, se abrirá un diálogo para que selecciones la forma de pago. A la izquierda, se encuentra el panel Detalles del lab, que tiene estos elementos:

   • El botón para abrir la consola de Google Cloud
   • El tiempo restante
   • Las credenciales temporales que debes usar para el lab
   • Otra información para completar el lab, si es necesaria

2. Haz clic en Abrir la consola de Google Cloud (o haz clic con el botón derecho y selecciona Abrir el vínculo en una ventana de incógnito si ejecutas el navegador Chrome).

   El lab inicia recursos y abre otra pestaña en la que se muestra la página de acceso.

   Sugerencia: Ordena las pestañas en ventanas separadas, una junto a la otra.

   Nota: Si ves el diálogo Elegir una cuenta, haz clic en Usar otra cuenta.

3. De ser necesario, copia el nombre de usuario a continuación y pégalo en el diálogo Acceder.

   {{{user_0.username | "Username"}}}

   También puedes encontrar el nombre de usuario en el panel Detalles del lab.

4. Haz clic en Siguiente.

5. Copia la contraseña que aparece a continuación y pégala en el diálogo Te damos la bienvenida.

   {{{user_0.password | "Password"}}}

   También puedes encontrar la contraseña en el panel Detalles del lab.

6. Haz clic en Siguiente.

   Importante: Debes usar las credenciales que te proporciona el lab. No uses las credenciales de tu cuenta de Google Cloud. Nota: Usar tu propia cuenta de Google Cloud para este lab podría generar cargos adicionales.

7. Haz clic para avanzar por las páginas siguientes:

   • Acepta los Términos y Condiciones.
   • No agregues opciones de recuperación o autenticación de dos factores (esta es una cuenta temporal).
   • No te registres para obtener pruebas gratuitas.

Después de un momento, se abrirá la consola de Google Cloud en esta pestaña.

Nota: Para acceder a los productos y servicios de Google Cloud, haz clic en el menú de navegación o escribe el nombre del servicio o producto en el campo Buscar.

Activa Cloud Shell

Cloud Shell es una máquina virtual que cuenta con herramientas para desarrolladores. Ofrece un directorio principal persistente de 5 GB y se ejecuta en Google Cloud. Cloud Shell proporciona acceso de línea de comandos a tus recursos de Google Cloud.

1. Haz clic en Activar Cloud Shell en la parte superior de la consola de Google Cloud.

2. Haz clic para avanzar por las siguientes ventanas:

   • Continúa en la ventana de información de Cloud Shell.
   • Autoriza a Cloud Shell para que use tus credenciales para realizar llamadas a la API de Google Cloud.

Cuando te conectes, habrás completado la autenticación, y el proyecto estará configurado con tu Project_ID, . El resultado contiene una línea que declara el Project_ID para esta sesión:

Your Cloud Platform project in this session is set to {{{project_0.project_id | "PROJECT_ID"}}}

gcloud es la herramienta de línea de comandos de Google Cloud. Viene preinstalada en Cloud Shell y es compatible con la función de autocompletado con tabulador.

3. Puedes solicitar el nombre de la cuenta activa con este comando (opcional):

gcloud auth list

4. Haz clic en Autorizar.

Resultado:

ACTIVE: * ACCOUNT: {{{user_0.username | "ACCOUNT"}}} To set the active account, run: $ gcloud config set account `ACCOUNT`

5. Puedes solicitar el ID del proyecto con este comando (opcional):

gcloud config list project

Resultado:

[core] project = {{{project_0.project_id | "PROJECT_ID"}}} Nota: Para obtener toda la documentación de gcloud, en Google Cloud, consulta la guía con la descripción general de gcloud CLI.

Tarea 1: Configura buckets de registros

En esta tarea, configurarás Cloud Logging para actualizar los buckets de registros existentes con el Análisis de registros habilitado.

Para actualizar los buckets existentes para usar el Análisis de registros, haz lo siguiente:

1. En la barra de título de la consola de Google Cloud, escribe Almacenamiento de registros en el campo Buscar y, luego, haz clic en Almacenamiento de registros en los resultados de la búsqueda.

Se abrirá la página Almacenamiento de registros. En la lista Buckets de registros, se muestran dos buckets: _Default y _Required.

2. En el bucket de registros _Required, haz clic en Upgrade en la columna Análisis de registros disponibles.
3. Haz clic en Actualizar para confirmar la actualización y usar el Análisis de registros.
4. Haz lo mismo para el bucket de registros _Default. Haz clic en Upgrade en la columna Análisis de registros disponibles.
5. Haz clic en Actualizar para confirmar la actualización y usar el Análisis de registros.

Haz clic en Revisar mi progreso para verificar el objetivo. Actualizar los buckets de registros

Tarea 2: Realiza actividades de BigQuery

En esta tarea, generarás registros de BigQuery. Para ello, usa la herramienta de línea de comandos de BigQuery bq.

1. En Cloud Shell, ingresa el comando bq mk para crear conjuntos de datos nuevos con los nombres bq_logs y bq_logs_test en tu proyecto:

bq mk bq_logs bq mk bq_logs_test

2. Ingresa el comando bq ls para ver una lista de los conjuntos de datos:

bq ls

3. Ingresa el comando bq rm para borrar un conjunto de datos (selecciona Y cuando se te solicite):

bq rm bq_logs_test

4. Crea una tabla nueva:

bq mk \ --table \ --expiration 3600 \ --description "This is a test table" \ bq_logs.test_table \ id:STRING,name:STRING,address:STRING

Deberías ver un mensaje de confirmación que indique que se creó una nueva tabla vacía llamada test_table para tu conjunto de datos.

Ahora ejecuta algunas consultas para generar registros.

5. Ingresa la siguiente consulta en Cloud Shell:

bq query --use_legacy_sql=false 'SELECT current_date'

6. Ingresa el siguiente comando en Cloud Shell:

bq query --use_legacy_sql=false \ 'SELECT gsod2021.date, stations.usaf, stations.wban, stations.name, stations.country, stations.state, stations.lat, stations.lon, stations.elev, gsod2021.temp, gsod2021.max, gsod2021.min, gsod2021.mxpsd, gsod2021.gust, gsod2021.fog, gsod2021.hail FROM `bigquery-public-data.noaa_gsod.gsod2021` gsod2021 INNER JOIN `bigquery-public-data.noaa_gsod.stations` stations ON gsod2021.stn = stations.usaf AND gsod2021.wban = stations.wban WHERE stations.country = "US" AND gsod2021.date = "2021-12-15" AND stations.state IS NOT NULL AND gsod2021.max != 9999.9 ORDER BY gsod2021.min;'

(Esta consulta usa datos meteorológicos de la Administración Nacional Oceánica y Atmosférica [NOAA]).

Haz clic en Revisar mi progreso para verificar el objetivo. Realizar actividades de BigQuery

Tarea 3: Realiza análisis de registros

En esta tarea, se analizarán los datos de registro que creaste en la tarea anterior.

Desafío (opcional): Antes de ejecutar una consulta, ¿puedes predecir el resultado?

Consulta una operación específica

Una tarea común cuando se analiza el uso de BigQuery es buscar operaciones específicas para tus conjuntos de datos. En esta tarea, consultarás las operaciones de creación y eliminación.

1. En el panel izquierdo, haz clic en Análisis de registros y busca el campo Consulta en la sección Análisis de registros.

2. Para encontrar las operaciones creadas y borradas, escribe o pega la siguiente consulta en el campo Consulta y haz clic en Ejecutar consulta:

SELECT timestamp, severity, resource.type, proto_payload.audit_log.authentication_info.principal_email, proto_payload.audit_log.method_name, proto_payload.audit_log.resource_name, FROM `{{{ project_0.project_id | "Project ID" }}}.global._Required._AllLogs` WHERE log_id = 'cloudaudit.googleapis.com/activity' AND proto_payload.audit_log.method_name LIKE 'datasetservice%' LIMIT 100

Tu consulta debería mostrar tres resultados.

También puedes limitar tu búsqueda con más detalles, como method_name = 'datasetservice.delete'.

Consulta operaciones en tablas de BigQuery

1. Para encontrar las operaciones de las tablas de BigQuery, cambia la condición de la consulta para los servicios de tablas. Ejecuta esta consulta para encontrar operaciones en tablas que se crean o borran:

SELECT timestamp, severity, resource.type, proto_payload.audit_log.authentication_info.principal_email, proto_payload.audit_log.method_name, proto_payload.audit_log.resource_name, FROM `{{{ project_0.project_id | "Project ID" }}}.global._Required._AllLogs` WHERE log_id = 'cloudaudit.googleapis.com/activity' AND proto_payload.audit_log.method_name LIKE '%TableService%' LIMIT 100

Esta consulta genera un solo resultado.

2. Para ver las consultas de BigQuery completadas, busca el registro data_access en función de jobCompletedEvent. Por ejemplo, ejecuta la siguiente consulta en SQL:

SELECT timestamp, resource.labels.project_id, proto_payload.audit_log.authentication_info.principal_email, JSON_VALUE(proto_payload.audit_log.service_data.jobCompletedEvent.job.jobConfiguration.query.query) AS query, JSON_VALUE(proto_payload.audit_log.service_data.jobCompletedEvent.job.jobConfiguration.query.statementType) AS statementType, JSON_VALUE(proto_payload.audit_log.service_data.jobCompletedEvent.job.jobStatus.error.message) AS message, JSON_VALUE(proto_payload.audit_log.service_data.jobCompletedEvent.job.jobStatistics.startTime) AS startTime, JSON_VALUE(proto_payload.audit_log.service_data.jobCompletedEvent.job.jobStatistics.endTime) AS endTime, CAST(TIMESTAMP_DIFF( CAST(JSON_VALUE(proto_payload.audit_log.service_data.jobCompletedEvent.job.jobStatistics.endTime) AS TIMESTAMP), CAST(JSON_VALUE(proto_payload.audit_log.service_data.jobCompletedEvent.job.jobStatistics.startTime) AS TIMESTAMP), MILLISECOND)/1000 AS INT64) AS run_seconds, CAST(JSON_VALUE(proto_payload.audit_log.service_data.jobCompletedEvent.job.jobStatistics.totalProcessedBytes) AS INT64) AS totalProcessedBytes, CAST(JSON_VALUE(proto_payload.audit_log.service_data.jobCompletedEvent.job.jobStatistics.totalSlotMs) AS INT64) AS totalSlotMs, JSON_VALUE(proto_payload.audit_log.service_data.jobCompletedEvent.job.jobStatistics.referencedTables) AS tables_ref, CAST(JSON_VALUE(proto_payload.audit_log.service_data.jobCompletedEvent.job.jobStatistics.totalTablesProcessed) AS INT64) AS totalTablesProcessed, CAST(JSON_VALUE(proto_payload.audit_log.service_data.jobCompletedEvent.job.jobStatistics.queryOutputRowCount) AS INT64) AS queryOutputRowCount, severity FROM `{{{ project_0.project_id | "Project ID" }}}.global._Default._AllLogs` WHERE log_id = "cloudaudit.googleapis.com/data_access" AND proto_payload.audit_log.service_data.jobCompletedEvent IS NOT NULL ORDER BY startTime

Desplázate por los dos resultados y observa la columna consulta. En ella se muestra una lista de las consultas de BigQuery completadas. Como las cadenas de consulta se incluyen en la consulta en SQL, los resultados pueden ser grandes.

Tarea 4: Crea un gráfico

En lugar de usar una tabla para ver los resultados, el Análisis de registros admite la creación de gráficos para la visualización.

1. Haz clic en el botón Gráfico en la vista de resultados.
2. Selecciona Gráfico circular (Pie chart) como tipo de gráfico y consulta (query) como columna.
3. Deberías ver un gráfico similar al siguiente:

¡Felicitaciones!

Ahora tienes experiencia práctica en el uso de Cloud Logging y el Análisis de registros para crear consultas, graficar resultados y obtener estadísticas sobre la utilización de BigQuery.

Próximos pasos y más información

• Documentación de Análisis de registros.
• Obtén más información para visualizar los resultados de Análisis de registros con la documentación de gráficos.

Capacitación y certificación de Google Cloud

Recibe la formación que necesitas para aprovechar al máximo las tecnologías de Google Cloud. Nuestras clases incluyen habilidades técnicas y recomendaciones para ayudarte a avanzar rápidamente y a seguir aprendiendo. Para que puedas realizar nuestros cursos cuando más te convenga, ofrecemos distintos tipos de capacitación de nivel básico a avanzado: a pedido, presenciales y virtuales. Las certificaciones te ayudan a validar y demostrar tus habilidades y tu conocimiento técnico respecto a las tecnologías de Google Cloud.

Última actualización del manual: 2 de mayo de 2025

Prueba más reciente del lab: 2 de mayo de 2025

Copyright 2025 Google LLC. All rights reserved. Google y el logotipo de Google son marcas de Google LLC. Los demás nombres de productos y empresas pueden ser marcas de las respectivas empresas a las que estén asociados.