GSP621

סקירה כללית

מבוא

BigQuery הוא מחסן הנתונים (data warehouse) הארגוני של Google, שבנוי במודל ללא שרת עם יכולת התאמה רחבה במיוחד. הוא מיועד לייעל את עבודתם של מנתחי נתונים, ואין מתחרים למחיר ולביצועים שלו.

בשיעור המעשי הזה תלמדו להשתמש ב-BigQuery כדי לבדוק רשומות חיוב ב-Cloud לדוגמה. כאשר תכירו טוב יותר את הכלי ואת מערך הנתונים, תוכלו להריץ שאילתות SQL כדי להפיק תובנות לגבי נתוני החיוב שלכם.

מטרות

בשיעור המעשי הזה תלמדו איך:

• להיכנס ל-BigQuery מ-Cloud Console.
• לבדוק את הטבלאות ואת מערכי הנתונים לדוגמה.
• לכתוב ולהריץ שאילתות פשוטות על נתוני החיוב.
• להריץ שאילתות על נתונים ולהשיב על שאלות חיוב רלוונטיות.

הגדרה ודרישות

הגדרה של Qwiklabs

לפני שלוחצים על הלחצן Start Lab (התחלת המעבדה)

עליכם לקרוא את ההוראות האלו. המעבדות מוגבלות בזמן ואי אפשר להשהות אותן. הטיימר מתחיל כשלוחצים על Start Lab ומראה את משך הזמן שבו תוכלו להשתמש במשאבים ב-Google Cloud.

במעבדה המעשית הזו של Qwiklabs, תוכלו לבצע את פעילויות המעבדה בעצמכם בסביבת ענן אמיתית, ולא בהדמיה או בסביבה להדגמה. לשם כך, יינתנו לכם פרטי כניסה זמניים שאיתם תיכנסו ותיגשו אל Google Cloud במשך הפעילות של המעבדה.

מה צריך?

כדי להשלים את המעבדה, תצטרכו:

• גישה לדפדפן אינטרנט סטנדרטי (מומלץ להשתמש בדפדפן Chrome).
• זמן להשלמת המעבדה.

הערה: אם כבר יש לכם פרויקט או חשבון Google Cloud אישי משלכם, אין להשתמש בו במעבדה הזו.

הערה: אם משתמשים במכשיר עם Chrome OS, צריך לפתוח חלון אנונימי כדי להריץ את המעבדה הזו.

Cloud Console

איך מתחילים שיעור מעשי ונכנסים אל Google Cloud Console

1. לוחצים על הלחצן Start Lab (התחלת השיעור המעשי). אם זה שיעור בתשלום, יקפוץ חלון שבו בוחרים אמצעי תשלום. מימין יש חלונית עם פרטי כניסה זמניים שמולאו מראש. צריך להשתמש בפרטים האלו בשיעור המעשי הזה.

   

2. מעתיקים את שם המשתמש ואז לוחצים על Open Google Console (פתיחת Google Console). יופעלו משאבים במעבדה, ואז ייפתח הדף Sign in (כניסה) בכרטיסייה נפרדת.

   

   טיפ: כדאי לפתוח את הכרטיסיות בחלונות נפרדים, אחד לצד השני.

3. בדף Sign in (כניסה), מדביקים את שם המשתמש שהעתקתם מהחלונית Connection Details (פרטי התחברות). אחר כך מעתיקים ומדביקים את הסיסמה.

   חשוב: צריך להשתמש בפרטי הכניסה מהחלונית Connection Details. אין להשתמש בפרטי הכניסה של Qwiklabs. אם יש לכם חשבון Google Cloud משלכם, אל תשתמשו בו בשיעור המעשי הזה (כך תימנעו מחיוב בתשלום).

4. לוחצים כדי לעבור את הדפים הבאים:

   • הסכמה לתנאים ולהגבלות.
   • אין להוסיף אפשרויות שחזור או אימות דו-שלבי (כי החשבון הזה זמני).
   • אין להירשם לתקופות ניסיון בחינם.

לאחר כמה דקות, Cloud Console ייפתח בכרטיסייה הזו.

איתור מערך הנתונים והטבלה ב-BigQuery

כדי לבדוק את נתוני החיוב, קודם צריך לאתר את מערך הנתונים ב-Cloud Console. בשיעור המעשי הזה, תשתמשו ב-BigQuery כדי לבדוק נתוני חיוב שמשויכים לפרויקט שלכם.

1. ב-Cloud Console, פותחים את BigQuery:

• לוחצים על Navigation menu (תפריט הניווט).

• גוללים למטה ולוחצים על BigQuery.

  

2. אם מוצגת ההודעה הבאה, לוחצים על Done (סיום):

   

3. כדי לעיין ב-billing_dataset:

• בקטע Resources (משאבים) בחלונית השמאלית, מאתרים את מזהה הפרויקט. זהו פרויקט ה-BigQuery שלכם.

• לוחצים על המשולש כדי לעיין במערכי הנתונים שבפרויקט.

  אתם אמורים לראות את billing_dataset:

  

4. באופן דומה, לוחצים על המשולש שלצד billing_dataset כדי לעיין בטבלאות ובתצוגות שבמערכי הנתונים.

   אתם אמורים לראות את הטבלה enterprise_billingשבקטע billing_dataset:

   

בדיקה של נתוני החיוב

איתרתם את נתוני החיוב. בקטע הזה, תבדקו את נתוני החיוב ב-BigQuery.

1. בחלונית השמאלית, לוחצים על הטבלה enterprise_billing.

יוצגו שלוש כרטיסיות עם מידע על הטבלה enterprise_billing. הכרטיסיות הן: Schema‏ (סכימה), Details (פרטים) וPreview (תצוגה מקדימה). הכרטיסייה Schema (סכימה) פתוחה כברירת מחדל.

אתם יכולים לראות את הסכימה ש-BigQuery יצר באופן אוטומטי לפי הרשומות לדוגמה של חיוב ב-Cloud. שימו לב לכך שיש מחרוזות, מספרים שלמים, חותמות זמן וערכים צפים.

2. לוחצים על הכרטיסייה Details (פרטים) כדי לקבל מידע על הטבלה.

מוצגת טבלה עם 415,602 שורות.

3. לוחצים על הכרטיסייה Preview (תצוגה מקדימה) כדי לעיין בטבלה.

4. הסתכלו בשורת הכותרת של הטבלה כדי לראות פירוט של המידע שהנתונים מספקים, וענו על השאלה הבאה:

6. בפינה הימנית התחתונה אפשר לראות את שדה השורות לדף. אתם יכולים להגדיר את מספר השורות שמוצגות בכל דף לערך הנע בין 10 ו-200.

לפני שממשיכים לקטע הבא, מומלץ ללחוץ במקומות שונים כדי לבדוק אילו עוד סוגי מידע הנתונים האלה יכולים לספק.

ניתוח נתונים באמצעות שאילתות SQL

לא מספיק לבדוק את נתוני החיוב כדי לקבל מידע. על מנת להשיג מידע משמעותי, צריך לנתח את הנתונים על ידי שאילת שאלות ומענה עליהן, למשל, אילו שירותים הם שימשו ומה היו העלויות המשויכות שלהם, מאילו פרויקטים נבעה רוב העלות ואם העלויות מתאימות לציפיות?

ב-BigQuery, משתמשים בשאילתות SQL כדי למשוך נתונים מטבלה ולעבד אותם כך שיענו על השאלות שלכם. על מנת להתייחס לטבלה בשאילתה, מציינים את מערך הנתונים ואת הטבלה. לא חייבים לציין את הפרויקט.

אתם יכולים לגשת לכל המידע הרלוונטי בממשק של BigQuery. בחלונית השמאלית, בקטע Resources (משאבים), מוצגים מערך הנתונים (billing_dataset) והטבלה (enterprise_billing).

חשוב לזכור שלחיצה על שם הטבלה בחלונית השמאלית מעלה את הכרטיסייה Schema (סכימה) משמאל, הכוללת רשימה של שמות השדות.

שאילתה 1: ניתוח נתונים לפי עלויות

אחרי שעיינתם בנתונים, תתנסו מעט בניתוחים לפי עלויות. תיצרו שאילתה פשוטה שתתבסס על השדה עלויות.

1. מחפשים את עורך השאילתות. מזינים ומריצים את שאילתות ה-SQL בעורך השאילתות.

2. מקלידים או מדביקים את הקטע הבא בעורך השאילתות:

SELECT * FROM `billing_dataset.enterprise_billing` WHERE Cost > 0

הסקריפט הזה בודק נתונים בטבלה enterprise_billing לגבי רשומות עם עלות גבוהה מאפס.

3. לוחצים על Run (הרצה). מתקבל הפלט הבא:

   

עכשיו ראיתם איך מריצים שאילתה ב-BigQuery, אבל הטבלה שנוצרה לא ברורה או מועילה. ליצירת שאילתה מועילה יותר, מריצים את הסקריפט הבא כדי לבדוק את ההוצאות על השירותים.

1. לוחצים על COMPOSE NEW QUERY (יצירת שאילתה חדשה) כדי לפתוח כרטיסייה חדשה בעורך השאילתות.

2. מקלידים או מדביקים את הסקריפט הבא בעורך השאילתות:

SELECT
 project.name as Project_Name,
 service.description as Service,
 location.country as Country,
 cost as Cost
FROM `billing_dataset.enterprise_billing`;

שימו לב לכך שבחירת המידע (שם הפרויקט, תיאור השירות, מיקום, מדינה ועלות) תפחית את מספר העמודות שיוצגו.

מתקבל הפלט הבא:

בצעו את הפעולות הבאות כדי לבדוק את ההתקדמות באימות המטרה, ולאחר מכן לענות על שאלה באמצעות הפלט של שאילתת ה-SQL.

3. לוחצים על הטבלה enterprise_billing שבחלונית הימנית ולאחר מכן לוחצים על הכרטיסייה Schema (סכימה) שמופיעה בקטע enterprise_billing שמימין כדי לענות על השאלה הזו.

4. לוחצים על Check my progress (בדיקת ההתקדמות) כדי לוודא שהמטרה הושגה.

יצירת שאילתה פשוטה שמתבססת על שדה העלויות

שאילתה 2: בדיקת מידע חשוב

בקטע הקודם, הרצתם שאילתה לגבי מידע מסוים, המכונה גם המידע החשוב, כדי לצמצם את כמות הנתונים שבטבלה. השתמשתם בפרמטרים כדי לזהות את המידע החשוב. בקטע הזה, תיצרו רשימה של מידע חשוב.

לצורך הדוגמה, מספר השירותים המיוחדים שזמינים הוא המידע החשוב שמעניין אתכם. תריצו שאילתה המשלבת את תיאור השירות ואת תיאור המק"ט, ולאחר מכן תארגנו אותם ברשימה כפריטים.

1. לוחצים על COMPOSE NEW QUERY (יצירת שאילתה חדשה) כדי לפתוח כרטיסייה חדשה בעורך השאילתות.

2. מקלידים או מדביקים את הקטע הבא בעורך השאילתות:

SELECT CONCAT(service.description, ' : ',sku.description) as Line_Item FROM `billing_dataset.enterprise_billing` GROUP BY 1

חשוב לשים לב לכך שהמשמעות של GROUP BY 1 היא קיבוץ הרשימה לפי העמודה הראשונה.

3. לוחצים על Run (הרצה).

מתקבל הפלט הבא:

4. לוחצים על Check my progress (בדיקת ההתקדמות) כדי לוודא שהמטרה הושגה.

הצגת רשימת שירותים ייחודיים הזמינים מהחיוב לדוגמה

שאילתה 3: שימוש בשירות ניתוח

נניח שאנחנו מעוניינים לבחון את השימוש בשירות. אפשר לגלות את מספר הפעמים שמשאבים השתמש בשירות/מק"ט.

1. לוחצים על COMPOSE NEW QUERY (יצירת שאילתה חדשה) כדי לפתוח כרטיסייה חדשה בעורך השאילתות.

2. מקלידים או מדביקים את הקטע הבא בעורך השאילתות:

SELECT CONCAT(service.description, ' : ',sku.description) as Line_Item, Count(*) as NUM FROM `billing_dataset.enterprise_billing` GROUP BY CONCAT(service.description, ' : ',sku.description)

3. לוחצים על Run (הרצה).

מתקבל הפלט הבא:

4. לוחצים על Check my progress (בדיקת ההתקדמות) כדי לוודא שהמטרה הושגה.

הצגת מספר היומנים שנוצרו לכל שירות מהחיוב לדוגמה

שאילתה 4: איתור הפרויקט עם מספר הרשומות הגדול ביותר

מאתרים את הפרויקט ב-Google Cloud עם מספר הרשומות הגדול ביותר.

1. לוחצים על COMPOSE NEW QUERY (יצירת שאילתה חדשה) כדי לפתוח כרטיסייה חדשה בעורך השאילתות.

2. מקלידים או מדביקים את הקטע הבא בעורך השאילתות:

SELECT project.id, count(*) as count from `billing_dataset.enterprise_billing` GROUP BY project.id

השאילתה הזו סופרת את מספר הפעמים ש-project.id מופיע ברשומה ומקבצת את התוצאות לפי project.id.

3. לוחצים על Run (הרצה).

מתקבל הפלט הבא:

4. לוחצים על Check my progress (בדיקת ההתקדמות) כדי לוודא שהמטרה הושגה.

מציאת הפרויקט ב-Google Cloud עם מספר הרשומות הגדול ביותר בנתוני החיוב

שאילתה 5: מציאת העלות לפרויקט

מוצאים את פירוט העלויות של כל פרויקט:

1. לוחצים על COMPOSE NEW QUERY (יצירת שאילתה חדשה) כדי לפתוח כרטיסייה חדשה בעורך השאילתות.

2. מקלידים או מדביקים את הקטע הבא בעורך השאילתות:

SELECT ROUND(SUM(cost),2) as Cost, project.name from `billing_dataset.enterprise_billing` GROUP BY project.name

השאילתה הזו מוסיפה את המחיר לכל project.name ולאחר מכן מחזירה את התוצאות כשהן מקובצות לפי project.name.

3. לוחצים על Run (הרצה).

מתקבל הפלט הבא:

4. לוחצים על Check my progress (בדיקת ההתקדמות) כדי לוודא שהמטרה הושגה.

מציאת פירוט העלויות לפי פרויקט

כל הכבוד!

בשיעור המעשי הזה, בחנתם דוגמה של רשומות חיוב ב-Cloud באמצעות BigQuery. לאחר שבדקתם את מערך הנתונים והטבלה לדוגמה, יצרתם והרצתם שאילתות על נתוני החיוב. לאחר מכן השתמשתם באותן השאילתות כדי לענות על שאלות רלוונטיות לגבי חיוב. עכשיו אתם מוכנים להתנסות בשיעורים מעשיים נוספים בסדרה.

הדרכה והסמכה של Google Cloud

יעזרו לכם להפיק את המרב מהאמצעים הטכנולוגיים של Google Cloud. השיעורים שלנו מכילים מיומנויות טכניות ושיטות מומלצות כדי שתוכלו להתחיל לעבוד מהר ולהמשיך ללמוד ולהתפתח. נציג את העקרונות הבסיסיים להכשרה ברמה מתקדמת, עם אפשרויות וירטואליות, שידורים חיים או על פי דרישה, בהתאם ללוח הזמנים העמוס שלכם. בעזרת ההסמכות תוכלו לאשר ולאמת את המיומנות והמומחיות שלכם באמצעים הטכנולוגיים של Google Cloud.

העדכון האחרון של המדריך: 29 ביולי 2021

הבדיקה האחרונה של השיעור המעשי: 29 ביולי 2021

זכויות יוצרים 2024 Google LLC. כל הזכויות שמורות. Google והלוגו של Google הם סימנים מסחריים רשומים של Google LLC. שמות של חברות ומוצרים אחרים עשויים להיות סימנים מסחריים של החברות, בהתאמה, שאליהן הם משויכים.