GSP651

סקירה כללית

במעבדה הזו תלמדו על בקרת עלויות של BigQuery על ידי שינוי מכסות.

הפעולות שתבצעו:

• חקירת מערך נתונים ציבורי ובחינת עלויות משויכות.

• שינוי מכסות.

• הרצת שאילתות מחדש לאחר שינוי המכסה.

תמחור ב-BigQuery

ב-BigQuery יש אפשרויות תמחור גמישות שתוכלו להתאים כדי שיעמדו בדרישות הטכניות ובתקציב שלכם.

באמצעות BigQuery אפשר לחייב בעלויות אחסון ושאילתות. במעבדה הזו תבחנו עלויות של שאילתות. לרשותכם מידע נוסף על תמחור ב-BigQuery.

יש שני מודלים לתמחור עלויות של שאילתות ב-BigQuery:

• על פי דרישה: תמחור על פי דרישה מבוסס על כמות הנתונים שעובדו על ידי כל שאילתה שהרצתם. זוהי האפשרות הגמישה ביותר.

• תשלום קבוע: לקוחות שמשלמים בתשלום קבוע רוכשים משאבים ייעודיים לעיבוד שאילתות ולא מחויבים על שאילתות יחידות. מודל התמחור הזה צפוי והוא המודל המתאים ביותר ללקוחות עם תקציב קבוע.

הגדרה ודרישות

בקטע הזה תיכנסו אל Google Cloud Console ולמסוף BigQuery.

לפני שלוחצים על הלחצן Start Lab (התחלת המעבדה)

עליכם לקרוא את ההוראות האלו. המעבדות מוגבלות בזמן ואי אפשר להשהות אותן. הטיימר מתחיל כשלוחצים על Start Lab ומראה את משך הזמן שבו תוכלו להשתמש במשאבים ב-Google Cloud.

במעבדה המעשית הזו של Qwiklabs, תוכלו לבצע את פעילויות המעבדה בעצמכם בסביבת ענן אמיתית, ולא בהדמיה או בסביבה להדגמה. לשם כך, יינתנו לכם פרטי כניסה זמניים שאיתם תיכנסו ותיגשו אל Google Cloud במשך הפעילות של המעבדה.

מה צריך?

כדי להשלים את המעבדה, תצטרכו:

• גישה לדפדפן אינטרנט סטנדרטי (מומלץ להשתמש בדפדפן Chrome).
• זמן להשלמת המעבדה.

הערה: אם כבר יש לכם פרויקט או חשבון Google Cloud אישי משלכם, אין להשתמש בו במעבדה הזו.

הערה: אם משתמשים במכשיר עם Chrome OS, צריך לפתוח חלון אנונימי כדי להריץ את המעבדה הזו.

איך מתחילים שיעור מעשי ונכנסים אל Google Cloud Console

1. לוחצים על הלחצן Start Lab (התחלת השיעור המעשי). אם זה שיעור בתשלום, יקפוץ חלון שבו בוחרים אמצעי תשלום. מימין יש חלונית עם פרטי כניסה זמניים שמולאו מראש. צריך להשתמש בפרטים האלו בשיעור המעשי הזה.

   

2. מעתיקים את שם המשתמש ואז לוחצים על Open Google Console (פתיחת Google Console). יופעלו משאבים במעבדה, ואז ייפתח הדף Sign in (כניסה) בכרטיסייה נפרדת.

   

   טיפ: כדאי לפתוח את הכרטיסיות בחלונות נפרדים, אחד לצד השני.

3. בדף Sign in (כניסה), מדביקים את שם המשתמש שהעתקתם מהחלונית Connection Details (פרטי התחברות). אחר כך מעתיקים ומדביקים את הסיסמה.

   חשוב: צריך להשתמש בפרטי הכניסה מהחלונית Connection Details. אין להשתמש בפרטי הכניסה של Qwiklabs. אם יש לכם חשבון Google Cloud משלכם, אל תשתמשו בו בשיעור המעשי הזה (כך תימנעו מחיוב בתשלום).

4. לוחצים כדי לעבור את הדפים הבאים:

   • הסכמה לתנאים ולהגבלות.
   • אין להוסיף אפשרויות שחזור או אימות דו-שלבי (כי החשבון הזה זמני).
   • אין להירשם לתקופות ניסיון בחינם.

לאחר כמה דקות, Cloud Console ייפתח בכרטיסייה הזו.

פתיחת המסוף של BigQuery

ב-Google Cloud Console, בוחרים בתפריט הניווט > BigQuery:

תיפתח ההודעה Welcome to BigQuery in the Cloud Console (ברוך בואך אל BigQuery ב-Cloud Console). בהודעה הזו יש קישור למדריך למתחילים ולהערות המוצר.

לוחצים על סיום.

המסוף של BigQuery ייפתח.

הרצת שאילתות במערך נתונים ציבורי ב-BigQuery

במעבדה הזו תריצו שאילתות במערך הנתונים הציבורי bigquery-public-data:wise_all_sky_data_release. מידע נוסף על מערך הנתונים הזה זמין במאמר Querying the Stars with BigQuery GIS.

1. בעורך השאילתות, מדביקים את השאילתה הבאה:

   SELECT
       w1mpro_ep,
       mjd,
       load_id,
       frame_id
   FROM
       `bigquery-public-data.wise_all_sky_data_release.mep_wise`
   ORDER BY
       mjd ASC
   LIMIT 500
   

2. אל תריצו את השאילתה. במקום זאת, נסו לענות על השאלה הבאה:

אם תעבדו כמויות גדולות של נתונים ללא אמצעי בקרה מתאימים על העלויות, יכול להיות שיהיו חיובים לא צפויים בחשבון שלכם, אפילו אם מדובר בשאילתות פשוטות כמו זו שמופיעה למעלה. כדי לנהל את העלויות כמו שצריך, אתם יכולים לבדוק איך פועל התמחור ב-BigQuery ואיך להגדיר מכסות בהתאמה אישית לצוותים שלכם.

3. עכשיו אתם יכולים להריץ את השאילתה ולבדוק באיזו מהירות מעובדת כמות הנתונים הזו ב-BigQuery.

כדי לוודא שהמטרה הושגה, לוחצים על Check my progress (בדיקת ההתקדמות שלי).

הרצת שאילתות במערך נתונים ציבורי ב-BigQuery

בדיקת העלות של שאילתה

בכל חודש, מקבלים בחינם 1TB לעיבוד נתוני שאילתות, ומתחילים לשלם אחרי שהנפח הזה מנוצל. לרשותכם מידע נוסף על תמחור ב-BigQuery.

למידע נוסף על חישוב והערכה של עלויות ב-Google Cloud, צריך להשתמש במחשבון התמחור של Google Cloud.

עדכון המכסה ב-BigQuery

במשימה הזו תעדכנו את המכסה של BigQuery API כדי להגביל את עיבוד הנתונים של שאילתות בפרויקט.

1. ב-Cloud Console, לוחצים על IAM & Admin‏ (IAM ומנהל מערכת) > Quotas (מכסות):

שימו לב: אם תתבקשו, עליכם ללחוץ על LEAVE אם העבודה לא נשמרה.

2. ל-BigQuery API (שימוש בשאילתות לכל יום), בוחרים באפשרות ALL QUOTAS (כל המכסות).

3. בדף Quota metric details (פרטי מדד המכסה), מסמנים את התיבה של המיקום Global (גלובלי).

4. לוחצים על EDIT QUOTAS (עריכת המכסות).

5. בתיבת הדו-שיח EDIT QUOTAS, מבטלים את הבחירה באפשרות Unlimited (ללא הגבלה).

6. בשדה Enter a new quota limit or choose unlimited (עליך להזין מכסה חדשה או לבחור באפשרות 'ללא הגבלה'), מזינים ‎.25 ‏(TiB), ולאחר מכן לוחצים על Done (סיום).

7. לוחצים על Submit Request (שליחת הבקשה) ואז על Confirm (אישור).

ממתינים לאישור על כך שההגבלה שביקשתם למכסה עודכנה.

הרצה מחדש של השאילתה

1. ב-Cloud Console, לוחצים על BigQuery.

2. השאילתה שהרצתם מקודם אמורה להופיע עדיין בעורך השאילתות. אם היא לא מופיעה, מדביקים את השאילתה הבאה בעורך השאילתות ואז לוחצים על Run (הרצה):

    SELECT
        w1mpro_ep,
        mjd,
        load_id,
        frame_id
    FROM
        `bigquery-public-data.wise_all_sky_data_release.mep_wise`
    ORDER BY
        mjd ASC
    LIMIT 500
   

   הערה: בכלי התיקוף עדיין יצוין This query will process 1.4 TB when run (השאילתה תעבד 1.4TB במהלך ההרצה). עם זאת, השאילתה רצה בהצלחה ולא עיבדה נתונים. למה זה קרה לדעתכם?

אין חיוב נוסף על שאילתות המשתמשות בתוצאות של שאילתות שנשמרו במטמון והן לא מחושבות במסגרת המכסה שלכם. לרשותכם מידע נוסף על שימוש בתוצאות של שאילתות שנשמרו במטמון.

כדי שנוכל לבדוק את המכסה החדשה שנקבעה, עליכם להשבית את השמירה של שאילתות במטמון כדי לעבד נתונים באמצעות השאילתה הקודמת.

3. כדי לבדוק אם המכסה שונתה, צריך להשבית תוצאות של שאילתות שנשמרו במטמון. בחלונית Query results (תוצאות של שאילתות), לוחצים על More (עוד) > Query settings (הגדרות של שאילתות):

4. מבטלים את הסימון של Use cached results (שימוש בתוצאות שנשמרו במטמון) ולוחצים על Save (שמירה).

5. מריצים את השאילתה שוב כך שהיא תחושב במסגרת המכסה היומית שלכם.

6. אחרי שהשאילתה תרוץ בהצלחה ותעבד נתונים בנפח 1.4TB, מריצים אותה שוב.

   מה קרה? הצלחתם להריץ את השאילתה? אמורה להופיע שגיאה כמו זו:

   Custom quota exceeded: Your usage exceeded the custom quota for QueryUsagePerUserPerDay, which is set by your administrator. For more information, see https://cloud.google.com/bigquery/cost-controls

כדי לוודא שהמטרה הושגה, לוחצים על Check my progress (בדיקת ההתקדמות שלי).

הרצה מחדש של השאילתה

עיון בשיטות המומלצות ב-BigQuery

אתם יכולים להשתמש במכסות כאמצעי לבקרת עלויות, אבל חשוב לקבוע את המכסה הנכונה לצוות לפי אופי העסק. הצגנו דוגמה אחת להגדרת מכסות במטרה להימנע מעלויות בלתי צפויות. אופטימיזציה של שאילתות היא דרך אחת להפחתת כמות הנתונים בשאילתות.

מידע נוסף על אופטימיזציה של שאילתות BigQuery זמין במאמר BigQuery best practices: Controlling costs.

כל הכבוד!

במעבדה הזו השלמתם את המשימות הבאות:

• הרצתם שאילתות במערך נתונים ציבורי ובחנתם את העלויות המשויכות.
• שיניתם מכסה של BigQuery API.
• ניסיתם להריץ שאילתה מחדש אחרי שינוי המכסה.

סיום המשימה

המעבדה הזו ללימוד עצמי היא חלק מהמשימה Optimizing your Google Cloud Costs (ביצוע אופטימיזציה לעלויות Google Cloud) ב-Qwiklabs. משימה היא סדרה של מעבדות קשורות שיוצרות מסלול לימוד. השלמת המשימה הזו מזכה אתכם בתג שמופיע למעלה, לציון ההישג שלכם. אתם יכולים להציג את התג או התגים באופן ציבורי ולקשר אותם לקורות החיים שלכם באינטרנט או לחשבון במדיה חברתית. רוצים לקבל קרדיט מיידי על ביצוע המעבדה הזו? הירשמו למשימה הזו.
לצפייה במשימות Qwiklabs נוספות.

מעבר למעבדה הבאה

תוכלו להמשיך את המשימה במעבדה Cloud Monitoring: Qwik Start (מעקב בענן: התחלה מהירה) או באחת מהאפשרויות הבאות:

• Cloud Functions: Qwik Start - Command Line (התחלה מהירה – שורת הפקודה)
• ניקוי כתובות IP שאינן בשימוש

הדרכה והסמכה של Google Cloud

יעזרו לכם להפיק את המרב מהאמצעים הטכנולוגיים של Google Cloud. השיעורים שלנו מכילים מיומנויות טכניות ושיטות מומלצות כדי שתוכלו להתחיל לעבוד מהר ולהמשיך ללמוד ולהתפתח. נציג את העקרונות הבסיסיים להכשרה ברמה מתקדמת, עם אפשרויות וירטואליות, שידורים חיים או על פי דרישה, בהתאם ללוח הזמנים העמוס שלכם. בעזרת ההסמכות תוכלו לאשר ולאמת את המיומנות והמומחיות שלכם באמצעים הטכנולוגיים של Google Cloud.

עדכון אחרון של המדריך: 7 ביולי 2021

בדיקה אחרונה של המעבדה: 7 ביולי 2021

זכויות יוצרים 2024 Google LLC. כל הזכויות שמורות. Google והלוגו של Google הם סימנים מסחריים רשומים של Google LLC. שמות של חברות ומוצרים אחרים עשויים להיות סימנים מסחריים של החברות, בהתאמה, שאליהן הם משויכים.