סקירה כללית של ייצוא נתוני מעקב

בדף הזה מוסברת סקירה כללית של ייצוא נתוני מעקב באמצעות Cloud Trace. יכול להיות שתרצו לייצא נתוני מעקב מהסיבות הבאות:

• כדי לאחסן נתוני מעקב לתקופה ארוכה יותר מתקופת השמירה שמוגדרת כברירת מחדל (30 יום).

• כדי לאפשר לכם להשתמש בכלים של BigQuery לניתוח נתוני העקבות. לדוגמה, באמצעות BigQuery אפשר לזהות את מספר הטווחים ואת הכמויות. מידע על השאילתה ששימשה ליצירת הטבלה הבאה מופיע במאמר שאילתת HipsterShop.

  

איך פועל ייצוא

ייצוא כולל יצירה של יעד לפרויקט ב- Google Cloud . שכבת יעד מגדירה מערך נתונים ב-BigQuery כיעד.

אפשר ליצור יעד באמצעות Cloud Trace API או באמצעות Google Cloud CLI.

מאפיינים ומינוח של יעד

מאגרי נתונים מוגדרים עבור Google Cloud פרויקט ויש להם את המאפיינים הבאים:

• ‫Name: שם של יעד. לדוגמה, שם יכול להיות:

  "projects/PROJECT_NUMBER/traceSinks/my-sink"
  

  כאשר PROJECT_NUMBER הוא Google Cloud מספר הפרויקט של יעד הייצוא, ו-my-sink הוא מזהה יעד הייצוא.

• הורה: המשאב שבו יוצרים את מאגר הנתונים. ההורה חייב להיות פרויקט Google Cloud :

  "projects/PROJECT_ID"
  

  הערך PROJECT_ID יכול להיות מזהה Google Cloud או מספר של פרויקט.

• יעד: מקום יחיד לשליחת טווחי מעקב. ‫Trace תומך בייצוא של עקבות ל-BigQuery. יעד יכול להיות פרויקט של מאגר נתונים זמני Google Cloud או פרויקט אחר Google Cloud באותו ארגון.

  לדוגמה, יעד תקין הוא:

  bigquery.googleapis.com/projects/DESTINATION_PROJECT_NUMBER/datasets/DATASET_ID
  

  ‫DESTINATION_PROJECT_NUMBER הואGoogle Cloud מספר הפרויקט של היעד, ו-DATASET_ID הוא מזהה מערך הנתונים ב-BigQuery.

• זהות הכותב: שם של חשבון שירות. הבעלים של יעד הייצוא צריך לתת לחשבון השירות הזה הרשאות כתיבה ליעד הייצוא. כשמייצאים עקבות, Trace משתמש בזהות הזו לצורך הרשאה. כדי להגביר את האבטחה, מאגרי נתונים חדשים מקבלים חשבון שירות ייחודי:

  export-PROJECT_NUMBER-GENERATED_VALUE@gcp-sa-cloud-trace.iam.gserviceaccount.com
  

  כאשר PROJECT_NUMBER הוא מספר הפרויקט Google Cloud בפורמט הקסדצימלי, ו-GENERATED_VALUE הוא ערך שנוצר באופן אקראי.

  אתם לא יוצרים, לא בבעלותכם ולא מנהלים את חשבון השירות שמזוהה על ידי זהות הכותב של יעד. כשיוצרים מאגר, Trace יוצר את חשבון השירות שנדרש למאגר. חשבון השירות הזה לא ייכלל ברשימת חשבונות השירות של הפרויקט עד שיהיה לו לפחות קישור אחד לניהול זהויות והרשאות גישה. אתם מוסיפים את הקישור הזה כשאתם מגדירים יעד של מאגר.

  מידע על שימוש בזהות הכותב זמין במאמר בנושא הרשאות יעד.

איך כיורים עובדים

בכל פעם שיחידה לוגית למעקב מגיעה לפרויקט, Trace מייצא עותק של היחידה הלוגית למעקב.

אי אפשר לייצא עקבות ש-Trace קיבל לפני שנוצר מאגר הנתונים.

בקרת גישה

כדי ליצור או לשנות יעד, צריך להיות לכם אחד מהתפקידים הבאים בניהול זהויות והרשאות גישה (IAM):

• Trace Admin
• מעקב אחרי משתמש
• Project Owner
• עריכת פרויקטים

מידע נוסף מופיע במאמר בקרת גישה.

כדי לייצא עקבות ליעד, לחשבון השירות של יעד הייצוא צריכות להיות הרשאות כתיבה ליעד. מידע נוסף על זהויות של כותבים זמין בקטע מאפייני יעד שבדף הזה.

מכסות ומגבלות

‫Cloud Trace משתמש ב-BigQuery streaming API כדי לשלוח את טווחי המעקב ליעד. ‫Cloud Trace מבצע אצווה של קריאות ל-API. ב-Cloud Trace לא מוטמע מנגנון של ניסיונות חוזרים או הגבלת קצב. יכול להיות שייצוא של טווחים של מעקב לא יצליח אם כמות הנתונים חורגת מהמכסות של היעד.

פרטים על המכסות והמגבלות ב-BigQuery זמינים במאמר מכסות ומגבלות.

תמחור

אין חיובים על ייצוא של מעקבים ב-Cloud Trace. עם זאת, יכול להיות שתצברו חיובים ב-BigQuery. מידע נוסף זמין במאמר תמחור ב-BigQuery.

אומדן העלויות

החיובים ב-BigQuery הם על הטמעת נתונים ואחסון. כדי לאמוד את העלויות החודשיות ב-BigQuery:

1. הערכה של המספר הכולל של טווחי מעקב שנקלטים בחודש.

   מידע על צפייה בשימוש זמין במאמר צפייה בשימוש לפי חשבון לחיוב.

2. אומדים את דרישות הסטרימינג על סמך מספר טווחי המעקב שנבלעו.

   כל יחידה לוגית למעקב נכתבת לשורה בטבלה. כל שורה ב-BigQuery צריכה להיות בגודל של לפחות 1,024 בייט. לכן, הגבול התחתון של הדרישות לסטרימינג ב-BigQuery הוא הקצאה של 1,024 בייטים לכל יחידה לוגית למעקב. לדוגמה, אם בפרויקט שלכם נבלעו 200 טווחים, הטווחים האלה דורשים לפחות 20,400 בייט להוספה באמצעות סטרימינג. Google Cloud

3. כדי לחשב אומדנים של עלויות האחסון, הזנת זרם הנתונים והשאילתות ב-BigQuery, אפשר להשתמש במחשבון התמחור.

צפייה בשימוש ב-BigQuery וניהול שלו

אתם יכולים להשתמש ב'סייר המדדים' כדי לראות את השימוש שלכם ב-BigQuery. אפשר גם ליצור מדיניות התראות שתשלח לכם התראה אם השימוש שלכם ב-BigQuery חורג מהמגבלות שהוגדרו מראש. בטבלה הבאה מפורטות ההגדרות ליצירת מדיניות התראות. אתם יכולים להשתמש בהגדרות בטבלה של חלונית היעד כשיוצרים תרשים או כשמשתמשים בMetrics Explorer.

כדי ליצור מדיניות התראות שמופעלת כשמדדי BigQuery שהמערכת קולטת חורגים מרמה שהוגדרה על ידי המשתמש, צריך להשתמש בהגדרות הבאות.

השלבים ליצירת מדיניות התראות.

כדי ליצור מדיניות התראות:

1. נכנסים לדף notifications Alerting במסוף Google Cloud :

   כניסה אל התראות

   אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שבה הכותרת המשנית היא Monitoring.

2. אם לא יצרתם ערוצי התראות ואתם רוצים לקבל התראות, לוחצים על Edit Notification Channels (עריכת ערוצי התראות) ומוסיפים את ערוצי ההתראות. אחרי שמוסיפים את הערוצים, חוזרים לדף התראות.
3. בדף Alerting, לוחצים על Create policy.
4. כדי לבחור את המשאב, המדד והמסננים, מרחיבים את התפריט Select a metric ומשתמשים בערכים בטבלה New condition:
   1. אופציונלי: כדי להגביל את התפריט רק לפריטים רלוונטיים, מזינים את שם המשאב או המדד בשורת הסינון.
   2. בוחרים סוג משאב. לדוגמה, בוחרים באפשרות VM instance.
   3. בוחרים קטגוריית מדדים. לדוגמה, בוחרים באפשרות instance.
   4. בוחרים מדד. לדוגמה, בוחרים באפשרות ניצול יחידת העיבוד המרכזית (CPU).
   5. לוחצים על אישור.
5. לוחצים על הבא ואז מגדירים את הטריגר של מדיניות ההתראות. כדי למלא את השדות האלה, משתמשים בערכים שבטבלה הגדרת טריגר להתראה.
6. לוחצים על הבא.

7. אופציונלי: כדי להוסיף התראות למדיניות ההתראות, לוחצים על ערוצי התראות. בתיבת הדו-שיח, בוחרים ערוץ התראות אחד או יותר מהתפריט ולוחצים על אישור.

   כדי לקבל התראה כשאירועים נפתחים ונסגרים, מסמנים את התיבה Notify on incident closure. כברירת מחדל, ההתראות נשלחות רק כשאירועים נפתחים.

8. אופציונלי: מעדכנים את משך הזמן עד לסגירה אוטומטית של אירוע. השדה הזה קובע מתי מערכת Monitoring סוגרת אירועים בהיעדר נתוני מדדים.
9. אופציונלי: לוחצים על תיעוד, ואז מוסיפים את המידע שרוצים לכלול בהודעת ההתראה.
10. לוחצים על שם ההתראה ומזינים שם למדיניות ההתראה.
11. לוחצים על יצירת מדיניות.

תנאי חדש שדה	ערך
משאב ומדד	בתפריט Resources בוחרים באפשרות BigQuery Dataset. בתפריט Metric categories בוחרים באפשרות Storage. בוחרים מדד מהתפריט מדדים. מדדים שקשורים ספציפית לשימוש כוללים את Stored bytes, Uploaded bytes ו-Uploaded bytes billed. רשימה מלאה של המדדים הזמינים מופיעה במאמר מדדים של BigQuery.
מסנן	‫project_id: מזהה הפרויקט ב- Google Cloud . dataset_id: מזהה מערך הנתונים.
בסדרות זמן קיבוץ לפי סדרת זמן	‫dataset_id: מזהה מערך הנתונים.
בסדרות עיתיות צבירה של סדרות עיתיות	sum
חלון נע	1 m
פונקציה אנליטית (window function)	mean

הגדרת טריגר להתראה שדה	ערך
סוג התנאי	Threshold
טריגר להתראה	Any time series violates
מיקום הסף	Above threshold
ערך הסף	אתם קובעים את הערך הקביל.
חלון הבדיקה מחדש	1 minute

המאמרים הבאים

הוראות להגדרת אובייקט מסוג sink מופיעות במאמר ייצוא של נתוני מעקב.