- שלב 1: יוצרים פרויקט במסוף Google Cloud ומפעילים את BigQuery
- שלב 2: מכינים את הפרויקט ל-BigQuery Export
- שלב 3: מקשרים את BigQuery אל נכסי Google Analytics 4
- מחיקת קישור ל-BigQuery
- המגבלות של BigQuery Export
- סינון נתונים
- תמחור וחיוב
- מתי תתחילו לראות נתונים
- סיבות לכשלים בקישור
- סיבות לכשלים בייצוא
- מקורות מידע שקשורים לנושא
שלב 1: יוצרים פרויקט במסוף Google Cloud ומפעילים את BigQuery
- מתחברים אל מסוף Google Cloud.
- יוצרים פרויקט חדש במסוף Google Cloud או בוחרים פרויקט קיים.
- עוברים לטבלה של ממשקי ה-API. פותחים את תפריט Navigation (ניווט) בפינה השמאלית העליונה, לוחצים על APIs & Services (ממשקי API ושירותים) ואז לוחצים על Library (ספרייה).
- מפעילים את BigQuery. בקטע Google Cloud APIs, לוחצים על BigQuery API. בדף הבא לוחצים על Enable (הפעלה).
- אם תופיע בקשה, תצטרכו לקרוא את התנאים וההגבלות ולאשר אותם.
שלב 2: מכינים את הפרויקט ל-BigQuery Export
אפשר לייצא נתונים מ-Google Analytics לארגז החול של BigQuery בחינם (בכפוף למגבלות של ארגז החול).
בקישורים הבאים מפורט מידע נוסף על שדרוג מארגז החול ועל התמחור של BigQuery.
שלב 3: מקשרים את נכס Google Analytics 4 ל-BigQuery
אחרי שתשלימו שני השלבים הראשונים, תוכלו להפעיל את BigQuery Export דרך הדף "ניהול" ב-Analytics.
ב-BigQuery Export חלות אותן מגבלות בנוגע לאיסוף ולהגדרות האישיות שקיימות ב-Google Analytics. אם אתם צריכים להרחיב את המגבלות, אתם יכולים לשדרג את הנכס ל-360.
- בדף ניהול, בקטע קישורים למוצרים אחרים של Google, לוחצים על קישורים ל-BigQuery.
הערה: הקישור הקודם יעביר אתכם לנכס האחרון שנכנסתם אליו ב-Google Analytics. כדי לפתוח את הנכס, אתם צריכים להיות מחוברים לחשבון Google. אתם יכולים לבחור נכס אחר באמצעות בורר הנכסים.
- נדרשת הרשאת עריכה ומעלה בחשבון Google Analyticsברמת הנכס כדי לקשר נכס Analytics ל-BigQuery.
- צריך להשתמש גם בכתובת אימייל עם גישת בעלים לפרויקט ב-BigQuery (בקטע הרשאות שבהמשך מפורטות דרישות הגישה).
- לוחצים על קישור.
- כדי לראות את רשימת הפרויקטים שיש לכם גישה אליהם, אתם צריכים ללחוץ על בחירת פרויקט ב-BigQuery. אם קישרתם בין Analytics לבין Firebase (או אם אתם מתכננים לעשות את זה), כדאי לייצא לאותו פרויקט ב-Cloud. כך יהיה נוח יותר להריץ שאילתות איחוד (join) עם נתונים אחרים מ-Firebase.
- בוחרים פרויקט מהרשימה ולוחצים על אישור.
- בוחרים את המיקום של הנתונים (אם הפרויקט כבר כולל מערך נתונים לנכס ב-Analytics, לא ניתן להגדיר את האפשרות הזו).
- לוחצים על הבא.
- כדי לבחור אילו מקורות נתונים לכלול בייצוא ואילו אירועים ספציפיים יוחרגו מהייצוא, בוחרים את האפשרות הגדרה של אירועים ומקורות נתונים. אם רוצים להחריג אירועים, אפשר ללחוץ על הוספה כדי לבחור מתוך רשימה של אירועים קיימים. אפשר גם ללחוץ על ציון אירוע לפי שם כדי לבחור אירועים קיימים לפי שם או כדי לציין שמות של אירועים שעדיין לא נאספו בנכס.
- לוחצים על סיום.
- אם רוצים לכלול מזהי פרסום, צריך לבחור את האפשרות הכללה של מזהי פרסום עבור מקורות נתונים של אפליקציות.
- בוחרים אחת מהאפשרויות הבאות או את שתיהן: ייצוא נתונים יומי (פעם ביום) או ייצוא נתונים בסטרימינג (באופן רציף). אם מדובר בנכסי Analytics 360, אתם יכולים לבחור גם באפשרות עדכון יומי של הייצוא.
- לוחצים על הבא.
- בודקים את ההגדרות ולוחצים על שליחה.
הרשאות
הרשאות getIamPolicy/setIamPolicy בפרויקט, הרשאות get/enable בשירותים
בעלים היא קבוצת-על של ההרשאות האלה.כדי ליצור קישור ל-BigQuery, דרושות ההרשאות המינימליות הבאות:
resourcemanager.projects.get- כדי לקבל את הפרויקט
resourcemanager.projects.getIamPolicy- כדי לקבל רשימת הרשאות
resourcemanager.projects.setIamPolicy- כדי לבדוק אם למשתמש יש הרשאה ליצור את הקישור בפרויקט הזה
serviceusage.services.enable- כדי להפעיל את BigQuery API
serviceusage.services.get- כדי לבדוק אם BigQuery API מופעל
אימות של חשבון השירות
כשמקשרים את Analytics ל-BigQuery, נוצר חשבון השירות הבא:
firebase-measurement@system.gserviceaccount.com
מוודאים שהחשבון נוסף כחבר בפרויקט ושהוקצה לו התפקיד BigQuery User (roles/bigquery.user) – כלומר תפקיד משתמש ב-BigQuery.
אם כבר הגדרתם שהמערכת של BigQuery Export תעניק לחשבון השירות שלכם את תפקיד העריכה בפרויקט ב-Google Cloud, אתם יכולים להוריד את רמת התפקיד ל-BigQuery User (משתמש ב-BigQuery). כדי לשנות את התפקיד של חשבון השירות, צריך לבטל את הקישור של Analytics לפרויקט BigQuery ואז לקשר מחדש. השלב הראשון הוא לבטל את הקישור בין Analytics לבין BigQuery ולהסיר את חשבון השירות עם הרשאת העריכה. לאחר מכן, מבצעים את ההוראות שלמעלה כדי לקשר מחדש בין Analytics לבין BigQuery, ויוצרים חשבון שירות חדש שמוגדרות בו ההרשאות המתאימות לפרויקט.
אחרי הקישור מחדש, מוודאים שלחשבון השירות הוקצה התפקיד Owner (bigquery.dataOwner) – כלומר תפקיד בעלים ב-BigQuery – לגבי מערך הנתונים הקיים לייצוא. כדי לוודא שהתפקיד הוקצה, מעיינים במדיניות הגישה של מערך הנתונים.
שינוי האזורים
אם בוחרים אזור שגוי וצריך לשנות אותו אחרי יצירת הקישור:
- מוחקים את הקישור ל-BigQuery (לפי ההוראות שבהמשך).
- מגבים את הנתונים במערך נתונים אחר ב-BigQuery (מעבירים או מעתיקים אותם).
- מוחקים את מערך הנתונים המקורי. חשוב לשים לב לשם של מערך הנתונים – תצטרכו להזין אותו בשלב הבא.
- יוצרים מערך נתונים חדש עם אותו שם כמו מערך הנתונים שנמחק, ובוחרים את המיקום של הנתונים.
- משתפים את מערך הנתונים החדש עם firebase-measurement@system.gserviceaccount.com ומעניקים לחשבון השירות את התפקיד BigQuery Data Owner (בעלי הנתונים ב-BigQuery).
- מעתיקים את הנתונים ממערך הגיבוי למערך הנתונים החדש.
- חוזרים על התהליך שמתואר למעלה כדי ליצור קישור חדש ל-BigQuery.
אחרי שתשנו את המיקום, יכול להיות שייווצר פער בנתונים: הסטרימינג והייצוא היומי של הנתונים לא יתקיימו בתקופה שבין מחיקת הקישור הקיים ליצירת הקישור החדש.
לחלופין, אתם יכולים להעביר את מערך הנתונים לאזור אחר באמצעות שכפול של מערכי נתונים באזורים שונים. כך תוכלו להעתיק או להעביר את מערך הנתונים לאזור אחר בלי שתצטרכו למחוק את הקישור ל-BigQuery. זה יעזור לכם למנוע פער בין הנתונים בנכס Analytics לבין הנתונים ב-BigQuery. מידע נוסף על שכפול של מערכי נתונים באזורים שונים
מחיקת קישור ל-BigQuery
- בדף ניהול, בקטע קישורים למוצרים אחרים של Google, לוחצים על קישורים ל-BigQuery.
הערה: הקישור הקודם יעביר אתכם לנכס האחרון שנכנסתם אליו ב-Google Analytics. כדי לפתוח את הנכס, אתם צריכים להיות מחוברים לחשבון Google. אתם יכולים לבחור נכס אחר באמצעות בורר הנכסים.נדרשת הרשאת עריכה ומעלה בחשבון Google Analyticsברמת הנכס כדי למחוק קישור ל-BigQuery.
- לוחצים על השורה של הקישור.
- בפינה השמאלית העליונה, לוחצים על
> מחיקה.
> מחיקה.המגבלות של BigQuery Export
לנכסי GA4 רגילים יש מגבלת BigQuery Export של מיליון אירועים לייצוא יומי (באצווה). אין הגבלה על מספר האירועים לייצוא בסטרימינג. אם הנכס שלכם יחרוג באופן עקבי ממגבלת הייצוא, הייצוא היומי מ-BigQuery יושהה והייצוא מהימים הקודמים לא יעובד.
בנכסי Analytics 360, העדכון היומי של הייצוא מכיל את כל השדות והעמודות של הנתונים שנכללים בייצוא היומי, כולל השיוך למשתמש שתועד ונתוני החשיפה של המודעות. מידע נוסף על עדכון יומי של הייצוא
עורכים ומנהלים של נכסים יקבלו התראה באימייל בכל פעם שנכס שהם מנהלים יחרוג מהמגבלה היומית. בהתראה הזו יצוין המועד שבו הייצוא יושהה אם הבעיה לא תטופל. בנוסף, אם נכס רגיל חורג בצורה משמעותית מהמגבלה היומית של מיליון אירועים, מערכת Analytics עשויה להשהות את הייצוא היומי באופן מיידי. אם אתם מקבלים התראה, אתם צריכים להפחית את נפח האירועים שעוברים ייצוא מדי יום ולהבטיח את המשך הייצוא היומי באמצעות אפשרויות סינון הנתונים (ייצוא מקורות נתונים והחרגת אירועים).
מידע נוסף על המגבלות הרחבות יותר שזמינות בנכסי 360
סינון נתונים
אתם יכולים להחריג אירועים ומקורות נתונים ספציפיים מהייצוא, כדי להגביל את היקף הייצוא או כדי לוודא שאתם מייצאים ל-BigQuery רק את האירועים שאתם רוצים.
החרגה של אירועים ומקורות נתונים במהלך הקישור
במהלך הקישור, כאשר בוחרים את מקורות הנתונים שרוצים לייצא, אפשר גם לבחור אירועים שיוחרגו מהייצוא. ניתן לעיין בשלב 9 בתהליך הקישור.
הוספה או הסרה של מקורות נתונים או של אירועים אחרי שהגדרתם את הקישור
גם אחרי שהגדרתם את הקישור ל-BigQuery, אתם יכולים להוסיף או להסיר מקורות נתונים. אתם יכולים גם להוסיף אירועים לרשימת ההחרגות או להסיר אותם ממנה.
- בדף ניהול, בקטע קישורים למוצרים אחרים של Google, לוחצים על קישורים ל-BigQuery.
הערה: הקישור הקודם יעביר אתכם לנכס האחרון שנכנסתם אליו ב-Google Analytics. כדי לפתוח את הנכס, אתם צריכים להיות מחוברים לחשבון Google. אתם יכולים לבחור נכס אחר באמצעות בורר הנכסים.
- נדרשת הרשאת עריכה ומעלה בחשבון Google Analyticsברמת הנכס כדי להוסיף או להסיר מקורות נתונים או אירועים.
- צריך גם להשתמש בכתובת אימייל שיש לה גישת בעלים לפרויקט ב-BigQuery.
- לוחצים על השורה של הפרויקט שאת הקישור שלו רוצים לשנות.
- בקטע אירועים ומקורות נתונים, לוחצים על הצגה של אירועים ומקורות נתונים.
- בקטע מקורות נתונים לייצוא, אפשר לבחור מקורות נתונים נוספים לייצוא או להסיר מקורות נתונים קיימים מהרשימה.
- ברשימת האירועים להחרגה, לוחצים על הוספה כדי לבחור מתוך רשימה של אירועים קיימים. אפשר גם ללחוץ על ציון אירוע לפי שם כדי לבחור אירועים קיימים לפי שם או כדי לציין שמות של אירועים שעדיין לא נאספו בנכס.
- כדי להסיר אירוע מהרשימה, לוחצים על סמל המינוס בקצה של אותה שורה.
תמחור וחיוב
החיובים ב-BigQuery חלים על השימוש לפי שני רכיבי תמחור: אחסון ועיבוד שאילתות. אפשר לעיין בטבלת התמחור כדי להבין את ההבדלים בין שאילתות אינטראקטיביות לשאילתות אצווה.
אתם עדיין צריכים להגדיר אמצעי תשלום תקף ב-Could כדי שהיצוא יימשך. אם הייצוא ייקטע עקב אמצעי תשלום לא תקף, לא נוכל לייצא מחדש את הנתונים שהתקבלו בזמן הזה.
ניתן גם לייצא נתונים מ-Analytics לארגז החול של BigQuery בחינם, אבל חשוב לשים לב שהייצוא כפוף למגבלות של ארגז החול.
מתי תתחילו לראות נתונים
אחרי השלמת הקישור, הנתונים יתחילו לזרום לפרויקט BigQuery תוך 24 שעות. אם תפעילו ייצוא יומי, המערכת תייצא בכל יום קובץ אחד שמכיל את הנתונים מהיום הקודם (בדרך כלל בשעות הצהריים באזור הזמן שהוגדר לצורך הדיווח).
סיבות לכשלים בקישור
יצירת הקישור ל-BigQuery יכולה להיכשל מאחת מהסיבות האלה:
- במדיניות הארגון נאסר ייצוא לארצות הברית. אם המיקום שבחרתם לנתונים הוא ארצות הברית, עליכם לבחור מיקום אחר.
- במדיניות הארגון נאסר לייצא נתונים מהדומיין של חשבונות השירות שבחרתם. במקרה כזה צריך לשנות את מדיניות הארגון.
סיבות לכשלים בייצוא
| כשל | סיבה | תוצאה |
|---|---|---|
| אין חשבון שירות | בפרויקט ב-Cloud אין חשבון שירות עם התפקיד Active user (משתמש פעיל). | מערכת Analytics לא יכולה ליצור טבלאות. הייצוא נכשל. |
| החשבון הרובוטי נמחק לאחר ההתקנה | משתמש בחשבון Cloud הסיר את חשבון השירות הרובוטי שהותקן על ידי Google Analytics. | מערכת Analytics לא יכולה יותר ליצור טבלאות. כל פעולות הייצוא מופסקות. |
| התנגשות בין מדיניות הארגון לבין BigQuery Export | משתמש בפרויקט Cloud יצר מדיניות ארגון שמונעת מ-Analytics לייצא נתונים. המדיניות עלולה למנוע יצירה של טבלאות BigQuery או כתיבה בטבלאות. בנוסף, המדיניות עלולה להוביל להתנגשות בנוגע לאזור האחסון של הנתונים. | הטבלה לא נוצרת, או נוצרת ונמחקת לאחר זמן קצר (כ-30 דקות). |
| המשתמש משנה את הגדרות החיוב | משתמש בפרויקט Cloud עובר משימוש ב-BigQuery בחינם לשימוש ב-BigQuery בתשלום. השינוי בדרך כלל לא גורם לבעיות, אבל בחלק מהמקרים עשויים להיגרם כשלים, למשל אם הפרויקט כבר חורג מ-10GB (מגבלת ארגז החול). בפועל, אחרי השינוי ייתכנו כשלים בייצוא. | הטבלאות לא מאוכלסות. |
| פרויקט ב-Cloud חורג מהמכסה | לרוב הפרויקטים ב-Cloud מוקצים משאבים מוגבלים. חריגה ממכסת האחסון ב-BigQuery מובילה למניעת כתיבה של נתונים נוספים. חשוב לזכור שבפרויקטים חינמיים מדובר במכסה קטנה (10GB). | הטבלאות לא מאוכלסות. |
| המשתמש משנה את אזור הזמן של הנכס | הייצוא מהווה תמונת מצב של הנכס שמשקפת 24 שעות, על בסיס אזור הזמן של הנכס. אם אזור הזמן משתנה, חלון הייצוא עשוי להתקצר או להתארך ביום כלשהו (למשל חלון ארוך יותר בשעתיים אם עוברים משעון ישראל לשעון בריטניה). בכל אחת מהאפשרויות המשתמש יבחין בספירת אירועים חריגה. | ספירת אירועים חריגה ביום אחד. בלבול כללי למשתמש. |
תמיכה
כדי לטפל בבעיות שקשורות ל-BigQuery, למשל בנושאי חיוב, ניתן לפנות לתמיכה של Google Cloud.
מקורות מידע שקשורים לנושא
BigQuery Export
כדי לקבל מידע נוסף על הייצוא ולגשת למערך נתונים לדוגמה, אפשר לעיין במסמכי התיעוד של BigQuery Export.