מידע על מוצרי נתונים

במסמך הזה מוסברים הארכיטקטורה והמושגים המרכזיים של מוצרי נתונים ב-Knowledge Catalog (לשעבר Dataplex Universal Catalog).

מוצר נתונים הוא אוסף לוגי ומסודר של נכסי נתונים, שנארז באופן רשמי כדי להבטיח שאפשר יהיה לגלות אותו, לסמוך עליו ולגשת אליו. היכולות העיקריות של מוצר נתונים כוללות את הפעולות הבאות:

  • ארגון נכסי הקטלוג ביחידה לוגית שפותרת בעיה עסקית ספציפית ומאפשרת לקבל תובנות מהר יותר.
  • הפצה עם הקשר שכולל תיאור, תיעוד והיבטים.
  • יצירת אמון באמצעות חוזים שמאפשרים למפיקי נתונים לספק הבטחה לצרכני נתונים.
  • מספקים תהליך עבודה בשירות עצמי לצרכני נתונים כדי להעריך מוצרי נתונים ולקבל גישה לנתונים.

מושגים מרכזיים

בקטע הזה מוסברים המושגים והמונחים המרכזיים שקשורים למוצרי נתונים.

מוצר נתונים

קיבוץ הגיוני של נכסי נתונים, שמאורגנים בצורה רשמית כדי שיהיה אפשר לגלות אותם, לסמוך עליהם ולגשת אליהם כדי לפתור בעיות עסקיות ספציפיות.

נכס

מצביע למשאב נתונים פיזי, כמו מערך נתונים, טבלה או תצוגה ב-BigQuery. מוצר נתונים מכיל נכס אחד או יותר.

קבוצת גישה

קבוצות גישה מפשטות את ניהול ההרשאות של מוצר הנתונים. הם ממפים תפקידים ידידותיים למשתמש (כמו Reader או Analyst) לקבוצות Google או לחשבונות שירות בסיסיים. ההפשטה הזו מאפשרת לבעלי מוצרי נתונים לנהל את הגישה ברמה מושגית, ועוזרת לצרכני מוצרי נתונים לבקש את רמת הגישה המתאימה.

  • בעלי מוצר הנתונים מגדירים קבוצות גישה ויכולים להקצות תפקיד IAM כברירת מחדל, שמוחל באופן אוטומטי על כל הנכסים הנתמכים במוצר הנתונים. אם לא מוקצה תפקיד ברירת מחדל, הבעלים יכולים להקצות ישירות נכסים לתפקידים ספציפיים ב-IAM.

  • הצרכנים של מוצר הנתונים משתמשים בקבוצות האלה כדי לבקש גישה למוצר הנתונים.

הבעלים של מוצר הנתונים או יוצר הנתונים

האדם או הצוות שאחראים ליצירה ולניהול של מוצרי נתונים. זה כולל ניהול של איכות, גישה ותיעוד.

צרכן של מוצר נתונים

האדם, הצוות או סוכן ה-AI שמשתמשים במוצרי נתונים כדי ליצור תובנות.

חוזה

הסכם בין הבעלים של מוצר הנתונים לבין הצרכנים שלו. ההסכם הזה מגדיר ציפיות ברורות באמצעות הגדרת תנאים ספציפיים לגבי אופן אספקת הנתונים והשימוש בהם, כמו לוח הזמנים לעדכון וסטנדרטים של איכות.

תרחיש שימוש לדוגמה

נניח שמדען נתונים מנתח עסק של מסחר אלקטרוני. המטרה שלהם היא למצוא את ערך ההזמנה הממוצע (AOV) לפי מקור תנועה, ולבדוק אם יש קשר בין גיל המשתמש לבין גודל ההזמנה. כדי לעשות את זה, הם צריכים לשלב נתונים מכמה טבלאות, כמו order_details, user_traffic ו-user_demographics.

בהגדרה רגילה, התהליך הזה יוצר חיכוך. כדי ליצור תובנות, מדען הנתונים צריך קודם למצוא את הטבלאות הנכונות בתוך מערך הנתונים העצום של הארגון, ואז לפנות לכל בעל נתונים, להצדיק את בקשת הגישה שלו ולחכות לאישור.

בעזרת מוצרי נתונים, בעלי הנתונים יכולים לייעל את התהליך הזה על ידי אריזת הנכסים הרלוונטיים במוצר אחד שנקרא 'נתונים של עסק מסחר אלקטרוני'. החבילה הזו כוללת את הפריטים הבאים:

  • נכסים

    • טבלאות BigQuery‏ order_details ו-user_traffic (שמכילות נתוני היסטוריה של הזמנות ומקורות תנועה)
    • תצוגה מפורטת ב-BigQuery‏ user_demographics (כוללת פרטי משתמשים ללא פרטים אישיים מזהים)

  • קבוצות גישה

    • קבוצות מוגדרות מראש Reader ו-Writer כדי לייעל את בקשות הגישה

  • חוזה

    • חוזה שמוגדרת בו תדירות עדכון הנתונים (לדוגמה, שבועי בשעה 8:00 בבוקר לפי שעון החוף המערבי)

  • הקשר

    • מסמכים עם שאילתות לדוגמה ופרטים אחרים
    • מטא-נתונים נוספים לתיאור רגישות הנתונים

מדעני נתונים יכולים עכשיו לגלות את מוצר הנתונים הזה כיחידה לוגית אחת. כך הם יכולים להפיק תובנות שיעזרו להם לענות על שאלות כמו 'מהו ערך ההזמנה הממוצע לכל מקור תנועה?' – ובסופו של דבר לגלות אילו מקורות מייצרים את הלקוחות עם הערך הכי גבוה.

מסלול המשתמש במוצר נתונים

מחזור החיים של מוצר הנתונים ב-Knowledge Catalog כולל שני תהליכי משתמש עיקריים: אחד לבעלים (או ליצרן) של מוצר הנתונים שיוצר ומנהל את הנתונים, ואחד לצרכן של מוצר הנתונים שמגלה ומשתמש בו.

המסע של הבעלים של מוצר נתונים

התהליך הזה מתמקד באריזה, באבטחה ובניהול של מוצרי הנתונים כדי לוודא שהם מהימנים ונגישים.

  • יצירה: הגדרה של מוצר הנתונים והוספה של נכסים. הפעולות הנדרשות הן:

    • מגדירים את השם הייחודי, הפרויקט, האזור והתיאור.
    • הוספת נכסים כמו טבלאות, מערכי נתונים או תצוגות של BigQuery.
    • מגדירים קבוצות גישה (לדוגמה, Analyst או Reader) וממפים אותן לקבוצות Google או לחשבונות שירות בסיסיים כדי לפשט את ניהול ההרשאות.
    • אפשר גם להקצות תפקיד ברירת מחדל ב-IAM לקבוצת גישה כדי להעניק הרשאות באופן אוטומטי לכל הנכסים הנתמכים במוצר הנתונים.
    • מקצים לקבוצות הגישה האלה את תפקידי ה-IAM הנדרשים לנכסים הספציפיים.
    • להוסיף חוזה (היבט מערכתי) כדי להעביר באופן רשמי את קצב הרענון, התדירות והסף המוסכמים של הנתונים.

    מידע נוסף זמין במאמר בנושא יצירת מוצרי נתונים.

  • ניהול: עדכון של מוצר הנתונים והבטחה שאפשר למצוא אותו. הפעולות שצריך לבצע:

    • עדכון פרטים בסיסיים, נכסים, הרשאות, היבטים משלימים (מטא-נתונים) ותיעוד בפורמט טקסט עשיר.
    • הענקת גישה לצרכנים כדי לגלות מוצרי נתונים ולבקש גישה אליהם.

    מידע נוסף מופיע במאמר בנושא ניהול מוצרי נתונים.

המסלול להמרת לקוח של מוצר נתונים

התהליך הזה מתמקד במציאת נתונים מהימנים במהירות ובהשגת ההרשאות הנדרשות לשימוש בהם.

  • חיפוש: מציאת נתונים רלוונטיים ואמינים לבעיה עסקית ספציפית. הפעולות שצריך לבצע:

    • משתמשים בחיפוש ב-Knowledge Catalog עם מילות מפתח או שפה טבעית כדי למצוא את חבילת נתוני המוצר.
    • כדאי לעיין בסקירה הכללית של מוצר הנתונים, בנכסים, בחוזה ובמאפיינים אחרים כדי להחליט אם הוא מתאים לשימוש.

    מידע נוסף זמין במאמר בנושא חיפוש מוצרים של נתונים.

  • בקשת גישה: צריך לבקש הרשאה מבעלי מוצר הנתונים כדי לגשת לנתונים.

    מידע נוסף זמין במאמר בנושא בקשת גישה למוצרי נתונים.

  • שימוש: גישה לנכסים הבסיסיים כדי ליצור תובנות. הפעולה הנדרשת היא:

    • אחרי האישור, תוכלו לגשת למוצר ולנכסים שלו. לדוגמה, אם הנכס הוא טבלה ב-BigQuery, אפשר לעבור ל-BigQuery Studio ולהריץ שאילתות על הנתונים ישירות.

    • כדי להשתמש במוצר הנתונים באפליקציות ובתהליכי פיתוח שפועלים מחוץ ל-Google Cloud, אפשר לחשוף את מוצר הנתונים באמצעות שער חיצוני של מטא-נתונים. מידע נוסף מופיע במאמר בנושא שימוש בשרת MCP מרוחק של Knowledge Catalog.

    מידע נוסף על צריכת מוצרי נתונים

נכסים נתמכים

מוצר נתונים יכול להיות מורכב מנכס נתונים אחד או יותר. נכסי הנתונים הבאים נתמכים:

  • מערכי נתונים ב-BigQuery
  • טבלאות ב-BigQuery
  • תצוגות ב-BigQuery
  • שגרות ב-BigQuery
  • מודלים של BigQuery
  • טבלאות חיצוניות ב-BigQuery
  • מערכי נתונים של Gemini Enterprise Agent Platform
  • מודלים של Gemini Enterprise Agent Platform
  • קטגוריות של Cloud Storage
  • קטלוגים של Iceberg REST Catalog
  • מרחבי שמות של קטלוג REST של Iceberg
  • טבלאות בקטלוג REST של Iceberg

מגבלות

המאמרים הבאים