מידע על הקשר של הנתונים ב-Knowledge Catalog

בסביבת נתונים מבוזרת, נתונים גולמיים ללא הקשר בדרך כלל לא מספיקים כדי לפתור בעיה עסקית. כשבמסדי נתונים מובְנים, ביומנים לא מובְנים ובמדדים אנליטיים חסר משמעות עסקית, משתמשים ומערכות אוטונומיות נתקלים במגבלת הקשר. אנליסטים אנושיים צריכים לבצע אימות ידני כדי לוודא את מקורות הנתונים, בעוד שלסוכני AI יש נטייה ליצור תשובות לא מדויקות (הזיות) או להיכשל בהפעלת פעולות.

Knowledge Catalog פותר את הבעיה הזו על ידי מעבר מניהול מטא-נתונים בקטלוג פסיבי למישור בקרה דינמי של הקשר פעיל. ‫Knowledge Catalog צובר מבנים טכניים, כללים עסקיים ודפוסי שימוש בעולם האמיתי, ומספק שכבת הקשר מאוחדת שעוזרת לכם ולאפליקציות ה-AI שלכם לגלות, להעריך ולפרש נכסי נתונים בצורה מדויקת ומאובטחת.

מה זה הקשר?

הקשר הוא מארג עשיר של פרטים מבניים, תפעוליים וסמנטיים שמתארים נכס נתונים. במקום לייצג טבלה כסכימה עצמאית של שמות וסוגי נתונים, ההקשר מספק את הסיפור המלא של הנתונים.

ב-Knowledge Catalog ההקשר מאורגן בשכבות הבאות:

• מטא-נתונים טכניים. הפרטים המבניים שמיובאים ישירות ממערכות המקור, כולל סכימות של מסדי נתונים, סוגי שדות, מפתחות חלוקה לתתי-מחיצות ותגי אבטחה (כמו מדיניות של ניהול זהויות והרשאות גישה (IAM)).

• מטא-נתונים סמנטיים. המשמעות העסקית של הנתונים, כולל מילוני מונחים עסקיים, קשרים בין מדדים, סיווגים, טרמינולוגיה של דומיין ושאילתות מומלצות (שאלות מאומתות בשפה טבעית שממופות להצהרות קוד SQL נכונות).

• מטא-נתונים תפעוליים. ההתנהגות והתקינות של הנתונים לאורך זמן, כולל שושלת נתונים ברמת העמודה, פרופילי ביצוע, נתונים סטטיסטיים של יצירת פרופילים וציוני איכות הנתונים.

• מערכות יחסים. הקישורים המוסקים או המוגדרים בין טבלאות אחסון פיזי לבין אינדיקטורים עסקיים מושגיים.

• אותות אמון. אינדיקטורים של אימות, כמו חותמות בעלות ואישורים, שמאמתים אם נכס הוא מקור מוסמך.

• הנחיות לסוכנים. תיאורים לא מובנים (כמו קובצי README, הערות שימוש ויומני ביצוע) שמנחים כלים אוטונומיים לגבי האופן והזמן שבהם צריך לשלוח שאילתה למשאב.

השילוב של השכבות האלה ב-Knowledge Catalog עוזר לוודא שהנתונים מובנים באופן מלא, וכך להימנע מפקקים תפעוליים ומחוסר ודאות שקשורים לנתונים מבודדים ולא מתועדים.

מה ההבדל בין הקשר נתונים לבין מטא-נתונים

המטא-נתונים מספקים את אבני הבניין הבסיסיות, אבל מטא-נתונים והקשר הם לא אותו דבר:

• מטא-נתונים. מאפיינים תיאוריים שמגדירים את המבנה הפיזי, המיקום והמאפיינים הטכניים של נכס נתונים מבודד (לדוגמה, שמות עמודות, סוגי נתונים, מפתחות חלוקה וגדלי טבלאות).
• הקשר. גרף ידע סינתטי רב-ממדי שמשלב סכימות טכניות, סמנטיקה עסקית, קשרים בין נתונים, התנהגות תפעולית ואותות מהימנות כדי לתת משמעות לנתונים ולהנחות את ההסקה.

בטבלה הבאה מפורטים ההבדלים העיקריים בין מטא-נתונים פסיביים לבין נתוני הקשר פעילים:

מאפיין	מטא-נתונים טכניים	ההקשר הפעיל של הנתונים
התמקדות בליבה	מפרטים פיזיים ופורמט אחסון.	המשמעות העסקית, ההתנהגות התפעולית והקשרים.
מדינה	פסיבי: מאוחסן במאגרי קטלוגים לחיפוש ידני על ידי מהנדסים.	פעילה: מועשרת באופן רציף על ידי AI, נאספת מהיסטוריית השאילתות ומורכבת באופן דינמי לפרומפטים של LLM.
צרכנים ראשיים	מנועי מסד נתונים, מהנדסי נתונים ומבקרים בתחום התאימות.	נציגי AI, מודלים גדולים של שפה (LLM), אנליסטים עסקיים וממשקי צ'אט.
הייעוד העיקרי	ניהול אחסון, הוספה לאינדקס ואימות תאימות.	עיגון של החשיבה הרציונלית של הסוכן, פתרון של צירופים ומניעת הזיות.

דוגמה: מטא-נתונים בהשוואה להקשר

כדי להבין איך ההקשר מרחיב את המטא-נתונים הטכניים, נבחן איך Knowledge Catalog מייצג עמודת עסקאות:

1. מטא-נתונים טכניים בלבד

מטא-נתונים טכניים מספקים מידע מבני, אבל חסרים בהם לוגיקה עסקית והנחיות תפעוליות:

• טבלה: fact_orders
• עמודה: disc_val
• סוג הנתונים: NUMERIC
• מאפייני אחסון: חלוקה למחיצות לפי order_date

סוכן AI שמשתמש רק במטא-נתונים הטכניים האלה עשוי לנחש ש-disc_val מייצג את סך ההנחות ללקוחות, אבל הוא לא יכול לקבוע אם הערך הזה כולל מס, הנחות יצרן או שוברי מבצע.

2. הקשר נתונים מועשר

ב-Knowledge Catalog, המטא-נתונים הטכניים מועשרים בשכבות סמנטיות, יחסיות ותפעוליות, ומוצגים כמטען ייעודי (payload) מאוחד של הקשר:

• סכימה טכנית: fact_orders.disc_val (NUMERIC).
• הגדרה סמנטית: המאפיין ממופה למונח במילון המונחים הארגוני 'הנחה שיווקית', שמוגדר כהנחות ללקוחות שמוחלות בקופה, לא כולל החזרים כספיים חלקיים של יצרן והנחות על משלוח.
• קשרים שזוהו: קישור אוטומטי של fact_orders.customer_id אל dim_customers.id ושל fact_orders.promo_id אל dim_promotions.id.
• שימוש תפעולי: היסטוריית השאילתות מראה ש-90% מהשאילתות העסקיות מסננות את הטבלה הזו לפי status = 'COMPLETED' ומצטרפות לטבלה dim_promotions.
• מהימנות ואיכות: הדירוג הוא 99.8% תוקף לפי סריקות אוטומטיות של איכות הנתונים, עם רעננות מאומתת של הנתונים בתוך שעתיים.
• שאילתה לדוגמה: כוללת תבנית SQL מאומתת שמדגימה איך לחשב את ההכנסה נטו שמוכרת באמצעות disc_val.

עם ההקשר המלא הזה, סוכן AI או אנליסט נתונים יכולים ליצור שאילתות ולפרש נתונים בצורה מדויקת, בלי אימות ידני או הזיות.

האתגרים בשימוש בנתונים ללא הקשר

לרוב הנתונים הארגוניים חסרים מטא-נתונים נחוצים, ולכן קשה לגלות אותם, לסמוך עליהם או להשתמש בהם ל-AI. בלי הקשר מובנה, ארגונים נתקלים בכמה צווארי בקבוק תפעוליים:

• טרחת שיתוף פעולה. מחסור בהגדרות עסקיות ברורות מחייב את צוותי הניתוח וה-AI לבצע באופן ידני מחזורי תיאום רציפים עם מומחים בתחום כדי לבנות הבנה בסיסית של הטבלאות.

• סחף הקשר. התיעוד הרגיל נשאר סטטי ומתיישן עם הזמן. בלי מעקב רציף, מטא-נתונים לא עדכניים מובילים להנחות שגויות ולשיבושים בתהליכי העבודה של סוכני ה-AI.

• כשלים בהסקה. סוכני AI ומודלים גדולים של שפה (LLM) עשויים ליצור שאילתות SQL שתקינות מבחינת התחביר, אבל לא להתחשב בלוגיקה הבסיסית של הארגון, ולכן להפיק חישובים שגויים מבחינה עסקית.

• מידע שמפוצל בין מחלקות. ידע פנימי לגבי סינון נכון של מערכי נתונים או צירוף שלהם נשאר כלוא בסקריפטים או בהגדרות של לוחות בקרה שלא מתועדים, במקום להירשם במלאי מרכזי.

כדי להתגבר על צווארי הבקבוק התפעוליים האלה ולהפוך את הנתונים למידע שימושי, ארגונים צריכים מנוע הקשר אמין שיפעל בכל נכסי הנתונים שלהם.

עקרונות הליבה של ניהול ההקשרים

כדי לשמור על מהימנות מנוע ההקשר הזה בכלל נכסי הנתונים, Knowledge Catalog פועל על בסיס שלושה עקרונות:

צבירה

‫Knowledge Catalog אוסף באופן אוטומטי מטא-נתונים ממסדי הנתונים המובנים, מקטלוגים של Iceberg REST ופלטפורמות של צד שלישי. הוא מאחד את כל מקורות המידע המפוצלים האלה לאזור משילות מאוחד, ועוזר לוודא שמדיניות האבטחה והגדרות הסיווג מועברות באופן עקבי.

העשרה

‫Knowledge Catalog מעדכן ומארגן באופן רציף את גרף ההקשר באמצעות הטמעה מבוססת-AI. באמצעות כריית נתונים מיומני טרנזקציות, מסכימות של מסדי נתונים וממודלים של בינה עסקית, Knowledge Catalog מגלה באופן אוטומטי תיאורים של עמודות ויחסים בין טבלאות. הלמידה המתמשכת הזו מתבססת על הידע המוסדי של בעלי הנתונים ומיישמת אותו באופן דינמי על הנכסים.

חיפוש ואחזור

‫Knowledge Catalog מספק חיפוש סמנטי ברמת דיוק גבוהה, שמאפשר לכם לשאול שאלות על מאגר הנתונים שלכם בשפה טבעית. מכיוון ש-Knowledge Catalog מבין קבוצות הרשאות (ACL) וטרמינולוגיה עסקית, גם משתמשים וגם סוכנים אוטונומיים יכולים לאתר הקשר נתונים רלוונטי עם זמן אחזור נמוך.

איך מטא-נתונים והקשר מוזנים ל-Knowledge Catalog

כדי ליצור מנוע הקשר מהימן, Knowledge Catalog מעכל ומארגן מידע באמצעות מחברים אוטומטיים של פלטפורמות, העשרה רציפה של AI וממשקים מותאמים אישית שניתנים להרחבה.

מקורות נתונים מאינטראקציה ישירה (First-Party) ואיסוף אוטומטי

‫Knowledge Catalog אוסף באופן אוטומטי מטא-נתונים מבניים ותפעוליים משירותי ליבה Google Cloud , ללא צורך בהגדרה ידנית:

• מסדי נתונים ומחסני נתונים לצורכי ניתוח. שירותים כמו BigQuery,‏ Spanner,‏ Cloud SQL ו-AlloyDB ל-PostgreSQL מסנכרנים באופן רציף מטא-נתונים טכניים, כולל סכימות של טבלאות, סוגי נתונים של שדות, מפתחות חלוקה למחיצות, מפרטים של אשכולות וגבולות של מערכי נתונים.
• תובנות מנתונים לא מובנים. עבור קבצים לא מובנים שמאוחסנים ב-Cloud Storage (כמו מסמכי PDF או מדריכי מדיניות), Knowledge Catalog מריץ סריקות של גילוי ופרופילים שחולצות מושגים מרכזיים וישויות קשורות, יוצר פרופיל גרף ורושם טבלאות של אובייקטים מובנים ב-BigQuery. מידע נוסף על תובנות לגבי נתונים לא מובְנים
• סנכרון סמנטי וסנכרון של שושלת נתונים ב-BI. ב-Looker ‏(Google Cloud core), ‏ Knowledge Catalog מסנכרן באופן אוטומטי נכסי בינה עסקית:
  • הגדרות סמנטיות של LookML. מודלים, ניתוחים, תצוגות, מאפיינים ומדדים.
  • נכסי לוח בקרה של BI. לוחות בקרה, רכיבים בלוחות בקרה וטבלאות Look.
  • שושלת נתונים מקצה לקצה. הנתונים של מעקב אחר קשרים זורמים מטבלאות BigQuery בסיסיות אל מרכזי בקרה של Looker במורד הזרם. מידע נוסף זמין במאמר ניהול משאבים של Looker (Google Cloud core) באמצעות Knowledge Catalog.
• שילוב נתונים וטרנספורמציות. שירותים כמו Datastream מתעדים מטא-נתונים ושיוך של מקורות נתונים (lineage) של נתונים שהשתנו (CDC),‏ Dataform דוחף הגדרות של טבלאות וטרנספורמציות של SQL, ו-Cortex Framework מפרסם מוצרי נתונים רשומים.

סידור רציף של ההקשר באמצעות AI

מעבר לסכימות טכניות סטטיות, Knowledge Catalog מעדכן באופן דינמי את גרף ההקשר שלו באמצעות מנועי אינטליגנציה מובנים:

• תובנות לגבי נתונים. התובנות לגבי נתונים, שמבוססות על Gemini ב-BigQuery, מנתחות יומני שאילתות היסטוריים, עסקאות של משתמשים ודפוסי סכימה כדי ליצור תיאורים של עמודות בשפה טבעית, לגלות קשרים בין טבלאות (כמו מפתחות של פעולות join) ולהציע שאילתות לדוגמה מאומתות ("שאילתות מוזהבות") שמשקפות את הלוגיקה של הארגון. מידע נוסף זמין במאמר תובנות מהנתונים לגבי נתונים מובְנים.
• פרופיל נתונים אוטומטי ואיכות נתונים. בסריקות מחושבים התפלגויות סטטיסטיות (כמו מספרים ייחודיים, יחסי null וערכי דגימה) והנתונים מוערכים בהשוואה לבדיקות איכות נתונים שמבוססות על כללים, וציוני תקינות בזמן אמת מצורפים לרשומות בקטלוג. מידע נוסף זמין במאמר מידע על איכות נתונים אוטומטית.
• שושלת נתונים אוטומטית. מצטברות טרנספורמציות ברמת העמודה והיסטוריית ביצוע של משימות בצינורות הנתונים. מידע נוסף מופיע במאמר מידע על שושלת הנתונים.

הטמעה של מטא-נתונים בהתאמה אישית ומערכות של צד שלישי

לארגונים עם בסיסי ידע בהתאמה אישית, כלי ניהול של צד שלישי או מערכות מקומיות, Knowledge Catalog מספק מנגנוני הטמעה גמישים:

• ממשקי API של Knowledge Catalog (פעולות CRUD). אפשר להשתמש ב-methods של ה-API‏ CreateEntry,‏ UpdateEntry,‏ CreateAspectType ו-SetAspect כדי לרשום נכסים חיצוניים באופן פרוגרמטי ולצרף היבטים של מטא-נתונים מותאמים אישית (כמו דירוגי תאימות או תיעוד מערכת).
• סוכני העשרה בהתאמה אישית. אפשר להשתמש במסגרות של סוכנים כמו הערכה לפיתוח סוכנים (ADK) או LangChain כדי לבנות סוכני העשרה בהתאמה אישית. לדוגמה, סוכן ADK יכול להטמיע מסמכים טכניים ממאגרי מידע פנימיים או ממאגרי Git, להשתמש ב-LLM כדי לנתח אותם למונחים סטנדרטיים במילון המונחים הארגוני, ולצרף אותם לרשומות בקטלוג. מידע נוסף זמין במאמר בנושא יצירת סוכן AI להעשרת מטא-נתונים.
• פעולות ייצוא וייבוא. אתם יכולים להשתמש בתהליכי עבודה של ייבוא וייצוא בכמות גדולה מבוססי-קובץ (JSON או CSV) כדי לבדוק הגדרות עסקיות שנוצרו על ידי AI, לשתף פעולה עם מנהלי נתונים ולעדכן מטא נתונים בכמות גדולה. מידע נוסף זמין במאמר ייצוא מטא-נתונים.

איך נעשה שימוש בהקשר בשירותים של צד ראשון וצד שלישי

שירותים ואפליקציות פועלים עם Knowledge Catalog בשני תפקידים שונים:

• ספקי מטא-נתונים. שירותים ששולחים מטא-נתונים טכניים, סכימות, הגדרות LookML ונתוני שושלת ל-Knowledge Catalog (לדוגמה, Looker,‏ Cloud SQL ו-Spanner). ספקי מטא-נתונים דוחפים מטא-נתונים לקטלוג, אבל לא בהכרח משתמשים בהגדרות של מילון מונחים עסקי בממשקי המשתמש שלהם.
• צרכני הקשר. שירותים, כלים למפתחים וסוכני AI שמקבלים הגדרות עסקיות, פרופילים תפעוליים וכללי ניהול מקטלוג הידע כדי לבסס את ההיגיון והביצוע שלהם.

לפני שאפליקציות ונציגים יכולים להשתמש בהקשר, צריך להגדיר כללים בסיסיים של איכות ומונחים עסקיים. למידע נוסף, ראו יצירת הקשר הבסיסי של הנתונים ויצירת תהליך עבודה של מדיניות כקוד לאיכות הנתונים.

אפליקציות ושירותים מבוססי-AI צורכים הקשר מ-Knowledge Catalog באמצעות המנגנונים הבאים:

שילובים מובנים עם צדדים ראשונים (1P)

כמה שירותים Google Cloud מבצעים שאילתות באופן מקורי ב-Knowledge Catalog כדי לספק חוויות מבוססות-AI שמותאמות להקשר:

• ‫Gemini ב-BigQuery (סוכן שיחה). כשמזינים הנחיות בשפה טבעית ב-BigQuery Studio,‏ Gemini מריץ אוטומטית שאילתות ברקע כדי לאחזר הגדרות של מונחים עסקיים, תיאורי עמודות וקשרים היסטוריים בין שאילתות מתוך מילון המונחים הארגוני של Knowledge Catalog. ההארקה הזו מאפשרת ל-Gemini להשתמש בטרמינולוגיה עסקית של ארגונים, וכך לוודא שבשאילתות ה-SQL שנוצרות נעשה שימוש באיחוי טבלאות ובהגדרות מדדים נכונות.
• Data Engineering Agent ב-BigQuery. מגלה טבלאות של Apache Iceberg ו-BigQuery ומריץ עליהן שאילתות, מפעיל אוטומטית חיפושים סמנטיים בקטלוג כדי לפתור תלות בנכסים ויוצר מטא-נתונים של הקטלוג במהלך ההרצה של צינור הנתונים.
• ‫Vertex AI ו-Agent Builder. סוכני AI גנרטיבי מותאמים אישית ויישומים לחיפוש שנבנו על Vertex AI משתמשים במטא-נתונים של קטלוג ובכללים עסקיים כדי לעגן את ההיגיון של המודל בעובדות מאומתות של הארגון.
• Google Cloud מסוף וממשק משתמש של Business. משתמשי קצה ומנהלי נתונים יכולים לחפש נכסים באמצעות חיפוש סמנטי בשפה טבעית, לצפות בגרפים אינטראקטיביים של קשרי נתונים ולנהל מילוני מונחים עסקיים.

אפליקציות של צד שלישי ומערכות אקולוגיות של סוכני AI

שירותים ומערכות אוטונומיות ללא שילובים מובנים צורכים הקשר באמצעות פרוטוקולים פתוחים וממשקי API ייעודיים לאחזור:

Model Context Protocol‏ (MCP)

‫Model Context Protocol‏ (MCP) הוא תקן פתוח שמאפשר לסוכני AI, לכלים למפתחים ולסביבות פיתוח משולבות (IDE) להתחבר ישירות לכלים של Knowledge Catalog. ‫MCP מספק ממשק סטנדרטי לבדיקת סכימות של טבלאות, לחיפוש הגדרות במילון מונחים, לאימות ציוני איכות הנתונים ולמעקב אחר שושלת הנתונים.

‫Knowledge Catalog תומך בשתי אפשרויות פריסה של MCP:

• שרת MCP מרוחק. נקודת קצה מנוהלת שמתארחת ב- Google Cloud (או נפרסת ב-Cloud Run) לסוכנים מבוססי-ענן, לתהליכי עבודה ללא שרתים ולפלטפורמות מרובות סוכנים. מידע נוסף זמין במאמר בנושא שימוש בשרת MCP מרוחק של Knowledge Catalog.
• ארגז הכלים של MCP מקומי. פרוקסי מקומי של CLI שמשתלב עם סביבות פיתוח משולבות (IDE) למפתחים (כמו VS Code ו-Cursor) ועם תהליכי עבודה מקומיים לפיתוח. מידע נוסף זמין במאמרים שימוש ב-Knowledge Catalog עם שרת מקומי של MCP Toolbox ושימוש ב-Data Lineage עם שרת מקומי של MCP Toolbox.

אחזור הקשר מעוצב מראש באמצעות LookupContext API

לצינורות AI מותאמים אישית ולאפליקציות LLM,‏ Knowledge Catalog מספק את שיטת ה-API‏ LookupContext (projects/<var>PROJECT_ID</var>/locations/<var>LOCATION</var>:lookupContext).

במקום לדרוש מסוכן לבצע כמה קריאות רצופות כדי לבדוק סכימות, לחפש מונחים במילון המונחים, לאחזר ציוני איכות נתונים ולבדוק יומני שאילתות, שיטת LookupContext מאחזרת חבילה מאוחדת ומעוצבת מראש של מטא-נתונים עשירים בבקשה אחת.

היכולות העיקריות של שיטת LookupContext כוללות את הדברים הבאים:

• פורמטים שמתאימים ל-LLM. הפונקציה מחזירה הקשר במבנה yaml (ברירת מחדל), json או xml, שנועד להוספה ישירה לפרומפטים של מערכת LLM.
• תקצוב אסימונים (context_budget). מאפשר להגדיר תקציב יעד של תווים. ה-API חותך את המטא-נתונים בצורה חכמה ונותן להם עדיפות כדי להתאים אותם לחלון ההקשר של המודל.
• תצוגות הקשר שניתנות להגדרה.
  • ‫BASIC. הפונקציה מחזירה מטא-נתונים בסיסיים של רשומות, סכימות, תיאורים של עמודות, טקסט של סקירה כללית והנחיות לסוכנים.
  • ‫STANDARD. בנוסף למטא-נתונים בסיסיים, המערכת סורקת את גרף ההקשר כדי לכלול קשרים של צירוף בין טבלאות, מונחים נלווים במילון המונחים העסקי, מילים נרדפות, דפוסי שימוש בזמן ריצה ושאילתות לדוגמה מאומתות.
• אותות עשירים של פעילות ושימוש. הפונקציה מחזירה נתונים סטטיסטיים מפורטים על השימוש, שחולצו מהיסטוריית השאילתות, כמו partitionBy, clusterBy, topReadFields, topFilterFields, topGroupByFields, topSortFields ו-topAggregations.
• גילוי של צירופים ושאילתות לדוגמה. כולל תנאים משוערים לאיחוד טבלאות (לדוגמה, orders.customer_id = customers.id) ושאילתות SQL לדוגמה שעברו אימות.

מידע נוסף זמין במאמרים אחזור הקשר של נכסי נתונים וlookupContext REST reference.

איך ההקשר עוזר למשתמשי קצה ולסוכני AI

‫Knowledge Catalog מספק הקשר אוניברסלי בענן הנתונים המבוסס על סוכנים שלו, על ידי איחוד סכימות טכניות, סמנטיקה עסקית, שושלת נתונים ומדדי איכות בשכבת הקשר הפעילה. Knowledge Catalog מסייע למשתמשים ולמערכות אוטונומיות באמצעות חשיפת המטא-נתונים האלה דרך ממשקים פתוחים כמו Model Context Protocol‏ (MCP), ממשקי API לאחזור הקשר וחיפוש סמנטי.

ביטול הצורך בעבודה ידנית של משתמשים כדי לתת אמון במכשיר

בלי שכבה סמנטית מרכזית, צריך לבדוק את שושלת הנתונים של מסד הנתונים ואת היסטוריית השאילתות כדי לענות על שאלות עסקיות בסיסיות. קטלוגים רגילים פועלים כמלאי פסיבי של סכימות, ולכן צריך לחפש ידנית הגדרות של מדדים או לוודא שהטבלה נקייה.

Knowledge Catalog הופך את הניהול הפסיבי הזה לניהול חכם ואקטיבי. על ידי הצגת ציוני איכות, תיאורים סמנטיים ואזהרות שימוש ישירות לצד נכסי הנתונים, Knowledge Catalog מאפשר לכם לסמוך על הנתונים ולהשתמש בהם בלי לחכות לבדיקות הנדסיות.

הקרקוע של סוכנים אוטונומיים והפעלת ניהול דינמי

סוכני AI ומודלים גדולים של שפה (LLM) צריכים כללים קפדניים ודטרמיניסטיים כדי לקיים אינטראקציה עם מסדי נתונים. בלי הקשר סמנטי מפורש, הסוכנים מניחים הנחות שגויות לגבי שמות העמודות או יוצרים שאילתות SQL פגומות.

בנוסף, ניהול המטא-נתונים של מעברים פעילים בהקשר הופך רישום פסיבי לשכבת ניהול פעילה. באמצעות הגדרה של כללים עסקיים, מדדים והוראות לסוכנים מאומתים ישירות ב-Knowledge Catalog, ארגונים יכולים לקבוע איך הסוכנים יאחזרו, יעריכו ויפעלו על נתונים ארגוניים.

‫Knowledge Catalog פותר את הבעיה הזו. הוא מייצא פרופילים מאוחדים של הקשר פעיל לאפליקציות מבוססות-AI באמצעות ממשקי סטנדרט כמו Model Context Protocol‏ (MCP) או LookupContext API. ההתבססות של המודלים על המטא-נתונים האלה מצמצמת את ההזיות, אוכפת את כללי השליטה ומבטיחה שהפעולות האוטונומיות יתבססו על נתונים מאומתים של הארגון.

תיאום תהליכי עבודה עם כמה סוכנים באמצעות הקשר משותף

במסגרת מרובת סוכנים (או נחיל), סוכנים מומחים נפרדים משתפים פעולה כדי להפעיל תהליכי עבודה מורכבים. כשסוכנים כאלה פועלים בסביבות מבודדות ללא מישור הקשר משותף, הם נתקלים בתקרת הקשר – הם עלולים להשתמש בכללים עסקיים סותרים, לא לאתר תלות רלוונטית או לשכפל את מאמצי השליפה.

שימוש ב-Knowledge Catalog כמאגר מרכזי של הקשרים עוזר לכם לתאם ולהרחיב את השימוש בנחילי סוכנים. היתרונות של ביסוס נחיל המודלים על Knowledge Catalog:

• סמנטיקה עסקית משותפת. כל הסוכנים מתייחסים לאותן משמעויות והגדרות עסקיות. לדוגמה, אם סוכן לניתוח נתונים וסוכן ליצירת דוחות מאחזרים שניהם טבלה שמכילה נתוני מכירות, הם משתמשים באותה הגדרה במילון המונחים של מדד כמו Gross Merchandise Value (GMV) כדי לוודא שהנתונים עקביים.

• פתרון דינמי של תלות. סוכנים יכולים להשתמש בתיעוד מקורות הנתונים כדי לגלות משאבים במעלה הזרם ובמורד הזרם באופן פרוגרמטי. כך סוכן לפתרון בעיות בצינור יכול לאתר כשל בנתונים בטבלת המקור ולהעביר את המשימה לסוכן תיקון בלי לקודד כללי תלות.

• ממשק חיבור מאוחד. באמצעות Model Context Protocol‏ (MCP), אתם חושפים נקודת קצה סמנטית אחת לכלל הנחיל. כך לא צריך להגדיר שילובים מותאמים אישית של API לכל סוכן בנפרד.

• משילות אבטחה ברמת ההיקף. הסוכן ב-Knowledge Catalog בודק את השאילתות מול תפקידי IAM שהוגדרו מראש. כך אפשר לוודא שהסוכנים יאחזרו רק את הקשר של המשאב שהם מורשים לגשת אליו באופן מפורש, וכך למנוע חשיפת נתונים מקרית בכלל הסוכנים.

תרחישים לדוגמה לשימוש בהקשר של נתונים

כדי להבין איך הקשר של הנתונים פותר שאילתות מורכבות, כדאי לראות איך Knowledge Catalog מיישם בפועל שכבות טכניות, סמנטיות ותפעוליות:

מסחר אלקטרוני: התאמה אישית של המלצות לחיפוש

כדי להתאים קמפיינים שיווקיים עונתיים למלאי המוצרים, נציגי החיפוש צריכים להבין את הקשר בין אימיילים שיווקיים לא מובנים לבין קטלוגים מובנים של מוצרים וטבלאות של עסקאות משתמשים. Knowledge Catalog ממפה את הישויות האלה, ומאפשר למודלים של המלצות להציע מוצרים רלוונטיים בזמן אמת.

ייצור: אופטימיזציה של תחזוקת מכונות

מודלים של תחזוקה ניבויית דורשים שילוב של יומני חלקי חילוף מובנים עם מדריכי תיקון לא מובנים של טכנאים ופידים של חיישנים בזמן אמת. באמצעות מיפוי של הקשרים בין מספרי החלקים לבין פרקים במדריך, Knowledge Catalog מאפשר למערכות אנליטיות לחזות את בלאי הציוד ולתזמן תיקונים לפני שמתרחשות תקלות.

שירותי בריאות: אימות נתונים של ניסויים קליניים

מרכזי מחקר קליני צריכים לוודא שהנתונים הסטטיסטיים של המטופלים עומדים בכללים מחמירים של המחקר, ושהרשומות של הסכמת המטופלים ממופות ישירות למערכי הנתונים של תוצאות הניסוי. Knowledge Catalog עוקב אחרי שושלת הנתונים ברמת העמודה כדי לבדוק את צינורות ההסכמה, ומתריע לחוקרים על אנומליות בפרופיל הנתונים, וכך עוזר לשמור על תקינות הניסוי.

שירותים פיננסיים: הערכת סיכון אשראי

מודלים של חיתום הלוואות משתמשים בציוני אשראי של לקוחות, בהיסטוריית עסקאות ובסכומי חוב פעילים במערכות מקור נפרדות. ‫Knowledge Catalog מספק תרשים מאוחד של מדדי הלוואות וממפה את מקורות הנתונים, וכך מאפשר לכלי חיתום לוודא שהערכות הסיכון מתבססות על נכסים מאושרים ותואמים.

טלקומוניקציה: אבחון של פעולות ברשת

סוכנים ומערכות אוטונומיות לניהול רשת מנתחים התנהגויות של אותות בזמן אמת, מזהים ירידה בביצועים ומבצעים פעולות תיקון עצמיות. ההתבססות על הקשר של Knowledge Catalog מאפשרת למערכות לעקוב בבטחה אחרי רכיבי רשת באמצעות תרשימי שושלת, ולמפות את הקשרים בין יומנים טכניים לבין תחומים של שירותים עסקיים.

המאמרים הבאים