הערכה מתמשכת באמצעות כלי מעקב אונליין

ניטור אונליין מאפשר לכם להעריך באופן רציף את איכות הסוכנים שלכם בסביבת הייצור. הגישה הפרואקטיבית הזו עוזרת לכם לזהות סחף באיכות – ירידה ניכרת בביצועי הנציגים לאורך זמן – שנגרמת כתוצאה משינויים בהתנהגות המשתמשים או בנתונים חיצוניים. אם תגדירו Online Monitors, תוכלו לתת ציון אסינכרוני למעקבים בזמן אמת באמצעות מדדים מוגדרים מראש ומדדים מותאמים אישית. כך תוכלו לוודא שהסוכן שלכם אמין ועומד בתקני הביצועים שלכם.

לפני שמתחילים

כדי להפעיל מעקב אונליין אחרי הסוכנים, צריך לוודא שמתקיימות הדרישות הבאות:

  • מבצעים פריסה של הסוכן לפי ההוראות במאמר פריסת סוכן.
  • מוודאים ש-Cloud Trace מופעל בפרויקט.
  • (אופציונלי) אם אתם מתכננים ליצור אמצעי מעקב באופן פרוגרמטי, תוכלו לעיין בדף הערכת הסוכנים לקבלת הוראות לאתחול Agent Platform SDK.

דרישות טלמטריה

כדי שהסוכן יוכל לספק את ההקשר הדרוש להערכה, הוא צריך לייצא אותות ספציפיים של OpenTelemetry לניטור אונליין:

  1. ‫Invoke agent span: חייב לכלול את המאפיינים הבאים:

    • gen_ai.agent.name: המזהה של הסוכן.
    • gen_ai.agent.description: תיאור קצר של מטרת הסוכן.
    • ‫gen_ai.conversation.id: מזהה ייחודי של סשן שיחה ספציפי.

  2. אירועי הסקה: האירוע gen_ai.client.inference.operation.details צריך לתעד את הפרטים הבאים:

    • ‫gen_ai.input.messages: ההנחיות שנשלחו לסוכן.
    • ‫gen_ai.output.messages: התשובות שנוצרו על ידי הסוכן.
    • ‫gen_ai.system_instructions: ההנחיות הבסיסיות של המערכת.
    • gen_ai.tool.definitions: מטא-נתונים על כל הכלים שזמינים לסוכן.

אם משתמשים ב-ערכה לפיתוח סוכנים (ADK), צריך להגדיר את משתני הסביבה הבאים כדי להפעיל את יכולות הטלמטריה האלה:

OTEL_SEMCONV_STABILITY_OPT_IN='gen_ai_latest_experimental'
OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT='EVENT_ONLY'

הקלטת מדיה ב-Cloud Storage

אם הסוכן שלכם משתמש בנתונים מרובי-אופנים, כמו תמונות או מסמכים גדולים, מומלץ לתעד את הקלט והפלט בקטגוריה של Cloud Storage במקום להטמיע אותם ישירות בטווחים של מעקב. כדי להפעיל את התכונה הזו, מגדירים את משתני הסביבה הבאים:

OTEL_INSTRUMENTATION_GENAI_UPLOAD_FORMAT='jsonl'
OTEL_INSTRUMENTATION_GENAI_COMPLETION_HOOK='upload'
OTEL_INSTRUMENTATION_GENAI_UPLOAD_BASE_PATH='gs://STORAGE_BUCKET_NAME/PATH'

מידע נוסף זמין במאמר איסוף של הנחיות ותשובות מרובות-אופנים.

איך פועלים אמצעי מעקב אונליין

הכלי 'מעקב אונליין' פועל בלולאת הערכה מתוזמנת, בדרך כלל כל 10 דקות. הלולאה פועלת לפי השלבים הבאים:

  1. שאילתה: דוגמאות לנתונים מ-Cloud Trace ומ-Cloud Logging על סמך המסננים שהגדרתם.
  2. הערכה: מפעיל מדדים מוגדרים באמצעות שירות ההערכה של Gemini Enterprise Agent Platform.
  3. דוח: כותב את התוצאות בחזרה ל-Cloud Logging ומייצא ציונים מספריים ל-Cloud Monitoring.

יצירת מעקב אונליין

  1. במסוף Google Cloud , עוברים לדף Agent Platform > Agents > Evaluation.

    לדף Evaluation

  2. בוחרים בכרטיסייה Online monitors (כלים למעקב אונליין) ולוחצים על New monitor (כלי מעקב חדש).

  3. מציינים את המסננים של העקבות:

    • מנוע הסוכן: בוחרים את הסוכן שרוצים לעקוב אחריו מהתפריט הנפתח.
    • קריטריונים לסינון: בוחרים אם להעריך את כל העקבות של הסוכן או להחיל קריטריונים ספציפיים לסינון.

  4. הגדרת קריטריוני סינון (אם משתמשים בנתוני מעקב מסוננים):

    • בדיקה ראשונית: בוחרים מסגרת זמן (לדוגמה, יום אחרון) כדי לראות תצוגה מקדימה של עקבות הייצור שתואמות למסנן.
    • מסננים: מזינים קריטריונים לטירגוט תנועה ספציפית. אפשר לסנן לפי מאפיינים כמו Duration (לדוגמה, Duration > 2) או Token usage.

  5. הגדרת מדדים: מוסיפים את המדדים שרוצים לעקוב אחריהם באופן רציף, כמו בטיחות.

  6. הגדרת דגימה:

    • אחוז הדגימה: מגדירים את האחוז מהטראפיק בשידור החי שצריך להיבדק.
    • מקסימום דגימות בכל הפעלה: הגדרת מכסה לניהול עלויות ההערכה.

  7. לוחצים על יצירה.

ניהול המוניטורים

אחרי שיוצרים את הכלי לניטור, אפשר לנהל אותו מהרשימה Online monitors (כלים לניטור באינטרנט):

  • המתג 'סטטוס': לוחצים על אפשרויות נוספות ובוחרים באפשרות הפעלה או השבתה כדי להשהות את ההערכה בלי למחוק את ההגדרה.
  • השהיה והפעלה מחדש: משתמשים באפשרות אפשרויות נוספות כדי להפסיק את ההערכה באופן זמני.
  • שכפול: יצירת כלי ניטור חדש עם הגדרות שמולאו מראש מכלי ניטור קיים.
  • הצגת נתוני מעקב: בעמודה Sampled traces (נתוני מעקב לדוגמה) של כלי המעקב, לוחצים על הקישור View traces (הצגת נתוני מעקב) כדי לעבור ישירות לנתוני המעקב המסוננים בכרטיסייה Traces (נתוני מעקב) של הסוכן.

הצגת התוצאות בלוח הבקרה של יכולת התצפית

כדי לראות את מדדי ההערכה לצד אותות ביצועים אחרים:

  1. במסוף Google Cloud , עוברים לדף Agent Platform > Agents.
  2. בתפריט הניווט הימני, לוחצים על פריסות.

  3. בוחרים את הסוכן.

    מעבר לדף Deployments

  4. בתצוגה Dashboard, בוחרים בקטע המשנה Evaluation כדי לראות תרשימים של סדרות זמן למדדים שהגדרתם, כמו איכות התגובה, בטיחות ושיעורי הזיות.

הצגת תוצאות של מעקב ספציפי

אפשר גם לבדוק את תוצאות ההערכה של שיחות ספציפיות ישירות בתצוגת העקבות:

  1. במסוף Google Cloud , עוברים לכרטיסייה Traces של הסוכן.
  2. בוחרים סשן או מעקב מהטבלה כדי לפתוח את חלונית הפרטים.
  3. בוחרים בכרטיסייה הערכה כדי לראות את הציונים וההסברים לאינטראקציה הספציפית הזו.

פתרון בעיות במוניטורים אונליין

אם הכלי 'מעקב אחרי נוכחות באינטרנט' פעיל אבל לא מופיעות תוצאות במרכז הבקרה:

  1. אימות הטלמטריה: מוודאים שהסוכן מייצא בצורה נכונה את הטווחים והאירועים הנדרשים של OpenTelemetry. בודקים ב-Cloud Trace אם העקבות בזמן אמת מכילים את מאפייני gen_ai..
  2. בדיקת המסננים: בודקים את קריטריוני הסינון של הכלי למעקב. כדי לוודא שהמסננים תואמים לתנועת הגולשים בסביבת הייצור, אפשר להשתמש בתכונה בדיקה ראשונית.

  3. בודקים את היומנים הפנימיים: כלי המעקב אונליין כותבים מידע אבחוני ל-Cloud Logging. אם ההערכה נכשלת, נוצר יומן שגיאות. אפשר למצוא את היומנים האלה ב-Logs Explorer על ידי חיפוש של מזהה המוניטור או של עקבות וסוכנים ספציפיים:

    resource.labels.online_evaluator="projects/YOUR_PROJECT_ID/locations/YOUR_REGION/onlineEvaluators/YOUR_MONITOR_ID"
# Or search by trace or agent
labels.trace="YOUR_TRACE_ID"
labels.reasoning_engine_id="YOUR_AGENT_ID"