הרצת הערכות אופליין

יומני מעקב לעומת סשנים

• Trace: A factual, immutable record of the agent's behavior, including model inputs, responses, and tool calls. כל מעקב מייצג נתיב ביצוע יחיד.
• סשן: כולל את כל האינטראקציה המורכבת בין משתמש לבין סוכן. אפשר להשתמש בסשנים כדי להעריך את שימור ההקשר ואת רצף השיחה לאורך זמן.

לפני שמתחילים

כדי לוודא שיש לכם את הנתונים והסביבה הנדרשים לבדיקה אופליין, אתם צריכים:

• מוודאים שפרסתם Agent Runtime תקין עם Cloud Trace מופעל.
• מגדירים קטגוריה של Cloud Storage לאחסון תוצאות ההערכה. צריך לציין את הנתיב הזה רק פעם אחת, והוא ימולא מראש בהפעלות הבאות.
• אם אתם מתכננים להשתמש ב-Agent Platform SDK לצורך הערכה, עליכם להפעיל את הלקוח כמו שמתואר במאמר הערכת הסוכנים.

דרישות טלמטריה

כדי לבצע הערכה אופליין, הסוכן צריך לייצא אותות ספציפיים של OpenTelemetry כדי לספק את ההקשר הדרוש להערכה. הדרישות האלה זהות לדרישות של מערכות מעקב אונליין:

1. ‫Invoke agent span: חייב לכלול את המאפיינים הבאים:

   • gen_ai.agent.name: המזהה של הסוכן.
   • gen_ai.agent.description: תיאור קצר של מטרת הסוכן.
   • ‫gen_ai.conversation.id: מזהה ייחודי של סשן שיחה ספציפי.

2. אירועי הסקה: באירוע gen_ai.client.inference.operation.details צריך לתעד את הפרטים הבאים:

   • ‫gen_ai.input.messages: ההנחיות שנשלחו לסוכן.
   • ‫gen_ai.output.messages: התשובות שנוצרו על ידי הסוכן.
   • ‫gen_ai.system_instructions: ההנחיות הבסיסיות של המערכת.
   • gen_ai.tool.definitions: מטא-נתונים על כל הכלים שזמינים לסוכן.

אם משתמשים ב-ערכה לפיתוח סוכנים (ADK), צריך להגדיר את משתני הסביבה הבאים כדי להפעיל את יכולות הטלמטריה האלה:

OTEL_SEMCONV_STABILITY_OPT_IN='gen_ai_latest_experimental'
OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT='EVENT_ONLY'

הקלטת מדיה ב-Cloud Storage

אם הסוכן שלכם משתמש בנתונים מרובי-אופנים, כמו תמונות או מסמכים גדולים, מומלץ להקליט את הקלט והפלט בדלי Cloud Storage במקום להטמיע אותם ישירות בטווחים של מעקב. כדי להפעיל את התכונה הזו, מגדירים את משתני הסביבה הבאים:

OTEL_INSTRUMENTATION_GENAI_UPLOAD_FORMAT='jsonl'
OTEL_INSTRUMENTATION_GENAI_COMPLETION_HOOK='upload'
OTEL_INSTRUMENTATION_GENAI_UPLOAD_BASE_PATH='gs://STORAGE_BUCKET_NAME/PATH'

מידע נוסף זמין במאמר איסוף של הנחיות ותגובות מרובות-אופנים.

יצירת הערכה מהמאגר

1. במסוף Google Cloud , עוברים לדף Agent Platform > Agents > Evaluation.

   לדף Evaluation

2. לוחצים על הערכה חדשה.

3. בוחרים בכרטיסייה Traces או בכרטיסייה Sessions בהתאם ליעד ההערכה.

4. משתמשים בסמל המסנן ובבורר התאריכים כדי לסנן את הנתונים (לדוגמה, לפי גרסה או 'שבועיים אחרונים') ובוחרים את המזהים הספציפיים שרוצים להעריך.

5. לוחצים על Continue.

6. (אופציונלי) בשדה שם ההערכה, מזינים שם להערכה או משתמשים בשם ברירת המחדל שמופיע בשדה.

7. בשדה Output private data path (נתיב של נתונים פרטיים בפלט) מזינים את ה-URI של הקטגוריה ב-Cloud Storage. אחרי השימוש הראשון, הנתיב הזה ימולא מראש בהרצות הבאות.

8. כברירת מחדל, כל ארבעת מדדי הליבה מתווספים. אפשר להוסיף או להסיר מדדים לפי הצורך.

9. לוחצים על הערכת הסוכן.

הערכה של מעקב או סשן יחיד

אתם יכולים להפעיל הערכות ישירות בזמן שאתם בודקים נתיבי ביצוע ספציפיים:

1. במסוף Google Cloud , עוברים לדף Agent Platform > Agents.
2. בתפריט הניווט הימני, לוחצים על פריסות.
3. בוחרים את הסוכן.

   מעבר לדף Deployments

4. לוחצים על הכרטיסייה Traces (עקבות).
5. לוחצים על Session view (תצוגת סשן) או על Trace view (תצוגת מעקב) כדי לבדוק את נתיב הביצוע.
6. בוחרים שורה ספציפית מהטבלה כדי לפתוח את חלונית הפרטים.
7. לוחצים על הכרטיסייה הערכה.
8. אם לא בוצע ניתוח של העקבות או הסשן, לוחצים על Evaluate כדי להריץ הערכה אד-הוק.

צפייה בתוצאות הבדיקה

אחרי שההערכה תסתיים, תוכלו לנתח את התוצאות כדי לזהות פערים בביצועים ובעיות מערכתיות:

• כדי לראות את התוצאות של הרצה: במסוף Google Cloud , עוברים לדף Agent Platform > Agents > Evaluation ובוחרים בכרטיסייה Evaluations. כדי לראות את הדוח המפורט, לוחצים על שם ההערכה.

  לדף Evaluation

• פירוט של עקבות: מדוח תוצאות, לוחצים על שורה כלשהי כדי לעבור ישירות לעקבה המשויכת ולבדוק את ההסברים (הנימוקים) שמאחורי הציונים.

מידע נוסף זמין במאמר ניתוח תוצאות ההערכה.