איך זה נעלם מהעין
הבנייה נכשלה, אך הסוכן כבר עבר לכתיבת סיכום. האם הוא התאושש, או האם כשל חשוב נעלם בין שני צעדים? הפעולה הבאה היא לעתים קרובות המקום שבו צריך להתחיל בדיקה שימושית.
בסשן עמוס, שגיאה יכולה לחלוף ממש לפני קריאת כלי שונה. לסוכן עשויה להיות אסטרטגיית התאוששות חוקית. או שהוא עשוי להמשיך מבלי לטפל בכשל. בכל מקרה, אתה צריך את הרצף הסובב כדי להחליט.
מה ClawMetry מזהה
ClawMetry מסמן תוצאת כלי כושלת שאחריה פעילות נמשכת ללא ניסיון חוזר מוכר או אישור. הוא יוצר ממצא אי התאמה בפעולה מידעי. חומרה נמוכה יותר זו חשובה: זהו קריאה לבדוק את המעבר, לא פסיקה לגבי כוונת הסוכן.
ההבדל שמשנה את הממצא
דוגמה מפעילה
כשל, כלי שונה
ממצא מידע
השוואה שקטה
כשל, ניסיון חוזר עם אותו כלי
אין ממצא לגלאי זה.
הדוגמה שנבדקה כושלת בבנייה של מעטפת ולאחר מכן קוראת לכלי שונה. היא מעלה ממצא מידעי. כשל שאחריו קריאה נוספת לאותו כלי נחשב כניסיון חוזר ונשאר שקט לגלאי זה.
בדוק את תוצאת הגלאי
{
"kind": "action_discrepancy",
"severity": "info",
"evidence": {
"failed_tool": "Bash",
"continued_as": "tool_call"
}
}איך הדוגמה נבדקה
דוגמאות אלה מעריכות את הגלאי שפורסם עם נתוני אירועים שנוצרו או קבצי תצורה חד פעמיים. הסרטונים ממחישים את ההתנהגויות הללו. אינם הקלטות של סוכנים חיים או ממשק המוצר. אף פקודה בדוגמאות לא בוצעה.
התוצאה מבססת התנהגות עבור קלטים אלה. אינה מבססת קליטת זמן ריצה, מניעה או פגיעה אמיתית. בדוק את חוזה המקור המצומד.
מה לבדוק בהמשך
השווה את הצעד הכושל למה שבא אחריו. האם הפעולה החדשה הייתה נתיב התאוששות? האם השגיאה אושרה במקום אחר? לפני שנסמכים על דוח השלמה, אמת את התוצאה הבסיסית שהפעולה הכושלת הייתה אמורה לייצר.
- בדוק את התוצאה הכושלת
- בדוק את נתיב ההתאוששות
- אמת את התוצאה הנטענת
מה אות זה מבסס
הגלאי אינו מאמת את טענת ההשלמה הסופית. התאוששות לגיטימית דרך כלי אחר יכולה גם היא להתאים.