איך זה נעלם מהעין
הבנייה נכשלת. הסוכן מנסה שוב. היא נכשלת שוב. כל ניסיון חוזר מוסיף פלט נוסף, אך הבעיה הבסיסית עדיין קיימת. אם אתה רק בודק האם הסשן פעיל, אתה עלול להחמיץ את הכשל שממשיך לחזור.
שקול סוכן המכין שינוי בעוד כלי המעטפת שלו מחזיר שגיאה שוב ושוב. הסיבה עשויה להיות תלות חסרה, פקודה לא חוקית או גישה לא זמינה. השאלה השימושית היא איזה כלי ממשיך להיכשל, ובאיזו תדירות.
מה ClawMetry מזהה
ClawMetry סופר שגיאות המיוחסות לאותו כלי בחלון האירועים. כאשר הספירה חוצה את הסף הרלוונטי, הוא מעלה אזהרת כשל כלי חוזר. הממצא מציין את הכלי, ספירת הכשלים והסף שנעשה בו שימוש.
ההבדל שמשנה את הממצא
דוגמה מפעילה
4 שגיאות מ-Bash
ממצא אזהרה
השוואה שקטה
שגיאה אחת מ-Bash
אין ממצא לגלאי זה.
בדוגמה שנבדקה, ארבע תוצאות מעטפת כושלות מייצרות אזהרה. כשל יחיד נשאר מתחת לסף. זה שונה מלולאת קריאה זהה: הפקודות יכולות להשתנות בעוד אותו כלי ממשיך להחזיר שגיאות.
בדוק את תוצאת הגלאי
{
"kind": "repeated_tool_failure",
"severity": "warning",
"evidence": {
"tool": "Bash",
"failures": 4,
"threshold": 3,
"threshold_source": "static"
}
}איך הדוגמה נבדקה
דוגמאות אלה מעריכות את הגלאי שפורסם עם נתוני אירועים שנוצרו או קבצי תצורה חד פעמיים. הסרטונים ממחישים את ההתנהגויות הללו. אינם הקלטות של סוכנים חיים או ממשק המוצר. אף פקודה בדוגמאות לא בוצעה.
התוצאה מבססת התנהגות עבור קלטים אלה. אינה מבססת קליטת זמן ריצה, מניעה או פגיעה אמיתית. בדוק את חוזה המקור המצומד.
מה לבדוק בהמשך
פתח את התוצאות הכושלות וחפש את הסיבה המשותפת. תקן את בעיית הסביבה או הגישה, או צמצם את משימת הסוכן לפני שמאפשרים לניסיונות החוזרים להצטבר. לאחר מכן אמת שתוצאת הכלי הבאה אכן מצליחה.
- קרא את תוצאות השגיאה
- תקן את הסיבה המשותפת
- אמת את התוצאה הבאה
מה אות זה מבסס
זהו אות אמינות. הוא אינו מאבחן את הסיבה השורשית או מוכיח שהסוכן נמצא תחת מתקפה.