Πώς παραβλέπεται
Η κατασκευή απέτυχε, αλλά ο agent ήδη προχώρησε στη σύνταξη περίληψης. Ανέκαμψε, ή μια σημαντική αποτυχία εξαφανίστηκε μεταξύ δύο βημάτων; Η επόμενη ενέργεια είναι συχνά το σημείο όπου πρέπει να ξεκινά ένας χρήσιμος έλεγχος.
Σε μια πολυάσχολη συνεδρία, ένα σφάλμα μπορεί να περάσει απαρατήρητο λίγο πριν από μια διαφορετική κλήση εργαλείου. Ο agent μπορεί να έχει έγκυρη στρατηγική ανάκτησης. Ή μπορεί να προχωρά χωρίς να χειριστεί την αποτυχία. Σε κάθε περίπτωση, χρειάζεστε την περιβάλλουσα ακολουθία για να αποφασίσετε.
Τι ανιχνεύει το ClawMetry
Το ClawMetry σημαίνει ένα αποτυχημένο αποτέλεσμα εργαλείου ακολουθούμενο από συνεχιζόμενη δραστηριότητα χωρίς αναγνωρισμένη επανάληψη ή επιβεβαίωση. Δημιουργεί πληροφοριακό εύρημα αποκλίνουσας ενέργειας. Αυτή η χαμηλότερη σοβαρότητα έχει σημασία: αυτό είναι κίνητρο για επιθεώρηση της μετάβασης, όχι ετυμηγορία για την πρόθεση του agent.
Η διαφορά που αλλάζει το εύρημα
Παράδειγμα ενεργοποίησης
Αποτυχία, διαφορετικό εργαλείο
Πληροφοριακό εύρημα
Αθόρυβη σύγκριση
Αποτυχία, επανάληψη ίδιου εργαλείου
Κανένα εύρημα για αυτόν τον ανιχνευτή.
Το ελεγμένο παράδειγμα αποτυγχάνει σε κατασκευή shell και έπειτα καλεί διαφορετικό εργαλείο. Εγείρει πληροφοριακό εύρημα. Μια αποτυχία ακολουθούμενη από άλλη κλήση στο ίδιο εργαλείο αντιμετωπίζεται ως επανάληψη και παραμένει αθόρυβη για αυτόν τον ανιχνευτή.
Εξετάστε το αποτέλεσμα ανιχνευτή
{
"kind": "action_discrepancy",
"severity": "info",
"evidence": {
"failed_tool": "Bash",
"continued_as": "tool_call"
}
}Πώς ελέγχθηκε το παράδειγμα
Αυτά τα παραδείγματα αξιολογούν τον δημοσιευμένο ανιχνευτή με δεδομένα συμβάντων ή αναλώσιμα αρχεία ρυθμίσεων. Τα βίντεο απεικονίζουν αυτές τις συμπεριφορές. Δεν αποτελούν εγγραφές ζωντανών agents ή της διεπαφής προϊόντος. Καμία εντολή στα παραδείγματα δεν εκτελέστηκε.
Το αποτέλεσμα καθορίζει τη συμπεριφορά για αυτές τις εισόδους. Δεν καθορίζει λήψη δεδομένων runtime, πρόληψη ή πραγματικό συμβιβασμό. Εξετάστε τη σταθερή σύμβαση πηγής.
Τι να ελέγξετε στη συνέχεια
Συγκρίνετε το αποτυχημένο βήμα με αυτό που ακολούθησε. Ήταν η νέα ενέργεια μονοπάτι ανάκτησης; Επιβεβαιώθηκε το σφάλμα αλλού; Πριν βασιστείτε σε αναφορά ολοκλήρωσης, επαληθεύστε το υποκείμενο αποτέλεσμα που η αποτυχημένη λειτουργία έπρεπε να παράγει.
- Εξετάστε το αποτυχημένο αποτέλεσμα
- Ελέγξτε το μονοπάτι ανάκτησης
- Επαληθεύστε το ισχυριζόμενο αποτέλεσμα
Τι καθορίζει αυτό το σήμα
Ο ανιχνευτής δεν επαληθεύει τον τελικό ισχυρισμό ολοκλήρωσης. Η νόμιμη ανάκτηση μέσω άλλου εργαλείου μπορεί επίσης να ταιριάζει.