Πώς παραβλέπεται
Μια κατασκευή αποτυγχάνει. Ο agent δοκιμάζει ξανά. Αποτυγχάνει πάλι. Κάθε επανάληψη προσθέτει περισσότερη έξοδο, αλλά το υποκείμενο πρόβλημα εξακολουθεί να υπάρχει. Αν ελέγξετε μόνο αν η συνεδρία είναι ενεργή, μπορεί να χάσετε την αποτυχία που συνεχίζει να επαναλαμβάνεται.
Σκεφτείτε έναν agent που προετοιμάζει μια αλλαγή ενώ το εργαλείο shell επιστρέφει επαναλαμβανόμενα σφάλμα. Η αιτία μπορεί να είναι μια ελλείπουσα εξάρτηση, μια άκυρη εντολή ή απρόσιτη πρόσβαση. Το χρήσιμο ερώτημα είναι ποιο εργαλείο συνεχίζει να αποτυγχάνει, και πόσο συχνά.
Τι ανιχνεύει το ClawMetry
Το ClawMetry μετρά σφάλματα που αποδίδονται στο ίδιο εργαλείο στο παράθυρο συμβάντων. Όταν ο αριθμός υπερβεί το ισχύον όριο, εγείρει προειδοποίηση επαναλαμβανόμενης αποτυχίας εργαλείου. Το εύρημα ονομάζει το εργαλείο, τον αριθμό αποτυχιών και το χρησιμοποιηθέν όριο.
Η διαφορά που αλλάζει το εύρημα
Παράδειγμα ενεργοποίησης
4 σφάλματα από Bash
Εύρημα προειδοποίησης
Αθόρυβη σύγκριση
1 σφάλμα από Bash
Κανένα εύρημα για αυτόν τον ανιχνευτή.
Στο ελεγμένο παράδειγμα, τέσσερα αποτυχημένα αποτελέσματα shell παράγουν προειδοποίηση. Μια μεμονωμένη αποτυχία παραμένει κάτω από το όριο. Αυτό διαφέρει από έναν βρόχο πανομοιότυπων κλήσεων: οι εντολές μπορεί να αλλάξουν ενώ το ίδιο εργαλείο συνεχίζει να επιστρέφει σφάλματα.
Εξετάστε το αποτέλεσμα ανιχνευτή
{
"kind": "repeated_tool_failure",
"severity": "warning",
"evidence": {
"tool": "Bash",
"failures": 4,
"threshold": 3,
"threshold_source": "static"
}
}Πώς ελέγχθηκε το παράδειγμα
Αυτά τα παραδείγματα αξιολογούν τον δημοσιευμένο ανιχνευτή με δεδομένα συμβάντων ή αναλώσιμα αρχεία ρυθμίσεων. Τα βίντεο απεικονίζουν αυτές τις συμπεριφορές. Δεν αποτελούν εγγραφές ζωντανών agents ή της διεπαφής προϊόντος. Καμία εντολή στα παραδείγματα δεν εκτελέστηκε.
Το αποτέλεσμα καθορίζει τη συμπεριφορά για αυτές τις εισόδους. Δεν καθορίζει λήψη δεδομένων runtime, πρόληψη ή πραγματικό συμβιβασμό. Εξετάστε τη σταθερή σύμβαση πηγής.
Τι να ελέγξετε στη συνέχεια
Ανοίξτε τα αποτυχημένα αποτελέσματα και αναζητήστε την κοινή αιτία. Διορθώστε το πρόβλημα περιβάλλοντος ή πρόσβασης, ή στενέψτε την εργασία του agent πριν αφήσετε τις επαναλήψεις να συσσωρευτούν. Έπειτα επαληθεύστε ότι το επόμενο αποτέλεσμα εργαλείου πραγματικά πετυχαίνει.
- Διαβάστε τα αποτελέσματα σφαλμάτων
- Διορθώστε την κοινή αιτία
- Επαληθεύστε το επόμενο αποτέλεσμα
Τι καθορίζει αυτό το σήμα
Αυτό είναι σήμα αξιοπιστίας. Δεν διαγιγνώσκει τη βαθύτερη αιτία ούτε αποδεικνύει ότι ο agent δέχεται επίθεση.