Πώς παραβλέπεται
Ο agent σας άνοιξε ένα άλλο αρχείο. Και άλλο ένα. Η συνεδρία φαίνεται πολυάσχολη, αλλά η διόρθωση δεν έχει εμφανιστεί ακόμα. Όταν παρακολουθείτε πολλούς agents, μια ροή δραστηριοτήτων μπορεί να κρύψει μια εργασία που δεν προχωράει.
Φανταστείτε να ζητάτε μια μικρή αλλαγή κώδικα. Ο agent διαβάζει είκοσι πέντε αρχεία χωρίς να κάνει επεξεργασία ή να ολοκληρώνει τη σειρά. Θα μπορούσατε να το ανακαλύψετε σκρολάροντας τη συνεδρία. Αντ' αυτού, το ClawMetry σας δίνει ένα συγκεκριμένο σήμα για διερεύνηση.
Τι ανιχνεύει το ClawMetry
Ο ανιχνευτής καμίας προόδου μετρά τις κλήσεις εργαλείων από την τελευταία σειρά χρήστη ή δείκτη ολοκλήρωσης. Αν ο αριθμός φτάσει το όριό του χωρίς αναγνωρισμένη εγγραφή ή επεξεργασία, εγείρει προειδοποίηση. Το εύρημα περιλαμβάνει τον παρατηρηθέντα αριθμό κλήσεων, το όριο και μηδέν καταγεγραμμένες εγγραφές.
Η διαφορά που αλλάζει το εύρημα
Παράδειγμα ενεργοποίησης
25 αναγνώσεις, μηδέν επεξεργασίες
Εύρημα προειδοποίησης
Αθόρυβη σύγκριση
24 αναγνώσεις, μετά επεξεργασία
Κανένα εύρημα για αυτόν τον ανιχνευτή.
Το ελεγμένο παράδειγμα έχει είκοσι πέντε κλήσεις ανάγνωσης και εγείρει προειδοποίηση. Αντικαταστήστε μία από αυτές με επεξεργασία, και ο ανιχνευτής παραμένει αθόρυβος. Μια νέα σειρά χρήστη επαναφέρει το παράθυρο. Όπου ένα runtime δεν εκθέτει ποτέ εγγραφές στο μαθημένο δείγμά του, το ClawMetry μπορεί να απενεργοποιήσει αυτό το σήμα αντί να σημαίνει κάθε συνεδρία.
Εξετάστε το αποτέλεσμα ανιχνευτή
{
"kind": "no_progress",
"severity": "warning",
"evidence": {
"tool_calls": 25,
"writes": 0,
"threshold": 20,
"threshold_source": "static",
"baseline": null
}
}Πώς ελέγχθηκε το παράδειγμα
Αυτά τα παραδείγματα αξιολογούν τον δημοσιευμένο ανιχνευτή με δεδομένα συμβάντων ή αναλώσιμα αρχεία ρυθμίσεων. Τα βίντεο απεικονίζουν αυτές τις συμπεριφορές. Δεν αποτελούν εγγραφές ζωντανών agents ή της διεπαφής προϊόντος. Καμία εντολή στα παραδείγματα δεν εκτελέστηκε.
Το αποτέλεσμα καθορίζει τη συμπεριφορά για αυτές τις εισόδους. Δεν καθορίζει λήψη δεδομένων runtime, πρόληψη ή πραγματικό συμβιβασμό. Εξετάστε τη σταθερή σύμβαση πηγής.
Τι να ελέγξετε στη συνέχεια
Ξεκινήστε από την εργασία. Η έρευνα μπορεί σωστά να περιλαμβάνει πολλές αναγνώσεις. Μια ζητούμενη διόρθωση κώδικα μπορεί να χρειάζεται παρέμβαση. Ελέγξτε τι προσπαθεί να μάθει ο agent, διευκρινίστε το σημείο διακοπής και αναζητήστε την πρώτη ουσιαστική αλλαγή.
- Ελέγξτε τον τύπο εργασίας
- Εξετάστε την πιο πρόσφατη δραστηριότητα
- Ορίστε ένα χρήσιμο σημείο διακοπής
Τι καθορίζει αυτό το σήμα
Καμία καταγεγραμμένη επεξεργασία δεν αποδεικνύει σπαταλημένη εργασία. Η αποκλειστικά αναγνωστική έρευνα μπορεί να είναι νόμιμη, και τα όρια εξαρτώνται από τη διαθέσιμη τηλεμετρία.