Bagaimana ini bisa terlewat
Build gagal, tapi agen sudah melanjutkan untuk menulis ringkasan. Apakah pulih, atau kegagalan penting hilang di antara dua langkah? Tindakan berikutnya sering kali menjadi tempat tinjauan yang berguna harus dimulai.
Dalam sesi yang sibuk, error bisa tergulung tepat sebelum panggilan alat berbeda. Agen mungkin memiliki strategi pemulihan yang valid. Atau mungkin melanjutkan tanpa menangani kegagalan. Bagaimanapun, Anda membutuhkan urutan sekitarnya untuk memutuskan.
Apa yang dideteksi ClawMetry
ClawMetry menandai hasil alat yang gagal diikuti oleh aktivitas lanjutan tanpa percobaan ulang atau pengakuan yang dikenali. Ini membuat temuan perbedaan tindakan yang bersifat informatif. Tingkat keparahan yang lebih rendah itu penting: ini adalah dorongan untuk memeriksa transisi, bukan keputusan tentang niat agen.
Perbedaan yang mengubah temuan
Contoh pemicu
Kegagalan, alat berbeda
Temuan info
Perbandingan tenang
Kegagalan, percobaan ulang alat yang sama
Tidak ada temuan untuk detektor ini.
Contoh yang diperiksa gagal pada build shell dan kemudian memanggil alat berbeda. Ini memunculkan temuan informatif. Kegagalan yang diikuti oleh panggilan lain ke alat yang sama diperlakukan sebagai percobaan ulang dan tetap tenang untuk detektor ini.
Periksa hasil detektor
{
"kind": "action_discrepancy",
"severity": "info",
"evidence": {
"failed_tool": "Bash",
"continued_as": "tool_call"
}
}Cara contoh diperiksa
Contoh-contoh ini mengevaluasi detektor yang diterbitkan dengan data peristiwa yang dibuat atau file konfigurasi sementara. Video mengilustrasikan perilaku tersebut. Ini bukan rekaman agen langsung atau antarmuka produk. Tidak ada perintah dalam contoh yang dieksekusi.
Hasilnya menetapkan perilaku untuk input ini. Ini tidak menetapkan konsumsi runtime, pencegahan, atau kompromi nyata. Periksa kontrak sumber yang disematkan.
Apa yang perlu diperiksa selanjutnya
Bandingkan langkah yang gagal dengan yang mengikutinya. Apakah tindakan baru merupakan jalur pemulihan? Apakah error diakui di tempat lain? Sebelum mengandalkan laporan penyelesaian, verifikasi hasil mendasar yang seharusnya dihasilkan oleh operasi yang gagal.
- Periksa hasil yang gagal
- Periksa jalur pemulihan
- Verifikasi hasil yang diklaim
Apa yang ditetapkan sinyal ini
Detektor tidak memverifikasi klaim penyelesaian akhir. Pemulihan sah melalui alat lain juga bisa cocok.