Bagaimana ini bisa terlewat
Build gagal. Agen mencoba lagi. Gagal lagi. Setiap percobaan ulang menambah output, tapi masalah mendasar masih ada. Jika Anda hanya memeriksa apakah sesi aktif, Anda bisa melewatkan kegagalan yang terus berulang.
Bayangkan agen yang menyiapkan perubahan sementara alat shellnya terus mengembalikan error. Penyebabnya bisa berupa dependensi yang hilang, perintah tidak valid, atau akses yang tidak tersedia. Pertanyaan yang berguna adalah alat mana yang terus gagal, dan seberapa sering.
Apa yang dideteksi ClawMetry
ClawMetry menghitung error yang dikaitkan dengan alat yang sama dalam jendela peristiwa. Ketika jumlahnya melewati ambang batas yang berlaku, peringatan kegagalan alat berulang dimunculkan. Temuan ini menyebutkan alat, jumlah kegagalan, dan ambang batas yang digunakan.
Perbedaan yang mengubah temuan
Contoh pemicu
4 error dari Bash
Temuan peringatan
Perbandingan tenang
1 error dari Bash
Tidak ada temuan untuk detektor ini.
Dalam contoh yang diperiksa, empat hasil shell yang gagal menghasilkan peringatan. Satu kegagalan tetap di bawah ambang batas. Ini berbeda dari loop panggilan identik: perintah dapat berubah sementara alat yang sama terus mengembalikan error.
Periksa hasil detektor
{
"kind": "repeated_tool_failure",
"severity": "warning",
"evidence": {
"tool": "Bash",
"failures": 4,
"threshold": 3,
"threshold_source": "static"
}
}Cara contoh diperiksa
Contoh-contoh ini mengevaluasi detektor yang diterbitkan dengan data peristiwa yang dibuat atau file konfigurasi sementara. Video mengilustrasikan perilaku tersebut. Ini bukan rekaman agen langsung atau antarmuka produk. Tidak ada perintah dalam contoh yang dieksekusi.
Hasilnya menetapkan perilaku untuk input ini. Ini tidak menetapkan konsumsi runtime, pencegahan, atau kompromi nyata. Periksa kontrak sumber yang disematkan.
Apa yang perlu diperiksa selanjutnya
Buka hasil yang gagal dan cari penyebab umumnya. Perbaiki masalah lingkungan atau akses, atau persempit tugas agen sebelum membiarkan percobaan ulang menumpuk. Kemudian verifikasi bahwa hasil alat berikutnya benar-benar berhasil.
- Baca hasil error
- Perbaiki penyebab bersama
- Verifikasi hasil berikutnya
Apa yang ditetapkan sinyal ini
Ini adalah sinyal keandalan. Ini tidak mendiagnosis akar penyebab atau membuktikan agen diserang.