เครื่องมือเดิม ล้มเหลวอีกครั้ง

เหตุใดจึงมองข้ามได้ง่าย

การ build ล้มเหลว Agent ลองอีกครั้ง แล้วก็ล้มเหลวอีก การลองซ้ำแต่ละครั้งเพิ่ม output แต่ปัญหาพื้นฐานยังอยู่ หากคุณตรวจสอบแค่ว่าเซสชันยังทำงานอยู่ คุณอาจพลาดความล้มเหลวที่ยังคงซ้ำ

ลองนึกถึง agent ที่เตรียมการเปลี่ยนแปลงขณะที่เครื่องมือ shell ส่งคืนข้อผิดพลาดซ้ำๆ สาเหตุอาจเป็น dependency ที่หายไป คำสั่งที่ไม่ถูกต้อง หรือการเข้าถึงที่ไม่มี คำถามที่มีประโยชน์คือเครื่องมือใดที่ยังคงล้มเหลวและบ่อยแค่ไหน

สิ่งที่ ClawMetry ตรวจจับ

ClawMetry นับข้อผิดพลาดที่นำมาให้กับเครื่องมือเดียวกันในหน้าต่างเหตุการณ์ เมื่อจำนวนเกินเกณฑ์ที่กำหนด ระบบจะแจ้งเตือนเครื่องมือล้มเหลวซ้ำ ผลการตรวจสอบระบุชื่อเครื่องมือ จำนวนความล้มเหลว และเกณฑ์ที่ใช้

ความแตกต่างที่เปลี่ยนผลการตรวจสอบ

ในตัวอย่างที่ตรวจสอบ ผลลัพธ์ shell ที่ล้มเหลวสี่ครั้งสร้างการเตือน ความล้มเหลวครั้งเดียวอยู่ต่ำกว่าเกณฑ์ ซึ่งแตกต่างจากลูปการเรียกที่เหมือนกัน คำสั่งอาจเปลี่ยนในขณะที่เครื่องมือเดิมยังคงส่งคืนข้อผิดพลาด

{
  "kind": "repeated_tool_failure",
  "severity": "warning",
  "evidence": {
    "tool": "Bash",
    "failures": 4,
    "threshold": 3,
    "threshold_source": "static"
  }
}

สิ่งที่ควรตรวจสอบต่อไป

เปิดผลลัพธ์ที่ล้มเหลวและค้นหาสาเหตุร่วม แก้ไขปัญหา environment หรือการเข้าถึง หรือจำกัดงาน agent ก่อนให้การลองซ้ำสะสม จากนั้นตรวจสอบว่าผลลัพธ์เครื่องมือถัดไปสำเร็จจริง

1. อ่านผลลัพธ์ข้อผิดพลาด
2. แก้ไขสาเหตุร่วม
3. ตรวจสอบผลลัพธ์ถัดไป