ขั้นตอนล้มเหลว Agent ดำเนินต่อ

เหตุใดจึงมองข้ามได้ง่าย

การ build ล้มเหลว แต่ agent ย้ายไปเขียนสรุปแล้ว มันกู้คืนได้หรือไม่ หรือความล้มเหลวสำคัญหายไประหว่างสองขั้นตอน การดำเนินการถัดไปมักเป็นจุดเริ่มต้นของการตรวจสอบที่มีประโยชน์

ในเซสชันที่ยุ่งวุ่นวาย ข้อผิดพลาดอาจเลื่อนผ่านก่อนการเรียกเครื่องมืออื่น Agent อาจมีกลยุทธ์การกู้คืนที่ถูกต้อง หรืออาจดำเนินต่อโดยไม่จัดการความล้มเหลว ไม่ว่าอย่างไร คุณต้องการลำดับที่อยู่รอบข้างเพื่อตัดสินใจ

สิ่งที่ ClawMetry ตรวจจับ

ClawMetry ตั้งค่าสถานะผลลัพธ์เครื่องมือที่ล้มเหลวตามด้วยกิจกรรมต่อเนื่องโดยไม่มีการลองซ้ำหรือการรับทราบที่รู้จัก ระบบสร้างผลการตรวจสอบความไม่สอดคล้องของการกระทำระดับข้อมูล ความรุนแรงที่ต่ำกว่านั้นสำคัญ นี่คือสัญญาณให้ตรวจสอบการเปลี่ยนผ่าน ไม่ใช่คำตัดสินเกี่ยวกับเจตนาของ agent

ความแตกต่างที่เปลี่ยนผลการตรวจสอบ

ตัวอย่างที่ตรวจสอบล้ม shell build แล้วเรียกเครื่องมืออื่น สร้างผลการตรวจสอบระดับข้อมูล ความล้มเหลวตามด้วยการเรียกเครื่องมือเดิมอีกครั้งถือเป็นการลองซ้ำและไม่ทริกเกอร์ตัวตรวจจับนี้

{
  "kind": "action_discrepancy",
  "severity": "info",
  "evidence": {
    "failed_tool": "Bash",
    "continued_as": "tool_call"
  }
}

สิ่งที่ควรตรวจสอบต่อไป

เปรียบเทียบขั้นตอนที่ล้มเหลวกับสิ่งที่ตามมา การกระทำใหม่เป็นเส้นทางการกู้คืนหรือไม่ มีการรับทราบข้อผิดพลาดในที่อื่นหรือไม่ ก่อนพึ่งพารายงานการเสร็จสมบูรณ์ ตรวจสอบผลลัพธ์พื้นฐานที่การดำเนินการที่ล้มเหลวควรผลิต

1. ตรวจสอบผลลัพธ์ที่ล้มเหลว
2. ตรวจสอบเส้นทางการกู้คืน
3. ตรวจสอบผลลัพธ์ที่อ้างสิทธิ์