เหตุใดจึงมองข้ามได้ง่าย
Agent ของคุณเปิดไฟล์อีกแล้ว และอีกไฟล์ เซสชันดูยุ่งวุ่นวาย แต่การแก้ไขยังไม่ปรากฏ เมื่อดูแล agent หลายตัว กระแสกิจกรรมอาจซ่อนงานที่ไม่คืบหน้า
ลองนึกภาพการขอเปลี่ยนโค้ดเล็กน้อย Agent อ่านยี่สิบห้าไฟล์โดยไม่มีการแก้ไขหรือจบการทำงาน คุณค้นพบสิ่งนี้ได้ด้วยการเลื่อนดูเซสชัน ClawMetry ให้สัญญาณเฉพาะเพื่อตรวจสอบแทน
สิ่งที่ ClawMetry ตรวจจับ
ตัวตรวจจับไม่มีความคืบหน้านับการเรียกใช้เครื่องมือนับจาก user turn หรือเครื่องหมายเสร็จสิ้นล่าสุด หากจำนวนถึงเกณฑ์โดยไม่มีการเขียนหรือแก้ไขที่รู้จัก ระบบจะแจ้งเตือน ผลการตรวจสอบรวมจำนวนการเรียกที่สังเกตได้ เกณฑ์ และจำนวนการเขียนที่บันทึกได้เป็นศูนย์
ความแตกต่างที่เปลี่ยนผลการตรวจสอบ
ตัวอย่างที่ทริกเกอร์
อ่าน 25 ครั้ง แก้ไขศูนย์ครั้ง
ผลการตรวจสอบระดับเตือน
การเปรียบเทียบที่เงียบ
อ่าน 24 ครั้ง แล้วแก้ไข
ไม่มีผลการตรวจสอบสำหรับตัวตรวจจับนี้
ตัวอย่างที่ตรวจสอบมีการเรียกอ่านยี่สิบห้าครั้งและสร้างการเตือน แทนที่หนึ่งในนั้นด้วยการแก้ไข ตัวตรวจจับนี้จะเงียบ user turn ใหม่รีเซ็ตหน้าต่าง เมื่อ runtime ไม่เปิดเผยการเขียนในตัวอย่างที่เรียนรู้ ClawMetry สามารถปิดสัญญาณนี้แทนที่จะตั้งค่าสถานะทุกเซสชัน
ตรวจสอบผลลัพธ์ของตัวตรวจจับ
{
"kind": "no_progress",
"severity": "warning",
"evidence": {
"tool_calls": 25,
"writes": 0,
"threshold": 20,
"threshold_source": "static",
"baseline": null
}
}ดาวน์โหลดข้อมูลนำเข้าและผลลัพธ์ทั้งหมด (JSON)วิธีการตรวจสอบตัวอย่าง
ตัวอย่างเหล่านี้ประเมินตัวตรวจจับที่เผยแพร่ด้วยข้อมูลเหตุการณ์ที่สร้างขึ้นหรือไฟล์คอนฟิกที่ใช้แล้วทิ้ง วิดีโออธิบายพฤติกรรมเหล่านั้น ไม่ใช่การบันทึก agent จริงหรืออินเทอร์เฟซผลิตภัณฑ์ ไม่มีคำสั่งใดในตัวอย่างถูกเรียกใช้จริง
ผลลัพธ์พิสูจน์พฤติกรรมสำหรับข้อมูลนำเข้าเหล่านี้เท่านั้น ไม่ได้พิสูจน์การรับข้อมูล runtime การป้องกัน หรือการโจมตีจริง ตรวจสอบสัญญาต้นฉบับที่ปักหมุดไว้.
สิ่งที่ควรตรวจสอบต่อไป
เริ่มจากงาน การวิจัยอาจมีการอ่านหลายครั้งอย่างถูกต้อง การแก้ไขโค้ดที่ร้องขออาจต้องการการแทรกแซง ตรวจสอบสิ่งที่ agent พยายามเรียนรู้ ชี้แจงจุดหยุด และค้นหาการเปลี่ยนแปลงที่มีความหมายครั้งแรก
- ตรวจสอบประเภทงาน
- ตรวจสอบกิจกรรมล่าสุด
- กำหนดจุดหยุดที่มีประโยชน์
สิ่งที่สัญญาณนี้พิสูจน์
ไม่มีการแก้ไขที่บันทึกไว้ไม่ใช่หลักฐานของงานสูญเปล่า การวิจัยแบบอ่านอย่างเดียวอาจถูกต้องตามกฎหมาย และเกณฑ์ขึ้นอยู่กับ telemetry ที่มีอยู่