คลังตัวตรวจจับไม่มีความคืบหน้า

ไม่มีความคืบหน้า

ยุ่งวุ่นวายไม่ได้แปลว่าคืบหน้า

ตรวจพบช่วงกิจกรรมยาวนานที่ไม่มีการแก้ไขหรือการเสร็จสิ้นที่บันทึกไว้

เห็นปัญหา เข้าใจผลการตรวจสอบ

บรรยายภาษาอังกฤษพร้อมคำบรรยาย

เหตุใดจึงมองข้ามได้ง่าย

Agent ของคุณเปิดไฟล์อีกแล้ว และอีกไฟล์ เซสชันดูยุ่งวุ่นวาย แต่การแก้ไขยังไม่ปรากฏ เมื่อดูแล agent หลายตัว กระแสกิจกรรมอาจซ่อนงานที่ไม่คืบหน้า

ลองนึกภาพการขอเปลี่ยนโค้ดเล็กน้อย Agent อ่านยี่สิบห้าไฟล์โดยไม่มีการแก้ไขหรือจบการทำงาน คุณค้นพบสิ่งนี้ได้ด้วยการเลื่อนดูเซสชัน ClawMetry ให้สัญญาณเฉพาะเพื่อตรวจสอบแทน

สิ่งที่ ClawMetry ตรวจจับ

ตัวตรวจจับไม่มีความคืบหน้านับการเรียกใช้เครื่องมือนับจาก user turn หรือเครื่องหมายเสร็จสิ้นล่าสุด หากจำนวนถึงเกณฑ์โดยไม่มีการเขียนหรือแก้ไขที่รู้จัก ระบบจะแจ้งเตือน ผลการตรวจสอบรวมจำนวนการเรียกที่สังเกตได้ เกณฑ์ และจำนวนการเขียนที่บันทึกได้เป็นศูนย์

ความแตกต่างที่เปลี่ยนผลการตรวจสอบ

ตัวอย่างที่ทริกเกอร์

อ่าน 25 ครั้ง แก้ไขศูนย์ครั้ง

ผลการตรวจสอบระดับเตือน

การเปรียบเทียบที่เงียบ

อ่าน 24 ครั้ง แล้วแก้ไข

ไม่มีผลการตรวจสอบสำหรับตัวตรวจจับนี้

ตัวอย่างที่ตรวจสอบมีการเรียกอ่านยี่สิบห้าครั้งและสร้างการเตือน แทนที่หนึ่งในนั้นด้วยการแก้ไข ตัวตรวจจับนี้จะเงียบ user turn ใหม่รีเซ็ตหน้าต่าง เมื่อ runtime ไม่เปิดเผยการเขียนในตัวอย่างที่เรียนรู้ ClawMetry สามารถปิดสัญญาณนี้แทนที่จะตั้งค่าสถานะทุกเซสชัน

ตรวจสอบผลลัพธ์ของตัวตรวจจับ
{
  "kind": "no_progress",
  "severity": "warning",
  "evidence": {
    "tool_calls": 25,
    "writes": 0,
    "threshold": 20,
    "threshold_source": "static",
    "baseline": null
  }
}
ดาวน์โหลดข้อมูลนำเข้าและผลลัพธ์ทั้งหมด (JSON)
วิธีการตรวจสอบตัวอย่าง

ตัวอย่างเหล่านี้ประเมินตัวตรวจจับที่เผยแพร่ด้วยข้อมูลเหตุการณ์ที่สร้างขึ้นหรือไฟล์คอนฟิกที่ใช้แล้วทิ้ง วิดีโออธิบายพฤติกรรมเหล่านั้น ไม่ใช่การบันทึก agent จริงหรืออินเทอร์เฟซผลิตภัณฑ์ ไม่มีคำสั่งใดในตัวอย่างถูกเรียกใช้จริง

ผลลัพธ์พิสูจน์พฤติกรรมสำหรับข้อมูลนำเข้าเหล่านี้เท่านั้น ไม่ได้พิสูจน์การรับข้อมูล runtime การป้องกัน หรือการโจมตีจริง ตรวจสอบสัญญาต้นฉบับที่ปักหมุดไว้.

สิ่งที่ควรตรวจสอบต่อไป

เริ่มจากงาน การวิจัยอาจมีการอ่านหลายครั้งอย่างถูกต้อง การแก้ไขโค้ดที่ร้องขออาจต้องการการแทรกแซง ตรวจสอบสิ่งที่ agent พยายามเรียนรู้ ชี้แจงจุดหยุด และค้นหาการเปลี่ยนแปลงที่มีความหมายครั้งแรก

  1. ตรวจสอบประเภทงาน
  2. ตรวจสอบกิจกรรมล่าสุด
  3. กำหนดจุดหยุดที่มีประโยชน์

สิ่งที่สัญญาณนี้พิสูจน์

ไม่มีการแก้ไขที่บันทึกไว้ไม่ใช่หลักฐานของงานสูญเปล่า การวิจัยแบบอ่านอย่างเดียวอาจถูกต้องตามกฎหมาย และเกณฑ์ขึ้นอยู่กับ telemetry ที่มีอยู่

ให้ช่วงเวลาสำคัญมองเห็นได้เสมอ

ติดตามกิจกรรม agent ตรวจสอบผลการค้นพบ และตัดสินใจว่าสิ่งใดต้องการความสนใจ