Thư viện detectorKhông có tiến triển

Không có tiến triển

Bận rộn không có nghĩa là tiến triển.

Phát hiện các khoảng hoạt động dài mà không có chỉnh sửa hay hoàn thành nào được ghi lại.

Thấy vấn đề. Hiểu kết quả phát hiện.

Giọng kể tiếng Anh có phụ đề.

Tại sao dễ bị bỏ qua

Agent của bạn vừa mở thêm một file nữa. Và một file nữa. Phiên trông có vẻ bận rộn, nhưng bản sửa lỗi vẫn chưa xuất hiện. Khi bạn theo dõi nhiều agent, luồng hoạt động có thể che giấu một tác vụ không tiến triển.

Hãy tưởng tượng yêu cầu một thay đổi code nhỏ. Agent đọc hai mươi lăm file mà không thực hiện chỉnh sửa hay hoàn thành lượt. Bạn có thể phát hiện điều đó bằng cách cuộn qua phiên. ClawMetry cung cấp cho bạn một tín hiệu cụ thể để điều tra thay thế.

ClawMetry phát hiện gì

Detector không tiến triển đếm các lần gọi công cụ kể từ lượt người dùng gần nhất hoặc marker hoàn thành. Nếu số lượng đạt ngưỡng mà không có thao tác ghi hay chỉnh sửa nào được nhận diện, nó sẽ phát cảnh báo. Kết quả phát hiện bao gồm số lần gọi quan sát được, ngưỡng và số lần ghi được ghi lại là không.

Sự khác biệt thay đổi kết quả phát hiện

Ví dụ kích hoạt

25 lần đọc, không có chỉnh sửa

Cảnh báo

So sánh im lặng

24 lần đọc, rồi một chỉnh sửa

Không có kết quả phát hiện cho detector này.

Ví dụ được kiểm tra có hai mươi lăm lần gọi đọc và phát cảnh báo. Thay một trong số các lần gọi đó bằng một chỉnh sửa, và detector này im lặng. Một lượt người dùng mới đặt lại cửa sổ. Khi runtime không bao giờ hiển thị các thao tác ghi trong mẫu đã học, ClawMetry có thể vô hiệu hóa tín hiệu này thay vì gắn cờ mọi phiên.

Kiểm tra kết quả detector
{
  "kind": "no_progress",
  "severity": "warning",
  "evidence": {
    "tool_calls": 25,
    "writes": 0,
    "threshold": 20,
    "threshold_source": "static",
    "baseline": null
  }
}
Tải đầu vào và kết quả đầy đủ (JSON)
Cách ví dụ được kiểm tra

Các ví dụ này đánh giá detector đã xuất bản bằng dữ liệu sự kiện được soạn thảo hoặc tệp cấu hình dùng một lần. Video minh họa các hành vi đó. Đây không phải là bản ghi của agent thực hoặc giao diện sản phẩm. Không có lệnh nào trong ví dụ được thực thi.

Kết quả xác lập hành vi cho các đầu vào này. Nó không xác lập việc thu thập runtime, ngăn chặn hay một sự xâm phạm thực sự. Kiểm tra hợp đồng nguồn đã ghim.

Những gì cần kiểm tra tiếp theo

Bắt đầu với tác vụ. Nghiên cứu có thể đúng khi liên quan đến nhiều lần đọc. Một bản sửa lỗi code được yêu cầu có thể cần can thiệp. Kiểm tra những gì agent đang cố học, làm rõ điểm dừng và tìm thay đổi có ý nghĩa đầu tiên.

  1. Kiểm tra loại tác vụ
  2. Kiểm tra hoạt động gần nhất
  3. Xác định điểm dừng hữu ích

Tín hiệu này xác lập điều gì

Không có chỉnh sửa được ghi lại không phải bằng chứng của công việc lãng phí. Nghiên cứu chỉ đọc có thể hợp lệ và ngưỡng phụ thuộc vào telemetry có sẵn.

Giữ những khoảnh khắc quan trọng luôn hiển thị.

Theo dõi hoạt động agent, kiểm tra kết quả phát hiện và quyết định điều gì cần sự chú ý của bạn.