Tại sao dễ bị bỏ qua
Bản build thất bại. Agent thử lại. Lại thất bại. Mỗi lần thử lại thêm đầu ra, nhưng vấn đề cơ bản vẫn còn đó. Nếu bạn chỉ kiểm tra xem phiên có đang hoạt động không, bạn có thể bỏ lỡ lỗi cứ lặp đi lặp lại.
Hãy xem xét một agent chuẩn bị thay đổi trong khi công cụ shell của nó liên tục trả về lỗi. Nguyên nhân có thể là phụ thuộc còn thiếu, lệnh không hợp lệ hoặc quyền truy cập không khả dụng. Câu hỏi hữu ích là công cụ nào tiếp tục lỗi và bao nhiêu lần.
ClawMetry phát hiện gì
ClawMetry đếm các lỗi được gán cho cùng một công cụ trong cửa sổ sự kiện. Khi số lượng vượt ngưỡng áp dụng, nó phát cảnh báo lỗi công cụ lặp lại. Kết quả phát hiện nêu tên công cụ, số lần lỗi và ngưỡng được sử dụng.
Sự khác biệt thay đổi kết quả phát hiện
Ví dụ kích hoạt
4 lỗi từ Bash
Cảnh báo
So sánh im lặng
1 lỗi từ Bash
Không có kết quả phát hiện cho detector này.
Trong ví dụ được kiểm tra, bốn kết quả shell lỗi tạo ra cảnh báo. Một lỗi duy nhất vẫn dưới ngưỡng. Điều này khác với vòng lặp gọi giống nhau: các lệnh có thể thay đổi trong khi cùng một công cụ tiếp tục trả về lỗi.
Kiểm tra kết quả detector
{
"kind": "repeated_tool_failure",
"severity": "warning",
"evidence": {
"tool": "Bash",
"failures": 4,
"threshold": 3,
"threshold_source": "static"
}
}Cách ví dụ được kiểm tra
Các ví dụ này đánh giá detector đã xuất bản bằng dữ liệu sự kiện được soạn thảo hoặc tệp cấu hình dùng một lần. Video minh họa các hành vi đó. Đây không phải là bản ghi của agent thực hoặc giao diện sản phẩm. Không có lệnh nào trong ví dụ được thực thi.
Kết quả xác lập hành vi cho các đầu vào này. Nó không xác lập việc thu thập runtime, ngăn chặn hay một sự xâm phạm thực sự. Kiểm tra hợp đồng nguồn đã ghim.
Những gì cần kiểm tra tiếp theo
Mở các kết quả lỗi và tìm nguyên nhân chung. Sửa môi trường hoặc vấn đề quyền truy cập, hoặc thu hẹp tác vụ agent trước khi để các lần thử lại tích lũy. Sau đó xác minh rằng kết quả công cụ tiếp theo thực sự thành công.
- Đọc kết quả lỗi
- Sửa nguyên nhân chung
- Xác minh kết quả tiếp theo
Tín hiệu này xác lập điều gì
Đây là tín hiệu về độ tin cậy. Nó không chẩn đoán nguyên nhân gốc rễ hay chứng minh agent đang bị tấn công.