Nasıl gözden kaçıyor
Derleme başarısız oldu ama ajan çoktan özet yazmaya geçti. Kurtardı mı, yoksa önemli bir hata iki adım arasında kayboldu mu? Sonraki eylem genellikle yararlı bir incelemenin başlaması gereken yerdir.
Yoğun bir oturumda, farklı bir araç çağrısından hemen önce bir hata ekrandan geçebilir. Ajanın geçerli bir kurtarma stratejisi olabilir. Ya da hatayı ele almadan devam ediyor olabilir. Her iki durumda da karar vermek için çevredeki sıraya ihtiyacınız var.
ClawMetry neyi tespit eder
ClawMetry, tanınan bir yeniden deneme veya onay olmaksızın devam eden aktiviteyi izleyen başarısız bir araç sonucunu işaretler. Bilgilendirici bir eylem tutarsızlığı bulgusu oluşturur. Bu düşük önem derecesi önemlidir: bu, geçişi inceleme isteğidir, ajan niyeti hakkında bir karar değil.
Bulguyu değiştiren fark
Tetikleyen örnek
Hata, farklı araç
Bilgi bulgusu
Sessiz karşılaştırma
Hata, aynı araçla yeniden deneme
Bu dedektör için bulgu yok.
İncelenen örnek bir kabuk derlemesini başarısız yapıp ardından farklı bir araç çağırıyor. Bilgilendirici bir bulgu üretiyor. Aynı araca yapılan başka bir çağrının izlediği hata, yeniden deneme olarak değerlendirilir ve bu dedektör için sessiz kalır.
Dedektör sonucunu incele
{
"kind": "action_discrepancy",
"severity": "info",
"evidence": {
"failed_tool": "Bash",
"continued_as": "tool_call"
}
}Girdileri ve tam sonuçları indir (JSON)Örnek nasıl kontrol edildi
Bu örnekler, yayımlanan dedektörü yazılmış olay verisi veya tek kullanımlık yapılandırma dosyalarıyla değerlendirir. Videolar bu davranışları göstermektedir. Bunlar canlı ajan veya ürün arayüzü kayıtları değildir. Örneklerdeki hiçbir komut çalıştırılmamıştır.
Sonuç bu girdiler için davranışı ortaya koyar. Çalışma zamanı alımını, önlemeyi veya gerçek bir ihlali kanıtlamaz. Sabitlenmiş kaynak sözleşmesini incele.
Sonraki kontrol noktaları
Başarısız adımı ardından gelenle karşılaştır. Yeni eylem bir kurtarma yolu muydu? Hata başka bir yerde kabul edildi mi? Bir tamamlama raporuna güvenmeden önce başarısız işlemin üretmesi beklenen temel sonucu doğrula.
- Başarısız sonucu incele
- Kurtarma yolunu kontrol et
- İddia edilen sonucu doğrula
Bu sinyalin ortaya koyduğu
Dedektör nihai tamamlama iddiasını doğrulamaz. Başka bir araç aracılığıyla meşru kurtarma da eşleşebilir.