Jak to umyka uwadze
Build się nie powiódł, ale agent już przeszedł do pisania podsumowania. Czy się odzyskał, czy ważny błąd zniknął między dwoma krokami? Następna akcja to często miejsce, od którego warto zacząć przegląd.
W intensywnej sesji błąd może przewinąć się tuż przed wywołaniem innego narzędzia. Agent może mieć właściwą strategię odzyskiwania. Albo kontynuuje bez obsługi błędu. Tak czy inaczej, do podjęcia decyzji potrzebna jest otaczająca sekwencja.
Co wykrywa ClawMetry
ClawMetry flaguje nieudany wynik narzędzia, po którym następuje dalsza aktywność bez rozpoznanego ponowienia lub potwierdzenia. Tworzy informacyjne znalezisko rozbieżności akcji. Ten niższy poziom ważności ma znaczenie: to zachęta do sprawdzenia przejścia, nie werdykt w kwestii intencji agenta.
Różnica zmieniająca wynik
Przykład wyzwalający
Błąd, inne narzędzie
Znalezisko informacyjne
Porównanie bez alarmu
Błąd, ponowienie tym samym narzędziem
Brak znaleziska dla tego detektora.
Sprawdzany przykład kończy się niepowodzeniem kompilacji powłoki, a następnie wywołuje inne narzędzie. Zgłaszane jest znalezisko informacyjne. Błąd, po którym następuje kolejne wywołanie tego samego narzędzia, traktowany jest jako ponowienie i nie jest sygnalizowany przez ten detektor.
Sprawdź wynik detektora
{
"kind": "action_discrepancy",
"severity": "info",
"evidence": {
"failed_tool": "Bash",
"continued_as": "tool_call"
}
}Jak sprawdzono przykład
Te przykłady oceniają opublikowany detektor z autorskimi danymi zdarzeń lub jednorazowymi plikami konfiguracyjnymi. Filmy ilustrują te zachowania. Nie są nagraniami działających agentów ani interfejsu produktu. Żadne polecenie z przykładów nie zostało wykonane.
Wynik określa zachowanie dla tych danych wejściowych. Nie ustala pozyskiwania danych w czasie rzeczywistym, zapobiegania ani rzeczywistego naruszenia. Sprawdź przypiętą umowę źródłową.
Co sprawdzić dalej
Porównaj nieudany krok z tym, co nastąpiło po nim. Czy nowa akcja była ścieżką odzyskiwania? Czy błąd został odnotowany gdzie indziej? Przed poleganiem na raporcie o ukończeniu zweryfikuj bazowy wynik, który nieudana operacja miała wytworzyć.
- Sprawdź nieudany wynik
- Sprawdź ścieżkę odzyskiwania
- Zweryfikuj zgłoszony wynik
Co ustala ten sygnał
Detektor nie weryfikuje ostatecznego twierdzenia o ukończeniu. Legalne odzyskiwanie za pomocą innego narzędzia również może pasować.