Jak to umyka uwadze
Kompilacja się nie udaje. Agent próbuje ponownie. Znowu się nie udaje. Każda próba dodaje więcej wyników, ale podstawowy problem nadal istnieje. Jeśli sprawdzasz tylko, czy sesja jest aktywna, możesz przeoczyć błąd, który wciąż się powtarza.
Wyobraź sobie agenta przygotowującego zmianę, podczas gdy jego narzędzie powłoki wielokrotnie zwraca błąd. Przyczyną może być brakująca zależność, nieprawidłowe polecenie lub brak dostępu. Przydatne pytanie to: które narzędzie wciąż zawodzi i jak często.
Co wykrywa ClawMetry
ClawMetry zlicza błędy przypisane temu samemu narzędziu w oknie zdarzeń. Gdy liczba przekroczy odpowiedni próg, generuje ostrzeżenie o powtarzającym się błędzie narzędzia. Znalezisko podaje narzędzie, liczbę błędów i użyty próg.
Różnica zmieniająca wynik
Przykład wyzwalający
4 błędy z Bash
Ostrzeżenie
Porównanie bez alarmu
1 błąd z Bash
Brak znaleziska dla tego detektora.
W sprawdzonym przykładzie cztery nieudane wyniki powłoki generują ostrzeżenie. Pojedynczy błąd pozostaje poniżej progu. Różni się to od pętli identycznych wywołań: polecenia mogą się zmieniać, podczas gdy to samo narzędzie nadal zwraca błędy.
Sprawdź wynik detektora
{
"kind": "repeated_tool_failure",
"severity": "warning",
"evidence": {
"tool": "Bash",
"failures": 4,
"threshold": 3,
"threshold_source": "static"
}
}Jak sprawdzono przykład
Te przykłady oceniają opublikowany detektor z autorskimi danymi zdarzeń lub jednorazowymi plikami konfiguracyjnymi. Filmy ilustrują te zachowania. Nie są nagraniami działających agentów ani interfejsu produktu. Żadne polecenie z przykładów nie zostało wykonane.
Wynik określa zachowanie dla tych danych wejściowych. Nie ustala pozyskiwania danych w czasie rzeczywistym, zapobiegania ani rzeczywistego naruszenia. Sprawdź przypiętą umowę źródłową.
Co sprawdzić dalej
Otwórz nieudane wyniki i poszukaj wspólnej przyczyny. Napraw problem ze środowiskiem lub dostępem, albo zawęź zadanie agenta przed dalszym kumulowaniem prób. Następnie sprawdź, czy kolejny wynik narzędzia rzeczywiście się powiedzie.
- Odczytaj wyniki błędów
- Napraw wspólną przyczynę
- Zweryfikuj następny wynik
Co ustala ten sygnał
To sygnał niezawodności. Nie diagnozuje przyczyny źródłowej ani nie dowodzi, że agent jest atakowany.