Att vara aktiv betyder inte framsteg.

Hur det förbises

Din agent har öppnat ytterligare en fil. Och en till. Sessionen ser aktiv ut, men lösningen har fortfarande inte dykt upp. När du övervakar flera agenter kan en ström av aktivitet dölja en uppgift som inte avancerar.

Föreställ dig att du ber om en liten kodändring. Agenten läser tjugofem filer utan att göra en redigering eller avsluta turen. Du kan upptäcka det genom att bläddra igenom sessionen. ClawMetry ger dig en specifik signal att undersöka istället.

Vad ClawMetry identifierar

Detektorn för inga framsteg räknar verktygsanrop sedan den senaste användarturen eller avslutningsmarkören. Om antalet når sitt tröskelvärde utan en erkänd skrivning eller redigering utfärdar den en varning. Fyndet inkluderar det observerade anropsantalet, tröskelvärdet och noll registrerade skrivningar.

Skillnaden som förändrar fyndet

Det kontrollerade exemplet har tjugofem läsanrop och utfärdar en varning. Ersätt ett av dessa anrop med en redigering, och detektorn förblir tyst. En ny tur återställer fönstret. Om en körmiljö aldrig exponerar skrivningar i sitt inlärda stickprov kan ClawMetry inaktivera den här signalen i stället för att flagga varje session.

{
  "kind": "no_progress",
  "severity": "warning",
  "evidence": {
    "tool_calls": 25,
    "writes": 0,
    "threshold": 20,
    "threshold_source": "static",
    "baseline": null
  }
}

Vad du kontrollerar härnäst

Börja med uppgiften. Forskning kan korrekt innebära många läsningar. En begärd kodkorrigering kan behöva åtgärd. Kontrollera vad agenten försöker lära sig, förtydliga stopppunkten och leta efter den första meningsfulla förändringen.

1. Kontrollera uppgiftstypen
2. Granska den senaste aktiviteten
3. Definiera en användbar stopppunkt