તે કઈ રીતે અવગણાઈ જાય છે
બિલ્ડ નિષ્ફળ ગઈ, પણ એજન્ટ સારાંશ લખવા આગળ વધી ગયો. શું તેણે રિકવર કર્યું, કે બે પગલાં વચ્ચે કોઈ મહત્ત્વની નિષ્ફળતા અદૃશ્ય થઈ ગઈ? સમીક્ષા મોટેભાગ આગળના ક્રિયાથી શરૂ કરવી જોઈએ.
વ્યસ્ત સેશનમાં, ભૂલ બીજા ટૂલ કૉલ પહેલાં સ્ક્રોલ થઈ જઈ શકે છે. એજન્ટ પાસે માન્ય રિકવરી વ્યૂહ હોઈ શકે, અથવા તે નિષ્ફળતા સંભાળ્યા વિના આગળ વધતો હોઈ શકે. નિર્ણય લેવા માટે આસપાસનો ક્રમ જરૂરી છે.
ClawMetry શું detect કરે છે
ClawMetry નિષ્ફળ ટૂલ પરિણામ પછી, કોઈ સ્વીકૃત રિટ્રાય અથવા acknowledgement વિના ચાલુ ગતિવિધિ ફ્લૅગ કરે છે. તે એક માહિતી-સ્તરનું action discrepancy તારણ બનાવે છે. ઓછી ગંભીરતા મહત્ત્વની છે: આ ટ્રાન્ઝિશન તપાસવા માટેનો સંકેત છે, એજન્ટ ઇરાદા વિશેનો ચૂકાદો નહીં.
Finding બદલી નાખતો તફાવત
Triggering ઉદાહરણ
નિષ્ફળતા, અલગ ટૂલ
માહિતી તારણ
Quiet સરખામણી
નિષ્ફળતા, સમાન ટૂલ રિટ્રાય
આ detector માટે કોઈ finding નહીં.
ચકાસાયેલ ઉદાહરણ શેલ બિલ્ડ નિષ્ફળ કરે છે અને પછી અલગ ટૂલ કૉલ કરે છે. માહિતી તારણ ઉઠે છે. એ જ ટૂલ પર ફરીથી નિષ્ફળતા હોય તો તે રિટ્રાય ગણાય અને આ ડિટેક્ટર ચૂપ રહે છે.
Detector result તપાસો
{
"kind": "action_discrepancy",
"severity": "info",
"evidence": {
"failed_tool": "Bash",
"continued_as": "tool_call"
}
}ઉદાહરણ કઈ રીતે તપાસ્યું
આ ઉદાહરણો authored event data અથવા disposable configuration files સાથે published detector નું મૂલ્યાંકન કરે છે. Videos તે behaviors દર્શાવે છે. તે live agents અથવા product interface ના recordings નથી. ઉદાહરણોમાં કોઈ command execute કરવામાં આવ્યો ન હતો.
Result આ inputs માટે behavior સ્થાપિત કરે છે. તે runtime ingestion, prevention અથવા real compromise સ્થાપિત કરતું નથી. Pinned source contract તપાસો.
આગળ શું તપાસવું
નિષ્ફળ પગલું અને ત્યાર પછી જે થયું તે સરખાવો. શું નવી ક્રિયા રિકવરી માર્ગ હતો? શું ભૂલ ક્યાંક સ્વીકારાઈ? પૂર્ણતા અહેવાલ પર વિશ્વાસ મૂકતા પહેલાં, નિષ્ફળ ઑપરેશન જે પ્રક્રિયા ઉત્પન્ન કરવા માટે હતી તે ચકાસો.
- નિષ્ફળ result તપાસો
- Recovery path તપાસો
- દાવો કરાયેલ પરિણામ ચકાસો
આ signal શું સ્થાપિત કરે છે
ડિટેક્ટર અંતિમ પૂર્ણતા દાવો ચકાસતો નથી. બીજા ટૂલ દ્વારા માન્ય રિકવરી પણ મેળ ખાઈ શકે.