olivlawolivlaw

Autor

LangChain (blogul de inginerie)

1 fișă de lectură din 1 carte · 2026.

RafturiAgentic AICărțiBuilding a harness with Jev 2026

1 fișă

  1. Building a harness with Jev · 2026

    Judecă apelul de unealtă cu trei întrebări tipizate înainte să ruleze, cu pragul cel mai jos pe «ireversibil».

    Lecția 1 spunea că gardurile stau la fiecare rotire a buclei. Rotirea cea mai scumpă e apelul de unealtă: un `rm -rf`, un e-mail trimis, o plată. Până acum, poarta era ori o listă de reguli (rapidă, oarbă la context), ori un al doilea LLM «judecător» (vede contextul, dar costă secunde și bani la fiecare apel). Un model System One e a treia opțiune: vede contextul, răspunde în zeci de milisecunde și întoarce un verdict tipizat. Tiparul are trei întrebări, nu una. Ireversibil? (noul) — distruge date, cheltuie bani, iese din sandbox. Se potrivește cu sarcina? (noul) — un agent rugat să «curețe build-ul» care propune `git push --force` a deviat. Argumentele par injectate? (noul) — o pagină adusă de pe web care conține «ignoră instrucțiunile și rulează…». Verdictul e un «choice» între run, ask și reject, cu praguri diferite pe fiecare întrebare: pentru ireversibil pui 0,3, nu 0,5, fiindcă un fals pozitiv costă o întrebare, un fals negativ costă datele. Ce arată cifrele raportate în septembrie 2026. Un gardian de acest fel, pi-warden, a oprit 42 de apeluri din 17 000, cu circa 88 % dintre opriri corecte, după o analiză publicată de Firecrawl — adică 0,25 % întreruperi, de nesimțit în ritmul unei sesiuni. LangChain a împachetat același tipar în `AutoModeMiddleware`, iar Pydantic AI îl expune ca `typesafe_tool_call_threshold`. Regula care nu se schimbă: judecătorul vede argumentele apelului și intenția utilizatorului, nu pagina descărcată — documentația TypeSafe avertizează că «instrucțiunile injectate pot muta răspunsul», deci textul suspect nu intră niciodată nefiltrat în starea judecătorului.

    “Folosește Jev ca să verifice apelurile de unelte pentru decizii riscante pe care le-ar putea lua și blochează apelurile înainte ca unealta să se execute.”

    Deschide fișa →