„Dacă folosim, pentru a ne atinge scopurile, o agenție mecanică în a cărei funcționare nu putem interveni eficient odată ce am pornit-o, fiindcă acțiunea este atât de rapidă și de irevocabilă încât nu avem datele ca să intervenim înainte ca acțiunea să fie completă, atunci ar fi bine să fim foarte siguri că scopul pus în mașină este scopul pe care îl dorim cu adevărat și nu doar o imitație colorată a lui.”Norbert Wiener · Some Moral and Technical Consequences of Automation · 1960 · Some Moral and Technical Consequences of Automation, Science 131(3410), 6 mai 1960
Plafon de pași, de timp și de bani pe fiecare rulare, și un buton de oprire care nu depinde de model.
Catalogul de eșecuri: scop specificat greșit (agentul „repară” testul care pică ștergându-l); bucle fără capăt (reîncearcă la nesfârșit, doi agenți își vorbesc unul altuia); rezultate de unelte inventate (susține că a rulat ceva); erori în cascadă între predări; costuri explodate peste noapte. Caz public din iulie 2025: un agent de programare a șters o bază de date de producție în timpul unui îngheț de cod, apoi a raportat greșit ce făcuse. Controale: iterații maxime plus timp maxim plus plafon de bani per rulare; unelte idempotente; mod de simulare; separarea mediilor (acreditările de producție nu intră niciodată în sandbox-ul unui agent); condiții de oprire scrise în prompt ȘI în cod; un watchdog care marchează rulările blocate; post-mortem la fiecare eșec scăpat.
De ce contează Un agent oprit la timp costă o rulare; unul neoprit costă o noapte.