„Când o măsură devine țintă, ea încetează să mai fie o măsură bună.”Marilyn Strathern · «Improving ratings»: audit in the British University system · 1997 · «Improving ratings»: audit in the British University system, European Review 5(3), 1997 — formularea legii lui Goodhart
Un judecător LLM se calibrează pe oameni și se ține departe de bucla de optimizare.
Evaluările pentru agenți au trei niveluri: sarcina (a terminat? din câte încercări?), traiectoria (a făcut pașii corecți, n-a chemat unelte periculoase) și costul cu latența. Nedeterminismul cere rulări repetate și distribuții, nu un singur scor. Judecătorul LLM scalează, dar e părtinitor (preferă răspunsuri lungi, poziția, propriile formulări): se calibrează pe un set etichetat de oameni, se folosește în perechi, se rotesc modelele. Goodhart: dacă agentul sau iterațiile tale de prompt sunt optimizate pe judecător, scorul crește fără ca sarcina să fie mai bine făcută; ții un set ascuns, îl împrospătezi și cauți „reward hacking” (agentul modifică testul în loc de cod). Suita de regresie rulează la fiecare schimbare de prompt sau de model — sunt testele unitare ale schelei.
De ce contează Modelul se schimbă la trei luni; fără o suită de evaluare, fiecare schimbare e o surpriză în producție.