Ezra Karger, Philip E. Tetlock et al.

1 fișă

1. 01

   Modelele AI și agenții se selectează exact ca oamenii: pe întrebări viitoare, fără răspuns cunoscut, cu un istoric scorat per sursă, comparat cu o referință naivă prin scorul de abilitate Brier — iar cine nu bate referința pe un istoric suficient iese din ansamblu, oricât de sofisticat ar fi.

   ForecastBench: A Dynamic Benchmark of AI Forecasting Capabilities · 2025

   Fiecare model își câștigă locul în ansamblu prin scorul de abilitate pe întrebări viitoare, nu prin reputație sau prin teste pe întrebări deja rezolvate.

   Regulile lecțiilor 13–17 se aplică neschimbate modelelor AI și agenților. Fiecare sursă — model, agent, om — are istoricul ei pe întrebări rezolvate. Comparația se face cu o referință naivă: pentru întrebări binare, climatologia (rata de bază spusă mereu), pentru serii, mersul aleator. Scorul de abilitate Brier e 1 minus raportul dintre scorul sursei și scorul referinței: pozitiv înseamnă că bate referința, negativ că ar fi mai bine să spui mereu rata de bază. Iar selecția are nevoie de prag minim și interval de încredere, ca la oameni. Capcana specifică modelelor e scurgerea: un model testat pe întrebări deja rezolvate poate «ști» răspunsul din datele de antrenament. De aceea ForecastBench folosește doar întrebări fără răspuns la momentul trimiterii. În lucrarea din 2025, experții umani au bătut cel mai bun model (p sub 0,001). În clasamentul din 30 septembrie 2026, cel mai bun sistem cu schelă proprie are indicele Brier 69,1, iar mediana superprognozatorilor 68,8 (mai mare e mai bine), diferență nesemnificativă (p = 0,63); fără schelă, cel mai bun model are 62,0, iar superprognozatorii 67,7. Metaculus scrie, în iunie 2026, că afirmațiile despre roboți egali cu cei mai buni oameni se sprijină pe teste pe întrebări deja rezolvate. În motorul olivLaw, Prophet a pierdut în testul retrospectiv contra naivului pe toate cele cinci active principale — la aur, eroare procentuală medie de 17,6% față de 3,0% — și totuși rămâne în ansamblul pentru acțiunile BVB, cu pondere fixă.

   “Pentru a evita orice posibilitate de scurgere de date, ForecastBench cuprinde exclusiv întrebări despre evenimente viitoare care nu au un răspuns cunoscut la momentul trimiterii.”

   Deschide fișa →