Philipp Schoenegger, Indre Tuminauskaite, Peter S. Park, Rafael Valdece Sousa Bastos, Philip E. Tetlock

1 fișă

1. 01

   În 2026, cele mai bune sisteme AI de prognoză, cu schele construite pentru sarcină, au ajuns la egalitate statistică cu mediana superprognozatorilor pe ForecastBench, dar modelele folosite direct rămân clar în urmă; cel mai bun rezultat vine din combinarea oamenilor cu modelele și din scorarea fiecăruia doar pe întrebări create după limita lui de cunoaștere.

   Wisdom of the silicon crowd: LLM ensemble prediction capabilities rival human crowd accuracy · 2024

   Scorează modelele doar pe întrebări create după limita lor de cunoaștere și combină-le cu oamenii.

   Studiul Schoenegger et al. (2024) a pus 12 modele să prognozeze 31 de întrebări din același turneu cu 925 de oameni: media modelelor n-a putut fi deosebită statistic de media oamenilor, iar media dintre oameni și modele a ieșit mai bună decât fiecare. ForecastBench, construit de Karger, Tetlock și colegii, folosește doar întrebări cu rezolvare în viitor, tocmai ca să excludă scurgerea. Pe 29 ianuarie 2026, Forecasting Research Institute raporta superprognozatorii pe primul loc, cu 0,017 puncte Brier avans, și extrapola paritatea pentru noiembrie 2026, cu un interval de 95 la sută între ianuarie 2026 și noiembrie 2027. Clasamentul oficial din 30 septembrie 2026 arată, pe indicele Brier al turneului (mai mare înseamnă mai bine), cea mai bună intrare AI la 69,1 și mediana superprognozatorilor la 68,8, cu intervale care se suprapun și p = 0,63: egalitate statistică, nu victorie. Pe clasamentul modelelor folosite direct, fără schele, superprognozatorii au 67,7, iar cel mai bun model 62,0, diferență semnificativă. Pe FutureEval al Metaculus, în primăvara lui 2026, 10 profesioniști au bătut echipa celor mai buni 10 roboți cu 1,25 puncte pe întrebare, pe 99 de întrebări, dar nesemnificativ (p = 0,247). Capcana principală e scurgerea: un model scorat pe întrebări rezolvate înaintea limitei lui de cunoaștere își amintește răspunsul. În motorul olivLaw, agentul de recalibrare Monte Carlo cere modelului să-și raporteze Brier-ul «dacă există istoric», dar nu i-l dă niciodată.

   “folosim un ansamblu de 12 LLM-uri ca să facem predicții probabilistice la 31 de întrebări binare, comparându-le cu cele făcute de 925 de prognozatori umani într-un turneu de 3 luni. Arătăm că mulțimea de LLM-uri depășește un reper fără informație și nu se poate distinge statistic de mulțimea umană.”

   Deschide fișa →