„Această viziune asupra lumii îi predispune pe superprognozatori să-și trateze convingerile mai mult ca ipoteze de testat și mai puțin ca bunuri sacre”Barbara Mellers, Philip E. Tetlock et al. · Identifying and Cultivating Superforecasters as a Method of Improving Probabilistic Predictions · 2015 · Mellers, Tetlock et al., «Identifying and Cultivating Superforecasters as a Method of Improving Probabilistic Predictions», Perspectives on Psychological Science (2015), p. 273, secțiunea despre stilurile cognitive ale superprognozatorilor
Superprognozatorii au fost găsiți după scor și crescuți prin antrenament, echipe și practică, iar cel mai bun predictor comportamental a fost cât de des își actualizau prognozele.
Între 2011 și 2015, IARPA, agenția de cercetare a comunității de informații americane, a organizat turneul ACE: sute de întrebări geopolitice cu răspuns verificabil și termen fix, la care participanții dădeau probabilități pe care le puteau revizui oricând. Good Judgment Project, echipa condusă de Philip Tetlock și Barbara Mellers, a câștigat. Măsura a fost scorul Brier: suma pătratelor diferențelor dintre probabilitățile date și ce s-a întâmplat (1 dacă evenimentul a avut loc, 0 dacă nu), pe o scară de la 0 (perfect) la 2; cine spune mereu 50% ia 0,5. Articolul din 2015 descrie cum au fost identificați și cultivați. La sfârșitul primului an au fost aleși 60 de oameni — primii cinci din fiecare dintre cele 12 condiții experimentale — și puși în cinci echipe de elită a câte 12. Așteptarea statistică era regresia spre medie; ea nu s-a produs doi ani la rând: superprognozatorii au devenit mai preciși, iar comparațiile au regresat. Ce îi deosebea: inteligența fluidă (cel mai puternic predictor dispozițional), cunoștințele politice, gândirea deschisă activ și, mai ales, comportamentul — frecvența actualizării prognozelor a fost cel mai puternic predictor comportamental al preciziei. Cultivarea a avut trei pârghii testate experimental: un modul de antrenament probabilistic de circa 45 de minute, lucrul în echipă și gruparea celor mai buni împreună. Metoda e transferabilă oricărei echipe care judecă ce se va întâmpla: întrebări cu termen și criteriu, probabilități numerice actualizate des, scor la rezolvare, selecție după istoric, nu după grad. Cursul «Superprognoza» din același raft o desface pas cu pas.
Ce a măsurat de fapt articolul din 2015 (Mellers, Tetlock et al., «Perspectives on Psychological Science» 10(3)). Tabelul 1 compară, pe media anilor 2 și 3, superprognozatorii cu indivizii din echipele de top și cu ceilalți 1 498 de participanți care au răspuns la cel puțin 25 de întrebări:
SUPER ECHIPE DE TOP CEILALȚI
Brier standardizat −0,34 −0,14 0,04 (mai mic = mai bine)
Rezoluție 0,40 0,35 0,32 (mai mare = mai bine)
Calibrare (abatere) 0,01 0,03 0,04 (mai mic = mai bine)
AUC 96 % 84 % 75 %Efortul arată la fel de clar: în primul an superprognozatorii au dat în medie 2,77 prognoze pe întrebare, față de 1,47 la grupurile de comparație; în anii 2–3 au deschis 255 de articole din fluxul de știri al platformei, față de 55 și 58. Au abordat cu 25 % mai multe întrebări în primul an și cu circa 40 % mai multe după aceea. Articolul propune patru explicații care se cumulează: abilități și stil cognitiv, abilități specifice sarcinii, motivație și angajament, un mediu bogat (echipele de elită). Cifra «top 2 %» care circulă des vine din articolul din 2014 al aceluiași grup, nu din acesta.
Cum aplici asta într-o redacție sau într-un motor de prognoză. Pasul 1: fiecare prognoză publicată primește un cod, o probabilitate numerică, un termen și o sursă de rezolvare — altfel nu poate intra în scor. Pasul 2: la termen, rezultatul se scrie (1 sau 0) și se calculează scorul; în motorul olivLaw, tabelul de rezolvări folosește forma binară (p − rezultat)², pe scara 0–1, unde 50 % dă 0,25 — jumătate din scorul pe forma cu două variante din turneu. Pasul 3: după cel puțin câteva zeci de întrebări rezolvate pe autor (om, agent sau model), compari scorurile cu un reper simplu (de pildă «mereu frecvența istorică») și abia apoi vorbești despre talent. Pasul 4: cei mai buni lucrează împreună și văd unii prognozele celorlalți; restul primesc modulul de antrenament. Cursul «Superprognoza — prognoza calibrată pas cu pas» parcurge fiecare pas, cu exemple lucrate, cod și ghid audio.
Rămâne de rezolvat ultima piesă: cum stabiliți la termen dacă o predicție s-a împlinit. Răspunsul e în formularea întrebării. Trebuie scrisă astfel încât un străin, fără explicații suplimentare, să poată spune da sau nu. „Relațiile vor fi tensionate” nu merge; „până în martie, țara X va fi anunțat oficial retragerea din acord” merge. Un cuplu care se ceartă pe „cheltuim prea mult” poate fixa o cifră și o dată, iar discuția devine verificabilă. Capcana e întrebarea vagă, care nu poate fi pierdută niciodată — fără termen și criteriu nu există scor, deci nici învățare. Odată ce întrebările bune și scorurile se acumulează, apare întrebarea firească: ce anume face diferența dintre cei care punctează bine?
De ce contează Talentul pentru prognoză se vede doar într-un scor ținut pe multe întrebări — iar o organizație care nu ține scorul își alege experții după cât de convingător vorbesc.