Carte
Identifying and Cultivating Superforecasters as a Method of Improving Probabilistic Predictions
de Barbara Mellers, Philip E. Tetlock et al. · 2015 · 2 fișe de lectură
2 fișe
Identifying and Cultivating Superforecasters as a Method of Improving Probabilistic Predictions · 2015
Superprognozatorii au fost găsiți după scor și crescuți prin antrenament, echipe și practică, iar cel mai bun predictor comportamental a fost cât de des își actualizau prognozele.
Între 2011 și 2015, IARPA, agenția de cercetare a comunității de informații americane, a organizat turneul ACE: sute de întrebări geopolitice cu răspuns verificabil și termen fix, la care participanții dădeau probabilități pe care le puteau revizui oricând. Good Judgment Project, echipa condusă de Philip Tetlock și Barbara Mellers, a câștigat. Măsura a fost scorul Brier: suma pătratelor diferențelor dintre probabilitățile date și ce s-a întâmplat (1 dacă evenimentul a avut loc, 0 dacă nu), pe o scară de la 0 (perfect) la 2; cine spune mereu 50% ia 0,5. Articolul din 2015 descrie cum au fost identificați și cultivați. La sfârșitul primului an au fost aleși 60 de oameni — primii cinci din fiecare dintre cele 12 condiții experimentale — și puși în cinci echipe de elită a câte 12. Așteptarea statistică era regresia spre medie; ea nu s-a produs doi ani la rând: superprognozatorii au devenit mai preciși, iar comparațiile au regresat. Ce îi deosebea: inteligența fluidă (cel mai puternic predictor dispozițional), cunoștințele politice, gândirea deschisă activ și, mai ales, comportamentul — frecvența actualizării prognozelor a fost cel mai puternic predictor comportamental al preciziei. Cultivarea a avut trei pârghii testate experimental: un modul de antrenament probabilistic de circa 45 de minute, lucrul în echipă și gruparea celor mai buni împreună. Metoda e transferabilă oricărei echipe care judecă ce se va întâmpla: întrebări cu termen și criteriu, probabilități numerice actualizate des, scor la rezolvare, selecție după istoric, nu după grad. Cursul «Superprognoza» din același raft o desface pas cu pas.
“Această viziune asupra lumii îi predispune pe superprognozatori să-și trateze convingerile mai mult ca ipoteze de testat și mai puțin ca bunuri sacre”
Identifying and Cultivating Superforecasters as a Method of Improving Probabilistic Predictions · 2015
Cota nouă este cota veche înmulțită cu raportul de verosimilitate al dovezii.
Teorema lui Bayes are o formă pe care o poți face în minte: cota de după dovadă este cota de dinainte înmulțită cu raportul de verosimilitate. Cota e p / (1 − p): 0,32 devine 0,47 la 1. Raportul de verosimilitate răspunde la o singură întrebare — de câte ori e mai probabil să văd această dovadă dacă ipoteza e adevărată decât dacă e falsă? Un raport de 2 dublează cota, unul de 0,5 o înjumătățește, iar unul de 1 nu mișcă nimic, oricât de dramatică ar fi știrea. În logaritmi, dovezile se adună: fiecare raport de 2 adaugă 0,69 la logaritmul cotei. Mellers și colegii (2015, p. 277) au găsit că frecvența actualizării a fost cel mai puternic predictor comportamental al acurateței. În primul an al turneului, superprognozatorii au dat în medie 2,77 prognoze pe întrebare, față de 1,47 în grupurile de comparație. Un studiu ulterior al lui Atanasov și colegilor (2020) a arătat că, pe aceleași date, cei care fac actualizări mici și dese sunt mai preciși decât cei care fac revizuiri rare și mari. Două capcane. Prima: aceeași informație numărată de două ori, fiindcă a apărut în trei publicații care se citează una pe alta. A doua: confuzia între cât de surprinzătoare e o știre și cât de diagnostică e ea. Analiza ipotezelor concurente din motorul olivLaw adună scoruri de la −2 la +2 și le normalizează; nu are o probabilitate inițială și nici rapoarte de verosimilitate, deci nu e bayesiană.
“Frecvența actualizării convingerilor a contat; s-a dovedit a fi cel mai puternic predictor comportamental unic al acurateței”