„Această viziune asupra lumii îi predispune pe superprognozatori să-și trateze convingerile mai mult ca ipoteze de testat și mai puțin ca bunuri sacre”Barbara Mellers, Philip E. Tetlock et al. · Identifying and Cultivating Superforecasters as a Method of Improving Probabilistic Predictions · 2015 · Mellers, Tetlock et al., «Identifying and Cultivating Superforecasters as a Method of Improving Probabilistic Predictions», Perspectives on Psychological Science (2015), p. 273, secțiunea despre stilurile cognitive ale superprognozatorilor
O prognoză fără termen și fără criteriu de rezolvare nu poate fi pierdută, deci nici nu te poate învăța ceva.
Între 2011 și 2015, IARPA, agenția de cercetare a comunității de informații americane, a organizat turnee de prognoză geopolitică: sute de întrebări cu răspuns verificabil și termen fix, la care participanții dădeau probabilități pe care le puteau revizui oricând. Echipa Good Judgment Project, condusă de Philip Tetlock și Barbara Mellers, a câștigat, iar cartea «Superforecasting» (Tetlock și Gardner, 2015) povestește cum. Măsura a fost scorul Brier: suma pătratelor diferențelor dintre probabilitatea dată și ce s-a întâmplat (1 dacă evenimentul a avut loc, 0 dacă nu). Zero e perfect; cine spune mereu 50% ia 0,5 la o întrebare cu două variante. Metoda are patru pași. Formulezi întrebarea astfel încât un străin să poată decide, la termen, dacă s-a întâmplat; dai un număr, nu un „posibil”; actualizezi des, în pași mici, pe măsură ce vin dovezi; la rezolvare notezi scorul și verifici calibrarea — din afirmațiile făcute cu 70%, s-au împlinit cam 70%? Merită pentru orice judecată care se repetă. Capcana e să alegi întrebări vagi, care nu pot fi pierdute niciodată: fără termen și criteriu nu există scor, deci nici învățare.
De ce contează Un analist care nu își ține scorul nu știe dacă „probabil”-ul lui înseamnă 60% sau 90% — iar cititorul lui știe și mai puțin.