Autor
Barbara Mellers, Lyle Ungar, Jonathan Baron, Philip E. Tetlock et al.
2 fișe de lectură din 1 carte · 2014.
2 fișe
Psychological Strategies for Winning a Geopolitical Forecasting Tournament · 2014
Echipa bună nu evită dezacordul, ci îl transformă în întrebări precise până când dovezile, nu presiunea, aduc consensul.
Teoria spunea că prognozatorii independenți sunt mai siguri: erorile lor necorelate se anulează în medie, iar echipele riscă gândirea de grup, chiulul social și cascadele de informație. Datele GJP au contrazis-o. În primul an, echipele au fost mai exacte decât cei care vedeau doar distribuția mulțimii, iar aceștia mai exacți decât cei care lucrau singuri; numărul de comentarii al unui membru s-a corelat cu acuratețea, r = −0,19 și −0,22 în primii doi ani (Mellers et al. 2014; negativ înseamnă scor Brier mai mic, deci mai bun). Echipele primeau și instruire: standarde înalte ale probei, explicarea prognozelor, critică constructivă. În echipele de elită, efectul a crescut. Superprognozatorii au scris de circa 5 ori mai multe comentarii pe întrebări decât grupul imediat următor, au postat pe forum 36 și 44 de mesaje față de 2 și 5 și au împărțit de peste 10 ori mai multe linkuri în anul 2 (Mellers et al. 2015). Au pus și mai multe întrebări — un semn de întrebare la 213 cuvinte, față de unul la 526 — și au primit răspuns la 23% dintre ele, față de 4%. Dispersia prognozelor a scăzut pe durata întrebării, pe când la ceilalți a crescut. Tetlock și Gardner (2015) numesc trei deprinderi: a reconstitui argumentul celuilalt, întrebarea de precizie și confruntarea constructivă — dezacord fără ostilitate.
“Prognozatorii din echipe au primit un antrenament suplimentar despre cum să ajute grupul să fie mai exact, menținând standarde înalte ale dovezii și ale probei. Au fost învățați strategii prin care să-și explice prognozele celorlalți, să ofere critici constructive și să construiască o echipă eficientă.”
Psychological Strategies for Winning a Geopolitical Forecasting Tournament · 2014
Un turneu de prognoză transformă o dispută despre metode într-o măsurătoare: aceleași întrebări, același termen, același scor.
Din 2011, IARPA, agenția de cercetare a comunității de informații americane, a organizat programul ACE: cinci grupuri de cercetare universitare au recrutat prognozatori, le-au cules probabilitățile și le-au agregat (Mellers et al. 2014). Zilnic, fiecare grup trimitea prognozele agregate, scorate toate cu aceeași regulă, scorul Brier în forma originală pe două fețe, de la 0 (perfect) la 2. Întrebările le alegea IARPA, nu cercetătorii: puțin peste 100 pe sezon în primii doi ani, circa 150 în al treilea, deschise în medie 102 zile (Mellers et al. 2015). Good Judgment Project (GJP) a tratat turneul ca pe un experiment. În primul an, participanții au fost repartizați aleator în 3 tipuri de antrenament × 4 forme de lucru (singur, singur dar văzând distribuția celorlalți, în echipă, pe o piață de predicție) — 12 condiții. A câștigat cu patru pârghii: antrenament probabilistic, echipe, gruparea celor mai buni în echipe de elită și un algoritm care pondera prognozatorii după istoric, dădea mai puțină greutate prognozelor vechi și «extremiza» media. Autorii avertizează singuri că o strategie care «a câștigat» nu e neapărat optimă. Cifra care circulă — superprognozatori «cu aproximativ 30% mai buni» decât analiștii care aveau acces la interceptări — vine dintr-un editorial al lui David Ignatius (Washington Post, 2013): relatarea unei comparații nepublicate în formă evaluată de colegi. Lecția sigură e alta: un turneu face metodele comparabile.
“Cinci grupuri de cercetare universitare au concurat să recruteze prognozatori, să le obțină predicțiile și să le agrege, pentru a atribui evenimentelor cele mai exacte probabilități, într-un turneu de prognoză geopolitică de doi ani.”