Carte
The Value of Precision in Probability Assessment: Evidence from a Large-Scale Geopolitical Forecasting Tournament
de Jeffrey A. Friedman, Joshua D. Baker, Barbara A. Mellers, Philip E. Tetlock & Richard Zeckhauser · 2018 · 1 fișă de lectură
1 fișă
The Value of Precision in Probability Assessment: Evidence from a Large-Scale Geopolitical Forecasting Tournament · 2018
Scorezi numărul, nu cuvântul, pentru că rotunjirea îi costă cel mai mult pe cei mai buni.
Contează diferența dintre 70% și 75%? Friedman, Baker, Mellers, Tetlock și Zeckhauser au testat întrebarea pe 888.328 de prognoze la 380 de întrebări din turneul Good Judgment Project. Au luat probabilitățile numerice și le-au rotunjit artificial la scări tot mai grosiere, apoi au recalculat scorul Brier. Concluzia din rezumat: a face estimările mai grosiere, în felul expresiilor calitative, inclusiv al celor recomandate analiștilor, sacrifică în mod consecvent acuratețea. Mărimea costului depinde de prognozator. Pentru toți participanții, rotunjirea la șapte benzi egale de cuvinte estimative a crescut scorul Brier mediu cu 1,9%; pentru superprognozatori, cu 40,4%. La trei niveluri de încredere, creșterile au fost de 11,8%, respectiv 236,1%, conform tabelului 1 din preprintul din 2017. Cu cât știi mai fin, cu atât mai mult pierzi când ești obligat să vorbești grosier. Regula practică pentru un motor de prognoză are trei părți. Stochezi probabilitatea punctuală, nu eticheta. Scorezi probabilitatea punctuală, nu mijlocul benzii. Afișezi cuvântul doar ca traducere, lângă număr (lecția 2). Câmpul point_probability din tabelul forecast_resolution face exact asta; cele 26 de prognoze vechi care aveau doar cuvinte nu trebuie „reparate” atribuindu-le mijlocul benzii.
“Constatăm că a face mai grosiere evaluările numerice de probabilitate, în felul expresiilor calitative obișnuite — inclusiv al expresiilor recomandate în prezent analiștilor de informații —, sacrifică în mod consecvent acuratețea predictivă.”