Carte
Modeling Probability Forecasts via Information Diversity
de Ville A. Satopää, Robin Pemantle, Lyle H. Ungar · 2014 · 1 fișă de lectură
1 fișă
Modeling Probability Forecasts via Information Diversity · 2014
Extremizează în log-odds doar surse cu informații diferite și învață exponentul din întrebări rezolvate.
Baron, Mellers, Tetlock, Stone și Ungar (Decision Analysis, 2014) dau două motive pentru care un agregat trebuie făcut mai extrem. Primul: scala probabilității e comprimată la capete, deci zgomotul aleator împinge media spre 0,5. Al doilea: fiecare prognozator știe că vede doar o parte din informația totală și se ține prudent; când îi pui laolaltă, grupul știe mai mult decât oricare dintre ei, dar media păstrează prudența fiecăruia. Forma generală folosită în literatura Good Judgment: transformi fiecare probabilitate în log-odds, ln(p/(1−p)), faci media, o înmulțești cu un exponent a și revii în probabilitate. Cu a = 1 obții media geometrică a cotelor; cu a mai mare decât 1, agregatul se depărtează de 0,5. Satopää și colegii (International Journal of Forecasting, 2014) au derivat un agregator logit cu un singur parametru de acest tip; cursul nu citează o valoare ajustată a lui a, pentru că nu am văzut-o în textul primar. Valoarea se învață pe datele tale. Când NU extremizezi: când prognozatorii au aceeași informație. Satopää, Pemantle și Ungar arată că agregatorul optim trece lin de la mediere, când informația se suprapune complet, la vot, când nu se suprapune deloc; în exemplul lor, agregatul optim urcă de la 2/3 la 4/5 doar pentru că suprapunerea scade. Cinci rulări ale aceluiași model pe același pachet de știri nu sunt cinci surse independente.
“De fapt, agregatorii prin mediere sunt necalibrați și subîncrezători, adică prea aproape de 1/2, chiar dacă prognozele individuale sunt calibrate (Ranjan și Gneiting, 2010).”