Autor
Barbara Mellers, Eric Stone, Philip E. Tetlock et al.
2 fișe de lectură din 1 carte · 2015.
2 fișe
Identifying and Cultivating Superforecasters as a Method of Improving Probabilistic Predictions · 2015
Nu selecta pe nimeni până când intervalul de încredere al diferenței de scor nu exclude zero, iar asta cere de obicei zeci de întrebări comune.
GJP oferă o rețetă de copiat. Întrebările au termen și criteriu clar și le alege altcineva decât jucătorii. Scorul e Brier, calculat zilnic pe prognoza în vigoare și făcut media pe zile și întrebări (Mellers et al. 2015), ca o prognoză bună dată devreme să valoreze mai mult decât una corectă dată cu o zi înainte de termen. Pentru că fiecare își alegea întrebările, scorurile au fost standardizate pe întrebare. Grupurile de comparație cuprindeau doar oameni cu cel puțin 25 de întrebări pe turneu, iar clasamentul arăta primii 10% din fiecare condiție. Recompensa pentru acuratețe era statutul, nu banii. Noroc sau abilitate? Diferența dintre doi analiști pe 30 de întrebări poate fi zgomot. Dacă diferențele de scor pe întrebare au o abatere standard de 0,08 (forma pe o față), eroarea standard a mediei e 0,08 / √30 ≈ 0,015, deci un avantaj de 0,02 nu iese din intervalul de 95%. Ca să-l distingi, îți trebuie circa 60 de întrebări comune. Selecția vine după al doilea sezon, nu după primul. Legea lui Goodhart lovește aici: măsura devenită țintă nu mai măsoară. Cine e notat după rata de nimeriri va spune 51% în loc de 90%; cine își alege întrebările le ia pe cele ușoare; cine vede media echipei o copiază. Regula proprie, scorurile standardizate, setul obligatoriu de întrebări și prognozele scrise separat sunt apărările.
“Deși guvernele investesc sume uriașe ca să prezică acțiunile actorilor politici și consecințele acestor acțiuni, investesc uimitor de puțin ca să evalueze eficacitatea metodelor lor preferate de a genera predicții.”
Identifying and Cultivating Superforecasters as a Method of Improving Probabilistic Predictions · 2015
Norocul regresează spre medie, abilitatea nu; testul unui superprognozator e al doilea sezon, nu primul.
La sfârșitul primului an, GJP a ales 60 de prognozatori — primii 5 din fiecare dintre cele 12 condiții — și i-a pus în 5 echipe de elită de câte 12; după al doilea an a ales alți 60, doar după acuratețe (Mellers et al. 2015). Mellers et al. 2014 și Friedman et al. 2018 descriu tăietura ca «primii 2%». Dacă succesul ar fi fost noroc, ar fi trebuit să regreseze spre medie. Nu s-a întâmplat: în anii 2 și 3 scorul lor Brier standardizat a fost −0,34, față de −0,14 pentru grupul imediat următor și 0,04 pentru ceilalți 1.498 (mai mic e mai bun), iar aria de sub curba ROC a fost 96%, 84% și 75%. Grupurile de comparație au regresat; superprognozatorii s-au îmbunătățit. Ce îi deosebea? Autorii propun patru explicații. Abilități: cel puțin o abatere standard peste populația generală la inteligența fluidă, la fel la cea cristalizată și și mai mult la cunoștințele politice. Stil: mai multă minte deschisă activ și nevoie de cogniție, efecte însă «mult mai slabe». Efort: în primul an, 2,77 prognoze pe întrebare față de 1,47; frecvența actualizării a fost cel mai puternic predictor comportamental. Mediu: echipe de elită care își împărțeau știrile. Concluzia lor: superprognozatorii sunt «în parte descoperiți și în parte creați». Selecția fără mediu ar fi irosit talentul.
“Contrazicând așteptările de regresie spre medie doi ani la rând, superprognozatorii și-au menținut acuratețea ridicată pe sute de întrebări și pe o gamă largă de subiecte.”