Autor
Allan H. Murphy
1 fișă de lectură din 1 carte · 1973.
1 fișă
A New Vector Partition of the Probability Score · 1973
Un prognozator perfect calibrat poate fi inutil, dacă spune mereu media; valoarea vine din rezoluție.
În 1973, Allan Murphy a arătat că scorul Brier se poate desface în trei termeni: Brier = fiabilitate − rezoluție + incertitudine. Incertitudinea ține de lume, nu de prognozator: dacă evenimentele se produc în proporția ō, ea e ō(1 − ō) și nu poate fi schimbată. Fiabilitatea (calibrarea) măsoară cât de departe sunt probabilitățile tale de frecvențele observate: din lucrurile spuse la 70%, s-au întâmplat cam 70%? Se adună la scor, deci mai mică e mai bine. Rezoluția măsoară cât de mult se îndepărtează frecvențele grupurilor tale de media generală: reușești să separi cazurile care se vor produce de cele care nu? Se scade din scor, deci mai mare e mai bine. Exemplul clasic e prognozatorul „climatologic”. Dacă plouă în 30% din zile și spui în fiecare zi 30%, ești perfect calibrat — fiabilitatea e zero —, dar rezoluția e tot zero, iar scorul tău e exact incertitudinea. Brier folosea deja acest reper în 1950. Un prognozator bun trebuie să fie calibrat și să aibă rezoluție. În tabelul 1 al lui Mellers și colegii (2015), superprognozatorii aveau o rezoluție de 0,40, față de 0,32 pentru ceilalți, și o calibrare de 0,01, față de 0,04. Instrumentul vizual e diagrama de fiabilitate: pe orizontală probabilitatea dată, pe verticală frecvența observată, pe benzi. Punctele pe diagonală înseamnă calibrare. În olivLaw, pagina publică a prognozelor desenează cinci benzi de câte 20 de puncte și afișează frecvența unei benzi doar de la cinci rezultate în sus (BAND_MIN_N = 5).
“Noua descompunere are trei termeni: 1) o măsură a incertitudinii inerente evenimentelor, sau stărilor, în ocaziile avute în vedere (anume scorul de probabilitate pentru frecvențele relative din eșantion); 2) o măsură a fiabilității prognozelor; și 3) o măsură nouă a rezoluției prognozelor.”