Strictly Proper Scoring Rules, Prediction, and Estimation

1 fișă

1. 01

   O regulă de scor strict corectă face ca singura strategie optimă să fie să spui exact ce crezi; Brier și scorul logaritmic sunt astfel de reguli, rata de nimerire și eroarea absolută nu sunt.

   Strictly Proper Scoring Rules, Prediction, and Estimation · 2007

   O regulă strict corectă e aceea la care minciuna nu are niciodată scor mai bun decât adevărul.

   O regulă de scor e un contract: tu dai o probabilitate, lumea dă un rezultat, regula îți dă un punctaj. Întrebarea lui Gneiting și Raftery (2007) e dacă acest contract te încurajează să spui adevărul. O regulă e corectă dacă scorul așteptat e cel mai bun atunci când raportezi exact ce crezi; e strict corectă dacă acel optim e unic, adică orice abatere te costă. Brier însuși cerea, în 1950, ca schema de verificare să nu influențeze prognozatorul „în niciun mod nedorit”. Scorul Brier și scorul logaritmic, −ln(p) pentru varianta care s-a produs, sunt strict corecte. Diferă prin cât de dur pedepsesc încrederea greșită: Brier e mărginit (cel mult 1 în forma unilaterală), iar logaritmul crește la infinit când ai dat 0% unui lucru care s-a întâmplat. Logaritmul e potrivit când evenimentele rare contează; Brier e mai iertător și mai ușor de explicat. Rata de nimerire — „am avut dreptate dacă am spus peste 50% și s-a întâmplat” — nu e corectă. Dacă crezi 70%, primești același scor așteptat la 51% și la 99%, deci regula nu răsplătește onestitatea și încurajează rotunjirea la extreme. Eroarea absolută, |p − o|, e și mai rea: dacă crezi 70%, scorul așteptat e cel mai bun la 100%, adică te plătește să minți. Atenție la orientare: Gneiting și Raftery scriu scorurile pozitiv, mai mare e mai bine; aici, ca în olivLaw, mai mic e mai bine.

   “O regulă de scor este corectă dacă prognozatorul își maximizează scorul așteptat pentru o observație extrasă din distribuția F atunci când emite prognoza probabilistică F, și nu G ≠ F. Este strict corectă dacă maximul este unic.”

   Deschide fișa →