Probabilistic forecasts, calibration and sharpness

1 fișă

1. 01

   O prognoză cantitativă e o distribuție, nu un număr: întâi trebuie să fie calibrată — intervalul de 80 la sută prinde realitatea în 80 la sută din cazuri — și abia apoi cât mai îngustă.

   Probabilistic forecasts, calibration and sharpness · 2007

   Întâi calibrare, apoi claritate: numără cât de des intervalele tale prind realitatea.

   Pentru o mărime continuă, cum e cursul EUR/RON peste trei luni, o prognoză onestă dă un interval sau o distribuție. Gneiting, Balabdaoui și Raftery (2007) au formulat regula: maximizezi claritatea (intervale înguste) sub constrângerea calibrării. Un interval îngust care ratează des e mai rău decât unul lat care spune adevărul despre incertitudine. Trei instrumente. Acoperirea: din toate intervalele de 80 la sută emise, ce fracție a prins valoarea realizată? Testul se face cu distribuția binomială, nu din ochi. Histograma PIT: pentru fiecare prognoză calculezi la ce cuantilă a distribuției prognozate a căzut realizarea; dacă prognozele sunt ideale, histograma e plată, iar forma în U spune «intervale prea înguste». Autorii avertizează că uniformitatea PIT e necesară, dar nu suficientă. Scorurile: pierderea pinball pentru o cuantilă, scorul de interval din Gneiting și Raftery (JASA 2007, ecuația 43) — lățimea plus o penalizare de 2/α ori distanța ratării — și CRPS, integrala scorurilor Brier pe toate pragurile. În motorul olivLaw, calea onestă pentru cele cinci active principale salvează intervale de 80 și 95 la sută în `market_forecast_point`, dar nimic nu verifică vreodată cât de des le prinde realitatea. Ansamblul din forecast_service face media limitelor intervalelor modelelor în loc să combine distribuțiile, ceea ce subestimează incertitudinea exact atunci când modelele nu se înțeleg.

   “Propunem o abordare diagnostică a evaluării performanței predictive, bazată pe paradigma maximizării clarității distribuțiilor predictive sub constrângerea calibrării.”

   Deschide fișa →