Glenn W. Brier

2 fișe

1. 01

   Un motor de prognoză devine mai bun doar dacă bucla se închide: întrebări scorabile, probabilități numerice cu sursă, rezolvare, scor, iar scorul se întoarce în ponderi, recalibrare și retragerea modelelor slabe; ordinea contează, pentru că fără măsurătoare niciun alt pas nu poate fi verificat.

   Verification of forecasts expressed in terms of probability · 1950

   Întâi măsori, apoi îmbunătățești, iar scorul se întoarce mereu în motor.

   Cursul se strânge într-o singură idee: o prognoză care nu se întoarce ca scor nu învață nimic pe nimeni. Brier cerea în 1950 ca schema de verificare să nu-l împingă pe prognozator în nicio direcție nedorită; scorurile strict corecte (lecția 5) fac exact asta, iar restul cursului e despre ce faci cu scorul. Motorul olivLaw are deja piese bune: tabelul de rezolvare cu Brier unilateral, pagina publică de scor, calea onestă pentru piețe care a ales mersul aleator cu derivă după ce Prophet a pierdut în fața reperului naiv (17,6 la sută MAPE față de 3,0 la sută pe aur), modelul I&W calibrat Platt. Lipsesc legăturile. 26 din 56 de prognoze vechi n-au probabilitate și nu pot fi scorate. Scorul Seldon a stat între 46,5 și 47,0 în 496 de rulări, iar detectorul de schimbare de regim n-a scris niciun rând. Nimeni nu știe care sursă e mai bună, pentru că rezolvarea nu știe cine a prognozat. Foaia de parcurs are opt pași, în ordinea în care fiecare îl face verificabil pe următorul: întrebări scorabile, sursa pe fiecare prognoză, rata de bază, firele Seldon în tabelul de rezolvare, ACH pe rapoarte de verosimilitate, agregare învățată, acoperirea intervalelor și, la final, bucla de recalibrare. Fiecare pas are o probă în system_health și o măsură de succes: scorul de abilitate Brier față de climatologie, acoperirea intervalelor de 80 la sută, numărul de evenimente de schimbare de regim prinse.

   “un criteriu esențial pentru o verificare satisfăcătoare este ca schema de verificare să nu-l influențeze pe prognozator în niciun fel nedorit.”

   Deschide fișa →

2. 02

   Scorul Brier e media pătratelor dintre probabilitate și rezultat: 0 e perfect, iar valoarea pentru „mereu 50%” e 0,5 în forma originală, pe două fețe, și 0,25 în forma pe o singură față pe care o folosește olivLaw.

   Verification of Forecasts Expressed in Terms of Probability · 1950

   Înainte să compari două scoruri Brier, află dacă sunt pe scara de la 0 la 2 sau pe cea de la 0 la 1.

   În 1950, meteorologul Glenn Brier a propus o regulă simplă pentru a nota prognozele exprimate în probabilități. Pentru fiecare prognoză și pentru fiecare variantă posibilă scazi din probabilitatea dată valoarea 1 dacă varianta s-a produs, 0 dacă nu, ridici diferența la pătrat și aduni; apoi faci media pe toate prognozele. Brier o scrie el însuși: minimul e zero, pentru o prognoză perfectă, maximul e 2. Turneele Good Judgment Project au folosit aceeași scară de la 0 la 2. La o întrebare cu două variante, forma lui Brier numără greșeala de două ori, o dată pentru „da” și o dată pentru „nu”. De aceea multe sisteme folosesc forma pe o singură față, (p − o)², cu valori între 0 și 1. Cele două diferă exact printr-un factor de 2 la întrebările binare. Cine spune mereu 50% ia 0,5 în forma bilaterală și 0,25 în cea unilaterală. Când citești un scor Brier, prima întrebare e: care formă? Forma lui Brier funcționează și pentru mai multe variante. Dacă dai 20%, 70% și 10% pentru „scade”, „rămâne”, „crește”, iar rezultatul e „rămâne”, scorul e 0,2² + 0,3² + 0,1² = 0,14. În olivLaw, tabelul forecast_resolution stochează forma unilaterală, iar pagina publică a prognozelor face media ei.

   “este evident că scorul P are o valoare minimă de zero pentru o prognoză perfectă și o valoare maximă de 2 pentru cea mai proastă prognoză posibilă.”

   Deschide fișa →