Carte
A Tutorial on Conformal Prediction
de Glenn Shafer, Vladimir Vovk · 2008 · 1 fișă de lectură
1 fișă
A Tutorial on Conformal Prediction · 2008
Scenariile însumează 1, cozile au cozi, iar validarea merge doar înainte în timp.
Un set de scenarii e o distribuție de probabilitate în haine narative. Ca să poată fi scorat, trebuie să fie MECE — scenariile se exclud reciproc și acoperă împreună toate posibilitățile — iar probabilitățile lor să însumeze 1. Firele Seldon din motor pornesc de la 20, 35, 25, 15 și 5 la sută, sumă 100, deci forma e corectă; problema e alta: au rămas aproape constante luni la rând. Cozile cer altceva decât zgomot mai mare. Generatorul de scenarii din simulation_service numește «lebădă neagră» varianta în care perturbația gaussiană are abaterea de 2,5 ori mai mare. La o normală cu varianța 1, șansa unei mișcări mai mari de 4 abateri e 0,0063 la sută; la o distribuție Student cu 3 grade de libertate, cu aceeași varianță, e 0,62 la sută — de aproape o sută de ori mai mare. O normală mai lată rămâne normală: fără salturi, fără corelații care se strâng în criză. Recalibrarea repară probabilitățile unui model fără să-l reantreneze. Scalarea Platt potrivește o regresie logistică pe scorurile modelului, regresia izotonică o funcție monotonă în trepte, iar predicția conformală (Shafer și Vovk, 2008) dă intervale cu acoperire garantată 1 − ε, dar numai dacă exemplele sunt schimbabile; seriile de timp încalcă presupunerea. Cel mai riguros component din olivLaw, modelul I&W (`train_iw_scenario`), folosește corect Platt, dar validează cu fold-uri amestecate aleatoriu, așa că viitorul se scurge în antrenare.
“Dată fiind o probabilitate de eroare ε, împreună cu o metodă care face o predicție ŷ pentru o etichetă y, ea produce o mulțime de etichete, care conține de regulă ŷ, și care conține și y cu probabilitatea 1 − ε.”