‹ Rafturi / Analiză de intelligence ■ Superprognoza — prognoza calibrată pas cu pas (2026)De la întrebarea care poate fi pierdută la scorul Brier, vederea din afară, Bayes, identificarea și cultivarea superprognozatorilor, agregare, intervale calibrate și modele AI — cu exemple aplicate, implementare în motorul de prognoză, quiz și ghid audio la fiecare lecție.
25 lecții · 61 min
Traseul de lectură 25 lecții Toate Cu quiz · 25 Toți autorii Philip E. Tetlock · 2 Glenn W. Brier · 2 Barbara Mellers, Lyle Ungar, Jonathan Baron, Philip E. Tetlock et al. · 2 Barbara Mellers, Eric Stone, Philip E. Tetlock et al. · 2
01 O prognoză se poate măsura doar dacă întrebarea ei poate fi pierdută: un eveniment precis, un termen, o sursă de rezolvare și un criteriu pe care un străin îl aplică fără să te întrebe ce ai vrut să spui. Expert Political Judgment: How Good Is It? How Can We Know? · Philip E. Tetlock · 2005 ✓ Quiz · 3 întrebări › 02 Un cuvânt ca „probabil” înseamnă lucruri foarte diferite pentru oameni diferiți; scrie numărul, iar cuvântul să fie calculat din număr, niciodată invers. Words of Estimative Probability · Sherman Kent · 1964 ✓ Quiz · 3 întrebări › 03 Scorul Brier e media pătratelor dintre probabilitate și rezultat: 0 e perfect, iar valoarea pentru „mereu 50%” e 0,5 în forma originală, pe două fețe, și 0,25 în forma pe o singură față pe care o folosește olivLaw. Verification of Forecasts Expressed in Terms of Probability · Glenn W. Brier · 1950 ✓ Quiz · 3 întrebări › 04 Scorul Brier se desface în trei părți — fiabilitate, rezoluție și incertitudine —, iar a fi calibrat nu ajunge: cine spune mereu frecvența medie e perfect calibrat și totuși nu spune nimic. A New Vector Partition of the Probability Score · Allan H. Murphy · 1973 ✓ Quiz · 3 întrebări › 05 O regulă de scor strict corectă face ca singura strategie optimă să fie să spui exact ce crezi; Brier și scorul logaritmic sunt astfel de reguli, rata de nimerire și eroarea absolută nu sunt. Strictly Proper Scoring Rules, Prediction, and Estimation · Tilmann Gneiting & Adrian E. Raftery · 2007 ✓ Quiz · 3 întrebări › 06 Rotunjirea probabilităților la câteva cuvinte sau benzi costă acuratețe măsurabilă, iar costul e cu atât mai mare cu cât prognozatorul e mai bun; păstrează numărul și notează numărul. The Value of Precision in Probability Assessment: Evidence from a Large-Scale Geopolitical Forecasting Tournament · Jeffrey A. Friedman, Joshua D. Baker, Barbara A. Mellers, Philip E. Tetlock & Richard Zeckhauser · 2018 ✓ Quiz · 3 întrebări › 07 Începe orice prognoză cu întrebarea «cât de des se întâmplă asta în situații de felul ăsta?»: rata de bază a unei clase de referință e punctul de plecare, iar detaliile cazului doar o ajustează. Timid Choices and Bold Forecasts: A Cognitive Perspective on Risk Taking · Daniel Kahneman & Dan Lovallo · 1993 ✓ Quiz · 3 întrebări › 08 O întrebare care pare imposibilă devine estimabilă când o spargi în pași pe care îi poți aproxima; dar dacă toți pașii trebuie să se întâmple, probabilitățile lor se înmulțesc, iar totalul e mai mic decât cel mai slab pas. Judgment under Uncertainty: Heuristics and Biases · Amos Tversky & Daniel Kahneman · 1974 ✓ Quiz · 3 întrebări › 09 Fiecare dovadă înmulțește cota prognozei cu raportul ei de verosimilitate; superprognozatorii fac asta des și în pași mici, nu rar și în salturi. Identifying and Cultivating Superforecasters as a Method of Improving Probabilistic Predictions · Barbara Mellers, Philip E. Tetlock et al. · 2015 ✓ Quiz · 3 întrebări › 10 Contează mai puțin ce crede un expert și mai mult cum gândește: «vulpile», care combină mai multe explicații și își tratează convingerile ca ipoteze, prognozează mai bine decât «aricii» unei singure mari teorii. Expert Political Judgment: How Good Is It? How Can We Know? · Philip E. Tetlock · 2005 ✓ Quiz · 3 întrebări › 11 Eroarea unei prognoze are trei surse — părtinire, informație insuficientă și zgomot —, iar în turneele IARPA antrenamentul, echipele și selecția elitelor au câștigat precizie mai ales tăind zgomotul. Bias, Information, Noise: The BIN Model of Forecasting · Ville A. Satopää, Marat Salikhov, Philip E. Tetlock & Barbara Mellers · 2021 ✓ Quiz · 3 întrebări › 12 Cele zece porunci ale lui Tetlock și Gardner sunt, aproape toate, echilibre între două erori opuse; transformate în câmpuri obligatorii, devin o listă de verificare pe care o poate respecta și un om, și un model AI. Superforecasting: The Art and Science of Prediction · Philip E. Tetlock & Dan Gardner · 2015 ✓ Quiz · 3 întrebări › 13 Superprognozatorii nu au fost descoperiți de un guru, ci de un experiment: IARPA a pus cinci echipe universitare să răspundă la aceleași întrebări, cu același scor, iar Good Judgment Project a câștigat combinând antrenamentul, echipele, gruparea celor mai buni și agregarea statistică. Psychological Strategies for Winning a Geopolitical Forecasting Tournament · Barbara Mellers, Lyle Ungar, Jonathan Baron, Philip E. Tetlock et al. · 2014 ✓ Quiz · 3 întrebări › 14 Superprognozatorii au fost aleși doar după scor, iar testul real a venit după: în loc să regreseze spre medie, ca norocoșii, au devenit și mai buni — semn că acuratețea lor e în parte descoperită (inteligență, cunoștințe) și în parte construită (efort, actualizare frecventă, echipă). Identifying and Cultivating Superforecasters as a Method of Improving Probabilistic Predictions · Barbara Mellers, Eric Stone, Philip E. Tetlock et al. · 2015 ✓ Quiz · 3 întrebări › 15 O oră de antrenament probabilistic — clase de comparație, medii ale mai multor estimări, modele simple, biasuri previzibile — a scăzut scorul Brier cu 6–11% față de un grup de control, iar efectul a ținut luni întregi; cifra e credibilă tocmai pentru că a fost măsurată prin repartizare aleatoare. Developing expert political judgment: The impact of training and practice on judgmental accuracy in geopolitical forecasting tournaments · Welton Chang, Eva Chen, Barbara Mellers, Philip E. Tetlock · 2016 ✓ Quiz · 3 întrebări › 16 Echipele GJP au bătut prognozatorii care lucrau singuri, iar echipele de elită au fost o «injecție cu steroizi»: nu pentru că au căzut de acord repede, ci pentru că și-au pus întrebări, și-au răspuns și și-au împărțit dovezile până când dezacordul s-a topit pe bază de informație. Psychological Strategies for Winning a Geopolitical Forecasting Tournament · Barbara Mellers, Lyle Ungar, Jonathan Baron, Philip E. Tetlock et al. · 2014 ✓ Quiz · 3 întrebări › 17 Un program intern de superprognoză are cinci piese: un flux de întrebări scorabile, un turneu cu reguli fixe, un clasament cu interval de încredere, un prag minim de întrebări înainte de orice selecție și o buclă de feedback — iar fiecare piesă trebuie apărată de cei care vor învăța să joace scorul în loc de realitate. Identifying and Cultivating Superforecasters as a Method of Improving Probabilistic Predictions · Barbara Mellers, Eric Stone, Philip E. Tetlock et al. · 2015 ✓ Quiz · 3 întrebări › 18 Modelele AI și agenții se selectează exact ca oamenii: pe întrebări viitoare, fără răspuns cunoscut, cu un istoric scorat per sursă, comparat cu o referință naivă prin scorul de abilitate Brier — iar cine nu bate referința pe un istoric suficient iese din ansamblu, oricât de sofisticat ar fi. ForecastBench: A Dynamic Benchmark of AI Forecasting Capabilities · Ezra Karger, Philip E. Tetlock et al. · 2025 ✓ Quiz · 3 întrebări › 19 O mulțime de estimări independente, combinată cu o regulă simplă, bate de regulă membrul tipic; media, mediana și media ponderată după istoric sunt trei reguli diferite, iar alegerea dintre ele e o decizie, nu un detaliu. Vox Populi · Francis Galton · 1907 ✓ Quiz · 3 întrebări › 20 Media unor prognoze calibrate iese prea aproape de 50 la sută; extremizarea împinge agregatul spre 0 sau 1 în log-odds, dar e justificată doar când prognozatorii au informații diferite, iar intensitatea ei se învață din întrebări rezolvate. Modeling Probability Forecasts via Information Diversity · Ville A. Satopää, Robin Pemantle, Lyle H. Ungar · 2014 ✓ Quiz · 3 întrebări › 21 O piață agregă prin preț, un sondaj de predicție agregă printr-un algoritm; în turneul ACE, piața a bătut media simplă a sondajelor, dar sondajele pe echipe, agregate cu decădere temporală, ponderi după istoric și recalibrare, au bătut piața. Distilling the Wisdom of Crowds: Prediction Markets vs. Prediction Polls · Pavel Atanasov, Phillip Rescober, Eric Stone, Samuel Swift, Emile Servan-Schreiber, Philip Tetlock, Lyle Ungar, Barbara Mellers · 2017 ✓ Quiz · 3 întrebări › 22 O prognoză cantitativă e o distribuție, nu un număr: întâi trebuie să fie calibrată — intervalul de 80 la sută prinde realitatea în 80 la sută din cazuri — și abia apoi cât mai îngustă. Probabilistic forecasts, calibration and sharpness · Tilmann Gneiting, Fadoua Balabdaoui, Adrian E. Raftery · 2007 ✓ Quiz · 3 întrebări › 23 Scenariile trebuie să se excludă reciproc și să acopere totul, cozile trebuie modelate ca cozi, nu ca zgomot gaussian mai mare, iar orice probabilitate produsă de un model se recalibrează pe date ținute deoparte în ordine cronologică. A Tutorial on Conformal Prediction · Glenn Shafer, Vladimir Vovk · 2008 ✓ Quiz · 3 întrebări › 24 În 2026, cele mai bune sisteme AI de prognoză, cu schele construite pentru sarcină, au ajuns la egalitate statistică cu mediana superprognozatorilor pe ForecastBench, dar modelele folosite direct rămân clar în urmă; cel mai bun rezultat vine din combinarea oamenilor cu modelele și din scorarea fiecăruia doar pe întrebări create după limita lui de cunoaștere. Wisdom of the silicon crowd: LLM ensemble prediction capabilities rival human crowd accuracy · Philipp Schoenegger, Indre Tuminauskaite, Peter S. Park, Rafael Valdece Sousa Bastos, Philip E. Tetlock · 2024 ✓ Quiz · 3 întrebări › 25 Un motor de prognoză devine mai bun doar dacă bucla se închide: întrebări scorabile, probabilități numerice cu sursă, rezolvare, scor, iar scorul se întoarce în ponderi, recalibrare și retragerea modelelor slabe; ordinea contează, pentru că fără măsurătoare niciun alt pas nu poate fi verificat. Verification of forecasts expressed in terms of probability · Glenn W. Brier · 1950 ✓ Quiz · 3 întrebări ›