Carte
Expert Political Judgment: How Good Is It? How Can We Know?
de Philip E. Tetlock · 2005 · 2 fișe de lectură
2 fișe
Expert Political Judgment: How Good Is It? How Can We Know? · 2005
Contează mai puțin ce gândesc experții și mult mai mult cum gândesc.
Tetlock a strâns și a notat timp de douăzeci de ani prognozele experților politici și a împrumutat de la Isaiah Berlin două portrete. Ariciul «știe un singur lucru mare»: lucrează într-o singură tradiție și aplică aceeași formulă oricărei probleme. Vulpea «știe multe lucruri mici»: împrumută din mai multe tradiții și acceptă ambiguitatea. Concluzia din «Expert Political Judgment» (2005, p. 21): vulpile îi depășesc constant pe arici, iar victoriile lor cele mai clare vin la prognozele pe termen lung din propriul domeniu. Fraza-cheie a capitolului: contează mult mai puțin ce gândesc experții decât cum gândesc. Turneul IARPA a măsurat varianta modernă a vulpii, mintea deschisă activ: căutarea deliberată a dovezilor care te contrazic și disponibilitatea de a-ți schimba părerea. Mellers și colegii (2015) au găsit că superprognozatorii au scoruri mai mari la această trăsătură și la nevoia de cogniție, dar avertizează că efectele stilului cognitiv sunt mult mai slabe decât cele ale inteligenței fluide și ale angajamentului comportamental, cum e frecvența actualizării. Stilul ajută; nu înlocuiește munca. Practic, vulpea își scrie dinainte semnele care ar face-o să-și schimbe părerea și ține mai multe modele în competiție. În motorul olivLaw, pipeline-ul de prognoze financiare rulează zilnic cinci modele indiferent de istoricul lor, iar ansamblul le dă ponderi fixe; Prophet are cea mai mare pondere, deși a pierdut testul retrospectiv în fața modelului naiv pe toate cele cinci active principale.
“ne este mai bine dacă apelăm la experți care întruchipează trăsăturile intelectuale ale vulpii prototipice a lui Isaiah Berlin — cei care «știu multe lucruri mici», se inspiră dintr-o gamă eclectică de tradiții și acceptă ambiguitatea și contradicția ca trăsături inevitabile ale vieții”
Expert Political Judgment: How Good Is It? How Can We Know? · 2005
Dacă un clarvăzător nu poate spune fără lămuriri dacă ai avut dreptate, nu ai făcut o prognoză, ci o declarație.
În «Expert Political Judgment» (2005), Philip Tetlock a pus o condiție înaintea oricărei măsurători: testul clarvăzătorului. Dacă i-ai da prognoza cuiva care știe deja viitorul, el trebuie să poată spune, fără să-ți ceară lămuriri, dacă ai avut dreptate. „Leul se va deprecia” nu trece testul: cât, față de ce, până când, după cine? O întrebare care nu poate fi pierdută nu poate fi nici câștigată, deci nu te învață nimic. O întrebare scorabilă are patru piese. Evenimentul, formulat ca un fapt observabil, nu ca o tendință. Termenul, o dată calendaristică. Sursa de rezolvare, adică cine publică faptul. Criteriul, adică pragul exact și cazurile-limită: egalitatea, revizuirile de date, dispariția sursei. Peste ele vine probabilitatea, un număr între 0 și 1. Dacă lipsește oricare, judecata poate fi foarte inteligentă, dar nu poate fi notată. În motorul olivLaw, verdictul stă în tabelul forecast_resolution: probabilitatea punctuală, termenul, rezultatul, scorul, sursa verdictului și starea „rezolvată” sau „anulată” (anulată când criteriul s-a dovedit nerezolvabil). Costul întrebărilor proaste e măsurat: din primele 56 de prognoze ale analizelor, 26 nu aveau probabilitate punctuală și nu au putut fi scorate deloc.
“Cel mai important dintre acestea a fost testul clarvăzătorului: măsurile noastre trebuiau să definească viitorurile posibile atât de clar încât, dacă am fi dat prognozele experților unei clarvăzătoare adevărate, ea ne-ar fi putut spune, fără nevoie de lămuriri („Ce ați vrut să spuneți prin «un Perón polonez» sau...?”), cine ce a nimerit.”