Cu ocazia alegerilor din toamna anului trecut am realizat două analize cu privire la calitatea estimărilor produse de sondaje (vezi aici și aici). Astfel de analize sunt importante din multe puncte de vedere și pentru diferite tipuri de actori (media, publicul larg, institutele de sondaje, beneficiarii actuali și potențiali ai acestora).

Dat fiind faptul că realitatea măsurată de sondaje este adesea fluidă, e important să distingem între sondajele realizate în săptămâna anterioară alegerilor și cele realizate în ziua alegerilor. Suplimentar, voi analiza și performanța unor modele de predicție bazate pe sondaje. Pentru a ține cont de aceste aspecte, am separat analiza în trei secțiuni: (1) sondaje realizate cu cel mult 10 zile înainte de data alegerilor, (2) modelarea estimărilor / datelor din sondaje și (3) sondaje realizate în ziua votului. Înainte de a trece la prezentarea rezultatelor analizei, sunt necesare câteva precizări metodologice, unele ceva mai tehnice.

Am considerat doar candidații care, anterior alegerilor, în sondaje, aveau un scor de cel puțin 5%: George Simion, Crin Antonescu, Nicușor Dan, Victor Ponta și Elena Lasconi (restul candidaților au format categoria „alt candidat”). Majoritatea sondajelor au fost realizate la nivel național (au acoperit doar populația din țară), prin urmare am comparat estimările produse de sondaje cu rezultatul final la nivel de țară. Situațiile care au la final semnul * indică faptul că sondajul / predicția a fost la nivel țară + diaspora, comparația fiind făcută cu rezultatul oficial de la același nivel.

Pentru a măsura calitatea estimărilor am folosit două măsuri: MAE și RMSE. MAE (mean average error) se referă la media erorilor absolute, eroarea fiind definită ca diferența absolută dintre procentul estimat de sondaj și procentul obținut conform BEC.

O astfel de măsură indică distanța medie absolută dintre estimările produse de sondaje și rezultatele finale. MAE tratează toate erorile la fel, indiferent de direcția lor și este mai puțin influențată de existența unor valori extreme. Simplu spus, distinge mai greu între următoarele două situații: (A) o firmă de sondaje care face o eroare mare de predicție în cazul unui candidat și multe erori mici în cazul celorlalți și (B) o firmă de sondaje care face erori medii în cazul tuturor candidaților. RMSE (root mean squared error), rădăcina medie pătratică a erorilor, se calculează ca radical de ordinul doi din suma erorilor ridicate la pătrat.

Comparativ cu MAE, prin faptul că penalizează mai mult erorile mari, RMSE distinge ceva mai bine între cele două tipuri de situații. Prin urmare, dacă RMSE este mai mare decât MAE indică faptul că unul dintre candidați a fost estimat de semnificativ mai incorect. În cazul ambelor măsuri, o valoare mai mare indică o diferență (~ eroare) medie mai mare între estimări și rezultatul oficial. Diferențele mai mari de trei puncte procentuale pot fi considerate problematice (două puncte procentuale în cazul sondajelor realizate pe eșantioane mari – minimum 2000 „cazuri efective” = numărul cazurilor recalculat pentru situația în care eșantionul a fost de tip SRS (simple random sample), adică simplu aleator.

Estimările sondajelor realizate în ultimele 10 zile

Aproape toate sondajele realizate cu cel mult 10 zile înainte de data alegerilor au avut erori medii mai mari de pragul de trei puncte procentuale (pp). Într-un singur sondaj – MKOR – erorile au fost apropiate de prag: MAE = 2.4 (puțin sub prag) și RMSE = 3.1 (puțin peste prag). Pentru transparență, precizez următoarele: (1) MKOR este o companie relativ nouă, axată pe cercetarea de marketing; (2) populația măsurată în sondaj a fost 18-64 ani, preponderent din urban (publicul mai degrabă comercial), deci nu a acoperit toată populația cu drept de vot; (3) sondajul a fost de tip online; (4) la cererea lor, le-am oferit consultanță neplătită, strict pentru sondajele politice.

Sondajele AtlasIntel și Sociopol au produs estimări destul de bune, totuși peste pragul de trei pp. Erorile medii cele mai mari (4-6 pp) s-au înregistrat în cazul sondajelor de tip CATI realizate de ARA și CIRA, respectiv a celor online realizate de DataEcho, FlashData și „Noi, cețățenii” (estimarea cu * e la nivel țară + diaspora, deci comparația e cu rezultatul la acel nivel). Fiind vorba de sondaje realizate prin tehnici diferite, e mai puțin probabil ca erorile apărute să aibă drept principală cauză tehnica de sondaj (telefonic sau online).

Valorile prezentate în graficul anterior sunt medii, deci pot să ascundă diferențele dintre estimările punctuale. Pentru o imagine completă ar trebui să ne uităm, la nivelul fiecărui candidat, și la diferența dintre estimarea minimă și cea maximă. Scorurile minime și maxime obținute de sondajele din ultimele 10 zile arată așa:

• George Simion (scor final în țară 38.7%): de la 27% (ARA) până la 34% Sociopol, adică o amplitudine de 7 pp.
• Nicușor Dan (scor final în țară 20.5%): de la 19% (Sociopol) până la 27% (DataEcho), adică o amplitudine de 8 pp.
• Crin Antonescu (scor final în țară 21.6%): de la 20% (CIRA) până la 27% (FlashData), adică o amplitudine de 7 pp.
• Victor Ponta (scor final în țară 14.3%): de la 8% (FlashData) până la 22% (Sociopol), adică o amplitudine de 14 pp.
• Elena Lasconi (scor final în țară 2.6%): de la 5% (Sociopol) până la 10% (ARA), adică o amplitudine de 5 pp.

Predicțiile pe baza estimărilor din sondajele publice

Ce se întâmplă dacă facem o medie a estimărilor din sondaje, dacă modelăm datele din sondaje, respectiv dacă realizăm un model care ia în calcul, pe lângă estimările din sondaje, și alte informații? Care dintre aceste variante produce predicții mai bune? Pentru a răspunde la această întrebare am procedat astfel:

• Am calculat media simplă a estimărilor produse de sondajele realizate cu cel mult 10 zile înainte de alegeri.
• Am calculat aceeași medie în cazul sondajelor CATI și a celor online.
• Am inclus în comparație estimările finale produse de EuropeElects și Politico pe baza datelor din sondajele publicate.
• Am inclus predicția realizată de mine și publicată pe blog în ziua de vineri (vezi aici). Am inclus ambele predicții (cu și fără voturile din diaspora).

O medie simplă a sondajelor din ultimele 10 zile (Medie sondaje) a produs o estimare care depășește pragul de trei pp. Media erorilor diferă puțin în funcție de tehnica de sondaj cu o mențiune importantă: pe baza măsurii MAE sondajele CATI stau puțin mai bine, iar pe baza măsuri RMSE eroarea e mai mică în cazul sondajelor online. Prin urmare, cel puțin în acest caz, e de preferat să combinăm estimările produse de cele două tipuri de sondaje. Însă, chiar și așa, erorile sunt mari. Sondajele MKOR (online), Sociopol (CATI) și AtlasIntel (online) au produs estimări cu o eroare mai mică comparativ cu media sondajelor. În concluzie, o estimare bazată pe media tuturor sondajelor nu e întotdeauna mai bună decât estimările individuale ale unora dintre sondaje. Important e să identificăm corect sondajele de încredere, ceea ce de altfel am și făcut atunci când am folosit pentru predicție doar sondajele cu un grad mai mare de încredere.

Estimările produse prin agregarea sondajelor, Politico și EuropeElects, au avut erori foarte diferite. Deși a depășit pragul de trei pp, predicția realizată de EuropeElects a fost printre cele mai bune. De cealaltă parte, predicția realizată de Politico a avut cele mai mari erori.

Predicțiile realizate de mine, prin agregarea și modelarea estimărilor din sondaje și a trei baze brute, au avut cele mai mici erori (alături de predicția EuropeElects). Predicția care a vizat rezultatul final (Mircea *), adică țară plus diaspora, a avut cele mai mici erori dintre toate estimările bazate pe date agregate: MAE = 2.5 (sub prag) și RMSE = 3.2 (puțin peste prag). Această predicție are o calitate similară cu cea mai bună predicție din sondajele pre-electorale (sondajul MKOR). Simultan predicția (Mircea *) a fost mai bună decât predicțiile unora dintre sondajele realizate în ziua alegerilor (exit-poll-ul Avangarde și sondajul online DataEcho).

Aceeași predicție a avut erori puțin mai mari comparativ cu predicțiile CURS (exit-poll) și Sociopol (sondaj telefonic în ziua votului), respectiv erori mai mari comparativ cu predicția Inscop (sondaj telefonic realizat în ziua votului). Predicția mea la nivel țară (fără diaspora) a avut erori ceva mai mari, similare cu predicția EuropeElects.

Totuși, ambele predicții (Mircea și EuropeElects) au fost în medie mai bune decât predicțiile produse de aproape toate sondajele sau de media acestora. Prin urmare, dacă suntem înainte de alegeri și dorim să știm care vor fi rezultatele alegerilor, ar trebui să ne uităm mai puțin la sondaje punctuale și mai mult la predicțiile realizate pe baza modelărilor estimărilor din sondaje.

Predicțiile sondajelor din ziua votului

Sondajele din ziua votului au produs, evident, cele mai bune predicții, deși, și în acest caz au existat firme de sondare care au avut erori mai mari decât ne-am fi așteptat. Cele mai mari erori medii au fost în cazul firmei DataEcho (online), urmată de Avangarde (exit-poll). Dintre toate sondajele, sondajul telefonic realizat de Inscop a avut, de departe, cea mai mică eroare medie. Sociopol (telefonic) și CURS (exit-poll) s-au situat undeva între cele două extreme.

În graficele anterioare, distanța dintre estimări și realitate este calculată ca medie a unor diferențe absolute. Pentru o imagine completă, e necesar să ne uităm și la diferențele punctuale observate în cazul candidaților majori (cei care au obținut mai multe procente).

Procedând astfel, putem vedea și sensul diferențelor, respectiv putem face unele inferențe cu privire la sursa erorilor. Astfel, putem observa dacă un candidat a fost sub-estimat sau supra-estimat în sondaje, respectiv dacă un eventual efect de acest tip variază sau nu în funcție de compania care a realizat sondajul și/sau tehnica de sondaj folosită.

Sub și supra estimare

Prin sub-estimare mă refer la faptul că un candidat a obținut în sondaje o estimare a intenției de vot mai mică față de procentul înregistrat la alegeri (supra-estimarea se referă la fenomenul invers: un scor mai mare în sondaje comparativ cu scorul obținut la alegeri). Pentru a nu lungi prea mult analiza, prezint doar evaluarea cu privire la sondajele realizate în ziua votului. Din perspectiva candidaților, situația se prezintă astfel:

• George Simion a fost sub-estimat de toate firmele de sondare. Sub-estimarea minimă a fost de 2.5 puncte procentuale: Inscop (telefonic) și DataEcho (online). Sub-estimarea maximă a fost de 7.6 puncte: Avangarde (exit-poll). O sub-estimare similară s-a întâmplat anterior și în cazul lui Călin Georgescu. Foarte probabil, sub-estimarea lui George Simion are legătură cu efectul de dezirabilitate socială – o poziționare critică a mass-media la adresa lui George Simion a făcut ca o parte a votanților să-și ascundă intenția de vot. În același sens a acționat și faptul că PSD a cerut propriilor susținători să voteze cu un candidat care nu provine din rândurile propriului partid: o parte a votanților PSD au răspuns la întrebarea de vot din sondaje „Crin Antonescu” în timp ce în cabină au pus ștampila pe „Victor Ponta” sau pe „George Simion”.
• Crin Antonescu a fost sub-estimat de DataEcho (online) și, la limita pragului, supra-estimat de Avangarde (exit-poll). Dat fiind faptul unul dintre sondaje a fost online, iar celălalt la urne, cauza probabilă a sub-estimării, respectiv supra-estimării are legătură (și) cu distorsiunea introdusă de tehnica de sondaj folosită.
• Nicușor Dan a fost mult supra-estimat (+8) de DataEcho (sondaj online) și supra-estimat de Avangarde (exit-poll). Parțial, supra-estimarea de către Avangarde a candidaților Antonescu și Dan este o consecință a sub-estimării mari observate în cazul lui Simion.
• Victor Ponta a fost supra-estimat de Sociopol cu aproape cinci puncte procentuale. Supra-estimarea nu a fost la fel de mare precum cea din sondajele realizate în perioada de campanie. În sondajele realizate de Sociopol în campanie, Victor Ponta apărea sistematic cu o intenție de vot de 22-23%. La alegeri, Ponta a obținut 14.3%, deci cu 8 pp mai puțin.

Din perspectiva firmelor de sondare, situația arată așa:

• Avangarde l-a sub-estimat masiv pe George Simion (-7.6) și l-a supra-estimat pe Crin Antonescu (+2.9).
• DataEcho l-a supra-estimat masiv pe Nicușor Dan (+9.1) și l-a sub-estimat pe Crin Antonescu (-4.8).
• CURS l-a sub-estimat mult pe George Simion (-5.4).
• Sociopol l-a sub-estimat pe George Simion (-3.7) și l-a supra-estimat mult pe Victor Ponta (+4.7).
• În cazul Inscop, toate erorile au fost sub pragul de trei puncte procentuale. Au existat totuși unele abateri: sub-estimare în cazul lui George Simion (-2.5) și supra-estimare în cazul lui Victor Ponta (+2.8) .

Câteva concluzii

Din nou, similar cu alegerile de anul trecut, erorile asociate candidatului „suveranist” au fost mai mari în cazul sondajelor realizate la ieșirea de la urne (ceea ce numim exit-poll). E puțin probabil ca eroarea asociată exit-poll-urilor să fie cauzată de eroarea de eșantionare sau de formularea întrebării de vot. O cauză mai probabilă este ponderea mare a refuzurilor în cazul exit-poll-urilor.

Din informațiile postate online (https://www.rezultatevot.ro/embed/articol/44), pare că ponderea refuzurilor la întrebarea de vot a fost de aproximativ 50%. Pe de altă parte, și în sondajul telefonic realizat de Inscop, cel cu predicțiile cele mai bune, numărul refuzurilor a fost aproape la fel de mare (45%).

Prin urmare, ceea ce probabil a contat în primul rând nu a fost ponderea mare a refuzurilor ci mai ales modul în care au fost tratate refuzurile. Aproape sigur, una dintre cauzele care au dus la diferențele observate a fost modul în care statisticienii acestor firme de sondare au tratat refuzurile. Desigur, erorile au fost influențate și de tehnica de sondaj folosită.

Pe baza celor descrise mai sus, putem deduce că a existat o cauză generală care a condus la sub-estimarea candidatului George Simion. Foarte probabil e vorba despre ascunderea opțiunii de vot pe diferite căi: (1) rata diferită de acceptare a participării la sondaj, (2) rata diferită de declarare a opțiunii de vot și (3) unii votanți au declarat altă opțiune decât cea reală. Aproape sigur, un impact semnificativ au avut și modul în care au fost tratate refuzurile, respectiv tipul de sondaj (la urne vs. telefonic vs. online).

Transparența sondajelor lasă de dorit

Un comentariu final, aparent marginal, dar extrem de important, cu privire la transparența sondajelor din România. Transparența este un criteriu important în funcție de care putem evalua calitatea unui sondaj și profesionalismul unui institut de sondaje.

Prin transparență mă refer la tipul de informații care sunt făcute publice, alături de selecția de grafice, și la gradul de detaliere al acestor informații. În cazul sondajelor politice din România, cel mai adesea, sunt prezentate doar informații minimale, fără prea multe detalii și fără să fie acoperite o serie de informații care sunt foarte importante pentru cineva care dorește să analizeze calitatea datelor produse.

Puține institute publică un raport pe propriul site, deci analizele pot fi făcute doar pe baza informațiilor care apar în media. În cazul sondajelor din ziua votului, lucrurile stau chiar și mai rău, cu excepția Inscop și CURS care au prezentat pe site-ul propriu câteva informații, fie ele și minimale. Nu am găsit niciun alt raport pe paginile web ale celorlate firme de sondare, prin urmare am vânat estimările apărute în media.

O astfel de practică e problematică, cel puțin pentru faptul că, uneori, datele prezentate diferă de la o sursă media la alta. Problema nu e deloc una nouă. A fost semnalată în urmă cu zece ani de Bogdan Voicu într-o serie de postări. S-a schimbat ceva între timp? Sigur da. Din păcate schimbarea a fost în rău.

Dacă în urmă cu zece ani mai apărea pe ici pe colo o descriere sumară a metodologiei sondajelor din ziua votului, în prezent, uneori, nu mai avem nici măcar atât.