Estimările intenției de vot, modificate semnificativ între sondajele telefonice și cele online. Analiza unui sociolog UBB

Tehnica de colectare a datelor poate influența puternic rezultatele sondajelor de opinie, arată o analiză realizată de sociologul Mircea Comșa, profesor la Universitatea „Babeș-Bolyai” din Cluj-Napoca.

Publicată pe blogul său Doar un grafic să-ți mai spun, analiza evidențiază modul în care metodologia sondajului – mai exact diferența dintre tehnica CATI (telefonică) și cea online – afectează estimările privind intențiile de vot pentru diverși candidați.

„Scopul acestei analize este de a vedea dacă tehnica de sondaj (modalitatea de colectare a datelor) are un impact asupra estimărilor obținute. Pentru că un Institut folosește de obicei o singură tehnică, e dificil de atribuit sursa diferențelor unuia dintre cele două tipuri de efecte. Simplu spus, cu datele existente, nu putem estima cu certitudine care este cauza diferențelor dintre estimările observate ale intențiilor de vot: institutul, tehnica de sondaj sau, mai probabil, o combinație a acestora”, arată sociologul.

CATI vs. online, mai mult decât o chestiune tehnică

Mircea Comșa subliniază că diferențele dintre sondaje nu pot fi explicate doar prin tehnica de colectare a datelor (CATI sau online), ci pot fi influențate și de numeroși alți factori metodologici, precum perioada sondajului, populația țintă sau modul de formulare a întrebărilor. În lipsa unor informații detaliate despre cum au fost realizate sondajele, concluziile trebuie tratate ca fiind orientative.

„Pentru că informațiile despre modul în care au fost produse estimările din sondajele publice sunt limitate, efectul acestor cauze nu poate fi controlat. În aceste condiții există riscul să «descoperim» că principala cauză a diferențelor dintre estimările produse de sondaje are legătură cu modalitatea în care au fost colectate datele (CATI, online), în timp ce cauzele reale pot fi mai degrabă altele. O altă limită este dată de premisa de la care plecăm atunci când lucrăm cu aceste estimări: «nu s-a umblat la date», adică institutele nu au distorsionat sau modificat intenționat estimările. În concluzie, estimările prezentate aici sunt mai degrabă orientative”, a mai arătat profesorul.

Sociologul precizează că toate sondajele publice din acest an au fost realizate fie telefonic (CATI), fie online, fiecare având metode specifice de recrutare a respondenților. În analiza sa, Comșa compară doar aceste două tehnici, întrucât alte informații metodologice detaliate lipsesc în majoritatea cazurilor.

Cine este supraestimat și cine e avantajat în funcție de tehnică

Sociologul a folosit o regresie logistică multivariată pentru a analiza influența tehnicii de colectare a datelor asupra rezultatelor sondajelor, controlând pentru data aplicării și institutul care a realizat sondajul. Diferențele dintre estimările CATI și cele online sunt exprimate în puncte procentuale, indicând dacă o metodă tinde să supraestimeze sau să subestimeze intenția de vot pentru anumiți candidați.

„Concluzii: Sondajele online au produs estimări mult mai mari în cazul lui Nicușor Dan (+7 puncte procentuale) și, oarecum surprinzător, mai mari în cazul lui Crin Antonescu (5 pp; mă așteptam ca scorul acestui candidat să fie ceva mai mare în sondajele CATI). Sondajele telefonice (CATI) produc estimări mult mai mari în cazul lui Victor Ponta (9 pp, probabil o supra-estimare) și puțin mai mari în cazul candidaților George Simion (2 pp) și Elena Lasconi (3 pp)”.

Cum ajustăm scorurile în funcție de metoda de sondare

Analiza arată cum pot fi interpretate estimările din sondaje în funcție de metoda folosită: dacă știm cu ce tehnică a fost realizat sondajul (CATI sau online), putem ajusta scorurile candidaților adăugând sau scăzând diferențele medii identificate între metode. Alternativ, putem face media celor două estimări pentru a obține o valoare mai apropiată de realitate, presupunând că avem încredere egală în ambele metode.

„Cum pot fi folosite aceste estimări? Atunci când vedem o estimare a intenției de vot pentru un anumit candidat, aflăm care a fost modalitatea de colectare a datelor și, funcție de situație, scădem sau adunăm din acea estimare numărul de puncte procentuale indicat în grafic. Obținem astfel estimarea intenției de vot care s-ar fi obținut dacă sondajul ar fi fost realizat prin cealaltă tehnică. Dacă dorim să ținem cont de ambele tehnici, facem media celor două estimări (alternativ scădem/ adunăm jumătate din numărul de puncte procentuale indicat în grafic).

De exemplu, dacă într-un sondaj telefonic (CATI) candidatul Victor Ponta are o estimare a intenției de vot de 20%, într-un sondaj online, celelalte condiții fiind similare, are probabil aproximativ 11% (20% – 9%). Calculând media simplă dintre 20% și 11% obținem 15.5%, estimare care în general are șanse mai mari să fie mai apropiată de realitate (alternativ, scădem 5.5% din 20%). Desigur, aceste calcule corespund situației în care nivelul de încredere în cele două tehnici de sondare este aproximativ același”, mai explică sociologul.

Compararea corectă a două sondaje realizate diferit

Pentru a compara corect două sondaje făcute în condiții similare, dar cu metode diferite (CATI vs. online), trebuie ajustate estimările cu diferențele medii identificate între metode. Astfel, dacă un candidat are scoruri diferite în cele două sondaje, dar diferența corespunde efectului de metodă observat, estimările pot fi considerate comparabile.

„În aceeași logică, dacă dorim să comparăm estimările din două sondaje realizate în aproximativ aceleași condiții, cu excepția tehnicii de colectare a datelor, adunăm / scădem punctele procentuale din grafic la estimările realizate de unul dintre sondaje. De exemplu, să presupunem că Crin Antonescu a obținut într-un sondaj CATI o intenție de vot de 20%, iar într-un sondaj online 25%. Pentru că acest candidat obține în sondajele online cu aproximativ 5 pp mai mult decât în cele CATI, putem concluziona că cele două estimări sunt relativ similare. Desigur, putem evalua care tehnică a produs estimările cele mai corecte doar după aflarea rezultatelor oficiale”, a conchis Mircea Comșa.