Agnieszka Kublik słusznie sugeruje, żeby zamiast na wynikach pojedynczego sondażu skupić się raczej na średnich z wielu pomiarów lub na trendzie, jaki się w nich ujawnia (Kantar pokazuje trend korzystny dla opozycji. A jeśli porównamy średnie z wielu sondaży?).
Trzeba by jednak zapytać, czy tak być powinno? Jaka jest wobec tego wartość pojedynczego sondażu? Dlaczego musimy czekać na rezultaty uśrednienia z kilku badań, najczęściej wykonanych przez różne pracownie, albo na ukształtowaną w czasie tendencję rozwojową – trend?
Wszystko wskazuje na to, że doszliśmy do momentu, w którym jakość profesjonalnie wykonanego sondażu jest na tyle niepewna, iż jego wyniki musi uwiarygodnić następny sondaż, a potem kolejny itd. Straciliśmy niemal zupełnie zaufanie do pojedynczego sondażu.
Warto jednak na wstępie zastrzec, że istnieją sondaże dotyczące wyborów, których wiarygodność i dokładność nie budzą zastrzeżeń. W Polsce i w innych krajach takim badaniem sondażowym jest exit poll realizowany w dniu głosowania. W wyborach parlamentarnych, prezydenckich, a nawet lokalnych, np. prezydenta Rzeszowa (por. Exit poll - optymistyczna lekcja z wyborów w Rzeszowie) uzyskuje się prawie zawsze oszacowania bliskie rzeczywistym wynikom wyborczym. W Polsce maksymalny błąd w exit poll nie przekracza w ostatnich latach 1,6 pkt. proc. To, że w sondażach przedwyborczych błędy te są znacznie większe – o czym świadczą rozbieżności w wynikach rożnych pracowni – nie jest spowodowane metodyką badawczą. W obu bowiem przypadkach jest nią statystyczne wnioskowanie na podstawie pomiaru sondażowego dokonanego na reprezentatywnej próbie wyborców. Powodem nie jest także duża różnica w wielkościach prób badawczych – około 1 tys. w badaniach przedwyborczych oraz nieco ponad 100 tys. w exit poll. Mimo że liczebności te bardzo różnią się między sobą, to z teorii statystyki wynika, iż losowa próba licząca niecałe 1100 respondentów, z dużym prawdopodobieństwem (95 proc.) zapewnia, że błąd wnioskowania nie powinien być większy niż 3 pkt. proc. W praktyce jest jednak inaczej. Przede wszystkim w praktyce badań przedwyborczych.
Badania te są trudniejsze niż exit poll – respondenci wyrażają w nich jedynie swoje intencje, są często niezdecydowani, a ponadto trudno jest określić, którzy ostatecznie wezmą udział w głosowaniu. Główne jednak źródła rozbieżności i niedokładności w sondażach przedwyborczych tkwią gdzie indziej.
Pojedynczy sondaż przestał być już od pewnego czasu traktowany jako poważne badanie statystyczne, w którym dostrzec trzeba zarówno błędy losowe, jak i znacznie trudniejsze do wyeliminowania lub ograniczenia błędy o charakterze nielosowym.
O tych ostatnich prawie w ogóle nie informują realizatorzy badań, podczas gdy właśnie one są w największym stopniu odpowiedzialne za różnice w oszacowaniach poszczególnych pracowni. Nieduże w stosunku do innych komercyjnych badań nakłady pracy i czasu, jaki realizatorzy badań przeznaczają na wykonanie sondażu, sprawiają, że w niewielkim stopniu są w stanie zająć się błędami nielosowymi. A są wśród nich potencjalnie mocno zniekształcające ostateczne wyniki błędy takie jak: brak kontaktu lub odmowy udzielenia odpowiedzi przez wylosowanych do próby respondentów (najczęściej sięgające co najmniej 80 proc. zaprojektowanej wielkości próby), niepełny lub nieadekwatny operat losowania respondentów (szczególnie w wywiadach telefonicznych i internetowych), a także celowe wprowadzenie w błąd ankietera przez część respondentów.
Nie jest też wykluczone, że niektóre pracownie przed zredagowaniem i opublikowaniem ostatecznych wyników badania biorą pod uwagę istniejące na rynku trendy sondażowe. Mogą korygować swoje odstające od rynkowej większości wyniki albo ich nie ujawniać, w obawie, że mogłyby się okazać błędne i prowadzić do wizerunkowej porażki.
Nie jest to zjawisko nowe, bo tego rodzaju dążenie do bycia „w stadzie" (ang. herding) dostrzeżono już wcześniej w praktyce działania niektórych pracowni amerykańskich i brytyjskich. Najwięcej pisano o nim – i szczegółowo je zbadano – po fiasku sondaży przed wyborami parlamentarnymi w Wielkiej Brytanii w 2015 roku. Warto być świadomym tego zagrożenia zwłaszcza wtedy, kiedy nie jest znany moment przełamania dotychczasowych trendów, w szczególności dominacji partii będącej od długiego czasu na czele rankingu (PiS). Zapowiedzią tej zmiany jest ubiegłotygodniowy sondaż Kantar Public wskazujący po raz pierwszy od wielu miesięcy na zmianę lidera w wyścigu wyborczym (PO). Wątpliwości co do wiarygodności tego sondażu są pokłosiem nieznanych odbiorcy, wspomnianych wyżej błędów nielosowych w realizowanych badaniach sondażowych i ich oddziaływania na uzyskane pomiary. Są też wyrazem niepewności, czy innym instytutom badawczym nie jest bliższy duch asekuracji oraz bycia w stadzie, gdyby rzeczywiste wyniki wskazywały na dokonującą się zmianę.
I jeszcze jedno. Dobrze jest – jak podpowiada Agnieszka Kublik – obliczać średnią z wielu pomiarów, która niweluje skutki niektórych rodzajów błędów w sondażach. Tyle że nie wszystkich błędów. Ani uśrednienie, ani większa liczba pomiarów lub liczby respondentów nie są w stanie niczego poprawić, gdy pomiar jest obciążony błędami systematycznymi. A takich wykluczyć nie można. Ich źródłem bywa w sondażach obawa respondentów przed ujawnieniem innych osobom i instytucjom swoich politycznych preferencji, co manifestuje się deklarowaniem wyższego niż rzeczywiste poparcia dla partii sprawującej władzę. Błąd systematyczny może także wystąpić na innych etapach badania. Na przykład w grupie rzeczywiście przebadanych respondentów może pojawić się systematyczna nadreprezentacja tych, którzy zwykle nie odmawiają współpracy, kosztem innych, mających odmienne poglądy polityczne, ale zbyt zajętych lub niechętnych do kontaktu z ankieterem.
Wszystkie wskazane wyżej błędy są statystykom dość dobrze znane. Istnieje szereg technik oraz procedur ich wykrywania i minimalizowania. Trzeba mieć nadzieję, że pracownie badań opinii będą z nich korzystały częściej niż do tej pory, aby można z większym zaufaniem dyskutować o wynikach pojedynczego badania, bez czekania na kształtujący się w czasie trend.
prof. dr hab. Mirosław Szreder, Uniwersytet Gdański
Materiał promocyjny
Materiał promocyjny
Materiał promocyjny
Dzisiejsza gazeta (e-wydanie)
Wszystkie komentarze
O tych ostatnich prawie w ogóle nie informują realizatorzy badań,"
Nielosowa jest "polityka ambony" przywołana przez L. Dorna w czerwcu 2021 u Magdaleny Rigamonti. NIKT się tym nie zainteresował. Kilkanaście (?) procent niedemokratycznych głosów w urnach, ktoby tam zauważył.
nie ma czegoś takiego jak ?głos niedemokratyczny?, natomiast wpływ rzekomej agitacji kościelnej na wynik wyborów jest przez ciebie znacznie przeceniany, bez żadnych dowodów na poparcie tej tezy (jedna wypowiedź w jakimś wywiadzie takim dowodem nie jest). Rzeczywistego wpływu agitacji nie da się obiektywnie zmierzyć, bo nikt nie odpowie twierdząco na pytanie ?czy oddał pan głos pod wpływem agitacji w kościele?, według moich obserwacji wpływ ten jest znikomy.
Zadziwia aporia, którą okazujesz dla zbadania tego problemu.
1. Niedemokratyczny, to głos oddany wbrew zasadzie ustrojowej - Kościół nie może być komitetem wyborczym, tak jest w ordynacji wyborczej - mógłby powstać taki zgłoszony przez grupę obywateli, ale nigdy nie był zgłoszony, a więc legalny, a więc demokratyczny.
2. O tym samym mówił K.Marcinkiewicz w tegorocznym 2. sezonie podcastu, nawet przebił szacunek do 18%.
3. Nikt nie zaprzecza kościelnej agitacji (choć był jeden głos na forum - "ambony milczą"). Wydaje się, że stwierdzenie 'kościół wtrąca się do polityki" jest powszechne, dlaczego więc nie pytamy dlaczego mu się to udaje, co daje w zamian?
4. Są metody socjologiczne pytań kontrolnych, aby zmniejszyć błąd nieprzyznających się respondentów.
5. "wpływ rzekomej agitacji kościelnej na wynik wyborów jest przez ciebie znacznie przeceniany". Skąd wiesz, że przeceniany, skoro nie ma badań (oficjalnych, bo wtręt Dorna - trzeciego bliźniaka - jest najlepszym dowodem na uwewnętrznione przekonanie o jego wielkości zapewne biorące się z tajnych badań)?
kościół nie jest komitetem wyborczym, jeśli jest podaj jaki miał w ostatnich wyborach nr listy?
Marcinkiewicz i Dorn to dwa durne ex-pisiory o wiarygodności < 0
Nikt nie zaprzecza kościelnej agitacji, podobnie jak istnieniu yeti. Ale obu tych zjawisk doświadczyło bardzo niewielu.
Nie ma badań, ale są ?tajne badania?. Aha. w twojej głowie.
Szkoda, myślałem, że podyskutujemy argumentami. Naprawdę miałem nadzieję.
Negatywnym przykładem kościelnej agitacji jest Radio Maryja. Podobnie działa ambona i przewielebny wcale nie musi mówić na kogo należy głosować, wystarczy, że ot tak napomknie, że poglądy prezesa są chrześcijańskie.
Kościół ma duży wpływ na pewną kategorię ludzi, dlatego w rzeczywistych demokracjach duchownym nie wolno publicznie prezentować poglądów politycznych, z tego powodu, że będą one preferowane przez wyborców.
Ci których agitują w kościołach nie potrzebują agitacji, z kolei ci których można by agitować w kościołach nie bywają. Wydaje się że społeczeństwo jest tak zafiksowane w swoich poglądach, że wszystkie te kampanie są bezużyteczne. Myślę, że ewentualnie zmieni się coś jak wyznawcy PiSu wymrą ze starości.
Wbrew poglądom wielu ludzi nie wszyscy starzy (starsi?) są wyznawcami PiSu. Zatem ze starości wymrą również antypisiory.
Albo kontynuujcie rozpoczęte tematy, albo sprawcie sobie lepszą wyszukiwarkę, bo ta jest do d.