Jak się robi wyborcze sondaże? Co to jest "efekt ankietera"? "Takie mimowolne sygnały…" [ROZMOWA]

Jak powstają sondaże wyborcze?

To jest trochę tak, że ludzie mylą sondaże robione przez firmy badawcze z takimi sondażami typu: „wrzucę sobie ankietę w mediach społecznościowych i okaże się, że moi znajomi głosują tak jak ja”. Takie ankiety na Facebooku, czy innych stronach nie są reprezentatywne dla całości populacji. Nazwałabym to raczej amatorską sondą niż profesjonalnym, rzetelnym sondażem. By dobrze przeprowadzić ten drugi przede wszystkim musimy bardzo dobrze i rzetelnie pobrać próbę, czyli tę grupę osób, na której to badanie przeprowadzimy. Należy zrobić to tak, by była ona pewnymi cechami socjodemograficznymi mocno zbliżona do całości populacji, czyli wszystkich Polaków, którzy są uprawnieni do głosowania.

Jak to się robi?

Taka próba musi być pobrana losowo. W tej chwili agencje najczęściej starają się, by połowa badanych była losowana z rejestrów komórkowych, a połowa ze stacjonarnych. Nie jest to jednak reguła. Takie rejestry wiążą się z pewnymi problemami, bo nie wszyscy mają komórki. Niektórzy zaś odwrotnie - mają po dwa numery. Musimy się z tymi trudnościami liczyć.

Niemniej, gdy decydujemy kto się w naszym badaniu znajdzie, to tutaj decyduje losowość. Ja jako badacz w żaden sposób nie ingeruję w to, kto zostanie moim respondentem. Tutaj decyduje tylko statystyka.

Kiedy już tę grupę losowo wybierzemy, kontaktujemy się z tymi osobami. Najczęściej, ale również nie zawsze, wykorzystywany jest w tym celu tzw. sondaż CATI (ang. computer-assisted telephone interviewing), czyli wspomagany komputerowo wywiad telefoniczny. Pytamy wówczas o preferencje naszych rozmówców i na podstawie ich odpowiedzi opracowujemy wyniki. Ważne jest przy tym, by odpowiednio zadać to pytanie, a raczej - byśmy zawsze zwracali uwagę na to, jakie pytanie zostało zadane

Co dokładnie ma pani na myśli?

Pytanie „Na kogo Pan/Pani będzie głosować?” i pytanie „Kogo Pan/Pani popiera?” to są dwa zupełnie różne pytania. Czasem, zwłaszcza w pierwszej turze wyborów, głosujemy według naszych preferencji, ale też co się często zdarza – strategicznie. Oznacza to, że popieramy jakiegoś kandydata, ale wiemy, że nie ma on szans na wygraną, więc głosujemy na kogoś, kto ma większe szanse, by zawalczyć o drugą turę lub wejść do Sejmu, czy Senatu. Oba pytania są źródłem informacji na temat preferencji wyborców, ale miejmy na uwadze, że to dwie zupełnie różne kwestie.

To na co w takim razie osoby czytające sondaże powinny zwracać uwagę?

Na to, jak sondaż potraktowały osoby niezdecydowane. Czasem otrzymujemy w sondażu możliwość zaznaczenia opcji „nie wiem/nie mam zdania”, a czasem respondenci nie mają w ogóle takie możliwości. Ta grupa niezdecydowanych w piątek przed I turą wyborów prezydenckich wynosiła mniej niż 10 proc. Według sondażu zrealizowanego dla OKO.PRESS przed II turą ta grupa zmalała do 3%. I to jest ta grupa, którą kandydaci bardzo lubią, a statystycy niekoniecznie, bo nigdy nie wiadomo, jak się zachowa w dniu wyborów.

To wracając do poprzedniej kwestii, jakie pytanie lepiej jest zadawać w sondażu?

Najlepiej: „Na kogo zagłosują?”, a nie „Kogo popierają?”, bo wtedy sondaż jest o wiele bardziej precyzyjny i precyzyjniej jest w stanie przewidzieć, jak te ostateczne wyniki będą wyglądać. Dodatkowym problemem jest rzecz jasna fakt, że nigdy nie wiemy, czy te osoby ostatecznie pójdą zagłosować. Dobrze przeprowadzone sondaże są bardzo precyzyjne, ale czasem z powodu czynnika ludzkiego zawodzą.

Może pani podać konkretny przykład?

Sondaże typu exit poll, czyli te przeprowadzane, gdy wyborcy wychodzą z lokali wyborczych, bywają bardzo precyzyjne. Tymczasem dobrym przykładem na to, że czasem coś może pójść nie tak, jest ten z 2005 roku, kiedy w Polsce odbywały się wybory parlamentarne. Wyniki jednej z sondażowi bardzo odbiegały od tego, jak zagłosowali wyborcy. Nie była to jednak wina ośrodka badawczego. Wynikało to z dużej liczby nieważnych głosów. Wyborcy mówili, że głosowali na daną partię, ale z jakiegoś powodu oddali nieważny głos.

Domyślam się, że przygotowanie sondażu to praca wielu osób?

Faktycznie to jest ogromna praca bardzo wielu osób, dlatego tak bardzo mnie irytuje, gdy ludzie, którzy się na tym nie znają twierdzą, że sondażom absolutnie nie można ufać, że to wróżenie z fusów. Sondaże przygotowuje ogromna grupa osób - trzeba to badanie zaplanować, zaprojektować, pobrać próbę, zrealizować (tutaj potrzebna jest armia ankieterów, która - jeśli to wywiad CATI to siedzi na telefonach i dzwoni do respondentów), a następnie przeanalizować wyniki i opracować je w taki sposób, by raporty były rzetelne i zrozumiałe dla wszystkich odbiorców.

Naprawdę bardzo bym chciała żebyśmy zaczęli doceniać dobre sondaże. Często słyszę, że ktoś nie ufa sondażom, bo jego nikt o zdanie nie pytał. Jeśli próba jest odpowiednio dobrana i wszystkie warunki reprezentatywności są spełnione, to jego wyniki można wygeneralizować na całą populację. Nawet bez pytania mnie,Janiny o zdanie wynik sondażu jest wiarygodny. Poza informacjami, na kogo respondenci zagłosują zbieramy także inne dane socjodemograficzne na podstawie których możemy wywnioskować jak głosują respondenci różnych płci, wieku czy miejsca zamieszkania. Czy preferencje różnią się między sobą i czy zmieniają się w czasie.

Ile osób się wydzwania? Czy to jest zawsze stała liczba?

To nie jest stała liczba, ale im więcej tym lepiej, bo wtedy błąd statystyczny jest mniejszy. Najczęściej główne sondażownie pytają ponad 1000 osób. To może nam się wydawać dziwne, że wnioskujemy o milionowej populacji osób uprawnionych do głosowania tylko na podstawie tysiąca odpowiedzi, ale naprawdę mamy narzędzia, by dobrze taką liczbę odpowiedzi zinterpretować. Ta liczba odpowiedzi na podstawie których powstał sondaż, jest zawsze podana i warto ją zawsze sprawdzać. Duże agencje badawcze, jak Ipsos czy Kantar nigdy nie przygotują sondażu pytając jedynie 15 czy 20 osób, ale tak czy siak warto wyrobić sobie nawyk sprawdzenia tej informacji.

Wspomniała Pani już, że sondaże są bardzo precyzyjne, ale też mogą zebrać dane, które z rzeczywistością nie mają wiele wspólnego. Od czego to zależy?

Rzeczywiście potrafią się bardzo pomylić, ale potrafią też być bardzo precyzyjne. Na przykład exit poll dotyczący wyborów parlamentarnych z 2015 roku różnił się od ostatecznego wyniku tylko o 1,6 punktów procentowych, a w wyborach prezydenckich w 2010 błąd ten nie przekroczył 1 pp. To bardzo niewiele, doskonała trafność! Ale oczywiście bywają jednak sondaże, które się mylą. Jeden z problemów to tak zwany efekt ankietera. Jest to wpływ, często nieświadomy, jaki ankieter wywiera na respondenta podczas realizacji wywiadu. Na przykład poprzez pewne swoje cechy (wiek, płeć) lub mowę ciała. To są takie mimowolne sygnały, którymi ankieter daje do zrozumienia, która odpowiedź jest pożądana lub przynajmniej tak to jest interpretowane przez respondentów. W przypadku wywiadów CATI, czyli wywiadów telefonicznych, może mieć znaczenie płeć respondenta, wiek, czy chociażby ton głosu i sposób, w jaki zadawane są pytania. Ośrodki badawcze potrafią jednak niwelować wpływ ankieterski na różne sposoby, a podstawą jest tutaj rzetelne szkolenie ludzi, którzy będą dla nas sondaż przeprowadzać. Może też być tak, jak już wspomniałam wcześniej, że ludzie deklarują, że zagłosują na jakiegoś kandydata, ale ostatecznie nie pójdą na wybory. Bywa też tak, że nie wszyscy respondenci chcą ujawnić swoje prawdziwe preferencje wyborcze. To kilka z wielu pułapek, jakie mogą nas spotkać przy przeprowadzaniu sondaże. Ale my, badacze jesteśmy ich świadomi i mamy narzędzia, które pomagają nam sobie z nimi poradzić.

Były w historii polskich wyborów sondaże, które spektakularne różniły się od wyników wyborów?

Coś poszło nie tak w sondażach, które dotyczyły poprzednich wyborów prezydenckich, gdy według przewidywań Bronisław Komorowski miał pokonać swojego rywala, czyli Andrzeja Dudę, a tymczasem wszystko poszło w zupełnie inną stronę. Wtedy jednak sondaże wskazywały, że te różnice między kandydatami były tak niewielkie, że nawet najlepsze ośrodki badawcze były bezradne.

Pomyłki zdarzają się również w innych krajach, na przykład w Stanach Zjednoczonych. W roku 2012, gdzie według prognozy Instytutu Gallupa przewidziano, że wybory wygra nie Barack Obama, ale Mitt Romney. Niemniej - tak jak w pierwszym przypadku - różnica między kandydatami była niewielka. Przewidywano, że kandydat Republikanów wyprzedzi swojego przeciwnika o 1 pp, a tymczasem Obama wygrał przewagą 4 pp.

Wróćmy na nasze rodzime podwórko. W jednym z pierwszych sondaży przeprowadzonych w maju dotyczącym I tury wyborów prezydenckich na Andrzeja Dudę chciało głosować 43,7 proc. badanych, na kandydata Koalicji Obywatelskiej Rafała Trzaskowskiego - 14 proc., a na Szymona Hołownię - 13,3 proc. Czy to oznacza, że pierwsze sondaże są zazwyczaj trochę zachowawcze?

Niekoniecznie. To odpowiedzi respondentów mogą być zachowawcze lub po prostu mamy wciąż dużo osób niezdecydowanych. Ale tak, na te daty też musimy zawsze zwracać uwagę. To, kiedy sondaż został przeprowadzony zawsze ma duże znaczenie. Nie jest tak, że im wcześniej został przeprowadzony tym jest gorszy i mniej rzetelny - to zupełnie nie o to chodzi. Chodzi tylko o to, że preferencje wyborców mogą zmieniać się w czasie. Właśnie dlatego takie sondaże przeprowadzamy od jakiegoś momentu, aż do dnia ciszy wyborczej (i potem w dniu wyborów - exit polle). Również po to, by zobaczyć trendy oraz śledzić jak rozłożenie głosów się zmienia.

Pamiętajmy, że preferencje wyborcze zmieniają się dynamicznie i zależą od wielu różnych czynników. Na przykład w trakcie tych wyborów Rafał Trzaskowski na dość późnym etapie kampanii zastąpił Małgorzatę Kidawę- Błońską, stał się trochę takim „nowym-starym kandydatem”, co również mogło mieć znaczenie dla wyborców. Poza tą zamianą wszelkiego rodzaju wydarzenia, takie jak wizyta prezydenta w USA, reakcja rządu na pandemię, czy Rafała Trzaskowskiego jako prezydenta Warszawy na powódź, mogą wpływać na nasze decyzje i preferencje. Maj to był taki czas, gdy wyborcy przyglądali się kandydatom, analizowali możliwości, ale jeszcze nie tak dokładnie, jak robili to w czerwcu, w ciągu dwóch ostatnich tygodni kampanii. Świadczyć o tym może chociażby sondaż z 22 czerwca przeprowadzony dla DGP. Tu kandydat KO mógł liczyć już na 46,9 proc. poparcia, podczas gdy obecnie urzędujący prezydent na 45,8 proc. Preferencje wyborców były już więc zdecydowanie mocniej zarysowane.

Jak sondaże wykorzystują partie i sztaby kandydatów?

Ugrupowania polityczne lubią przedstawiać wyborcom sondaże tak, by wynikało z nich, że popiera je 95 proc. ludzi w tym kraju. Istnieje coś takiego jak „cherry picking”, który polega na tym, że zbieramy tylko te dane, statystyki, badania, które pasują nam do tezy, którą chcemy się pochwalić. Poza tym wyniki można przedstawić graficznie tak, że te różnice między kandydatami będą wyglądały na znacznie większe niż tak naprawdę wynika to z danych. Jest na to bardzo prosty sposób. Wystarczy, że na wykresie słupkowym zaczniemy oś Y nie od 0, ale od innej wartości. Ta teoretycznie niewielka zmiana sprawi, że różnica między kandydatami A i B będzie wyglądać na znacznie większą niż w rzeczywistości.

Adam Bielan w ostatniej rozmowie z „DGP” powiedział, że sondaże pokazywały znacznie mniejszą przewagę prezydenta nad Rafałem Trzaskowskim i okazały się niesprawdzone. Stwierdził, że „słuszne jest, więc nasze przekonanie, by nie do końca ufać sondażom.”. Rzeczywiście politycy dmuchają na zimne, nie ekscytują się wynikami sondaży i nie wierzą w ich wyniki tak bardzo jak kiedyś?

Myślę, że musimy tutaj rozróżnić dwie różne rzeczy - publiczne deklaracje od tego, jak te sondaże są traktowane i analizowane w poszczególnych sztabach. Sondaże są jedną z kluczowych składowych na podstawie której opracowywane się strategie działania. Pozwalają podjąć decyzje dotyczące dalszego przebiegu kampanii, zanalizować jak preferencje naszych wyborców zmieniają się w czasie i jak zmienia się grupa niezdecydowanych. Sondaże z pewnością są narzędziem, które politykom i strategom bardzo pomagają.

Pierwszy sondaż przeprowadzony tuż po 28 czerwca przewidywał, że 45,4 procent respondentów oddałoby głos na Andrzeja Dudę, a na Rafała Trzaskowskiego 44,7 procent ankietowanych. W kolejnym opublikowanym dwa dni później 53 proc. badanych zamierza oddać głos na prezydenta Andrzeja Dudę; kandydat KO Rafał Trzaskowski może liczyć na poparcie 47 proc. respondentów. Co będzie się działo w II turze wyborów?

Nie wiem. I uważam, że nie ma nic złego w tej odpowiedzi. Nie wiem, jak sytuacja będzie się dalej rozwijać. To jest czas bardzo dynamicznej kampanii obu kandydatów, a co za tym idzie bardzo dynamicznie zmieniających się preferencji wyborców, które mają odzwierciedlenie z sondażach. Te różnice między kandydatami są na ten moment bardzo niewielkie i mogą się wahać do ostatniej chwili. Nie dziwmy się więc, jeśli sondaż przewidzi wygraną jednego kandydata, a zdarzy się zupełnie inaczej, bo to czasem różnice na poziomie ledwie kilku punktów procentowych. Jeśli chodzi o wyniki tych dwóch sondaży to warto wziąć pod uwagę, że ten pierwszy był robiony „na gorąco”, gdy emocje po I turze jeszcze nie opadły, a część osób, która nie głosowała ani na jednego, ani na drugiego kandydata jeszcze nie zdecydowała, co zrobi ze swoim głosem w II turze. Z czasem wyborcy mają czas, by zastanowić się kogo poprą, jak również - jak wspominałam wyżej - mamy różne sytuacje (pandemia, powodzie, wizyta prezydenta Dudy w USA), które mogą mieć wpływ na wyborcze decyzje. Warto obserwować sondaże na bieżąco, bo do 12 lipca sytuacja będzie się dynamicznie zmieniać, a preferencje wyborców mogą się wahać.

Niezdecydowani i ci którzy w I turze oddali głosy kandydatów, którzy nie weszli do II tury, to teraz bardzo pożądana grupa?

Oczywiście. Już w pierwszych przemowach Dudy i Trzaskowskiego po ogłoszeniu wyników I tury znalazły się strategiczne podziękowania i pochwały dla pozostałych kandydatów. Nic w tym dziwnego, tak działa polityka. Tymczasem osoby niezdecydowane to ważna grupa dla polityków i ich sztabów, ale też ciekawa do obserwacji dla nas, osób zajmujących się sondażami. Funkcjonujemy w dynamicznej rzeczywistości społecznej i różnorakie zjawiska mogą mieć znaczenie dla ostatecznych wyników. Często podejmujemy decyzje na podstawie emocji, własnych uprzedzeń, informacji, które do nas docierają. Praca z człowiekiem i badanie jego preferencji to naprawdę trudne zadanie. Dla mnie, jako dla socjolożki, ta grupa niezdecydowanych jest szalenie ciekawa. Lubię się jej przyglądać, analizować jak się zmienia, jak się prezentuje pod względem kluczowych zmiennych socjodemograficznych.

Czy jakaś informacja w tych ostatnich sondażach panią zaskoczyła albo wydała się ciekawsza niż pozostałe?

Z dużym zainteresowaniem patrzyłam na trendy poparcia dla Rafała Trzaskowskiego. To było ciekawe z punktu widzenia socjolożki, bo to była dość niecodzienna sytuacja, gdy kandydat dołącza do wyścigu znacznie później niż pozostali kandydaci. Oczywiście był tak, jak już powiedziałam, nowym-starym kandydatem, więc nie zaczynał kampanii od zera, ale wciąż do wyścigu o prezydenturę dołączył później. Drugą interesującą rzeczą było zmieniające się (głównie zwiększające się) poparcie dla Szymona Hołowni. Do ostatniej chwili prowadził kampanię we wszystkich mediach społecznościowych, organizował live’y, w których występował zarówno on, jak i eksperci z jego sztabu Ciekawie było obserwować, jak te działania przekładają się na decyzje wyborców, a także ostateczne poparcie. Mamy kandydata bezpartyjnego, który kojarzony jest głównie z show „Mam Talent” i na początku w ogóle nie był traktowany poważnie, a nagle swoim programem i swoim zaangażowaniem wykręca wynik 13 proc., zostawiając w tyle starych wyjadaczy takich, jak Robert Biedroń czy Władysław Kosiniak-Kamysz.

Coś jeszcze?

Zaskoczyło mnie ogromne poparcie dla Konfederacji. Zwłaszcza osób młodych.

Co z sondażami wyborczymi Polonii za granicą?

Tu też nie było ogromnych różnic. Z sondaży wynikało, że Polacy w Chicago i Nowym Jorku zagłosują za Dudą, i tak było. W Japonii 48 proc. wyraziło poparcie dla Trzaskowskiego a 10 proc. dla Dudy, niemniej musimy pamiętać, że w tych krajach głosujących jest niewiele. Zaś Polonia w Wielkiej Brytanii i Irlandii od lat wyróżnia się bardzo wysoką frekwencją.

Czy 12 lipca sondaże się potwierdzą?

Nie wiem. Pamiętajmy, że różnice między kandydatami są tak niewielkie, że wszystko może się zdarzyć. Jeśli więc ktoś chce obstawić ostateczny wynik wyborów u bukmacherów to odradzam.

Janina Bąk jest statystyczką, wykładowczynią akademicką, blogerką i autorką książek, szerzej znaną jako Janina Daily. Ukończyła Uniwersytet Jagielloński oraz University of The West of Scotland. Przez pięć lat uczyła statystyki i metodologii badań w Trinity College w Dublinie. Jej profil na Facebooku „Janina Daily” śledzi blisko 90 tys. osób