[Mrboo]

Tl;dr - ostrzegam bardzo długi wpis.


Tak postanowiłem strzelić dość długi wpis, którym był zainteresowany między innymi @ex-02 którego wołam. Ale też trochę zostałem zainspirowany wpisem jednego mirka, który dziwił się, że sondaż jednej pracowni może wskazywać różne wyniki - a to z kolei mnie bardzo zdziwiło więc stwierdziłem, że przyda się rozjaśnienie kilku rzeczy.

Po pierwsze często widzę bierze się łatwo krzyczące tytuły z serwisów internetowych typu: "Sześć partii w Sejmie", "Kukiz '15 poniżej progu", "Zjednoczona Lewica w Sejmie" itd. - może przyjrzyjmy się wynikom sondażu wczorajszego Ipsos - dla TVP (w nawiasach zmiana w porównaniu do poprzedniego sondażu IPSOS):

36 PIS (-2), 25 PO (-1), 8 ZL (+3), 7 Kukiz (=), 6 PSL (=), 5 .N (-1), 3 KORWIN (=), 0 Razem (-1), 9 niezdecydowani (+2)

No właśnie - po pierwsze pewne nieporozumienia może sprawiać rubryka "niezdecydowani" - tak naprawdę ona zniekształca wynik sondażu (no bo przecież wyborca nie głosuje na jakiś KWW Niezdecydowanych). Jeśli wytniemy niezdecydowanych to poparcie wygląda tak: Pis - 39,6, PO - 27,5 ZL - 8,8 Kukiz - 7,7 PSL - 6,6 .N - 5,5 KORWiN - 3,3 Razem - 0.

I teraz jedziemy - tak naprawdę prasa powinna podać tytuł: "Dwie partie pewne Sejmu". Bo jest coś takiego, jak błąd maksymalny. Więc tym samym nie możemy stwierdzić, że PiS ma 39,6% - Prawo i Sprawiedliwość ma na 95% poparcie w przedziale 36,5% - 42,7%. Podobnie KORWiN - z jednej strony jego poparcie może być ponad upragniony próg lub leży na dnie rowu politycznego niebytu. Choć tu przyznaje błąd maksymalny jest liczony z próby, którą podał Ipsos - 1006 przepytanych Polaków. Niestety nie podano ilu z tego 1006 na przykład stwierdziło, że nie weźmie udziału w wyborach…bo wtedy jest mniej respondentów i błąd się zwiększa. Np. sondaż Millward Brown ostatni - wzięto pod uwagę odpowiedzi 507 respondentów, którzy wezmą udział w wyborach - tym samym błąd jest wyższy i taki PiS niby ma tu 35%, ale margines błędu wynosi 31-39%.

Teraz kwestia tych 95% - to jest tzw. poziom ufności. A dokładnie prawdopodobieństwo, że wyznaczony w taki sposób przedział będzie pokrywał rzeczywisty odsetek osób w populacji popierających daną partię wynosi 95% (procedura taka gwarantuje, że w około 95 próbach na 100 przedział ufności będzie pokrywał rzeczywistą wartość w populacji). Czyli jakby robić na podobnej próbie dany sondaż to w 1 przypadku na 20 ten przedział może znacznie się różnić.

Dalej - inny błąd - złe porównywanie sondaży. Kluczową rzeczą jest, by nie porównywać sondaży różnych pracowni oraz tej samej pracowni robionych dla różnych mediów. Np. nie powinno się porównywać sondażu IBRiS robionego dla "Rz" z tym IBRiS "Radia Zet" - próba była inna więc i inne wyniki mogły się zdarzyć. No i też warto dodać, że różne ośrodki różnie badają - np. CBOS przeprowadza sondaże bezpośrednio idąc z ankieterem do domu respondenta., a IBRiS czy Millward Brown dzwoni na telefony.

Oczywiście też dochodzi do kompromitacji sondaży. Jednak w ostatnim dziesięcioleciu takie kompromitacje były dwa razy - podczas wyborów w 2005 roku oraz tegorocznych wyborów prezydenckich. Moja pretensja jest do pracowni taka w przypadku ostatnich wyborów prezydenckich, że brały np. pod uwagę wyborców zdecydowanych i pewnych, że zagłosują (i to jest ok.), a także tych którzy stwierdzili, że raczej zagłosują. Potem wychodziły absurdy w stylu frekwencji sięgającej 80% - oczywiście zazwyczaj ludzie częściej deklarują, że pójdą. Ale myślę, że można było tylko pokazać wskazania tych "zdecydowanych", a jednak z badań wychodziło, że to osoby głosujące na Dudę są bardziej zmobilizowane. Tak w ramach ciekawostki - w wyborach prezydenckich 2015 najgorsza była pracownia Millward Brown z sondażem robionym 6 i 7 maja - to tym bardziej zaskakujące, że próba wynosiła ponoć 3000 osób - to może oznaczać jedno - MB źle dobiera próbę i można tak rozmyślać - może dlatego to w sondażach MB KORWiN ma wyjątkowo wysokie poparcie czy np. ZL.
Ostatnie sondaże przed wyborami prezydenckimi 2015: http://i.imgur.com/SbimIKP.png

Ale czasem są czynniki, że sondaże mogą uchwycić co najwyżej pewien trend (choć sam Prof. Antoni Sułek stwierdził, że nie liczą się wahania rzędu paru procent, a trendy) - tak było z Kukizem, któremu lawinowo rosło poparcie w kolejnych badaniach, ale sondaże tuż przed wyborami wskazywały mu na koniec 16-19%. Podobnie było w wyborach parlamentarnych 2005 roku - od początku września PiS zaczął zyskiwać w sondażach, a PO spadało. Inna kwestia to taka, że czasem wyborcy mogą zmienić decyzję przed urną wyborczą - tacy wyborcy są określani jako tzw. "last minute voters" - w 2005 roku podczas II tury z danych exit-poll (sondaż robiony po wyjściu wyborcy z lokalu) wynikało, że 10% wyborców Tuska zmieniło zdanie i zagłosowało na Kaczyńskiego. Kolejny czynnik wpływający na złe sondaże to milczenie - gdy w kampanii prezydenckiej była akcja z "dziadkiem z Wermahtu" Tuska to niektórzy zobaczyli wzrost poparcia Tuska - z 51 do 57% - tutaj jednak nie zwrócono uwagi na całość populacji - w tym samym czasie wzrosła liczba niezdecydowanych - z 9% do 22% oraz tych, którzy stwierdzali, że nie wezmą udziału w wyborach (z 14% do 22%), a to mocno zniekształciło obraz - dane z sondaży TNS OBOB przeprowadzanych codziennie między 9, a 19 października 2005 roku.

No i wspomnę tu nie tylko o spirali milczenia, ale także podwójnym klimacie opinii - w skrócie nie raz możemy dostrzec dwie rzeczywistości - wśród mediów jeden kandydat góruje, ale wśród społeczeństwa może być odwrotnie. Ale do kwestii teorii spirali milczenia i podwójnego klimatu opinii odsyłam do mojego poprzedniego wpisu: http://www.wykop.pl/wpis/12469611/tl-dr-pokaz-spoiler-w-1972-roku-wybory-do-bundesta/

Jeszcze bym dodał o czymś innym - każda pracownia w ramach swoich technik (np. rodzaj badania, dobór próby itp.) może mieć widoczny tzw. house-effect - jest to po prostu tzw. zniekształcenie poparcia w danej sondażowni. Na przykład, gdy oglądamy CBOS to z góry możemy stwierdzić, że poparcie dla PO jest zawyżone, a PiS zaniżone, zaś w sondażach IBRiS wyjątkowo nieźle radzi sobie ZL.

Jak to podsumować? Z rezerwą podchodzić do sondaży - one nie oddają w pełni rzeczywistości - ot podają przybliżone wartości, ale też nie mówię, że należy je całkiem odrzucać - bo różne wnioski można jednak wyciągać. Warto dodać, że w Polsce próby wynoszą zazwyczaj 1000 osób, a przykładowo w Finlandii i Niemczech te próby są na poziomie 2500 osób. I znamienne jest to, że różnice sondażowe niemieckich pracowni badawczych są mniejsze niż u nas. Ale tak to jest, jak chce się ciąć koszty i jak najszybciej sprawić sondaż danej gazecie czy telewizji.
Zaś co do wszelkich rzeczy metodologicznych - polecam stronę nastrazysondazy.uw.edu.pl - tam wyjaśnienie wielu rzeczy dotyczących sondaży, a także polecam ich raport dot. polskiego sondażu: http://nastrazysondazy.uw.edu.pl/konferencja2/raport.pdf

Zaś tutaj garść danych dotyczących sondaży przed wyborami parlamentarnymi w 2015 roku (za dr Benem Stanleyem - stan na 9 października):
Szacunkowe poparcie - http://i.imgur.com/yShCb8l.png
Trendy - http://i.imgur.com/jgBmt8u.png
House Effect dla sondażowni - http://i.imgur.com/MBXOseZ.png

Też wołam @BongoBong - bo może też ciebie ten wpis zainteresuje.
A już we wtorek wpis (choć może nawet zrobię "znalezisko") o tym jak wygląda system wyborczy w Polsce w praktyce - jak to jest z przydzielaniem mandatów? Czy każdy okręg ma równą wagę głosu? Jak wygląda kwestia tzw. "jedynek"? Ale to już w kolejnym wpisie (a może i moim pierwszym znalezisku) z serii #mrboopisze (zapraszam do obserwowania tagu!)

#sondaz #wybory #polityka #wyboryparlamentarne2015 #tldr

[lucer]

@Mrboo: Jak to ma się do sondażu gazet regionalnych,gdzie próba wynosiła 8 tys.

[Mrboo]

@lucer: One były przeprowadzane metodą wywiadów bezpośrednich na ulicy. Też przyznam widząc niektóre poparcia w poszczególnych regionach są dla mnie wątpliwe. Np. nie wyobrażam sobie zwycięstwa PiS w Zachodniopomorskim - w województwie, które jednak jest typowym bastionem PO.

[dontonek]

Więc tym samym nie możemy stwierdzić, że PiS ma 39,6% - Prawo i Sprawiedliwość ma na 95% poparcie w przedziale 36,5% - 42,7%. Podobnie KORWiN - z jednej strony jego poparcie może być ponad upragniony próg lub leży na dnie rowu politycznego niebytu.

@Mrboo: Tu się akurat niestety mylisz wykorzystując błąd maksymalny dla frakcji różnej niż 50%. Błąd oszacowania jest różny dla różnych wartości procentowych, maksymalny dla 50% i coraz

[Mrboo]

@dontonek: Fakt. Mogłem się pomylić, ale dziękuje za poprawienie mnie. I dzięki za uświadomienie mnie!