Umfragen erfreuen sich vor Wahlen großer Beliebtheit bei Journalistinnen und Journalisten und ihren Zeitungen. Zahlen sprechen eine vermeintlich klare und einfache Sprache und sind oft schneller und anschaulicher erklärt, als die anstrengende Wiedergabe politisch-inhaltlicher Auseinandersetzungen. Mit einer selbst in Auftrag gegebenen Umfrage bietet sich außerdem die Möglichkeit, exklusive Inhalte anzubieten (Pressemitteilungen der Polizei kann ja auch die Konkurrenz abschreiben). So lassen sich leicht die Titelseiten mehrerer Tage füllen. Das sieht man beispielsweise an der Artikelserie der LVZ vor dem ersten Wahlgang zur Oberbürgermeister*innen-Wahl in Leipzig am 02. Februar 2020:
- LVZ-Umfrage zu den OBM-Kandidaten: So würden die Leipziger wählen
- LVZ-Umfrage: So bewerten die Leipziger die OBM-Kandidaten
- LVZ-Umfrage: Wie die Kandidaten von ihren Parteianhängern unterstützt werden
- LVZ-Umfrage: Diese Noten bekommt OBM Jung von den Leipzigern
- So lief die LVZ-Umfrage zur OBM-Wahl: INSA-Chef Binkert erklärt Methodik und Ergebnisse
- OBM-Wahl in Leipzig: Ist denn schon alles gelaufen?
- LVZ-Umfrage: Das sind die Aufgaben des künftigen Leipziger Oberbürgermeisters
- Warum sah die LVZ-Umfrage Gemkow deutlich hinter Jung?
Die Fülle von Artikeln ist auch deshalb möglich, weil die in Auftrag gegebenen Umfragen einerseits meist über die gewöhnliche „Sonntagsfrage“ hinausgehen, also weitere Fragen – beispielsweise zur Positionierung zu bestimmten Themen – abgefragt werden. Andererseits – und das ist der zentrale Gegenstand dieses Beitrags – wird die „Sonntagsfrage“, also die Frage nach der Wahlabsicht, nach verschiedenen Gruppen aufgeschlüsselt präsentiert: Altersgruppe, Geschlecht oder Wahlverhalten bei einer anderen Wahl. Spätestens hier beginnen die Schwierigkeiten, die über die übliche gebotene Vorsicht bei Umfragen hinausgehen. Doch der Reihe nach:
Die LVZ-Umfrage vor dem ersten Wahlgang der OBM-Wahl 2020 in Leipzig
Für die Umfrage vor dem ersten Wahlgang der OBM-Wahl in Leipzig 2020, bei der unter anderem die Wahlabsicht abgefragt worden ist, hat die LVZ von INSA 1.000 Personen befragen lassen. Wahlergebnis und Umfrage lagen am Ende nicht gerade nah beieinander – was an sich kein Problem darstellt und aufs Neue zeigt, dass der Satz „Umfragen sind keine Wahlergebnisse“ keine leere Floskel ist, sondern durchaus von Bedeutung ist.
Fehlende Kandidatin und fehlende Angaben
Doch zurück zur Umfrage. Einerseits fällt auf, dass eine Kandidatin in der Ergebnispräsentation der Umfrage keine Rolle spielt – nämlich die Kandidatin der Partei „Die PARTEI“. Da die Umfragewerte aller anderen Kandidat*innen zusammen 100 Prozentpunkte ergeben ist davon auszugehen, dass diese Kandidatin bei der Umfrage schlichtweg „vergessen“ worden ist, obwohl ihre Partei sogar zwei Sitze im Stadtrat hat. Das kann man durchaus als mindestens peinlich bezeichnen. Andererseits hat die LVZ zwar die Gesamtzahl der Befragten (1.000 vom 06.01. bis 10.01.2020 ) genannt und auch darauf hingewiesen, dass 15 Prozent angaben, „dass sie zwar zur OBM-Wahl gehen möchten, aber noch nicht wissen, wem sie ihre Stimme geben werden“ und „weitere rund zehn Prozent“ angaben, sie wollten nicht wählen oder keine Angaben gemacht haben. Das ist insofern ein interessantes Ergebnis, als das letztlich etwas mehr als die Hälfte der Wahlberechtigten nicht zu Wahl gegangen sind (die Wahlbeteiligung lag bei 49.7 %) – und nicht nur 10 bis 25 %. Das allerdings erklärte INSA-Chef Hermann Binkert in der LVZ so:
Wer nicht wählen geht, der nimmt in der Regel auch nicht an politischen Umfragen teil. Die Betreffenden lehnen meist gleich ab und werden daher in den Studien nicht adäquat abgebildet. Der Anteil der Nichtwähler ist also meist höher als in den Umfragen.
Hermann Binkert (INSA), „So lief die LVZ-Umfrage zur OBM-Wahl: INSA-Chef Binkert erklärt Methodik und Ergebnisse“, LVZ Online, 18.01.2020 07:53 Uhr, zuletzt aufgerufen am 22.02.2020 13:23 Uhr, Link: http://gleft.de/3yb
Gar nicht erst angegeben hat die LVZ jedoch die Schwankungsbreiten ihrer Umfragewerte. Diese Schwankungsbreite gibt – vereinfacht gesprochen – an, wie unter Annahme einer bestimmten Sicherheit der Befragung die erzielten Werte nach oben oder unten abweichen können. Die Sicherheit (Konfidenzniveau) wird bei solchen Umfragen meist mit 95 % angegeben. Das heißt, dass bei einer Wiederholung der Umfrage in 95 % der Fälle auch innerhalb der Schwankungsbreite liegen würden. Für die LVZ-Umfrage vom 18.01.2020 sind das die (gerundeten) Schwankungsbreiten:
Bei Betrachtung der Schwankungsbreiten wird ersichtlich, dass die Wahlergebnisse außerhalb dieser lagen. Das ist jedoch kein Ergebnis „falscher“ Schwankungsbreiten sondern nur Ausdruck davon, dass die Schwankungsbreiten oder „Fehlermargen“ bei Umfragen gerade nicht die „Richtigkeit“ oder „Treffsicherheit“ einer Umfrage mit Blick auf ein Wahlergebnis, sondern eben immer nur mit Blick auf sich treffen. Daher noch einmal und ausdrücklich: Umfragen sind keine Wahlergebnisse und die Gründe, warum teils erhebliche Lücken zwischen einer Wahlumfrage und einer Wahl auftreten können, sind vielfältig. Nichtsdestotrotz gilt auch für die LVZ: Zumindest die Angabe der Schwankungsbreite sollte bei Umfragen zum Standard seriöser Umfrageberichterstattung gehören.
Winzige n oder: Der Fehler im Detail
Wie bereits angedeutet hat es die LVZ jedoch nicht dabei belassen, die Wahlabsicht auf die Grundgesamtheit derjenigen Befragten herunterzubrechen, die eine Antwort gegeben haben. So wurde die Wahlabsicht auch untergliedert nach Geschlecht, drei Altersgruppen und Parteipräferenz. Die Leser*innen erfuhren so beispielsweise, dass 16 % der Befragten 18 bis 29-Jährigen Riekewald wählen würden und sich 8 % der FDP-Wähler für Gemkow entscheiden würden. (Das Merkmal „Wähler*in von Partei X“ wurde erfasst, in dem in der gleichen Umfrage der LVZ auch die Parteiwahl-Absicht zur Stadtratswahl abgefragt worden ist.)
Das Problem ist an dieser Stelle, dass sich die Grundgesamtheit der Befragten je nach Gruppe teils drastisch verringert. Aber von vorn: Für diese Umfrage zum 1. Wahlgang der OBM-Wahl hatte die LVZ 1.000 Personen von INSA befragen lassen, von denen 25 % (s. o.) keine Wahlabsicht hinsichtlich einer der Kandidat*innen für das Amt geäußert hatten. Ein Viertel der 1.000 Befragten ist für die Angabe einer Wahlabsicht also nicht relevant und es verbleiben ca. 750 Befragte. Wenn nun beispielsweise noch die Unterscheidung nach Altersgruppen hinzutritt, müsste bekannt sein, wie viele der verbleibenden 750 Personen einer der drei Altersgruppen – beispielsweise den 18 bis 29-Jährigen, zuzurechnen ist. Das ist leider nicht bekannt, da die Rohdaten der Umfrage nicht vorliegen. Man kann sich diesem Wert jedoch annähern, in dem man sich den Anteil eben jeder Altersgruppe an den Wähler*innen, den Wahlberechtigten oder der Bevölkerung anschaut. Da für die Wahlen der Jahre 2019 und 2020 zum Zeitpunkt der Erstellung dieses Artikels seitens der Stadt Leipzig noch keine repräsentative Wahlstatistik publiziert worden ist, wird hier (leider) auf den Anteil der Personengruppe an der wohnberechtigten Bevölkerung zurückgegriffen. Diese machen mit ca. 20 % also ein Fünftel der Bevölkerung aus. Sollte dieser Anteil sich in etwa auch bei den 750 Befragten mit artikulierter Wahlabsicht der LVZ-Umfrage wiederfinden, blieben etwa 150 Personen übrig. Auch für diese Gruppe lassen sich nun Schwankungsbreiten angeben, was an dieser Stelle exemplarische für die Werte der drei Altersgruppen bei vier der Kandidat*innen erfolgt:
Wie aus der Tabelle hervorgeht, sind die veröffentlichten Werte vor allem eins: wertlos. Beispiel 18 bis 29-Jährige: 25 % derer hätten laut LVZ die Wahlabsicht Jung. Allerdings liegt die Schwankungsbreite bei 6.9 Prozentpunkten. Es könnten also auch nur etwa 18 % sein. Oder fast 32 %. Diese Werte machen also vor allem deutlich, dass sie eigentlich nichts deutlich machen. (Denken wir an dieser Stelle neben den Schwankungen innerhalb der Umfrage auch noch die mögliche Abweichung Umfrage <-> tatsächliches Wahlverhalten dazu, wissen wir, dass das Schwein nach dem Blick ins Uhrwerk vermutlich klüger ist, als wir nach Blick auf diese Zahlen.)
Noch verrückter wird’s beim Blick auf die Kombination „Parteipräferenz Stadtratswahl“ und „Wahlabsicht OBM-Wahl 1. Wahlgang“. Als Ausgangsbasis für die Grundgesamtheit fungieren wieder diejenigen ca. 750 Befragten, die eine Wahlabsicht hinsichtlich der OBM-Wahl geäußert haben. Ein Teil von diesen hat in der gleichen Umfrage auch eine Wahlabsicht hinsichtlich einer theoretischen Stadtratswahl geäußert. Wie viele das sind, ist nicht bekannt. An dieser Stelle soll also davon ausgegangen werden, dass es die größtmögliche Zahl war – also alle 750 Personen. Von diesen haben laut der LVZ-Umfrage beispielsweise 15.6 % angegeben, bei einer Stadtratswahl SPD zu wählen (interessant, dass die LVZ hier eine Stelle nach dem Komma mit angibt). Das wären – bezogen auf 750 Befragte – rechnerisch genau 117 Personen – also kein besonders Großes n (= Stichprobengröße). Wesentlich kleiner fällt der Wert bei kleineren Parteien aus. So kommen die „Sonstigen“ in der LVZ-Umfrage auf 3.8 % – was nach Adam Ries nicht mehr als 29 Befragte sein können. Diese unfassbar kleinen Fallzahlen waren für die LVZ jedoch kein Hinderungsgrund, die Wahlabsichten der jeweiligen Gruppen beim ersten Wahlgang der OBM-Wahl anzugeben – obwohl die Schwankungsbreiten teils schwindelerregend sind:
Beispiel: Laut LVZ-Umfrage gaben 14 % derer, die bei einer Stadtratswahl FDP wählen würden, an, sie würden bei der OBM-Wahl Jung wählen. Dabei handelt es sich jedoch maximal um 35 befragte Personen und die Schwankungsbreite liegt bei 11.5 Prozentpunkten – es könnten also auch nur 2.5 % sein – oder 25.5 %. Teilweise liegen die Schwankungbreiten sogar über den angegebenen Werten – hier ist es völlig absurd, überhaupt Werte darzustellen. So würden angeblich 1 % der SPD-Stadtrats-Wähler*innen die Kandidatin der Grünen wählen – aber die Schewankungsbreite liegt bei 1.8 Prozentpunkten. (In der Tabelle hier erfolgt die Darstellung dieser Werte zur Nachvollziehbarkeit.)
Aller guten Dinge sind zwei: Die LVZ Umfrage vor dem zweiten Wahlgang
Vor dem zweiten Wahlgang (01.03.2020) hat die LVZ am 21.02.2020 ebenfalls eine Umfrage veröffentlicht. Diese wurde wieder von INSA durchgeführt, diesmal mit 1.016 Befragten aus dem Zeitraum vom 17. bis 20. Februar. Erneut stellt die LVZ die Sonntagsfrage bezogen auf alle Befragten als auch auf Alters- und Geschlechtsgruppen dar – weist diesmal zumindest darauf hin, dass „der Unterschied“ zwischen Jung und Gemkow „innerhalb der statistischen Fehlertoleranz“ liegt. Außerdem berichtet die Zeitung über mögliche Wanderungsabsichten von Wähler*innen zwischen erstem und zweitem Wahlgang. Letzteres basiert mutmaßlich auf der Frage, wen die Befragten im ersten Wahlgang gewählt haben.
Nicht angegeben wird hingegen derjenige Teil der 1.016 Befragten, die ähnlich wie in der ersten Umfrage angaben, noch unentschlossen zu sein, nicht wählen zu wollen bzw. schlichtweg keine Angabe machen wollten. Das macht es zumindest schwer, die Schwankungsbreiten für diese Umfrage zu berechnen. Allerdings gibt einerseits der Umstand, dass es bisher bei allen OBM-Wahlen in Leipzig mit mehr als einem Wahlgang eine im zweiten Wahlgang gesunkene Wahlbeteiligung gab, einen Hinweis darauf, dass der Anteil dieser Gruppen zumindest nicht deutlich geringer ausfallen dürfte, als in der ersten Befragung. Andererseits suggeriert die LVZ Umfrage das Gegenteil. Denn dort heißt es, dass 90 % derer, die im ersten Wahlgang Jung gewählt haben, in einem zweiten Wahlgang das gleiche vorhaben. Diese Wähler*innen würden insgesamt 25 Prozentpunkte der potenziellen Wähler*innen Jungs in einem zweiten Wahlgang stellen (nicht: 25 % der Wähler*innen Jungs im zweiten Wahlgang, sondern 25 Prozentpunkte aus den für ihn laut Umfrage ermittelten 48 Prozentpunkten!). Kurz nachgerechnet:
- Stimmen Jung 1. Wahlgang: 68.288 Stimmen
- Wiederwähler*innen lt. LVZ: 90 % = ca. 61.450 Stimmen
- Diese 61.450 Stimmen entsprechen lt. LVZ-Umfrage einem Stimmenanteil von 25 % im 2. Wahlgang.
- Stimmen 2. Wahlgang demnach das Vierfache: 245.800 Stimmen
- Im ersten Wahlgang gab es nur ca. 229.400 Stimmen.
Obgleich es faktisch ausgeschlossen ist, dass alle 1.016 Befragten eine Wahlabsicht für den zweiten Wahlgang geäußert haben, muss aufgrund der Unbekannten Variable, wie viele Befragte eine solche Äußerung eben nicht getätigt haben, von allen Befragten als Grundgesamtheit ausgegangen werden, um die minimale Schwankungsbreite zu ermitteln – wohlwissend, dass die tatsächliche mit an Sicherheit grenzender Wahrscheinlichkeit eher höher liegt.
Anhand der publizierten Umfrage lässt sich also nicht ablesen, wer „die Nase vorn“ hat. Auch die publizierten „Wählerwanderungen“ sind größtenteils keine verwendbaren Zahlen. Geht man von der (nicht realistischen, im Sinne der LVZ also positiv gerechneten) Stichprobengröße von 1.016 Personen aus, die alle eine Wahlpräferenz für den zweiten Wahlgang geäußert haben und davon, dass der Anteil der Wähler*innen des FDP-Kandidaten Viefeld aus dem ersten Wahlgang in dieser Gruppe ähnlich hoch ist, wie er bei der Wahl tatsächlich war (1,2 %), dann dürfte es etwa 12 Befragte dieser Gruppe gegeben haben. Dass man aus der Befragung dieser 12 Personen keine validen Aussagen über das mögliche Wanderungsverhalten der Viefeld-Wähler*innen ziehen kann, erschließt sich eigentlich sofort. Die Schwankungsbreite von den in der LVZ genannten „zwei Drittel“ dieser Gruppe, die im zweiten Wahlgang Gemkow wählen würden, liegt bei fast 27 Prozentpunkten nach oben oder unten.
Die einzigen halbwegs validen (und sinnvoll überprüfbaren) Aussagen sind die Aussagen über das Umfrage-Wanderungsverhalten derjenigen Befragten, die angegeben haben, im ersten Wahlgang Jung, Gemkow, Riekewald oder Krefft gewählt zu haben (ggf. noch Neumann, aber hier keine passende Angabe als Zahl). Eine genaue Berechnung der Schwankungsbreite ist wegen der oben genannten Probleme auch hier nicht möglich, aber zumindest die minimalen Schwankungsbreiten können angegeben werden. Sie liegt bei den Wiederwählern (in der Umfrage, nicht der tatsächlichen Wahl) bei 3.4 Prozentpunkten (Jung, 90 %) bzw. 1,9 Prozentpunkten (Gemkow, 97 %). Bei den in Zahlen angegebenen Wanderungsabsichten von Riekewald- und Krefft-Wähler*innen zu Jung liegt die Schwankungsbreite bei 6.4 bzw. 7.9 Prozentpunkten, bei den laut Umfrage Krefft-Anhänger*innen mit Wanderungsabsicht zu Gemkow bei 6 Prozentpunkten (es könnten statt der angegebenen 13 % also auch 7 % oder 19 % sein).
Das zeigt: Die Umfrage enthält zwar Angaben, die innerhalb einer tolerablen Schwankungsbreite liegen, das Gros der veröffentlichten Werte ist jedoch auch hier entweder fraglich oder schlichtweg nicht zu gebrauchen.
Kleines Fazit
Umfrageberichterstattung ist schwer angesagt – einen professionellen Umgang mit Umfragen, das nötige Know-How und die gebotene Transparenz hingegen nicht. Die LVZ wäre gut beraten, sich einen kleinen Nachhilfekurs in Sachen Statistik zu gönnen und nicht jede noch so kleine Zahl zu veröffentlichen. Nur weil man nach dem Komma weiter rät, rät man schließlich auch nicht besser.