Nach der Wien Wahl 2015 hat neuwal.com zehn Qualitätskriterien von Wahlumfragen in Medien vorgeschlagen. Die Idee dabei war – und ist -, die Publizierung von Wahlumfragen transparenter zu gestalten. Im Juni 2016 wurden diese Qualitätskriterien mit Unterstützung aus der Meinungsforschung durch Peter Hajek von Unique Research erweitert. Daraus ist ein Art Manifest für bessere Wahlumfragen mit folgenden Inhalten entstanden:
- 5 allgemeine Qualitätskriterien für Meinungsforschung
- 10+1 Qualitätskriterien für die Publizierung von Wahlumfragen in Medien
- 7 Qualitätskriterien für Meinungsforschungsinstitute
Zur Transparenz: Es gibt keinerlei geschäftliche Beziehungen zwischen neuwal und Unique Research. Ziel ist es, mehr Qualität und Transparenz bei Wahlumfragen zu erarbeiten. Ich freue mich über die Unterstützung, die Ideen und das Interesse dabei – Danke.
Digitaler Wandel in der politischen Meinungsforschung
Auch die politische Meinungsforschung steht vor einem Digitalen Wandel:
- Internet, Smartphones und neue digitale Medien und Kanäle ergänzen die klassische Abfragemethode durch das Telefon.
- Stimmungen, Meinungen und Tendenzen wechseln durch die Schnelligkeit und direkte Erreichbarkeit der WählerInnen.
- Und – vermutlich das wesentlichste – das Userverhalten ist nicht mehr linear und in ihrer Meinung zum Wahltag hin nicht mehr genau einschätzbar.
Das sind nur einige Punkte, mit denen die Branche derzeit zu kämpfen hat und eine „präzise“ Vorhersage nicht wirklich möglich macht. Auch wenn mehr als 80 % aller Wahlumfragen seit 2013 innerhalb der Schwankungsbreite liegen.
Abb. 1: Durschnittlich 82 % der Umfragewerte von Wahlumfragen liegen innerhalb der Schwankungsbreite.
Abb. 2: Vergleich und Analyse der Wahlumfragen 2013-2016.
Transparenz
Meiner Ansicht nach gibt es nur eine Möglichkeit, wie wir durch diese Digitale Transformation im Wahlumfragen-Bereich kommen: Neben weiterentwickelten Erhebungsmethoden spielt dabei vor allem Transparenz bei der Publizierung von Wahlumfragen in Medien eine ganz große Rolle. Zunächst gilt es, Bewusstsein herzustellen, das Wahlumfragen kein Orakel oder Vorhersage-Tool für den präzisen Wahlausgang am Wahlsonntag sind. Nix neues. Das ist nicht die Aufgabe von Wahlumfragen.
Wahlumfragen geben lediglich einen Stimmungstrend zum entsprechenden Zeitpunkt auf Basis der jeweiligen Erhebungsmethoden von Instituten dar. Und dieser Trend ist abhängig von vielen, vielen Faktoren, die vielen WählerInnen vermutlich noch nicht bekannt sind. Und genau in dem Punkt gilt es Transparenz zu erzeugen und Verständnis zu generieren. Alles offenlegen, was hilft, Umfragen und Daten verständlicher zu machen.
Abb. 2: Skizze. Die Genauigkeit der Umfrage ist abhängig von vielen Faktoren. Dabei kann die Darstellung und Transparenz von Umfragen und deren Daten beeinflusst werden. Damit erreiche ich zwar direkt keine genaueren Umfragen, aber mit Sicherheit ein besseres Verständnis sowie eine bessere Interpretation bei LeserInnen.
Tiefe und Breite bei Wahlumfragen
Um dieses Verständnis zu generieren, gilt es, bei Wahlumfragen in die Tiefe und Breite zu gehen. Die Tiefe zeigt alle Zahlen, Daten und Fakten auf, die für das Verständnis und die Interpretation von Wahlumfragen hilfreich sind. Dazu wurden 10+1 Qualitätskriterien mit der Angabe von u.a. Umfragezeitraum, Methodik, Schwankungsbreite, Stichprobengröße, Fragestellung erarbeitet. Das ‚+1‘ steht dabei für das Know-How in Redaktionen: Mindestens ein Journalist/eine Journalistin braucht die Fähigkeit, Daten richtig interpretieren und darstellen zu können. Dazu braucht es auch Informationen der Meinungsforschungsinstitute, die alle notwendigen Daten (SPSS, Szenarienbildung, etc.) an den Auftraggeber weiterreichen. Dafür wurden auch 7 Qualitätskriterien für Meinungsforschungsinstitute erstellt.
Um in die Breite bei Wahlumfragen zu gehen – und da gibt es sehr geteilte Meinungen in der Branche – hilft eine transparente Regelmäßigkeit bei Wahlumfragen. Das heißt: Nur durch regelmäßige Publikationen (z.B. jedes Monat, jedes Quartal) können Umfragen und deren Entwicklung sowie Eigenheiten von WählerInnen verstanden und gelesen werden. Dem gegenüber stehen ad-hoc Befragungen – oft kurz vor der Wahl -, bei denen es oft wenig Vergleichsmöglichkeiten und -werte gibt.
Abb. 3: 10 Qualitätskriterien für Wahlumfragen in Medien (scribd.com)
5 allgemeine Qualitätskriterien für Meinungsforschung
Bezahlung
Trotz der finanziell angespannten Situation vieler Verlage sollten Medien wieder dazu übergehen, zumindestens die Feldarbeitskosten der Meinungsforschungsinstitute voll abzugelten. Wenn gespart wird, hat das zwangsläufig Auswirkung auf die Qualität.
Kommunikation
Auftraggeber und Medium sollten in einem ständigen Diskurs stehen. Medien sollten nicht nur ad-hoc Aufträge vergeben. Nur ein regelmäßiger Austausch garantiert Know-How und Erfahrung bei der Interpretation von Meinungsforschungs- ergebnissen.
Transparenz
Die Kommunikation aller Wahldaten muss Standard werden. Sogenannte interne Daten sollte die mediale Aufmerksamkeit verweigert werden. Seriosität und transparenz können nicht garantiert werden.
Regelmäßigkeit
Durch regelmäßige Wahlumfragen lassen sich Trendverläufe besser darstellen, statistische Ausreißer (Stichwort: 95%iges Sicherheitsniveau) können besser erkannt werden. Die reine Fokussierung auf vor der Wahlzeit dient hingegen der Zuspitzung von Stimmungen.
Umfrage vor der Wahl
Die Medien sollten dazu übergehen, mindestens sieben Tage vor der Wahl keine Umfrage mehr zu publizieren. Noch besser wären zwei Wochen, um sich nicht dem Vorwurf des horse-race Journalismus auszusetzen.
10+1 Qualitätskriterien dür die Publikation von Wahlumfragen
| 1. | Auftraggeber | Von wem wurde die Umfrage in Auftrag gegeben? |
| 2. | Institut | Von wem wurde die Umfrage durchgeführt? |
| 3. | Umfragegröße n | Wieviele Personen wurden befragt? |
| 4. | Deklarierte Personen (Stichprobengröße) | Wieviele deklarierte Antworten gibt es? |
| 5. | Schwankungsbreite(n) | Wie hoch ist die maximale Schwankungsbreite bzw. wie hoch sind die jeweiligen Schwankungsbreiten für die jeweiligen ausgewiesenen Parteien? |
| 6. | Umfragezeitraum | In welchem Zeitraum wurde die Umfrage durchgeführt? |
| 7. | Erhebungsmethode | Mit welcher Methode wurden die Antworten eingeholt? |
| 8. | Zielgruppe | Zielgruppendefinition |
| 9. | Fragestellung | Wann wurde die Umfrage veröffentlicht? |
| 10. | Mehr Infos als Download | Wurden mehr Informationen – zum Beispiel in PDF-Form – mit näheren Details zur (Gesamt-)umfrage veröffentlicht? |
| 10+1 | Know-How in Redaktionen | Es braucht eine Person in jeder Redaktion, die mit Umfragen umzugehen weiß und über statistisches Basiswissen verfügt. |
7 Qualitätskriterien für die Meinungsforschung
| 1. | Daten | Lieferung der Daten in Tabellenform |
| 2. | Visualisierung | Hauptergebnisse grafisch aufbereiten |
| 3. | Rohdaten | Lieferung der Daten an Medien als SPSS-Rohdatenfile |
| 4. | Interpretation | Interpretation und Szenarienbildung durch Meinungsforschung in verbaler Form |
| 5. | Erläuterung | Erläuterung: Zustandekommen der Hochschätzung durch Meinungsforschung |
| 6. | Vollständigkeit | Online-Publikation aller zur Verfügung gestellten Informationen |
| 7. | Offenlegung | Offenlegung von politischen Mandaten des Instituts gegenüber dem Auftraggeber |
Vorschläge für die Publizierung
1. Grafik
Infografik, die das Umfrageergebnis mit Schwankungsbreite ausgibt. Details (Kriterien 1-6) werden an der Bildunterleiste abgedruckt. Das gewährleistet eine Grundinformation, falls das Bild unabhängig vom Text kommuniziert wird.
Beispiel: profil, 8. November 2015
Beispiel: heute.at, 8. April 2016
2. Text
Journalistischer Beitrag, der sich um die veröffentlichten Daten dreht. Die Analyse dreht sich zusätzlich um Fakten, wobei das Grundgerüst dazu die definierten Qualitätskriterien sind.
Beispiel: derstandard.at, 2. Oktober 2015
3. Info-Box
Auslagerung sämtlicher Kriterien (1-10) in eine Infobox in Form “Zahlen, Daten und Fakten” um einen vollständigen Hintergrund der Datenerhebung zu garantieren.
Beispiel: tagesschau.de, 12. November 2015
Beispiel
Beispiel einer qualitativ hochwertig publizierten Wahlumfrage
ARD DeutschlandTrend
5. November 2015
Originalquelle: tagesschau.de
Visualisierung: neuwal.com
Diese Publikation einer Wahlumfrage beinhaltet sämtliche zehn definierten Qualitätskriterien.
