von
   

neuwal.com bewertet seit April 2017 Wahlumfragen an Hand von dreizehn Qualitätskriterien, die vom VdMI (Verband der Markt- und Meinungsforscher Österreichs) definiert wurden. Dazu zählen bspw. eine Mindestbefragungsgröße von 800 Personen oder die Publikation der Umfragedetails auf der eigenen Instituts-Webseite. Erklärtes Ziel ist die Steigerung der Qualität von Wahlumfragen sowie Transparenz, um Wahlumfragen besser verstehen zu können. Dabei sind auch Medien aufgerufen, neun der dreizehn Kriterien bei ihrer Publikation mit zu veröffentlichen. Entspricht eine Wahlumfrage allen Kriterien gibt es von neuwal.com fünf Sterne – null Sterne gibt es, wenn keine Umfragedetails publiziert werden.

In diesem Beitrag wird nun zum ersten Mal die Qualität von Umfragen am Beispiel der Nationalratswahl – in einem ersten Schritt – grob ausgewertet. Dabei geht es nicht so sehr um die Genauigkeit von Umfrageergebnissen sondern viel mehr um eine saubere und vollständige Erstellung und Publikation von Umfragen an Hand der definierten Kriterien.

Die Analyse: Wie steht’s eigentlich mit der Qualität von Wahlumfragen zur Nationalratswahl?

Im Analysezeitraum 1. Mai bis 10. Oktober 2017 wurden in Österreich insgesamt 48 Wahlumfragen zur Nationalratswahl 2017 in Medien publiziert. 44 davon wurden von Medien in Auftrag gegeben oder sind im Eigenauftrag entstanden. 4 Wahlumfragen sind von Parteien in Auftrag gegeben worden und fanden den Weg in die Öffentlichkeit.

  • 16 Wahlumfragen – genau ein Drittel aller publizierten Wahlumfragen – kommen vom Institut Research Affairs, die in ÖSTERREICH publiziert wurden.
  • Am zweithäufigsten rechnete Unique Research Umfragen hoch und publizierte 8 Wahlumfragen in Heute bzw. profil.
  • Research Affairs und Unique Research stellen somit gemeinsam 50 Prozent aller Wahlumfragen zur Nationalratswahl 2017.
  • Ein Viertel der Umfragen teilen sich Market/Der Standard (6) und OGM/Kurier (5) auf.
  • Ein weiteres Viertel geht an sieben weitere Institute.

Im Bereich der Medien lassen sich die publizierten Wahlumfragen in drei Drittel einteilen:

  • Dabei ist ÖSTERREICH mit 16 publizierten Umfragen (33 %) tonangebend.
  • Der Standard (6), profil (5) und der Kurier (5) teilen sich das zweite Drittel.
  • Alle weiteren Medien (News, Krone, OÖN oder Heute) finden sich gesammelt im dritten Drittel.

Wahlumfragen wurden seit Mai durschnittlich jeden dritten bis vierten Tag veröffentlicht. Der Höhepunkt der Umfragen war mit 13 Umfragen im September – somit also fast jeden zweiten bis dritten Tag eine Umfrage. In den ersten zehn Tagen im Oktober wurden fünf Umfragen veröffentlicht, also jeden zweiten Tag eine.

Befragungsgrößen

Der Qualitätsstandard für Wahlumfragen in Österreich bei der Umfragegröße wurde vom VdMI mit 800 definiert. Jeweils 50 % der Umfragen lagen unter bzw. über der Befragungsgröße von n=800. Mit durchschnittlich 745 befragten Personen kommt man diesem Standard wieder ein kleines Stück näher: Im Vergleich mit vorangegangenen Umfragen zu Wahlen ist dieser Wert ständig am wachsen:

  • Gegenüber den Umfragen zur Wien Wahl 2017 gibt es eine Steigerung der durchschnittlichen Befragungsgröße von 182
  • +110 Befragte im Vergleich zum 1. Durchgang der Bundespräsidentenwahl 2017 und
  • +41 Befragte im Vergleich zum 2. Durchgang der BP-Wahl.

Vergleiche ich die Befragungsgrößen nach dem Qualitätskriterium unter bzw. über 800 Befragten, so zeigt sich ein spannendes Bild: Research Affairs/ÖSTERREICH liegt bei 14 von ihren insgesamt 16 Wahlumfragen unter der Befragungsgröße von n=800 – nur zwei Umfragen liegen darüber.

Angenommen, Wahlumfragen von Research Affairs in ÖSTERREICH würden eine Mindestgröße von 800 Befragten aufweisen. Dann käme die durchschnittliche Befragungsgröße aller 48 Wahlumfragen auf auf n=807 und 80 % der Umfragen (statt derzeit 50 %) wären über 800.

Qualität der Publikation von Wahlumfragen

neuwal bewertet die Qualität der Publizierungen einer Wahlumfrage an Hand von bis zu dreizehn Qualitätskriterien:

13 VdMI-Merkmale einer Wahlumfrage

  1. Name des Auftraggebers der Studie
  2. Name des durchführenden Institut
    Wird die Studie von mehreren Instituten gemeinsam durchgeführt bzw. Feldarbeit zugekauft, so sind alle beteiligten Institute mit den von ihnen ausgeführten Teilen der Studie anzuführen. Anmerkung: IMAS, IFES, GfK, Gallup, Spectra, OGM und Research Affairs haben eine eigene Feldarbeit. Unique research, Peter Hajek Strategies und SORA haben keine eigene Feldarbeit. Reiner „Onliner“ ist Meinungsraum.
  3. Genaue Beschreibung der Zielgruppe der Studie
  4. Befragungs-Methode (telefonisch, persönlich, mixed mode)
  5. Stichprobengröße
  6. Anzahl der Personen, die in der Sonntagsfrage eine Partei genannt haben (=Anzahl der Deklarierten)
  7. Schwankungsbreite auf Basis der Deklarierten in der Rohstichprobe
  8. Untersuchungszeitraum
  9. Genauer Wortlaut der Fragen (zu allen veröffentlichten Ergebnissen)

  10. Stichprobengrundlage (Daten-Basis)
  11. Stichproben-Methode
  12. Angewendete Gewichtungsverfahren
  13. Quotenplan

Zusätzliche Veröffentlichung der Methodenbeschreibung ehest möglich, aber jedenfalls innerhalb von 48 Stunden nach der Veröffentlichung in den Medien auf der eigenen Homepage

Bei der neuwal-Analyse werden folgende Punkte streng überprüft:

  1. Wie viel der neun ausgewählten Details werden in der Publikation in Medien veröffentlicht?
  2. Wie viel der dreizehn Details werden auf der Instituts-Webseite veröffentlicht?
  3. Zusätzlich wird in einem dritten Punkt evaluiert, ob diese Details den Qualitätskriterien entsprechen.

Werden alle Kriterien erfüllt, so entspricht die Wahlumfrage den VdMI-Richtlinien. Die Qualität wird bei neuwal für Medien und Institute an Hand einer Sternen-Skala gemessen. Dabei sind fünf Sterne das Maximum und null Sterne das Minimum.

1. Qualität auf Medienseite
Die Auswertung der Wahlumfragen zur Nationalratswahl auf Medienseite hat ergeben, dass es

  • wenig Medien gibt, die keine Details veröffentlichen, und dass es
  • wenig Medien gibt, die alle Details veröffentlichen.

Gut 70 % der Medien finden sich im Drei-Sterne- (21 Umfragen) und Vier-Sterne-Bereich (13). Nur bei drei Wahlumfragen wurden in Medien auch wirklich alle Details publiziert – auf der anderen Seite gibt es keine Wahlumfrage, bei der nicht weniger als ein Detail angegeben wurde. Das ist ein erstaunlicher Wert, da die Annahme gilt, dass Medien prinzipiell schlecht publizieren. Fazit: Medien publizieren Details, aber in den meisten Fällen nicht vollständig.

Die Qualität von Wahlumfragen wird bei neuwal.com an Hand von fünf Sternen gemessen: Fünf erhaltene Sterne bedeuten „sehr gut“, drei Sterne sind die Mitte, kein Stern ist „nicht genügend“. Die folgende Grafik zeigt nun, wie sich die 48 Wahlumfragen, die in Medien publiziert wurden, qualitativ auf der 5-Sterne-Skala aufteilen.

2. Qualität auf Institutsseite
Laut VdMI-Qualitätskriterien sollen dreizehn definierte Details zur Wahlumfrage auch auf der Webseite vom Institut publiziert werden. Der Sinn dahinter ist, dass sozusagen alle Details publiziert werden um die mediale Berichterstattung zu ergänzen und in die Qualität und Transparenz damit zu steigern. Auf Institutsseite gibt es ein komplett unterschiedliches Bild:

  • Exakt die Hälfte der Wahlumfragen werden auf Institutsseite mit Details publiziert –
  • die andere Hälfte nicht.

Dabei gibt es Institute, die sich bemühen, Umfragen so transparent wie möglich zu machen. Auf der anderen Seite verzichten Institute auf diese wichtige Publikation. Dieser Schritt der Transparenz ist allerdings notwendig um Wahlumfragen besser verstehen und interpretieren zu können.

Die folgende Grafik zeigt nun, wie sich die Qualität der Publikation auf Instituts-Webseiten auf der Fünf-Sterne-Skala aufteilt.

Vergleiche ich nun die Qualität der Publizierung der notwendigen Umfragedetails auf Medien- und Institutsseite, geht dieser Vergleich auf Basis der Gesamt-Sterne-Anzahl mit 150:116 klar zu Gunsten der Medien aus. Das heißt: Medien publizieren prinzipiell mehr Umfragedetails als Institute auf ihren Webseiten.

3. VdMI Qualitätskriterien

Nachdem die Qualität der Publikation in Medien und Instituten auf einer fünfteiligen Sternen-Skala analysiert wurde stellt sich noch die Frage, welche und vor allem wie viele Wahlumfragen zu 100 % den VdMI-Kriterien entsprechen.

Bei der VdMI-Analyse reicht nicht nur die alleinige Angabe der Kriterien. Die Kriterien müssen auch den VdMI-Anforderungen entsprechen und auf der eigenen Instituts-Webseite innerhalb von 48 Stunden veröffentlicht werden.

  • Umfragegröße mindestens 800
  • Keine Online-Umfrage
  • Angabe der deklarierten Personen
  • Angabe Schwankungsbreite auf Basis der deklarierten Personen
Beispiele:

  • Wenn die Umfragegröße bei einer Umfrage n=600 lautet, dann ist sie zwar auf Medien- oder Institutsseite angegeben, entspricht allerdings nicht den VdMI-Kriterien.
  • Wenn die Umfragedetails nicht auf der Instituts-Webseite veröffentlicht werden entspricht die Umfrage nicht den Qualitätskriterien und wird mit ‚0 Sternen‘ beurteilt.

Im Untersuchungszeitraum 1. Mai bis 10. Oktober 2017 sind es exakt 10 von 48 Wahlumfragen, die den VdMI-Qualitätskriterien entsprechen. Das sind ein Fünftel der in diesem Zeitraum publizierten Umfragen.

Die zehn Wahlumfragen, die zu 100 Prozent den VdMI-Qualitätskriterien entsprechen teilen sich auf fünf Institute auf.

An vorderster Stelle liegt das Institut Unique Research, das drei Umfragen für Heute zu 100 % auf Basis der VdMI-Kriterien erstellte. IMAS/Kronen Zeitung und Spectra/OÖN folgen dahinter mit jeweils zwei Top-Umfragen. IFES und GfK sind Institute, die von Parteien beauftragt werden. Auch hier schafft es IFES mit zwei und GfK mit einer Wahlumfrage ins Top-Wahlumfragen-Qualitäts-Ranking.

Nun sehen wir uns an, wie die durchschnittliche Qualität der Publikationen von Wahlumfragen auf Institutsseite im Zeitraum vor der Nationalratswahl ist. Dabei werden zusätzlich die VdMI-Qualitätskriterien berücksichtigt und mit Hilfe der 5-teiligen Sternen-Skala abgebildet.

Bei dieser Berechnung wird ersichtlich,

  • dass die Institute IFES, IMAS, Spectra alle ihre Publikationen mit allen notwendigen Details regelmäßig, vollständig, zeitgerecht und nach VdMI-Qualitätsstandard auf ihren Webseiten veröffentlichen.
  • Unique Research und Hajek veröffentlichen alle Details regelmäßig, vollständig und zeitgerecht auf ihren Webseiten allerdings entsprechen diese nicht immer zu 100 % den Qualitätskriterien.
  • GfK ist mit einem Durschnittswert von 2.7 in der Mitte des Rankings.
  • Research Affairs und OGM liegen im Durschnitt bei 1.5 bzw. einem Stern bezüglich der Qualität ihrer Publikationen.
  • Keine Sterne gibt es für AKonsult und Matzka, da es keine Publikation auf deren Instituts-Webseiten gibt.

Fazit: Die Institute IFES, IMAS, Spectra, Unique Research und Hajek bemühen sich sehr, die Umfragen auf Basis der VdMI-Qualitätskriterien zu entwickeln, umzusetzen und zu publizieren.

Zum Abschluss gibt es noch eine Übersicht der Dream-Teams bestehend aus Institut und Medium, die die qualitativ hochwertigsten Wahlumfragen publizieren. Dabei gibt es sechs hervorzuhebende Kooperationen:

  • Die Parteiumfragen von IFES, die Publikationen von IMAS in der Kronen Zeitung, Spectra in den Oberösterreichischen Nachrichten sowie Unique Research in Heute basieren auf qualitativ hochwertigen Umfragedetails und entsprechen den VdMI-Qualitätskriterien.
  • Hajek und ATV sowie Unique Research in profil werden qualitativ hochwertig generiert. Einzig die Befragungsgröße liegt hier unter der Anforderung von n=800.
  • Die Parteiumfragen von GfK werden nicht immer auf der Institutswebseite veröffentlicht sofern sie auch in Medien publiziert werden.
  • Die Wahlumfragen von Research Affairs/ÖSTERREICH sind reine Online-Umfragen und liegen unter 800 Befragten. Zusätzliche Angaben werden selten auf der eigenen Instituts-Webseite publiziert.
  • Die Umfragen von OGM/Kurier, Market/Der Standard, Matzka/News und AKonsult würden den Qualitätskriterien entsprechen, wenn sie zusätzlich auf ihren Instituts-Webseites vollständig angegeben werden.

Fazit
Die erste Analyse hat eine Überraschung ergeben. Nämlich, dass Medien gar nicht mal so wenige Umfragedetails publizieren und im Verhältnis zu Instituts-Webseiten doch mehr Details zeigen. Dieses Ergebnis wäre umgekehrt, wenn sich jedes Medium an die Qualitätskriterien halten bzw. zumindest die Details ihrer Umfrage auf der eigenen Webseite veröffentlichen würde. Eine Aufgabe, die sicherlich zu schaffen ist. Der Fingerzeig geht hier an den Umfrage-Platzhirsch „Research Affairs“, die hier viel für positive Weiterentwicklung sorgen können.

Positiv hervorzuheben ist die ständig wachsende Befragungsgröße: Mit jeder Wahl steigt auch der Durchschnittswert in kleinen Schritten. Für die größte Veränderung würde hier auch Research Affairs/ÖSTERREICH sorgen, wenn ihre Befragungsgröße von 600 auf 800 erweitert wird. Mit einem Drittel an Umfragen kann Research Affairs für eine positive Wende sorgen.

Dass dies möglich ist zeigt Unique Research und Heute. Diese Kooperation ist derzeitiger Maßstab bei der Publikation von Wahlumfragen. Gleich drei mal werden innerhalb eines halben Jahres die maximalen Sterne-Anzahlen vergeben: Publikation auf der Instituts-Webseite passt und alle Qualitätskriterien werden eingehalten.

The following two tabs change content below.
Digitaler und Politischer Entrepreneur - Der Weg zur Politischen Bildung führt bei neuwal über Onlinejournalismus und neuen Formaten. Ich liebe Digital, Medien, Politik und lebe den Digital Mindshift. Am liebsten setze ich für Medienunternehmen strategisch und operativ neue Formate und digitale Produkte um. 9 Jahre Führungspositionen im Bereich Global Digital Strategy in internationalen Konzernen - seit einigen Jahren selbständig in den Bereichen Digitale Transformation, Digitale Strategie, Media Strategy, Digitales Marketing, Innovation, Web-Technologie. Nebenbei Bike and Yoga. Making journalism and politics a better place.