von
   

Es ist ein ziemlich großer Meilenstein: Der VdMI, der Verband der Markt- und Meinungsforschungsinstitute Österreichs, hat es geschafft, eine gute Selektion an Qualitätskriterien für Institute zu erstellen. Seit 1. März 2017 gelten diese Kriterien auch bei der Evaluierung auf neuwal.com/wahlumfragen. Gemeinsam mit Karin Cvrtila, die beim VdMI für die Umsetzung dieser Qualitätskriterien zuständig ist, konnte ich die Evaluierung und Visualisierung auf neuwal.com umsetzen. Super Sache.

Beispiel: Aktuelle Wahlumfrage von Research Affairs/ÖSTERREICH vom 14.04.2017

Meinungsforscher wollen Qualität der Wahlforschung heben
In einjähriger Arbeit hat der Verband der Markt- und Meinungsforschungsinstitute Österreichs (VdMI) neue Regeln für Wahlumfragen erarbeitet.

[…]
Unterstützt wird die Initiative von der Online-Plattform neuwal.com, die regelmäßig Umfragen sammelt und ins Internet stellt. Neuwal wird künftig alle Sonntagsfrage-Ergebnisse einem VdMI-Richtlinien-Check unterziehen. Neuwal-Gründer Dieter Zirnig spricht von einem „wichtigen Schritt in Richtung mehr Transparenz“. Es muss nicht sein, dass eine Wahlumfrage damit treffsicherer wird, aber man sieht, was die Umfrage kann und was nicht. Laut Zirnig treffen 80 Prozent der Wahlumfragen die tatsächlichen Wahlergebnisse, wenn man die Schwankungsbreiten der Umfragen berücksichtigt.
[…]

kurier.at (14.04.2017)

Bewertet werden auf neuwal.com neuerdings drei unterschiedliche Ebenen: Und zwar – zusätzlich zum bisherigen Publikations-Check in Medien – nun auch die Institutsseite. Die VdMI-Qualitätskriterien sehen nämlich vor, dass Studienergebnisse innerhalb von 48 Stunden auch auf der Instituts-Webseite veröffentlicht werden sollen. Ein großer Vorteil, falls von Medien nicht alle Details zur Umfrage publiziert werden.

Die Evaluierung dieser Kriterien auf neuwal.com erfolgt mittels OK/Nicht-OK Methodik, bei der jedes  einzelne Qualitätskriterium sorgfältig überprüft wird.  Ein rotes Kreuz zeigt, dass das entsprechende Kriterium nicht erreicht wurde, ein grünes Häckchen bestätigt es. Dabei legt neuwal sehr viel Wert auf Visualisierung vom Ergebnis und zeigt  dies in einem eigenen Bereich sehr transparent auf. Wie gut die Publizierung auf Medien- oder Institutsseite ist, zeigt eine 5-Sterne-Skala. Dabei gilt: Je mehr Sterne, umso besser ist die Qualität. Und wenn wirklich alles passt, wenn mehr als 800 Personen befragt wurden, wenn die Schwankungsbreite der deklarierten Personen angegeben wurde und wenn die Methode passt, dann gibt es den Zusatz, dass die Umfrage den VdMI-Richtlinien entspricht.

Folgende Merkmale sind bei jeder veröffentlichten Studie von Institutsseite schriftlich zu dokumentieren und an den Auftraggeber, insbesondere an Medien weiterzugeben:

13 VdMI-Merkmale einer Wahlumfrage

  1. Name des Auftraggebers der Studie
  2. Name des durchführenden Institut
    Wird die Studie von mehreren Instituten gemeinsam durchgeführt bzw. Feldarbeit zugekauft, so sind alle beteiligten Institute mit den von ihnen ausgeführten Teilen der Studie anzuführen. Anmerkung: IMAS, IFES, GfK, Gallup, Spectra, OGM und Research Affairs haben eine eigene Feldarbeit. Unique research, Peter Hajek Strategies und SORA haben keine eigene Feldarbeit. Reiner „Onliner“ ist Meinungsraum.
  3. Genaue Beschreibung der Zielgruppe der Studie
  4. Befragungs-Methode (telefonisch, persönlich, mixed mode)
  5. Stichprobengröße
  6. Anzahl der Personen, die in der Sonntagsfrage eine Partei genannt haben (=Anzahl der Deklarierten)
  7. Schwankungsbreite auf Basis der Deklarierten in der Rohstichprobe
  8. Untersuchungszeitraum
  9. Genauer Wortlaut der Fragen (zu allen veröffentlichten Ergebnissen)

  10. Stichprobengrundlage (Daten-Basis)
  11. Stichproben-Methode
  12. Angewendete Gewichtungsverfahren
  13. Quotenplan
  14. Zusätzliche Veröffentlichung der Methodenbeschreibung ehest möglich, aber jedenfalls innerhalb von 48 Stunden nach der Veröffentlichung in den Medien auf der eigenen Homepage

Die Evaluierung auf neuwal.com erfolgt in drei Schritten.

Evaluierung und Visualisierung auf neuwal.com

  1. Publikations-Check in Medien
    Qualitätscheck, ob die neun definierten Elemente im Medium publiziert wurden. Primärquelle ist für neuwal das jeweilige Online-Medium. Dazu werden die Kriterien 1-9 verwendet.
  2. Publikations-Check auf Institutsseite
    48 Stunden nach Publikation im Medium werden die Studienergebnisse auf Institutsseite auf Basis der Publizierung aller Qualitätskriterien gecheckt. Wird die 48-Stunden-Frist nicht eingehalten, ist keine Evaluierung möglich und die Evaluierung ist negativ.
  3. VdMI-Check
    Letztlich wird überprüft, ob die Inhalte der Umfrage den VdMI-Kriterien entsprechen. Wenn der Qualitätscheck von Punkt 2 zu 100 % erfolgreich ist, werden die Inhalte evaluiert. Stimmen auch diese mit den Vorgaben überein, gibt es den Zusatz, dass die Umfrage den VdMI-Richtlinien entspricht.

Die VdMI-Kriterien basieren auf den 13 Merkmalen und definieren einige Inhaltsschwerpunkte. Dabei soll u.a. eine Mindestanzahl an befragten Personen gewährleistet sein, sowie die Anzahl der deklarierten Personen angegeben werden.

VdMI-Kriterien

  1. Mindestgröße des Samples: n=800
  2. Zulässige Methodik: CATI oder face-to- face Interviews oder mixed mode (Mischung aus CATI und/oder face-to- face und/oder online). Reine Online-Umfragen sind für eine Hochschätzung nicht geeignet.
  3. Ausweisen der Schwankungsbreite auf Basis der Deklarierten der Rohstichprobe
  4. Angabe der Fallzahlen der veröffentlichten Subgruppen
  5. die Stichprobe muss ein repräsentatives Abbild der Grundgesamtheit darstellen. Zu diesem Zweck sollen auch (Auffüllungs-)Quoten definiert werden, speziell auch differenzierte Quoten zur Bildung und Alter der Befragten)
  6. Ergebnisse der Hochschätzung sollen nicht mit Prozent-Kommastellen veröffentlicht werden (Ausnahme davon: Darstellung Schwankungsbreiten)

 

Mit diesen Qualitätskriterien kann erstmals besser nachvollzogen werden, mit welchen Methoden Institute arbeiten und weiters, ob Medien diese übermittelten Kriterien auch tatsächlich vollständig publizieren. Denn, nur,wenn alle Informationen in Bezug auf die Studie klar erkenntlich sind, kann diese richtig interpretiert werden.

Die erste Wahlumfrage, die nach den VdMI-Kriterien publiziert wurde, war bereits ein großer Erfolg (finde ich): Spectra publizierte in den Oberösterreichischen Nachrichten eine Umfrage zur Landtagswahl. Dabei wurden auf Medienseite 8 von 9 Qualitätskriterien publiziert. Spectra selbst publizierte 13 von 13 notwendigen Details der Wahlumfrage auf seiner Webseite. Damit konnten die Oberösterreichischen Nachrichten und Spectra gleich doppelt punkten: 4 Sterne für nachrichten.at und 5 Sterne sowie eine erste VdMI-Auszeichnung für Spectra.

Die VdMI-Kriterien im Detail

The following two tabs change content below.
Der Weg zur politischen Bildung führt bei neuwal über Onlinejournalismus und neuen Formaten. Ich liebe Digital, Medien, Politik und lebe den Digital Mindshift. Am liebsten setze ich für Medienunternehmen strategisch und operativ neue Formate und digitale Produkte um. 8 Jahre Führungspositionen im Bereich Global Digital Strategy in internationalen Konzernen - seit einigen Jahren selbständig in den Bereichen Digitale Transformation, Digitale Strategie, Media Strategy, Digitales Marketing, Innovation und Web-Technologie. Nebenbei Bike and Yoga. Making journalism and politics a better place.