Der PollPool-Guide zur perfekten Umfrage (5/10): Fragedesign

‍

Dies ist Teil 5 unseres Guides zur perfekten Umfrage.

‍

Onlineumfragen erleichtern die empirische Forschung erheblich. Sie ziehen jedoch auch neue Verhaltensmuster der Probanden mit sich, welche die Datenqualität erheblich beeinträchtigen können. PollPool erklärt die wesentlichen Biases und zeigt, wie man diesen vorbeugen kann.

Antworttendenzen

Antworttendenzen beschreiben das Verhalten von Interview- oder Befragungsteilnehmern mit einer starken Tendenz in (k)eine bestimmte Richtung zu antworten. Dies betrifft vor allem die

  • „Tendenz zur Mitte“, bei welcher die Teilnehmer bei der Beantwortung immer ein mittlere Position (teils, weder-noch, …) ankreuzen sowie die
  • „Ja-Sage-Tendenz“ (Akquieszenz) und die „Nein-Sage-Tendenz“ bei der unabhängig von der Frage immer auf „ja“ bzw. „nein“ respektive den entsprechenden Skalenwert geklickt wird.

Bei der Zustimmungsfrage „Die Webseite gefällt mir“ wird also nicht nur gemessen wie sehr die Webseite einer Person tatsächlich gefällt, sondern auch deren individuelle Tendenz, stets eher ja oder nein zu sagen oder sich lieber gar nicht festzulegen.

Das Problem: Antworttendenzen führen immer zu systematischen Fehlern in den Erhebungsdaten

Durchklicker

Durchklicker, Speeder oder auch Lurker (von to lurk: lauern, schleichen), sind hingegen Befragungsteilnehmer, die sich unabhängig vom Inhalt der Befragung „einfach irgendwie“ durch die Befragung klicken, weil sie diese einfach nur schnell beenden möchten, um das beworbene Incentive bzw. die Vergütung zu erhalten. Auch sie können zu Verzerrungen der Daten führen. Teilweise ist bei den Durchklickern ein Muster zu erkennen, weil sie z. B. immer ganz links, ganz rechts oder diagonal klicken. Dies ist aber nicht immer der Fall.

Lösungsansätze:

  • Skala bewusst wählen: Bei einer Skala mit gerader Anzahl an Skalenpunkten und einem Mittelwert kann beispielsweise mit der Skalenlänge gearbeitet werden: So kann bei einer 7-stufigen Skala teils besser differenziert werden als bei einer 5-stufigen Skala, was der Tendenz zur Mitte entgegenwirkt. Denn ich bin vielleicht eher bereit eine schlechte (oder gute) Tendenz zu äußern, wenn daneben noch zwei extremere Werte stehen, als wenn ich das Gefühl habe, dass der zu Verfügung stehende Wert für meine Einstellung eigentlich zu stark ist – und ich mich dann lieber für die Mitte entscheide.
    Zudem, und das ist vor allem wichtig, sollte i.d.R. eine „weiß nicht“ Option eingebunden werden. Dies vermeidet, dass Probanden, die eine Frage nicht beantworten können oder wollen, auf die Mitte der Skala ausweichen.
  • Skalen drehen (nicht empfehlenswert): Als weiterer Lösungsansatz wird manchmal diskutiert, die negativen/positiven Pole einer Skala zu drehen, um den Probanden „auf Trab“ zu halten oder zu kontrollieren. Dies ist jedoch eine schlechte Idee, denn Befragungsteilnehmer lernen recht schnell wie die Skalen gepolt sind und achten im weiteren Umfrageverlauf nicht mehr auf etwaige Beschriftungen. Das Ergebnis: Wenn sie zustimmen wollen, klicken sie dorthin wo sie es gelernt haben (links oder rechts), was nach einer Drehung der Skala dann einen kontroversen und komplett falschen Erhebungswert mit sich führt.
  • Kontrollfragen und Negativformulierungen: Einen ähnlichen und weit effektiveren Ansatz, um die Aufmerksamkeit des Teilnehmers zu erhalten und eventuelle Tendenzen zu erkennen, bietet die Formulierung der einzelnen Fragen bzw. die Einbindung von semantisch gedrehten, negativ formulierten zusammenhängenden Fragen wie z. B. „Ich bin mit dem Onlineshop zufrieden“ & „Ich wünsche mir Änderungen an dem Onlineshop“ sowie von gleichbedeutenden Fragen wie z. B. „Die Seite ist einfach zu bedienen“ & „Die Handhabung der Webseite ist kompliziert“. Stimmen Teilnehmer hier jeweils mit Extremwerten derselben Richtung zu, deutet dies auf eine einseitige Antworttendenz hin.
    Aber Achtung, auch hier ist mit Bedacht zu handeln: Zu viele Wechsel irritieren den Teilnehmer, kosten zu viel kognitiven Aufwand und erhöhen somit die Abbruchrate. Und: Bei zusammenhängenden Fragen kann auch trotz gleicher Tendenz die Antwort bewusst gewählt sein, z.B. wenn ich zwar mit dem Onlineshop zufrieden bin, weil er grundsätzlich meine Bedürfnisse befriedigt, ich mir aber trotzdem Änderungen wünschen würde, z. B. in der Farbe o.Ä.
  • Reine Kontrollfragen mit derselben Ausrichtung dienen vor allem dazu, die oben beschriebenen Lurker zu identifizieren, also Personen die zwar keine klare Tendenz aufweisen, sich aber einfach beliebig durch den Bogen klicken. Ein Bespiel für eine solche Zustimmungsfrage wäre: „Ich kaufe gerne online ein“ und „Online einkaufen macht mir Spaß“. Auch hier ist mit Bedacht abzuwägen, ob sich der Aufwand lohnt, denn zu viele Redundanzen irritieren den Probanden, erhöhen die Abbruchquote und können der Intention sogar entgegenwirken, indem der Teilnehmer die Befragung irgendwann nicht mehr ernst nimmt.

‍

Tipp: Die Verwendung von Kontrollfragen ist meist nicht nötig, denn Antworttendenzen können im Datensatz erkannt und bereinigt werden. Gerade die Bereinigung der Lurker ist über den Datensatz ganz einfach über die Bearbeitungsdauer möglich, denn diese beantworten den Fragebogen in der Regel viel zu schnell. Dieser Qualitätscheck ist bei PollPool bereits eingebaut und Lurker werden bereits bei Beantwortung identifiziert und sanktioniert. Die Einbindung einer negativ formulierten Kontrollfrage bietet jedoch zusätzliche Sicherheit, sprengt auch den Fragebogenumfang in der Regel nicht und ermöglicht zusätzliche Plausibilitätschecks – damit der Datensatz auch tatsächlich valide Ergebnisse liefert.

‍