Die große Herausforderung: Die Datenqualität
Dies ist Teil 7 unseres Guides zur perfekten Umfrage.
Leider sind auch Onlineumfragen nicht frei von methodologischen Problemen. Insbesondere der Coverage Bias, der Non-Response Bias und der Self-Selection Bias führen oft zu unzureichender Datenqualität von freiwilligen Onlineumfragen. Wir möchten Euch die möglichen Gefahren durch die oben aufgeführten Biases erklären, mögliche Ansätze für eine Minimierung dieser Verzerrungen nennen und Euch die Vorteile von Onlinepanels und Umfragenetzwerken als effektive Alternative für internetbasierte empirischen Forschungsprojekte darstellen.
Die typischen Medien zur Suche nach Umfrageteilnehmern sind das Teilen der Umfrage auf sozialen Netzwerken, Einladung per Emailverteiler und die direkte Teilnahme von Familie und Freunde des Umfrage-Erstellers. Entsprechend sind drei Arten der Datenverzerrung bei Onlineumfragen besonders zu beobachten:
Coverage Bias
Der Coverage Bias beschreibt eine potenzielle Verzerrung im Datensatz. Diese Verzerrung kann entstehen, wenn die per Befragung erreichbare Population nicht der Grundgesamtheit entspricht. So werden Onlineumfragen typischerweise über die oben aufgeführten Medien an den Bekanntenkreis des Erstellers geteilt. Wenn bei einer Hochrechnung allerdings Aussagen über die Gesamtbevölkerung getroffen werden sollen, also auch über Menschen, die nicht aus dem unmittelbaren Umfeld des Umfrage-Erstellers kommen, dann kann bei systematischen Abweichungen bestimmter Merkmale ein Coverage Bias die Folge sein.
Non-Response Bias
Der Non-Response Bias bezeichnet in der Marktforschung eine Verzerrung des Ergebnisses, die dadurch entsteht, dass Antwortende andere Antworten geben als diejenigen geben würden, die nicht geantwortet haben. Gerade in den sozialen Medien existiert eine hohe Rate an non-respondents, die das Datenset verfälschen können.
Self-Selection Bias
Der Self-Selection Bias ist eine Verzerrung, die bei Non-Probability Samples auftritt, also wenn eine Person selbst entscheiden kann, ob sie an einer Umfrage teilnimmt. Klassische Onlineumfragen laufen fast ausschließlich über self-selection der Teilnehmer. Wenn sich die zur Teilnahme motivierten Personen in ihrer Meinung systematisch von der Zielpopulation unterscheiden, dann können Hochrechnungen für die Gesamtpopulation verzerrt werden.
Darüber hinaus gibt es weitere Schwierigkeiten bei Onlineumfragen, welche Forschungsprojekte erheblich behindern und verzerren können, wie beispielsweise das Problem einer hohen Abbruchrate sowie Mehrfachbeantwortungen.
Was also tun, um repräsentative Ergebnisse zu erreichen?
Statistische Verfahren
Eine Möglichkeit zur Abhilfe bieten statistische Methoden, mit dessen Hilfe die Verzerrungen ausgeglichen und so ein repräsentativeres Ergebnis erreicht werden kann. Oversampling, Multiple-Site-Entry, Quota Sampling und Gewichtungsverfahren sind Lösungen, die repräsentativere Ergebnisse ermöglichen.
Umfragenetzwerke / Onlinepanels
Eine simplere und oft effektivere Variante stellen Onlinepanels oder Umfragenetzwerke wie PollPool dar. PollPool basiert auf einem einfachen sharing-economy Konzept, das die Teilnehmerfindung zeiteffizient und selbstbestimmt macht und zeitgleich zu statistisch besseren Ergebnissen führt. Umfrage-Ersteller beantworten dabei selbst vorhandene Umfragen auf der Plattform und erhalten dadurch Antworten auf die eigene Umfrage. Sämtliche Benutzer auf PollPool sind so Umfrageteilnehmer und die Plattform entgegnet durch ihre Struktur den typischen statistischen Verzerrungen:
Durch eine breite, heterogene und länderübergreifende Benutzerbasis kommt es zu keinem Coverage Bias der Umfrageteilnehmer. Die Notwendigkeit, andere Umfragen auf der Plattform beantworten zu müssen, eliminiert den Non-Response Bias und minimiert dabei auch den Self-Selection Bias. Abbruchraten werden auf diesen Plattformen aufgrund des Anreizsystems reduziert, und Mehrfachbeantwortungen sind systemseitig unterbunden.
Tipp: Während sich bei frei im Internet distribuierten Umfragen vor allem durch Coverage und Self-Selection Bias verursachte Probleme ergeben und die Zusammenstellung eines repräsentativen Email- oder Postverteilers extrem zeitaufwändig ist, ist die Nutzung eines Umfragenetzwerks für die Teilnehmerfindung eine der einfachsten und effizientesten Arten der internetbasierten empirischen Forschung und kann zu den statistisch hochwertigsten Ergebnissen führen.
