Auf den ersten Blick scheinen Onlineumfragen eine effiziente und attraktive Methode zur Datenerhebung zu sein. Sie bieten eine schnelle, einfache und günstige Möglichkeit, einen großen Teilnehmerpool zu erreichen. Doch auch Onlineumfragen sind nicht frei von methodologischen Problemen. Insbesondere der Coverage Bias, der Non-Response Bias und der Self-Selection Bias führen oft zu unzureichender Datenqualität von freiwilligen Onlineumfragen. Dieser Blogeintrag beleuchtet die möglichen Gefahren durch die oben aufgeführten Biases, nennt mögliche Ansätze für eine Minimierung dieser Verzerrungen und stellt Onlinepanels sowie Umfragenetzwerke als effektive Alternative für internetbasierte empirischen Forschungsprojekte heraus.
Das Internet hat in die Prozesse der sozialwissenschaftlichen Datenerhebung Einzug gehalten. Besonderer Beliebtheit erfreuen sich dabei Onlineumfragen, was verständlich ist, liegen ihre Vorteile doch vermeintlich auf der Hand: Nicht nur ersparen sie Forscher bei der Erstellung des Fragebogens viel Zeit und Geld, sondern erleichtern auch die Auswertung des erhaltenen Datensatzes. Zu befürchten ist allerdings, dass diese Vorteile mit geringerer Datenqualität erkauft werden.
Zunächst: Wie werden Umfrageteilnehmer typischerweise gefunden? Eine bevölkerungsrepräsentative Teilnehmergruppe zu erhalten ist für den Ersteller der Umfrage extrem zeitaufwändig und schwer zu erreichen. Die typischen Medien zur Suche nach Umfrageteilnehmern sind das Teilen der Umfrage auf sozialen Netzwerken, Einladung per Emailverteiler und die direkte Teilnahme von Familie und Freunde des Umfrage-Erstellers.
Entsprechend sind drei Arten der Datenverzerrung bei Onlineumfragen besonders evident:
Coverage Bias
Der Coverage Bias beschreibt eine potenzielle Verzerrung im Datensatz. Diese Verzerrung kann entstehen, wenn die per Befragung erreichbare Population nicht der Grundgesamtheit entspricht. So werden Onlineumfragen typischerweise über die oben aufgeführten Medien an den Bekanntenkreis des Erstellers geteilt. Wenn bei einer Hochrechnung allerdings Aussagen über die Gesamtbevölkerung getroffen werden sollen, also auch über Menschen, die nicht aus dem unmittelbaren Umfeld des Umfrage-Erstellers kommen, dann kann bei systematischen Abweichungen bestimmter Merkmale ein Coverage Bias die Folge sein.
Non-Response Bias
Der Non-Response Bias bezeichnet in der Marktforschung eine Verzerrung des Ergebnisses, die dadurch entsteht, dass Antwortende andere Antworten geben als diejenigen geben würden, die nicht geantwortet haben. Gerade in den sozialen Medien existiert eine hohe Rate an non-respondents, die das Datenset verfälschen können.
Self-Selection Bias
Der Self-Selection Bias ist eine Verzerrung, die bei Non-Probability Samples auftritt, also wenn eine Person selbst entscheiden kann, ob sie an einer Umfrage teilnimmt. Klassische Onlineumfragen laufen fast ausschließlich über self-selection der Teilnehmer. Wenn sich die zur Teilnahme motivierten Personen in ihrer Meinung systematisch von der Zielpopulation unterscheiden, dann können Hochrechnungen für die Gesamtpopulation verzerrt werden.
Darüber hinaus gibt es weitere Schwierigkeiten bei Onlineumfragen, welche Forschungsprojekte erheblich behindern und verzerren können, wie beispielsweise das Problem einer hohen Abbruchrate sowie Mehrfachbeantwortungen.
Was sind Lösungsansätze für eine Erreichung repräsentativer Ergebnisse?
Statistische Verfahren
Eine Möglichkeit bieten statistische Methoden, mit dessen Hilfe die Verzerrungen ausgeglichen und so ein repräsentativeres Ergebnis erreicht werden kann. Oversampling, Multiple-Site-Entry, Quota Sampling und Gewichtungsverfahren sind Lösungen, die repräsentativere Ergebnisse ermöglichen.
Umfragenetzwerke / Onlinepanels
Eine simplere und oft effektivere Variante stellen Onlinepanels oder Umfragenetzwerke wie PollPool dar. PollPool basiert auf einem einfachen sharing-economy Konzept, das die Teilnehmerfindung zeiteffizient und selbstbestimmt macht und zeitgleich zu statistisch besseren Ergebnissen führt. Umfrage-Ersteller beantworten dabei selbst vorhandene Umfragen auf der Plattform und erhalten dadurch Antworten auf die eigene Umfrage. Sämtliche Benutzer auf PollPool sind so Umfrageteilnehmer und die Plattform entgegnet durch ihre Struktur den typischen statistischen Verzerrungen:
Durch eine breite, heterogene und länderübergreifende Benutzerbasis kommt es zu keinem Coverage Bias der Umfrageteilnehmer. Die Notwendigkeit, andere Umfragen auf der Plattform beantworten zu müssen, eliminiert den Non-Response Bias und minimiert dabei auch den Self-Selection Bias. Abbruchraten existieren auf diesen Plattformen aufgrund des Anreizsystems nicht, und Mehrfachbeantwortungen sind systemseitig unterbunden.
Während sich bei frei im Internet distribuierten Umfragen vor allem durch Coverage und Self-Selection Bias verursachte Probleme ergeben und die Zusammenstellung eines repräsentativen Email- oder Postverteilers extrem zeitaufwändig ist, ist die Nutzung eines Umfragenetzwerks für die Teilnehmerfindung eine der hochrangigsten Arten der internetbasierten empirischen Forschung und führt zu den statistisch besten Ergebnissen, wie nachfolgend illustriert.
Es bleibt dem Forscher selber überlassen, ob er den statistischen Problemen der Onlineumfragen über statistische Korrekturen oder Umfragenetzwerke entgegnet – solange dieser sich der möglichen statistischen Verzerrungen seines Datensets bewusst ist!
Literaturverzeichnis
Bethlehem, J. (2010). Selection Bias in Web Surveys. International Statistical Review, 78(2), 161-188.
Bosnjak, M., & Tuten, T. L. (2003). Prepaid and Promised Incentives in Web Surveys. Social Science Computer Review, 21(2), 208-217.
Couper, M. P. (2000). Web Surveys – A Review of Issues and Approaches. Public Opinion Quarterly, 64, 464-494.
Hauptmanns, P., & Lander, B. (2003). Zur Problematik von Internet-Stichproben. Wiesbaden: Springer Fachmedien.
Kutsch, H. B. (2007). Repräsentativität in der Online-Marktforschung. Köln: Josef Eul Verlag GmbH.
Theobald, A. (2000). Das World Wide Web als Befragungsinstrument. Wiesbaden: Springer.
Theobald, A., Dreyer, M., & Starsetzki, T. (2003). Reliabilität und Validität in der Online-Forschung. Wiesbaden: Gabler Verlag.
