Der Glücksspielatlas bezieht seine Daten aus einer Studie der Universität Bremen, für die rund 12.000 Menschen zu ihrem Glücksspielverhalten befragt wurden. Dieser sogenannte „Glücksspiel-Survey“ wird alle zwei Jahre durchgeführt; bis zum Jahr 2019 war dafür die Bundeszentrale für gesundheitliche Aufklärung (BzgA) zuständig. Mit der Vergabe an die Bremer Suchtforscher stiegen die geschätzten Zahlen der Menschen mit Glücksspielproblemen dramatisch an.
Methodische Änderungen und ihr Einfluss auf die Ergebnisse
Was jedoch kaum thematisiert wird, ist die Abhängigkeit der Befragungsergebnisse von der Befragungsmethodik. Nach 2019 wechselte nicht nur der Auftragnehmer der Studie, sondern auch die verwendeten Fragebögen und die Art, wie die Befragten interviewt wurden. Die Befragung der BzgA war eine rein telefonische Erhebung, mittlerweile werden die Teilnehmer telefonisch und online befragt.
Unter den telefonisch Befragten findet der Glücksspiel-Survey insgesamt 0,4 Prozent mit leichter, mittlerer oder schwerer Glücksspielstörung, entsprechend den Kriterien des Diagnose-Instruments DSM-V. Unter den online Befragten sind es hingegen insgesamt 6,2 Prozent. Auch bei anderen Merkmalen, wie der Glücksspielteilnahme an sich, dem riskanten Alkoholkonsum oder bei psychischen Belastungen, gibt es Unterschiede, die allerdings nicht so stark ausgeprägt sind. Hinzu kommt, dass es sich bei der Onlinebefragung im Grunde um drei einzelne Erhebungen handelt, die möglicherweise unterschiedliche Zielgruppen erreicht haben. Der Glücksspiel-Survey macht dazu keine näheren Angaben, aber im irischen Glücksspiel-Survey variierte der Anteil der Menschen mit Glücksspielstörungen zwischen den Online-Panels statistisch signifikant zwischen 1,7 und 5,9 Prozent.
Herausforderung „Repräsentativität“
Es ist bekannt, dass sich online Befragte erheblich von der Durchschnittsbevölkerung unterscheiden. Auch telefonisch Befragte müssen nicht zwingend repräsentativ für die interessierende Grundgesamtheit sein. In beiden Fällen können Selektionsfehler vorliegen, weil die teilnehmenden Personen eben kein getreues Abbild der Bevölkerung darstellen. Leider gilt aber nicht einfach, dass die Wahrheit in der Mitte liegt – getreu dem alten Witz, dass der Hase schon tot sein wird, wenn der Jäger einmal links und einmal rechts vorbeischießt.
Hohe Ausfallquote: Risiko durch „Nonresponse“
Erschwerend kommt hinzu, dass über 80 Prozent der Befragten im Glücksspiel-Survey 2023 gar nicht geantwortet haben. Dieser sogenannte „Nonresponse“ birgt ein hohes Risiko, verzerrte Ergebnisse zu erhalten, die keine belastbaren Schlüsse mehr auf die Bevölkerung zulassen. Daher fordern seriöse wissenschaftliche Fachzeitschriften, Nonresponse zu kontrollieren und seine möglichen Auswirkungen zu evaluieren. In einer Übersichtsarbeit zur Glücksspiel-Prävalenzforschung, die vor wenigen Wochen in „The Lancet Public Health“ veröffentlicht wurde, zählt der Umgang mit dem Nonresponse zu den Bewertungskriterien. Der Glücksspiel-Survey wurde in dieser Übersichtsarbeit als methodisch besonders gut bewertet. Das ist insofern überraschend, als die potenziellen Auswirkungen von Nonresponse im Survey überhaupt nicht untersucht, sondern schlicht ignoriert wurden.
Aus dem gleichen Grund, dem unzureichenden Umgang mit möglichen Selektionsfehlern und Nonresponse, kam eine offizielle Evaluation des britischen Glücksspiel-Surveys zum Schluss, dass die Daten nur als „experimentell“ angesehen werden dürfen und mit großer Vorsicht behandelt werden sollten. Eine solche kritische Bewertung der Daten findet in der deutschen Politik bislang kaum statt.
Fazit: statistische Expertise unerlässlich für evidenzbasierte Politik
Leider fehlt in vielen Medien, aber auch in der Politik das Bewusstsein dafür, wie herausfordernd es ist, repräsentative Daten zu gewinnen. Nur weil Studien auf großen Stichproben beruhen, bedeutet das noch lange nicht, dass sie korrekte Ergebnisse liefern. Wenn diese Ergebnisse aber den Kreis der Wissenschaft verlassen und zur Unterstützung politischer Entscheidungen herangezogen werden, bedarf es einer sorgfältigen Qualitätskontrolle, die in vielen Fällen nicht gegeben ist. Diese Kontrolle erfordert tiefgehende Kompetenzen im Fachgebiet der sogenannten Survey-Statistik, die in der Regel nur bei entsprechenden Experten vorhanden ist. Wenn die Politik also Studien in Auftrag gibt oder als Grundlage für evidenzbasierte Maßnahmen nutzt, sollte sie darauf achten, dass neben der Fachexpertise – hier im Bereich der Suchtforschung – auch die statistische Expertise garantiert ist.
Anmerkung:
Einen leichten Einstieg in typische Fehler, die bei Befragungen passieren können, gibt das neue Webinar „Aus Flops lernen“ aus der Reihe „Understanding Data“. Diese Initiative zweier großer Marktforschungsverbände hat sich zum Ziel gesetzt, die Datenkompetenz in der Branche wie auch der Bevölkerung insgesamt zu verbessern. Im Beitrag „Aus Flops lernen“ geben die Unstatistik-Autorin Katharina Schüller und Dr. Silke Borgstedt anhand zahlreicher Praxisbeispiele Tipps für den verantwortungsbewussten Umgang mit Daten und Statistik.
Keine Kommentare:
Kommentar veröffentlichen