Die
Unstatistik des Monats Oktober ist der unkritische Umgang zahlreicher
Medien mit dem „Glücksspielatlas Deutschland 2023“. Basierend auf einer
dpa-Meldung vom 25. Oktober 2024 schreiben beispielsweise Tagesschau.de
und Zeit.de: „Demnach
haben etwa 1,3 Millionen Menschen eine Störung durch Glücksspiele,
weitere drei Millionen Menschen haben ein problematisches
Glücksspielverhalten.“
Der Glücksspielatlas
bezieht seine Daten aus einer Studie der Universität Bremen, für die
rund 12.000 Menschen zu ihrem Glücksspielverhalten befragt wurden.
Dieser sogenannte „Glücksspiel-Survey“
wird alle zwei Jahre durchgeführt; bis zum Jahr 2019 war dafür die
Bundeszentrale für gesundheitliche Aufklärung (BzgA) zuständig. Mit der
Vergabe an die Bremer Suchtforscher stiegen die geschätzten Zahlen der
Menschen mit Glücksspielproblemen dramatisch an.
Methodische Änderungen und ihr Einfluss auf die Ergebnisse
Was
jedoch kaum thematisiert wird, ist die Abhängigkeit der
Befragungsergebnisse von der Befragungsmethodik. Nach 2019 wechselte
nicht nur der Auftragnehmer der Studie, sondern auch die verwendeten
Fragebögen und die Art, wie die Befragten interviewt wurden. Die
Befragung der BzgA war eine rein telefonische Erhebung, mittlerweile
werden die Teilnehmer telefonisch und online befragt.
Unter den
telefonisch Befragten findet der Glücksspiel-Survey insgesamt 0,4
Prozent mit leichter, mittlerer oder schwerer Glücksspielstörung,
entsprechend den Kriterien des Diagnose-Instruments DSM-V. Unter den
online Befragten sind es hingegen insgesamt 6,2 Prozent. Auch bei
anderen Merkmalen, wie der Glücksspielteilnahme an sich, dem riskanten
Alkoholkonsum oder bei psychischen Belastungen, gibt es Unterschiede,
die allerdings nicht so stark ausgeprägt sind. Hinzu kommt, dass es sich
bei der Onlinebefragung im Grunde um drei einzelne Erhebungen handelt,
die möglicherweise unterschiedliche Zielgruppen erreicht haben. Der
Glücksspiel-Survey macht dazu keine näheren Angaben, aber im irischen Glücksspiel-Survey
variierte der Anteil der Menschen mit Glücksspielstörungen zwischen den
Online-Panels statistisch signifikant zwischen 1,7 und 5,9 Prozent.
Herausforderung „Repräsentativität“
Es
ist bekannt, dass sich online Befragte erheblich von der
Durchschnittsbevölkerung unterscheiden. Auch telefonisch Befragte müssen
nicht zwingend repräsentativ für die interessierende Grundgesamtheit
sein. In beiden Fällen können Selektionsfehler vorliegen, weil die
teilnehmenden Personen eben kein getreues Abbild der Bevölkerung
darstellen. Leider gilt aber nicht einfach, dass die Wahrheit in der
Mitte liegt – getreu dem alten Witz, dass der Hase schon tot sein wird,
wenn der Jäger einmal links und einmal rechts vorbeischießt.
Hohe Ausfallquote: Risiko durch „Nonresponse“
Erschwerend
kommt hinzu, dass über 80 Prozent der Befragten im Glücksspiel-Survey
2023 gar nicht geantwortet haben. Dieser sogenannte „Nonresponse“ birgt
ein hohes Risiko, verzerrte Ergebnisse zu erhalten, die keine
belastbaren Schlüsse mehr auf die Bevölkerung zulassen. Daher fordern
seriöse wissenschaftliche Fachzeitschriften, Nonresponse zu
kontrollieren und seine möglichen Auswirkungen zu evaluieren. In einer
Übersichtsarbeit zur Glücksspiel-Prävalenzforschung, die vor wenigen
Wochen in „The Lancet Public Health“
veröffentlicht wurde, zählt der Umgang mit dem Nonresponse zu den
Bewertungskriterien. Der Glücksspiel-Survey wurde in dieser
Übersichtsarbeit als methodisch besonders gut bewertet. Das ist insofern
überraschend, als die potenziellen Auswirkungen von Nonresponse im
Survey überhaupt nicht untersucht, sondern schlicht ignoriert wurden.
Aus dem gleichen Grund, dem unzureichenden Umgang mit möglichen Selektionsfehlern und Nonresponse, kam eine offizielle Evaluation des britischen Glücksspiel-Surveys
zum Schluss, dass die Daten nur als „experimentell“ angesehen werden
dürfen und mit großer Vorsicht behandelt werden sollten. Eine solche
kritische Bewertung der Daten findet in der deutschen Politik bislang
kaum statt.
Fazit: statistische Expertise unerlässlich für evidenzbasierte Politik
Leider
fehlt in vielen Medien, aber auch in der Politik das Bewusstsein dafür,
wie herausfordernd es ist, repräsentative Daten zu gewinnen. Nur weil
Studien auf großen Stichproben beruhen, bedeutet das noch lange nicht,
dass sie korrekte Ergebnisse liefern. Wenn diese Ergebnisse aber den
Kreis der Wissenschaft verlassen und zur Unterstützung politischer
Entscheidungen herangezogen werden, bedarf es einer sorgfältigen
Qualitätskontrolle, die in vielen Fällen nicht gegeben ist. Diese
Kontrolle erfordert tiefgehende Kompetenzen im Fachgebiet der
sogenannten Survey-Statistik, die in der Regel nur bei entsprechenden
Experten vorhanden ist. Wenn die Politik also Studien in Auftrag gibt
oder als Grundlage für evidenzbasierte Maßnahmen nutzt, sollte sie
darauf achten, dass neben der Fachexpertise – hier im Bereich der
Suchtforschung – auch die statistische Expertise garantiert ist.
Anmerkung:
Einen leichten Einstieg in typische Fehler, die bei Befragungen passieren können, gibt das neue Webinar „Aus Flops lernen“ aus der Reihe „Understanding Data“.
Diese Initiative zweier großer Marktforschungsverbände hat sich zum
Ziel gesetzt, die Datenkompetenz in der Branche wie auch der Bevölkerung
insgesamt zu verbessern. Im Beitrag „Aus Flops lernen“ geben die
Unstatistik-Autorin Katharina Schüller und Dr. Silke Borgstedt anhand
zahlreicher Praxisbeispiele Tipps für den verantwortungsbewussten Umgang
mit Daten und Statistik.