Fieberhafte Forschung - Warum Forschung derzeit wenig verlässlich ist und was wir dagegen tun können - OSC LMU München 14. Mai 2020 Katrin Auspurg ...
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Fieberhafte Forschung –
Warum Forschung derzeit wenig verlässlich
ist und was wir dagegen tun können
OSC LMU München
14. Mai 2020
Katrin Auspurg
Institut für Soziologie, LMU München
1. Anzeichen für überhitzte Forschung
Aufbau • Medizin
• Soziologie/Sozialwissenschaften
2. Mögliche Auswege
• Modelle und Daten
• Open Science
• Schnelle Forschung!
Forschung, wenn • z.B. Studie Homolak et al. (2020):
Corona ist… Mittlere Anzahl Tage Einreichung Aufsatz Publikation
(Journals mit mind. 5 COVID19 Publikationen)
55
50
45
40
35
30
25
20
15
10
Median
5
5 Tage
0
Aufsätze zu Aufsätze Dez'18-
COIVD 19 März'19
• Schnelle Forschung!
Forschung, wenn • z.B. Studie Homolak et al. (2020):
Corona ist… Mittlere Anzahl Tage Einreichung Aufsatz Publikation
(Journals mit mind. 5 COVID19 Publikationen)
55
50
Median
45 49 Tage
40
35
30 10x so
schnell
25
20
15
10
Median
5
5 Tage
0
Aufsätze zu Aufsätze Dez'18-
COIVD 19 März'19
• Wenig verlässliche Forschung
Forschung, wenn
Corona ist… Langsam
Dauer in Tagen
Aussetzung
Qualitätsstandards
„rapid studies“
„rapid“ or „no review“
…
Schnell
Fehler, Bias Verlässlich
Gründlichkeit• Wenig verlässliche Forschung
Forschung, wenn
Corona ist… Langsam
Dauer in Tagen
Schnell
Fehler, Bias Verlässlich
Gründlichkeit
• 10 mal so schnell bedeutet auch:
Forschende publizieren 10x so viel in der gleichen Zeit• Rasanter • COVID-19 Evidence Navigator Zuwachs an (https://gruenwald.shinyapps.io/covid19-evi/) Papieren
• Berg von Forschung ist kaum mehr überschaubar
Hinweise auf • Derzeit > 63,000 Paper zu COVID19/Coronaviren
(https://www.semanticscholar.org/cord19)
Überhitzung und
• Suche nach „Sinn“ mit KI von Google etc.
Verzerrungen
• Meta-Analysen und Reviews helfen kaum weiter
(Yu et al.: Assessment of the quality of systematic reviews on COVID-19: A comparative
study of previous coronavirus outbreaks. J Med Virol. 2020 Apr 17. doi: 10.1002/jmv.25901)
• Fehlerhafte Studien im Umlauf
• Bereits einige Retractions oder Beanstandungen
z.B. Studie zu Hydroxylchoroquine
(s. „Retraction Watch“)
• Studien haben oftmals gleichwohl Impact
npr/ Kevin Dietsch/UPI/Bloomberg via Getty ImagesKooperationsbereitschaft
(Einhaltung Normen etc.)
Und in der
Soziologie? Ansteckungsrisiken
111
(Netzwerke etc.) Soziale Folgen
(Ungleichheit,
Polarisierung etc.)
2
Meta-Forschung
• Etliche relevante Forschungsfelder
• Starke (Medien-)Präsenz
• Aber auch stark überhastet und wenig verlässlich?
Meta-Forschung nötig• Allgemeine (Welt-)Anschauungen
– Zu allen möglichen Themen
I. - Oktoberfest, Resonanz mit Möbeln, …
„Armchair Sociologists“ • Sehr vage: alles ist möglich?
– „im Bereich des Möglichen“
– Etliche gegensätzliche Thesen, etwa:
- Keine Stunde der Populisten
- Populismus nimmt zu
– Irgendwer wird schon Recht haben…
• Wissenschaftliches Fundament unklar
– Fehlende Transparenz
– Reine Spekulation? Wunschdenken? Ansicht?
Ap 04.2020
• Unzuverlässig und gar kontraproduktiv!
– Für Politikempfehlungen zu vage
– Falsche Prognosen Wissenschaftsskepsis etc.• RatSWD listet 102 Studien, darunter 35 „repräsentative“ Surveys
Risk perceptions
Corona-Alltag Corona-Alltag
Wahrnehmung
and coping
Krisenmanagement
strategies Digitali-
II. sierung
Mannheimer Corona-Studie
Haushalts-durch Haushalts-
Haushalts-
Fieberhaft Corona
krisenbarometer
Corona-Trend krisenbarometer
Wahrnehmung
krisenbarometer
BfR
empirisch
BfR
Risiken BfR BfR BfR BfR
Corona Corona
GESIS Panel Studie zu
Monitor Monitor
Corona
Monitor
Corona
Politik in der Monitor Corona
Monitor
Corona
Monitor
Forschende Verhalten der
Infoquellen der
Bevölkerung
Bürger
Verhalten der
Corona-Krise
Bevölkerung
(Ad-hoc Surveys)
COSMO COSMO COSMO COSMO COSMO COSMO COSMO COSMO COSMO
W1 W2 W3 W4 W5 W6 W7 W8 W9
März April
• Mit Aufgabe von Qualitätsstandards
• Beispiele anhand des „Corona Shapshot Monitoring“ (COSMO)
RKI, BZgA, ZPID u.a. zur Aufklärung Behörden, Bevölkerung
Ergebnisse sollen „Behörden, Medienvertretern, aber auch der Bevölkerung dazu dienen,
die psychologischen Herausforderungen der COVID-19 Epidemie einschätzen zu können
und im besten Falle zu bewältigen“• Als „repräsentativ“ gelistete Studien sind keine Zufallsstichproben
(1) Stattdessen Quoten, Schneeballverfahren, offene Websurveys
Stichproben: Quotierungen nach Alter, Geschlecht, Bundesland
Alles ist jetzt Mehrheitlich lediglich Online-Modus
„repräsentativ“! • Gilt auch für COSMO: Online-Access-Panel, quotiert
Befragte im Alter von 18-74 Jahre
Keine Infos zur Rekrutierung
Daher Recherche bei kommerziellen Institut „Respondi“:• Verzerrung der Stichprobe wird nicht transparent gemacht
(1) Lediglich Infos zu Quotierungsmerkmalen
Stichproben: Daten sind nicht zugänglich
Alles ist jetzt
„repräsentativ“! • Ersatzweise Analysen mit ALLBUS 2018 / GESIS-Panel*
Online-Panel ist auch nach Gewichtung in Bezug auf Alter,
Geschlecht, Bundesland stark verzerrt zu
- Hochgebildeten / Gutverdienenden
- Gesunde Personen
- …
• Beim GESIS Panel ist das korrigierbar (Design-Gewichte)
• Bei den „Snapshot“-Surveys nicht!
* Regressionen zur Teilnahmebereitschaft; Vergleiche mit STABU-DatenBildungsverteilung in Bevölkerung ab 18J.
und bei Befragungsteilnehmenden
(1)
Stichproben: 100
90
Alles ist jetzt 33%
80 40%
„repräsentativ“! 70
47%
58%
60
50 (Abitur)
40 (Realschule)
30
(max. Haupts.)
20
10
0
Stat. ALLBUS GESIS Panel* Corona-Befr.
Bundesamt (PAPI+online) (online)
* Bereitschaft Mitwirkung laut ALLBUS
Quelle: Eigene Auswertungen nach Veröffentlichungen des statistischen Bundesamtes 2019 zum Mikrozensus 2017;
ALLBUS 2018; GESIS Panel Special Survey on the Coronavirus SARS-CoV-2 Outbreak• Bildung ist für viele Outcomes relevant
(1) • Die üblichen Gewichtungen korrigieren kaum Verzerrungen
Stichproben:
Abhängig Beschäftigte:
Alles ist jetzt Anteile mit mehr
Mittelwert insgesamt
„repräsentativ“! 50
Homeoffice
50
45 45
40 40
35 35
30 30
25 25
20 20
15 15 32% 33%
10 10
24%
5 5
0 0
niedrig mittel hoch ungewichtet gewichtet nach gewichtet nach
Bildung Alter/Geschlecht
Quelle: Eigene Auswertungen mit dem GESIS Panel Special Survey on the Coronavirus SARS-CoV-2 Outbreak in Germany• Bildung ist für viele Outcomes relevant
(1) • Die üblichen Gewichtungen korrigieren kaum Verzerrungen
Stichproben:
Abhängig Beschäftigte:
Alles ist jetzt Anteile mit mehr
Mittelwert insgesamt
„repräsentativ“! 50
Homeoffice
50
45 45
40 40
Überschätzung
35 35
30 30
25 25
20 20
15 15 32% 33%
10 10
24%
5 5
0 0
niedrig mittel hoch ungewichtet gewichtet nach gewichtet nach
Bildung Alter/Geschlecht
Quelle: Eigene Auswertungen mit dem GESIS Panel Special Survey on the Coronavirus SARS-CoV-2 Outbreak in Germany• Bildung ist für viele Outcomes relevant
(1) • Die üblichen Gewichtungen korrigieren kaum Verzerrungen
Stichproben:
Alles ist jetzt Betreuung Kinder unter
12J: Befragte selbst Mittelwert insgesamt
„repräsentativ“! 70
70
Überschätzung
60
60
50
50
40
40
30 30
56% 55%
50%
20 20
10 10
0 0
niedrig mittel hoch ungewichtet gewichtet nach gewichtet nach
Bildung Alter/Geschlecht
Quelle: Eigene Auswertungen mit dem GESIS Panel Special Survey on the Coronavirus SARS-CoV-2 Outbreak in Germany(2) E-Mail Antwort auf Frage zu Verzerrungen bei COSMO
Fehler- (Ergebnisse stehen für Behörden und die Öffentlichkeit
korrekturen? online, aber wurden anscheinend noch nicht
„wissenschaftlich“ publiziert)
Keine Zeit!
„ja, klar, das stimmt natürlich. Gewichten
schaffen wir gerade nicht auf die Schnelle,
ist dann ggf was für eine Publikation.“(3)
Survey Errors sind
vernachlässigbar?
z.B. Beeinflussung
durch
Suggestivfragen(3)
Auch das
Umfragelayout
leidet unter der
Eile• „Als Regressionsmethode verwenden wir eine
(4) Rückwärtsregression mit Elimination, was man sich wie ein
Kausalmodelle Fischernetz vorstellen kann: um möglichst viel Erklärkraft zu
waren gestern… gewinnen, um Ansatzpunkte für Policies und
Kommunikation zu finden, werden möglichst viele Variablen
exploriert.“ (COSMO Methodenbericht)• Total Error = Sampling Error +
Fazit zu den Ad- + Nonresponse Error + Selektionsbias +
hoc Surveys Survey-Error + Bias bei Auswertungen
Errors, Errors, Unbekannt, aber wohl besonders groß
und eben kein systematische Verzerrungen!
gutes Abbild?
• Unzuverlässig und gar kontraproduktiv!
Für Politikempfehlungen zu vage
Bestimmte Bevölkerungsgruppen laufen unter dem „Radar“
Quelle: Zeichnung von Christian Moser Falsche Ergebnisse WissenschaftsskepsisAUSBLICK:
WELCHE ALTERNATIVEN GIBT ES?
1. Bestehende Modelle und Daten mit Zufallsstichproben
2. Gründlich, aber auch schnell? Open Science• Prognosen basieren immer auf Hypothesen
Modelle: Wenn… dann…
• Viele Wenn-Komponenten sind Teil gut erforschter Modelle!
Nicht alles neu
macht Corona?!
COVID 19 Digitale Lehre
Homeschooling
Schulschließungen Bildungsungleichheiten
• Übertragbarkeit ist Frage externer Validität
Gibt es Moderation durch weitere Umstände
• Zum Teil sind diese Faktoren aber auch gut erforschtBeispiel
Bildungsstudien: Kompetenzentwicklung
Effekte von Schul- von Kindern aus
schließungen Familien mit untersch.
Sozio-Ökonomischen
Status (SÖS) während
Schul- und Ferienzeiten
(Quelle: Coelen/Siewert 2008,
basierend auf Daten von
Alexander/Entwisle 1996)• Prognosen sind immer gewagt
Und Daten! • Valide Daten zur Prüfung erforderlich
Idealerweise Zufallsstichproben und Längsschnitt
Mit „mixed modes“ (nicht nur online!)SB = Sonderbefragung
SOEP
zu COVID19 Folgen
Daten: SB: SOEP-CoV
Längsschnitte Share
mit Design einer
SB
Zufallsstichprobe
Pairfam
SB
Understanding Society
SB SB SB SB SB SB SB SB SB• Modelle,
Zufallsstichproben, Langsam
Längsschnitt,
mit Beachtung bekannter
Dauer in Tagen
Surveymethoden
Analytisch, empirisch,
geduldig, offen!
Gründlich,
• Wirkt Selbstregulierung
aber schnell?
allein?
Starke Anreize dafür,
sloppy statt seriös zu
arbeiten Schnell
Insbesondere wenn es Fehler, Bias Verlässlich
alle andere auch tun Gründlichkeit
- Ehre gebührt den
Erstentdeckern
- Reputation bei vmtl.
„systemrelevanter“
Forschung
• Verlässliche Forschung braucht Zeit!
- Medienpräsenz bei
raschen und Sichtung vorliegender Modelle, Erhebung verlässlicher Daten
spektakulären
Aussagen Gegenseitige Begutachtungen („kollegiale Skepsis“)
- Besserer Zugang zu
Forschungsressourc
en
• Aber Zeitgewinne sind möglich durch mehr Transparenz!
Veränderung
Anreizstrukturen
Transparente, offene Dokumentation
Weniger sloppy, aber
dennoch rapid research?
Offene Daten: Kein Hamstern!
Lediglich Open Access zu nicht begutachteten Publikationen
ist dagegen wenig hilfreich („garbage in, garbage out“)Vielen Dank!
Und ein besonderer Dank an Andreas Schneck und Josef
Brüderl für hilfreiche Materialien und Hinweise,
und an das Team des GESIS Panel für die Bereitstellung
der Daten und transparente Dokumentationen!
Materialien erhältlich bei Katrin.auspurg@lmu.de
Vortragsfolien
Do-file für AnalysenSie können auch lesen
