DIE RENAISSANCE DER PSYCHOLOGIE - DIE REPLIKATIONSKRISE UND DIE OPEN SCIENCE BEWEGUNG - OPENSCIENCE PSYFAKO
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Die Renaissance der Psychologie
Die Replikationskrise
und die Open Science Bewegung
Johannes Brachem
Georg-August-Universität Göttingen
jobrachem@posteo.de
Maximilian Frank
LMU / TU München
Maximilian.Frank@psy.lmu.de
Aufbau 1. Was ist die Replikationskrise?
a. Beispiele
b. Theorie und Empirie
c. Was hat das mit uns zu tun?
2. Was ist Open Science?
Fragen jederzeit erwünscht.
a. Theorie
Am Schluss müsste noch Zeit für b. Praxis
Austausch sein. c. Aktueller Stand
3. Open Science und die PsyFaKo
Wie komme ich - M.Sc. in Göttingen
dazu?
- GOSSIP: Göttingen Open Source &
Science Initiative der Psychologie
- Interesse an Forschung, Methoden
und Statistik
Was ist die Replikationskrise? - Zwei Beispiele
Was ist die Replikationskrise? - Bsp. 1 Hinweise auf “Psi”: Zukünftige Ereignisse beeinflussen die Gegenwart
Hinter welchem Kasten ist ein Bild?
A Experiment 1:
B
VP konnten überzufällig häufig (53,1%) die
Position erotischer Bilder vorhersagen
Power Posing
● Platz 2 der beliebtesten TED-Talks
○ 47 Mio. Aufrufe auf ted.com
○ 14 Mio. Aufrufe auf
youtube.com
● Das Buch: “Presence - Bringing Your
Boldest Self to Your Biggest
Challenges”
○ NYT Bestseller
https://www.ted.com/talks/amy_cuddy_your_
body_language_shapes_who_you_are
Was ist die Repliaktionskrise? - Bsp. 2
Aus Carney, Cuddy & Yap (2010): High-Power poses (links) und low-power poses (rechts)
Hauptergebnis Aus Carney, Cuddy & Yap (2010) Änderung im Testosteronspiegel nach High-power und low-power poses.
Was ist die Replikationskrise? - Theorie und Empirie
Was ist die Replikationskrise? - Theorie
Pashler & Harris (2012): Rechenbeispiel: 100 Studien
➔ In 10 davon gibt es einen wahren Effekt.
◆ Bei Power von 80% werden 8 davon signifikant.
◆ 8 richtig-positive Befunde.
➔ In 90 davon gibt es keinen Effekt.
◆ Bei Alpha von 0,05 werden 5% davon signifikant.
◆ 4,5 falsch-positive Befunde.
➔ Nur die signifikanten Studien werden veröffentlicht
◆ 4,5 + 8 = 12,5 Studien
➔ 4,5% / 12,5% = 36% falsch-positive BefundeWas ist die Replikationskrise? - Theorie Aus Pashler & Harris (2012).
Was ist die Szenario Analysen mit FP
Replikationskrise? Befund
A: Zwei korrelierte AVs (r = .50) 9,5%
- Simulationsstudien
B: 10 VP nacherheben 7,7%
C: Geschlecht als Kovariate oder 11,7%
Aus Simmons, Nelson & Simonsohn Interaktion mit Geschlecht
(2011): False-Positive Psychology
D: Eine von drei Gruppen weglassen 12,6%
(oder nicht)
A und B 14,4%
Rechte Tabellenspalte: Prozentsatz an
Analysen, die bei Alpha-Niveau von 0,05 A, B und C 30,9%
mindestens ein falsch-positives
Ergebnis enthielten. A, B, C und D 60,7%“Everyone knew it was wrong, but they
thought it was wrong the way it is
wrong to jaywalk.
We decided to write “False-Positive
Psychology” when simulations revealed
that it was wrong the way it is wrong to
rob a bank.”
Simmons, Nelson & Simonsohn (2018)
(to) jaywalk: Über eine rote Ampel laufen.Anteil befragter
Forscher, die zugeben,
die jeweilige
fragwürdige Methode
mindestens einmal
angewendet zu haben
(in %).
N = 2.155
A B D Buchstaben:
Korrespondierendes
Szenario bei Simmons,
Nelson & Simonsohn
(2011)
Auszug aus John, Loewenstein & Prelec (2012)Das Reproducibility Project Internationale Zusammenarbeit von 270 AutorInnen Koordinierte Replikation 100 Studien aus drei großen Journals Open Science Collaboration (2015)
Stellungnahme DGPS (Deutsche
Nur 36%
Gesellschaft für Psychologie, 2015):
- Projekt wird begrüßt
- Befunde zeigen
Kontextabhängigkeit
psychologischer Forschung
- Kein Zeichen fehlender
Replizierbarkeit
der Replikationen aus Open Science Collaboration (2015) lieferten
- Weitere Forschung nötig
signifikante Ergebnisse. Von den untersuchten Effekten waren 97%
- Replikationen fördern
ursprünglich signifikant.
Je nach Kriterium unterschiedliche Zahlen:
- 39% der Effekte wurden von den ReplikatorInnen subjektiv als
“erfolgreich repliziert” bewertet.
- 41% der Original-Effektstärken waren im Konfidenzintervall der
Replikation enthalten.
- 68% der Meta-Analytischen Effektstärken hatten
Konfidenzintervalle, die 0 nicht enthielten.The cumulative effect of reporting and citation biases on the apparent efficacy of treatments: the case of depression de Vries et al. (2018)
Was ist die Replikationskrise? - Zurück zu den Beispielen
Bem (2011): Feeling the Future
Behauptung: Kritische Betrachtung:
Ereignisse aus der Zukunft - Multiples Testen ohne Korrektur
- Missverständnis von p-Werten
beeinflussen Ereignisse in der
- Frequentistische Statistik vs.
Gegenwart, Menschen können die Bayesianische Statistik
Zukunft spüren. - Sehr flexible Datenanalyse
- Explorative Analysen werden als
konfirmatorisch berichtet und
interpretiert
Replikationen: Kein Effekt
(Galak, LeBoeuf, Nelson & Simmons,
Wagenmakers, Wetzels, Borsboom & van der
2012; Wagenmakers et al., 2012)
Maas (2011)“We hope the Bem article will become a signpost for change, a writing on the wall: Psychologists must change the way they analyze their data.” Wagenmakers, Wetzels, Borsboom & van der Maas (2011)
Carney, Cuddy & Yap (2010): Power Posing
Statement von Erstautorin Dana Carney
Replikation: Kein Effekt auf Hormone
(Ranehill et al., 2015) - Mini-Stichprobe (N = 42)
- Mehrfaches Nacherheben von VP (25 + 10 + 7 +
P-Curve: Gesamte Studienlage deutet auf
5)
Falsch-Positive Ergebnisse hin
- Auswahl zwischen vielen verschiedenen Items
(Simmons & Simonsohn, 2017)
bei Selbstberichts-AV
- 5 VP wurden im Nachhinein ausgeschlossen
- ExperimentatorInnen kannten die Hypothesen
- Hormon-Messungen waren konfundiert, indem
VP gesagt wurde, wenn Sie in einer
Risiko-Aufgabe “gewonnen” hatten
http://faculty.haas.berkeley.edu/dana_carney/pdf_My%2
0position%20on%20power%20poses.pdfTake-Home: Die aktuelle “gute wissen- schaftliche Praxis” ist anfällig für falsch-positive Befunde.
Was hat das mit uns zu tun? Psych Students be like:
Was hat das mit
uns zu tun? Die Glaubwürdigkeit
und der Nutzen
unserer Ausbildung
werden durch
falsch-positive
Befunde massiv
beschädigt.Was ist Open Science?
Open Data, Open Materials,
Preregistered Badges:
https://osf.io/tvyxz/wiki/home/
Was ist Open Science? Open Access Icon:
https://plos.org
Open Access
Daten veröffentlichen Materialien Hypothesen & Analyse Ergebnisse frei
veröffentlichen, nachweisbar vor zugänglich machen
Replikation ermöglichen Datenerhebung festlegenhttps://aspredicted.org
Was heißt Präregistrierung? http://datacolada.org/64
1. Wurden für diese Studie schon 5. Mit welchen Analysen wird die
Daten gesammelt? Haupthypothese überprüft?
2. Was ist die Haupthypothese? 6. Wie werden Ausreißer definiert,
und nach welchen Kriterien werden
3. Was ist die zentrale abhängige Beobachtungen ausgeschlossen?
Variable und wie wird sie
gemessen? 7. Wie groß soll die Stichprobe sein?
4. Wie viele und welche 8. Anderes
Bedingungen beinhaltet die
Studie? 9. Name der PräregistrierungBild: https://osf.io/rr Registered Reports
Präregistrierung Researchers be like:
Präregistrierung dient der klaren Unterscheidung von explorativer und konfirmatorischer Arbeit. Exploration ist wichtig und legitim. Sie sollte lediglich als solche erkennbar sein.
Präregistrierung und Exploration “Pre-reg doesn't keep us from reporting we saw a tiger when we stuck our head out the window to see if it was raining. It just prevents us from describing checking for rain as an epic tiger hunt.” - Michael Mullarkey (https://twitter.com/mcmullarkey/status/1063521930165260288)
Was passiert aktuell?
Many Labs
➔ Der gleiche Effekt wird von mehreren
Forschungsgruppen gleichzeitig untersucht.
➔ Many Labs 2: Untersuchung von 28 Effekten
(Sowohl Klassiker als auch moderne Befunde)
◆ 60 Replikationen pro Effekt
◆ Jeder Effekt: 7000 VP
◆ Ca. 50% der Effekte replizierbar
Klein et al. (2018)Social Sciences
➔ Replikation von Artikeln aus Science und
Nature
➔ Von 21 Effekten konnten 13 repliziert werden
Reproducibility ➔
(62%)
Effektstärken waren in Replikationen halb so
Project groß wie in Originalartikeln
Camerer et al. (2018)
Quiztime! Könnt ihr vorhersagen,
welche Artikel sich replizieren lassen?
bit.ly/ssrp-quizLehre
Forderungen der 1. Replikationskrise & Open Science in die
PsyFaKo Methodenlehre!
2. Ja, auch in die inhaltliche Lehre. Es geht
schließlich um die Inhalte.
3. Abschlussarbeiten präregistrieren.
4. Abschlussarbeiten sollten Replikationen
Link zum Positionspapier:
sein dürfen
https://bit.ly/pp_osci
Forschung
5. Open Science als Einstellungskriterium
6. Open Science als Kriterium für die
Vergabe von FördergeldernOpen Science auf der PsyFaKo
Slot 2 Vortrag: Die Renaissance der Psychologie
Fr., 13.30 - 15.00 (J. Brachem & M. Frank)
Raum: Thronsaal (H4)
Slot 4 Podiumsdiskussion:
Sa. 12.30 - 14.00 Falsch-positives Auswendiglernen
Raum: Thronsaal (H4)
Slot 6 AG-Treffen
Sa. 19.30 - 21.00 Raum: Schatzkammer (N431)methoden.formr.org !
PsyFaKo goes Science!
GEN
Nimm an unserer Umfrage zur Verbreitung von
SA
fragwürdigen und offenen Forschungspraktiken im
ER
T
Studium teil.
Dauer: Ca. 10-15 Minuten
E I
WWie funktioniert das in der Praxis?
https://cos.io
https://osf.ioWie funktioniert das in der Praxis?
Open Access Journals Preprints
- Freier Zugang
- Relativ wenig Renommee
- Oft Author Processing
Charges (APC) https://psyarxiv.com
Beispiele:
International Review of Social
Open Access Psychology (https:/rips-irsp.com) https://thesiscommons.org
Meta-Psychology
(https://open.lnu.se/index.php/me
tapsychology) http://www.sherpa.ac.uk/romeoHardwicke & Ionannidis (2018, April 16): Entwicklung von Registered Reports über die Zeit
Literatur #1
Bakker, M., van Dijk, A., & Wicherts, J. M. (2012). The Rules of the Game Called Psychological Science. Perspectives on
Psychological Science, 7(6), 543–554. http://doi.org/10.1177/1745691612459060
Bem, D. J. (2011). Feeling the Future: Experimental Evidence for Anomalous Retroactive Influences on Cognition and Affect.
Journal of Personality and Social Psychology, 100(3), 407–425. http://doi.org/10.1037/a0021524
Camerer, C. F., Dreber, A., Holzmeister, F., Ho, T. H., Huber, J., Johannesson, M., … Wu, H. (2018). Evaluating the replicability of
social science experiments in Nature and Science between 2010 and 2015. Nature Human Behaviour, 2(9), 637–644.
https://doi.org/10.1038/s41562-018-0399-z
Carney, D. R., Cuddy, A. J. C., & Yap, A. J. (2010). Power Posing: Brief Nonverbal Displays Affect Neuroendocrine Levels and
Risk Tolerance. Psychological Science, 21(10), 1363–1368. http://doi.org/10.1177/0956797610383437
Galak, J., LeBoeuf, R. A., Nelson, L. D., & Simmons, J. P. (2012). Correcting the past: Failures to replicate Psi. Journal of
Personality and Social Psychology, 103(6), 933–948. http://doi.org/10.1037/a0029709
Deutsche Gesellschaft für Psychologie (2015). Replikationen von Studien sichern Qualität in der Wissenschaft und bringen die
Forschung voran. Abgerufen von
https://www.dgps.de/index.php?id=143&tx_ttnews%5Btt_news%5D=1630&cHash=6734f2c28f16dbab9de4871525b29a06
Hardwicke, T. E., & Ioannidis, J. P. A. (2018, April 16). Mapping the Universe of Registered Reports.
http://doi.org/10.17605/OSF.IO/FZPCY
John, L. K., Loewenstein, G., & Prelec, D. (2012). Measuring the Prevalence of Questionable Research Practices With Incentives
for Truth Telling. Psychological Science, 23(5), 524–532. http://doi.org/10.1177/0956797611430953Literatur #2
Klein, R. A., Vianello, M., Hasselman, F., Adams, B. G., Adams, R. B., Jr., Alper, S., … Nosek, B. A. (2018, November 21). Many Labs 2:
Investigating Variation in Replicability Across Sample and Setting. https://doi.org/10.31234/osf.io/9654g
Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716.
http://doi.org/10.1126/science.aac4716
Pashler, H., & Harris, C. R. (2012). Is the Replicability Crisis Overblown? Three Arguments Examined. Perspectives on Psychological Science,
7(6), 531–536. http://doi.org/10.1177/1745691612463401
Ranehill, E., Dreber, A., Johannesson, M., Leiberg, S., Sul, S., & Weber, R. A. (2015). Assessing the Robustness of Power Posing: No Effect on
Hormones and Risk Tolerance in a Large Sample of Men and Women. Psychological Science, 26(5), 653–656.
http://doi.org/10.1177/0956797614553946
Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2018). False-Positive Citations. Perspectives on Psychological Science, 13(2), 255–259.
http://doi.org/10.1177/1745691617698146
Simmons, J. P., & Simonsohn, U. (2017). Power Posing: P-Curving the Evidence. Psychological Science, 28(5), 687–693.
http://doi.org/10.1177/0956797616658563
de Vries, Y. A., Roest, A. M., de Jonge, P., Cuijpers, P., Munafò, M. R., & Bastiaansen, J. A. (2018). The cumulative effect of reporting and
citation biases on the apparent efficacy of treatments: the case of depression. Psychological Medicine, 1–3.
https://doi.org/10.1017/S0033291718001873
Wagenmakers, E. J., Wetzels, R., Borsboom, D., & van der Maas, H. L. J. (2011). Why Psychologists Must Change the Way They Analyze
Their Data: The Case of Psi: Comment on Bem (2011). Journal of Personality and Social Psychology, 100(3), 426–432.
http://doi.org/10.1037/a0022790
Wagenmakers, E. J., Wetzels, R., Borsboom, D., van der Maas, H. L. J., & Kievit, R. A. (2012). An Agenda for Purely Confirmatory Research.
Perspectives on Psychological Science, 7(6), 632–638. http://doi.org/10.1177/1745691612463078Sie können auch lesen
