Wann sind Menschen bereit, für den Umweltschutz zu zahlen? Wie lassen sich Schüler:innen zu besseren Leistungen motivieren? Gibt es einen Zusammenhang zwischen Armut und dem Melden von Straftaten? Für derartige Untersuchungen erheben Sozialwissenschaftler:innen in Umfragen oder Feldstudien Daten und werten diese aus. Die Ergebnisse sind allerdings nicht immer nachvollziehbar. Das zeigte eine soeben im Fachmagazin Nature erschienene Publikation, die 500 Expert:innen aus der SCORE-Kollaboration verfasst haben. Woran das liegt und wie sich Studien verbessern lassen, schildern Mit-Autor:innen Hilmar Brohmer und Ziva Korda vom Institut für Psychologie.
Wie verlässlich sind Untersuchungen in den Sozial- und Wirtschaftswissenschaften?
Ziva Korda: In unserer aktuellen Analyse sind wir nur bei 34 Prozent der neu ausgewerteten Studien zu den exakt gleichen Ergebnissen gekommen. Aber immerhin konnten wir bei drei Viertel dieselben Schlüsse ziehen wie die Autor:innen der Originalpublikationen.
Woran liegen die unterschiedlichen Resultate?
Hilmar Brohmer: In unserer Untersuchung hatten wir nur die Originalstudien mit den Schlussfolgerungen und die zugrundeliegenden Daten – das hat eindeutig nicht ausgereicht, um die Gedankengänge der Wissenschaftler:innen vollständig nachzuvollziehen. Wenn diese zum Beispiel auch ihre konkreten Analyseskripte bereitstellen würden, ließe sich viel leichter rekonstruieren, wie ihre Entscheidungen zustande gekommen sind.
Wie entscheidet man, welches Ergebnis das richtige ist? Oder sind alle gleich gültig?
Korda: Viele Analysemöglichkeiten bringen im Grunde vertretbare und sinnvolle Ergebnisse hervor. Berücksichtigt man Ausreißerwerte oder nicht? Kombiniert man ähnliche Variablen oder schaut man sie sich einzeln an? Genau darin liegt das Problem: Wie vermeidet man ein Zufallsergebnis? In unserem Forschungsprojekt geben wir darauf im Prinzip eine Antwort: Wir berichten ein Spektrum mehrerer möglicher Alternativen.
Lassen sich Ihre Befunde auch auf andere Disziplinen – etwa die Naturwissenschaften oder die Medizin – übertragen?
Korda: Es gibt in vielen Bereichen eine Krise der Reproduzierbarkeit. Das heißt: Wiederholungsstudien kommen zu anderen Ergebnissen. Ein Grund ist, dass nur eine Minderheit der Forschenden ihre Daten sowie ihre konkreten Analyseschritte offenlegt. Das ist natürlich besonders kritisch, wenn zum Beispiel neue Verfahren in den Gesundheitswissenschaften getestet werden oder wenn biomedizinische Daten später als Grundlage für die Entwicklung von Medikamenten dienen sollen. Gerade in solchen Feldern möchten wir, dass die Evidenz aus der Grundlagenforschung wirklich belastbar ist.
Können sich Konsument:innen dann überhaupt auf wissenschaftliche Studien verlassen?
Brohmer: Im Grunde sind wissenschaftlich generierte Erkenntnisse das am besten abgesicherte Wissen. Bevor ein neues Medikament auf den Markt kommt, durchläuft es mehrjährige umfangreiche Kontrollen. Bevor der Fund eines neuen Elementarteilchens verkündet wird, muss dessen Existenz durch präzise Experimente mehrfach bestätigt werden. Aber in den Sozialwissenschaften hat man häufig zu laxe Standards. Befunde aus Einzelstudien, die auf kleinen Stichproben fußen, sollte man daher nicht als der Weisheit letzten Schluss betrachten, bevor sie nicht anständig repliziert werden konnten.
Welche Konsequenzen lassen sich aus Ihrer Untersuchung ableiten?
Brohmer: Es braucht deutlich mehr Transparenz im gesamten Forschungsprozess. Wissenschaftler:innen sollten ihre Materialien und Methoden in Repositorien für andere Kolleg:innen zugänglich machen. Außerdem sollten sie ihre Ideen und geplanten Schritte im Vorfeld offenlegen. Weniger als ein Fünftel der Nachwuchsforschenden tut das systematisch. Daher sind die niedrigen Reproduzierbarkeitsraten nicht wirklich überraschend. An der Universität diskutieren wir diese Themen in der „Graz Open Science Initiative“. Wir freuen uns, wenn sich noch mehr Interessierte anschließen und ihre Erfahrungen einbringen.
Wie ist die Idee zu dieser Studie entstanden und wie kamen Sie beide dazu, daran mitzuarbeiten?
Korda: Durch verschieden Open-Science-Projekte waren wir ja bereits länger in der Community aktiv. Deswegen wurden wir angefragt, ob wir die Robustheit der Forschung in einer großen Reanalyse testen wollen. Das schien uns sinnvoll. Es sei noch angemerkt, dass sich die Organisation großer Studienprojekte seit Covid stark verbessert hat.
Publikationen:
Aczel, B. et al : Investigating the analytical robustness of the social and behavioural sciences, Nature 652, 2026.
DOI: 10.1038/s41586-025-09844-9
Brohmer, H., & Hoffmann, M. F. (2025). The struggle to make transparency mainstream: initial evidence for a slow uptake of open science practices in PhD theses. Royal Society Open Science, 12(10), 250826.
