Studie findet weit verbreitete kausale Übertreibungen in Abstracts der Sozialwissenschaften
Wichtige Erkenntnisse
- •Forschende analysierten mithilfe großer Sprachmodelle 194.631 querschnittsbasierte sozialwissenschaftliche Artikel, um kausale Formulierungen in Titeln und Abstracts zu messen.
- •Von 1980 bis 2024 enthielten durchschnittlich 46% der Artikel kausale Sprache; der jährliche Anteil stieg von 20% im Jahr 2000 auf 60% im Jahr 2024.
- •In einem Experiment mit 1.105 Teilnehmenden interpretierten Leser Abstracts mit kausaler Formulierung häufig als kausalen Beleg.
- •Methodische Bezeichnungen und assoziative Wortwahl verringerten die Tendenz, Kausalität aus den Abstracts abzuleiten.
- •In Tests mit fünf LLMs entfernten Modellzusammenfassungen mitunter Einschränkungen und fügten kausale Behauptungen hinzu, während vorsichtige Prompts das Problem reduzierten.
In den Sozialwissenschaften verwenden viele Studien Querschnittsdesigns, die zwar Zusammenhänge aufzeigen können, aber im Allgemeinen keine direkten kausalen Aussagen stützen. Dennoch machen Autorinnen und Autoren solcher Arbeiten in ihren Texten mitunter kausale Aussagen oder deuten sie an, was die Grenze zwischen dem, was die Daten zeigen können, und dem, was der Artikel zu folgern scheint, verwischen kann.
Um zu messen, wie häufig dies geschieht, analysierten Forschende 194.631 Querschnittsartikel mithilfe großer Sprachmodelle. Für den Zeitraum von 1980 bis 2024 fanden sie, dass durchschnittlich 46% der Artikel kausale Sprache in Titeln oder Abstracts enthielten. Seit 2000 ist die jährliche Rate fast um das Dreifache gestiegen, von 20% auf 60%, was darauf hindeutet, dass diese Wortwahl häufig genug ist, um die Wahrnehmung sozialwissenschaftlicher Forschung in großem Maßstab zu prägen.
Die Forschenden untersuchten die Wirkung dieser Sprache außerdem in einem Experiment mit Probanden mit 1.105 Teilnehmenden. Sie fanden, dass Leserinnen und Leser häufig angaben, Abstracts mit dieser Formulierung lieferten kausale Evidenz. Gleichzeitig reduzierten methodische Bezeichnungen (β = −0.4, 95% confidence interval −0.56 to −0.19) und assoziative Formulierungen (β = −0.3, 95% confidence interval −0.43 to −0.07) diese Tendenz, was unterstreicht, wie die Wortwahl die Interpretation beeinflussen kann, selbst wenn sich das zugrunde liegende Studiendesign nicht ändert.
In Experimenten mit fünf LLMs zeigten Modellzusammenfassungen dieser Artikel, jeweils mit 100 Beispielen pro Modell, mitunter eine Verstärkung kausaler Übertreibungen. In diesen Zusammenfassungen entfernten die Modelle Einschränkungen und führten kausale Behauptungen ein, selbst wenn die Originalartikel strikt assoziative Formulierungen verwendeten. Wenn die Modelle zu Vorsicht aufgefordert wurden, nahm dieses Muster ab, ein Befund mit praktischer Relevanz, da immer mehr Leser Forschung über automatisierte Zusammenfassungen statt über die vollständigen Arbeiten kennenlernen.
Die Ergebnisse stammen aus einer aktuellen Studie von Calvin Isch, Timothy Dörr, Neil Fasching, Grace Jennings und Duncan J. Watts. Isch ist in diesem Jahr auf dem Jobmarkt und arbeitet mit Tetlock und Watts.
