Studie vindt wijdverbreide causale overdrijving in abstracts van sociale wetenschappen
Belangrijkste punten
- •Onderzoekers analyseerden 194.631 cross-sectionele artikelen uit de sociale wetenschappen met grote taalmodellen om causale formuleringen in titels en abstracts te meten.
- •Van 1980 tot 2024 bevatte gemiddeld 46% van de artikelen causale taal, en het jaarlijkse aandeel steeg van 20% in 2000 naar 60% in 2024.
- •In een experiment met 1.105 deelnemers interpreteerden lezers abstracts met causale formuleringen vaak als causaal bewijs.
- •Methodologische labels en associatieve formuleringen verminderden de neiging van lezers om causaliteit uit de abstracts af te leiden.
- •In tests met vijf LLM's verwijderden door modellen gegenereerde samenvattingen soms voorzichtigheidsnuances en voegden zij causale claims toe, terwijl voorzichtige prompts het probleem verminderden.
Binnen de sociale wetenschappen gebruiken veel studies cross-sectionele onderzoeksopzetten die verbanden kunnen laten zien, maar doorgaans geen directe causale claims kunnen ondersteunen. Toch maken auteurs van zulke artikelen in hun tekst soms causale claims of wekken ze die indruk, waardoor de grens tussen wat de data kunnen laten zien en wat het artikel lijkt te concluderen, vervaagt.
Om te meten hoe vaak dit gebeurt, analyseerden onderzoekers 194.631 cross-sectionele artikelen met behulp van grote taalmodellen. Over de periode van 1980 tot 2024 bleek gemiddeld 46% van de artikelen causale taal te bevatten in de titel of het abstract. Sinds 2000 is het jaarlijkse aandeel bijna verdrievoudigd, van 20% naar 60%, wat erop wijst dat deze formulering vaak genoeg voorkomt om te bepalen hoe lezers sociaalwetenschappelijk onderzoek op grote schaal tegenkomen.
De onderzoekers onderzochten ook de effecten van deze taal in een experiment met proefpersonen en 1.105 deelnemers. Daaruit bleek dat lezers vaak aangaven dat abstracts met deze formulering causaal bewijs boden. Tegelijkertijd verminderden methodologische labels (β = −0.4, 95% confidence interval −0.56 to −0.19) en associatieve formuleringen (β = −0.3, 95% confidence interval −0.43 to −0.07) die neiging, wat onderstreept hoe woordkeuze de interpretatie kan beïnvloeden, ook wanneer het onderliggende onderzoeksdesign niet verandert.
In experimenten met vijf LLM's lieten samenvattingen van deze artikelen, met voor elk model 100 voorbeelden, soms meer causale overdrijving zien. In die samenvattingen verwijderden de modellen voorzichtigheidsgedreven nuanceringen en introduceerden zij causale claims, zelfs wanneer de oorspronkelijke artikelen strikt associatieve formuleringen gebruikten. Wanneer de modellen werden aangemoedigd om voorzichtig te zijn, nam dit patroon af, een bevinding die praktisch relevant is nu meer lezers onderzoek via geautomatiseerde samenvattingen tegenkomen in plaats van via volledige papers.
De bevindingen komen uit een recent paper van Calvin Isch, Timothy Dörr, Neil Fasching, Grace Jennings en Duncan J. Watts. Isch is dit jaar op de arbeidsmarkt en werkt samen met Tetlock en Watts.
