Lo studio rileva un’ampia sovrastima causale negli abstract delle scienze sociali
Punti chiave
- •I ricercatori hanno analizzato 194.631 articoli di scienze sociali cross-sectional con grandi modelli linguistici per misurare il linguaggio causale nei titoli e negli abstract.
- •Dal 1980 al 2024, in media il 46% degli articoli conteneva linguaggio causale e il tasso annuo è salito dal 20% nel 2000 al 60% nel 2024.
- •In un esperimento con 1.105 partecipanti, i lettori spesso interpretavano gli abstract con formulazioni causali come prova di causalità.
- •Le etichette metodologiche e una formulazione associativa riducevano la tendenza dei lettori a inferire causalità dagli abstract.
- •Nei test con cinque LLM, i riassunti generati dai modelli a volte rimuovevano le cautele e aggiungevano affermazioni causali, mentre un prompting prudente riduceva il problema.
Nelle scienze sociali, molti studi utilizzano disegni cross-sectional che possono mostrare associazioni ma generalmente non sono in grado di supportare affermazioni causali dirette. Ciononostante, gli autori di tali lavori possono formulare o suggerire affermazioni causali nella loro scrittura, sfumando il confine tra ciò che i dati possono mostrare e ciò che l’articolo sembra concludere.
Per misurare quanto spesso ciò accada, i ricercatori hanno analizzato 194.631 articoli cross-sectional usando grandi modelli linguistici. Considerando il periodo dal 1980 al 2024, hanno rilevato che in media il 46% degli articoli conteneva linguaggio causale nei titoli o negli abstract. Dal 2000, il tasso annuo è aumentato di quasi tre volte, dal 20% al 60%, suggerendo che questa formulazione è abbastanza comune da influenzare su larga scala il modo in cui i lettori incontrano la ricerca nelle scienze sociali.
I ricercatori hanno anche esaminato gli effetti di questo linguaggio in un esperimento con soggetti umani che ha coinvolto 1.105 partecipanti. Hanno rilevato che i lettori spesso affermavano che gli abstract con questa formulazione fornivano prove causali. Al tempo stesso, le etichette metodologiche (β = −0.4, intervallo di confidenza al 95% −0.56 to −0.19) e una formulazione associativa (β = −0.3, intervallo di confidenza al 95% −0.43 to −0.07) riducevano questa tendenza, sottolineando come la scelta delle parole possa influenzare l’interpretazione anche quando il disegno dello studio sottostante non cambia.
In esperimenti con cinque LLM, i riassunti generati dai modelli di questi articoli, con 100 esempi per ciascun modello, a volte amplificavano la sovrastima causale. In quei riassunti, i modelli rimuovevano le cautele e introducevano affermazioni causali anche quando gli articoli originali utilizzavano una formulazione strettamente associativa. Sollecitare i modelli a essere prudenti riduceva questo schema, un risultato di rilevanza pratica man mano che più lettori incontrano la ricerca attraverso riassunti automatici anziché articoli completi.
I risultati provengono da un recente articolo di Calvin Isch, Timothy Dörr, Neil Fasching, Grace Jennings e Duncan J. Watts. Isch è sul mercato del lavoro quest’anno e collabora con Tetlock e Watts.
