Une étude met en évidence une surestimation causale répandue dans les résumés des sciences sociales
Points clés
- •Les chercheurs ont analysé 194 631 articles de sciences sociales à coupe transversale à l’aide de grands modèles de langage afin de mesurer le recours à un vocabulaire causal dans les titres et résumés.
- •De 1980 à 2024, 46% des articles, en moyenne, contenaient un langage causal, et la part annuelle est passée de 20% en 2000 à 60% en 2024.
- •Dans une expérience menée auprès de 1 105 participants, les lecteurs interprétaient souvent les résumés formulés de manière causale comme apportant des preuves causales.
- •Des étiquettes méthodologiques et un vocabulaire associatif réduisaient la tendance des lecteurs à inférer une causalité à partir des résumés.
- •Dans des tests avec cinq LLMs, les résumés générés par modèle retiraient parfois les réserves de prudence et ajoutaient des affirmations causales, tandis qu’une consigne de prudence réduisait le problème.
Dans l’ensemble des sciences sociales, de nombreuses études utilisent des plans transversaux qui peuvent mettre en évidence des associations mais ne permettent généralement pas d’étayer des affirmations causales directes. Malgré cela, les auteurs de tels articles peuvent formuler ou suggérer des liens de causalité dans leur rédaction, ce qui peut brouiller la frontière entre ce que les données permettent d’établir et ce que l’article semble conclure.
Pour mesurer la fréquence de ce phénomène, les chercheurs ont analysé 194 631 articles transversaux à l’aide de grands modèles de langage. En examinant la période allant de 1980 à 2024, ils ont constaté qu’en moyenne 46% des articles contenaient un langage causal dans leurs titres ou résumés. Depuis 2000, le taux annuel a presque triplé, passant de 20% à 60%, ce qui suggère que cette formulation est suffisamment courante pour influencer à grande échelle la manière dont les lecteurs abordent la recherche en sciences sociales.
Les chercheurs ont également examiné les effets de ce langage dans une expérience sur des sujets humains portant sur 1 105 participants. Ils ont constaté que les lecteurs indiquaient souvent que les résumés utilisant cette formulation apportaient des preuves causales. En même temps, les étiquettes méthodologiques (β = −0.4, intervalle de confiance à 95% −0.56 à −0.19) et un vocabulaire associatif (β = −0.3, intervalle de confiance à 95% −0.43 à −0.07) réduisaient cette tendance, soulignant à quel point le choix des mots peut influencer l’interprétation même lorsque la conception de l’étude sous-jacente ne change pas.
Dans des expériences menées avec cinq LLMs, les résumés générés par modèle de ces articles, avec 100 exemples pour chaque modèle, ont parfois amplifié la surestimation causale. Dans ces résumés, les modèles supprimaient les réserves de prudence et introduisaient des affirmations causales alors que les articles d’origine utilisaient une formulation strictement associative. Le fait d’inciter les modèles à la prudence a réduit ce phénomène, une conclusion d’importance pratique à mesure que davantage de lecteurs consultent les recherches par l’intermédiaire de résumés automatisés plutôt que des articles complets.
Ces résultats proviennent d’un récent article de Calvin Isch, Timothy Dörr, Neil Fasching, Grace Jennings et Duncan J. Watts. Isch est sur le marché du travail cette année et travaille avec Tetlock et Watts.
