社会科学では、多くの研究が横断研究デザインを用いており、関連性は示せても直接的な因果関係を支持することは一般にできません。それでも、そうした論文の著者が執筆の中で因果関係を断定したり、そう示唆したりすることがあり、データが示せることと論文が導いているように見える結論との境界を曖昧にします。

この現象がどの程度起きているのかを測るため、研究者たちは大規模言語モデルを用いて194,631本の横断研究論文を分析しました。1980年から2024年の期間を見ると、論文の平均46%がタイトルまたは要旨に因果的な言語を含んでいました。2000年以降の年次比率は、20%から60%へとほぼ3倍に上昇しており、この表現が社会科学研究を読者が目にする仕方に大きな影響を与えうることを示しています。

研究者たちはまた、1,105人が参加した人間対象実験でこの言語の効果も調べました。その結果、読者はこの種の表現を使った要旨を、因果的証拠を示しているとしばしば受け止めることが分かりました。同時に、方法論的ラベル（β = −0.4, 95% confidence interval −0.56 to −0.19）や関連性を示す表現（β = −0.3, 95% confidence interval −0.43 to −0.07）は、その傾向を弱めました。これは、研究デザイン自体が変わらなくても、言葉の選び方が解釈に影響しうることを示しています。

5つのLLMを使った実験では、各モデル100例ずつのこれらの論文要約が、因果的な誇張を強める場合があることも明らかになりました。そうした要約では、元の論文が厳密に関連性のみを述べていたにもかかわらず、モデルが留保表現を削除し、因果的な主張を追加していました。ただし、慎重さを求める指示を与えると、この傾向は弱まりました。より多くの読者が全文ではなく自動要約を通じて研究に触れるようになる中で、実務上の意味を持つ結果です。

これらの知見は、Calvin Isch、Timothy Dörr、Neil Fasching、Grace Jennings、Duncan J. Watts による最近の論文に基づいています。Isch は今年、Tetlock と Watts と共に活動しながら就職活動を行っています。