新聞宏觀經濟社會科學摘要中的因果誇大現象普遍存在

社會科學摘要中的因果誇大現象普遍存在

作者: Marginal Revolution·

重點速覽

  • •研究人員使用大型語言模型分析了 194,631 篇跨截面社會科學文章,以衡量標題與摘要中的因果措辭。
  • •1980 年至 2024 年間,平均有 46% 的文章包含因果語言,而年度比例在 2000 年至 2024 年間由 20% 升至 60%。
  • •在一項涉及 1,105 名參與者的人類受試實驗中,讀者經常將含有因果措辭的摘要解讀為提供因果證據。
  • •方法學標籤與關聯性措辭可降低讀者從摘要中推斷因果的傾向。
  • •在對五個 LLM 的測試中,模型生成的摘要有時會刪除保留語氣並加入因果主張,而審慎提示可減輕這個問題。
社會科學摘要中的因果誇大現象普遍存在

社會科學中,許多研究採用跨截面設計,這類設計可以顯示關聯,但通常不足以支持直接的因果主張。儘管如此,這類論文的作者仍可能在寫作中提出或暗示因果結論,從而模糊資料所能支持的內容與文章表面呈現的結論之間的界線。

為了衡量這種情況有多常見,研究人員使用大型語言模型分析了 194,631 篇跨截面文章。就 1980 年至 2024 年而言,平均有 46% 的文章在標題或摘要中包含因果語言。自 2000 年以來,年度比例幾乎增加了三倍,從 20% 上升到 60%,顯示這種措辭已相當常見,足以大規模影響讀者接觸社會科學研究的方式。

研究人員也在一項涉及 1,105 名參與者的人類受試實驗中檢驗了這類語言的效果。他們發現,讀者經常表示使用這種措辭的摘要提供了因果證據。同時,方法學標籤(β = −0.4,95% 信賴區間 −0.56 至 −0.19)與關聯性措辭(β = −0.3,95% 信賴區間 −0.43 至 −0.07)都降低了這種傾向,顯示即使研究設計本身沒有改變,用詞仍會影響解讀。

在針對五個 LLM 的實驗中,這些文章的模型摘要(每個模型 100 個樣本)有時會放大因果誇大。模型在摘要中刪除了保留語氣,並在原文僅使用關聯性表述時加入因果主張。不過,若提示模型保持審慎,這種現象會減弱,這對於越來越多透過自動摘要而非完整論文接觸研究內容的讀者具有實際意義。

這些發現出自 Calvin Isch、Timothy Dörr、Neil Fasching、Grace Jennings 與 Duncan J. Watts 的一篇近期論文。Isch 今年正在找工作,並與 Tetlock 和 Watts 合作。