Badanie wykazuje powszechne nadużywanie języka przyczynowego w abstraktach nauk społecznych
Najważniejsze informacje
- •Badacze przeanalizowali 194 631 przekrojowych artykułów z nauk społecznych, wykorzystując duże modele językowe do pomiaru języka przyczynowego w tytułach i abstraktach.
- •W latach 1980–2024 średnio 46% artykułów zawierało język przyczynowy, a roczny odsetek wzrósł z 20% w 2000 roku do 60% w 2024 roku.
- •W eksperymencie z udziałem 1 105 osób czytelnicy często interpretowali abstrakty z językiem przyczynowym jako dostarczające dowodów przyczynowych.
- •Etykiety metodologiczne i sformułowania opisujące współzależność zmniejszały skłonność czytelników do wyciągania wniosków przyczynowych z abstraktów.
- •W testach z pięcioma LLM-ami generowane streszczenia czasami usuwały zastrzeżenia i dodawały twierdzenia przyczynowe, a ostrożne promptowanie ograniczało ten problem.
W naukach społecznych wiele badań wykorzystuje projekty przekrojowe, które mogą pokazywać współzależności, ale zasadniczo nie pozwalają na poparcie bezpośrednich twierdzeń przyczynowych. Mimo to autorzy takich prac mogą w swoich tekstach formułować lub sugerować twierdzenia przyczynowe, co może zacierać granicę między tym, co dane rzeczywiście pokazują, a tym, do czego artykuł wydaje się prowadzić.
Aby zmierzyć, jak często tak się dzieje, badacze przeanalizowali 194 631 artykułów przekrojowych, wykorzystując duże modele językowe. Dla okresu od 1980 do 2024 roku stwierdzili, że średnio 46% artykułów zawierało język przyczynowy w tytułach lub abstraktach. Od 2000 roku roczny odsetek wzrósł niemal trzykrotnie — z 20% do 60% — co sugeruje, że takie sformułowania są na tyle częste, iż mogą istotnie wpływać na odbiór badań z nauk społecznych.
Badacze sprawdzili również skutki takiego języka w eksperymencie z udziałem 1 105 uczestników. Ustalili, że czytelnicy często uznawali abstrakty z taką frazeologią za dostarczające dowodów przyczynowych. Jednocześnie etykiety metodologiczne (β = −0.4, 95% confidence interval −0.56 to −0.19) oraz sformułowania opisujące współzależność (β = −0.3, 95% confidence interval −0.43 to −0.07) zmniejszały tę skłonność, co podkreśla, że dobór słów może wpływać na interpretację nawet wtedy, gdy sam projekt badania się nie zmienia.
W eksperymentach z pięcioma LLM-ami streszczenia tych artykułów generowane przez modele, po 100 przykładów dla każdego modelu, czasami wzmacniały nadmierne twierdzenia o przyczynowości. W takich streszczeniach modele usuwały zastrzeżenia i wprowadzały twierdzenia przyczynowe nawet wtedy, gdy oryginalne artykuły używały wyłącznie sformułowań o współzależności. Polecenie zachowania ostrożności ograniczało ten efekt, co ma praktyczne znaczenie wraz z tym, jak coraz więcej czytelników poznaje badania poprzez automatyczne streszczenia, a nie pełne teksty prac.
Wyniki pochodzą z niedawnej pracy Calvina Ischa, Timothy’ego Dörra, Neila Faschinga, Grace Jennings i Duncana J. Wattsa. Isch w tym roku poszukuje pracy i współpracuje z Tetlockiem i Wattsem.
