Невиробництво наукових статей тільки збільшило їх цитованість

Невиробничість даних наукових статей (в першу чергу по економіці і психології) не тільки не знижує їх цитованість, а, навпаки, підвищує її - до такого висновку прийшли американські вчені, проаналізувавши дані трьох проектів з оцінки відтворюваності 2015, 2016 і 2018 років. На цю тенденцію не впливає навіть публікація результатів перевірки відтворюваності, пишуть автори дослідження в.

Можливість відтворити описаний в науковій статті експеримент і отримати ті ж результати - один з ключових принципів, на яких будується сучасна система наукового знання. Але в реальності далеко не всі наукові статті виявляються відтворюваними. Іноді автори навмисно упускають деякі важливі деталі, щоб конкуруюча наукова група не змогла повторити їх дослідження і зробити наступне відкриття в цій області. Іноді умови або об'єкти дослідження класичних робіт помітно змінилися з часом, і зараз їх просто неможливо повторити. Але найчастіше це пов'язано з самими опублікованими результатами: ті дані, які авторів не задовольнили, як правило, просто не добираються до публікації. А ті, які в підсумку опиняються в статті, - відбираються таким чином, щоб краще ілюструвати ту закономірність, на яку хочуть звернути увагу автори. Всі ці ефекти призвели в підсумку до кризи відтворюваності (або кризи реплікації), яка найбільш помітна в психології, медицині, економіці та соціальних науках, але спостерігається в тому числі і в природничих науках.

Марта Серра-Гарсія (Marta Serra-Garcia) і Урі Гнізі (Uri Gneezy) з Каліфорнійського університету в Сан-Дієго вирішили перевірити, як відтворюваність статей впливає на їхнє цитування. У своєму дослідженні вчені використовували дані трьох проектів, в яких проводилася систематична оцінка відтворюваності: аналіз статей з психології 2015 року, аналіз статей з економіки 2016 року та аналіз статей у та 2018 року. Статті з кожного з трьох проектів автори розбили на відтворювані (p < 0,05) і невироблені (p > 0,05) і проаналізували за даними Google Scholar динаміку їх цитування з 2010 по 2019 рік. Крім того, дослідники вивчили й інші метрики, пов'язані з цитуванням (зокрема імпакт-фактори тих журналів, в яких були посилання на невироблені роботи). Окремо вчені перевірили, як вплинула на цитування статей публікація результатів перевірки їх відтворюваності.

З'ясувалося, що для всіх трьох груп невиробність результатів досліджень не тільки не знижує цитованість, а навпаки - підвищує її. У середньому цю статтю цитували на 153 рази більше, ніж відтворювану. Максимальною ця різниця виявилася для статей з і. Ніякої помітної зміни в динаміці цитування не спостерігалося, в тому числі ніяк не позначилася на ній і перевірка на відтворюваність. Крім того, ті дослідження, в яких були процитовані невисказні роботи, публікувалися в журналах з приблизно таким же середнім імпакт-фактором, що і статті, що цитують відтворювані роботи - тобто умовну «якість» (або «рівень») статей не відрізнялися. При цьому тільки в 12 відсотках статей, посилаючись на сумнівну роботу, автори згадують, що дані не пройшли перевірку на відтворюваність.

Однак ті роботи, в яких цитуються відтворювані статті, все ж з більшою ймовірністю виявлялися опубліковані в журналах з бази даних - найповнішого і найнадійнішого джерела даних про цитування в рецензованих наукових журналах. Різниця ймовірності публікації склала 6,1 відсотка.

Автори дослідження вважають, що ті вчені, які посилаються на невироблені результати, майже завжди розуміють, що ці дані менш надійні. Але пред'являють до них - як до більш цікавих - знижені вимоги, а також враховують, що потім такі статті можуть викликати більший ажіотаж у науковому середовищі і привернути більшу увагу до нової роботи.

Докладніше про кризу відтворення ви можете прочитати в наших матеріалах «Не повторюється таке іноді» і «Спробуй повтори».