Результати досліджень впливу рис характеру на життя виявилися відтворюваними

Американському психологу вдалося відтворити результати більшості з розглянутих ним 78 досліджень, присвячених впливу рис «Великої п'ятірки» на аспекти життя людини (її самопочуття, працездатність і соціальні взаємодії). Близько 87 відсотків виявлених авторами оригінальних робіт асоціацій виявилися відтворюваними, але величина ефекту в багатьох випадках виявилася нижчою. Стаття опублікована в журналі.

У сфері наукових психологічних досліджень вже кілька років як гостро позначена проблема невиробничості: у 2015 році в журналі вийшла стаття, авторам якої не вдалося відтворити результати більш ніж половини зі 100 розглянутих психологічних досліджень, опублікованих у рецензованих журналах. При цьому суперечки про адекватність деяких методів психологічних досліджень виникали і раніше, і вони не стихають досі. Критиці, наприклад, часто піддається модель «Великої п'ятірки», яка стверджує, що існує п'ять основних рис, що визначають характер людей: екстраверсія, доброзичливість, сумлінність, невротизм і відкритість досвіду. Відповідно, також піддаються критиці дослідження, які ґрунтуються на використанні показників цієї метрики в якості будь-яких змінних при аналізі.

Крістофер Сото (Christopher Soto) з Коледжу Колбі (Вотервілл, штат Мен) вирішив перевірити відтворюваність таких досліджень. Він відібрав 78 робіт, які присвячені вивченню зв'язку між певними рисами з «Великої п'ятірки» і деякими аспектами життя і здоров'я людини. Дослідження проводили за допомогою декількох опитувань, які, з одного боку, визначають риси характеру учасників, а з іншого - різні аспекти їхнього життя. Всього опитувальники заповнили 6100 осіб, а для більшості взаємозв'язків, які вивчив Сото, було набрано більшу кількість учасників, ніж в оригінальному дослідженні: наприклад, для того, щоб відтворити результати дослідження зв'язку здатності до прощення і доброзичливості людини, вдалося зібрати інформацію про 1550 добровольців, а в оригінальному дослідженні їх було 140.

У результаті виявилися успішними близько 87 відсотків спроб відтворити результати досліджень, проведених в оригінальних роботах. При цьому величина ефекту (effect size), яка показує, наскільки велика різниця між двома розглянутими групами (і наскільки, відповідно, взагалі значущий взаємозв'язок), у багатьох дослідженнях виявилася меншою, ніж при відтворенні: відтворити цей показник вдалося тільки в 77 відсотках випадків.

Сото, таким чином, приходить до висновку, що дослідження в рамках психології особистості і проведені в його рамках опитування здебільшого відтворювані, тому «Велику п'ятірку» можна використовувати в них як метрику. З іншого боку, він уточнює, що подібним дослідженням явно не вистачає величини ефекту: тут може бути проблема в недостатній вибірці, некоректному аналізі, а в глобальному сенсі - і в тому, як публікуються наукові роботи (тобто певному publication bias). При цьому автор не уточнює, як обрана ним методологія могла вплинути на результати оцінки відтворюваності: в деяких роботах проводилися довгострокові дослідження, в той час як сам Сото використовував тільки один онлайн-опитувальник. Саме тому для точного висновку про те, що подібні дослідження відтворювані, а метрика є науково обґрунтованою, необхідно проводити й інші дослідження, зокрема - повністю відновивши не тільки розмір вибірки, а й обраний експериментальний дизайн.

Відтворити результати досліджень намагаються і в галузі медицини, але це не так просто. Наприклад, у серпні автори проекту відтворюваності онкологічних досліджень повідомили про те, що замість запланованих 50 робіт вони зможуть перевірити всього 18. Подробиці цієї історії ви можете прочитати в нашому блозі.