Naukowcy powtórzyli 28 słynnych eksperymentów psychologicznych. Tylko w połowie przypadków udało się uzyskać podobne wyniki. Szklanka jest do połowy pełna czy w połowie pusta?

Efektu Lady Makbet, która u Szekspira obsesyjnie myła zakrwawione ręce, niestety nie udało się potwierdzić na badanej próbie. Szkoda, bo jednak bardzo działał na wyobraźnię. Obraz Charlesa Soubre „Lady Makbet”, 1877 r.

Many Labs 2 potwierdziło wyniki badań nad tzw. dylematem wagonika. Większość badanych uznała za niedopuszczalne własnoręczne zepchnięcie jednego człowieka na tory, aby zatrzymać wagonik mogący zabić pięć innych osób. Gdy mogli przestawić zwrotnicę, decydowali się na poświęcenie jednej osoby dla dobra grupy.

O tzw. kryzysie replikacyjnym w psychologii, szczególnie społecznej, mówi się już od kilku lat. Chodzi o problem powtarzalności wyników eksperymentów: czy rezultaty uzyskane przez jedną grupę naukowców otrzymają także w powtórce badania inne zespoły psychologów. Jeśli nie, może to oznaczać, że ogłoszony efekt w ogóle nie występuje i był wynikiem przypadku lub błędów metodologicznych, a w skrajnych sytuacjach nawet oszustwa.

Wielokrotne replikacje są podstawowym narzędziem nauki. Wyniki kolejnego tego typu dużego projektu – Many Labs 2 – opublikowano pod koniec 2018 r. Przez kilka lat 186 reprezentujących 36 narodowości badaczy z 60 laboratoriów na 6 kontynentach zajmowało się 28 głośnymi badaniami psychologicznymi. W każdym wzięło udział ponad 7 tys. osób badanych, z różnych kultur (w oryginalnych przeciętnie uczestniczyło 112 osób). Podobne – choć nieco słabsze od oryginalnych – rezultaty, udało się uzyskać w przypadku połowy eksperymentów.

Prof. Brian Nosek z Center for Open Science, który pomagał koordynować projekt, twierdzi, że mogą one okazać się nawet ważniejsze niż ogłoszone w 2015 r. wyniki Reproducibility Project, w ramach którego udało się zreplikować zaledwie 36 spośród stu eksperymentów.

Materiał do sprawdzenia wybierano na podstawie wielu kryteriów. Do próby trafiły więc badania najwybitniejszych współczesnych psychologów, których wyniki były wielokrotnie przywoływane przez innych autorów i prezentowane podczas wystąpień TED (cieszące się ogromną popularnością krótkie wykłady dostępne w internecie), uzyskując wielomilionową oglądalność. Oraz takie, które znalazły swoje miejsce w podręcznikach i kanonie nauczania psychologii oraz stanowią podstawę wielu decyzji podejmowanych zarówno w odniesieniu do jednostek, jak i całych grup społecznych. Innym, bardziej technicznym kryterium była możliwość przeprowadzenia badań online za pośrednictwem platformy, do której mogli mieć dostęp badacze z wszystkich 60 laboratoriów.

Zawartość

Wśród eksperymentów, których nie udało się potwierdzić, znalazł się ten, w ramach którego odkryto efekt Lady Makbet. Miał on polegać na tym, że podobnie jak bohaterka dramatu Szekspira prześladowana była wspomnieniami własnych zbrodni (cały czas widziała na rękach ślady krwi ofiar, które próbowała zmyć), tak badani, proszeni o przypomnienie sobie jakiegoś swojego zachowania związanego z naruszeniem norm moralnych, mieliby mieć silniejszą tendencję do działań związanych z przywracaniem i utrzymywaniem fizycznej czystości.

Nie uzyskano potwierdzenia wyników, które pokazywały, że ludzie wychowujący się z rodzeństwem są bardziej altruistyczni od jedynaków.

Zawiodły też próby ponownego udowodnienia, że badani wykonujący zadania związane z wykorzystywaniem słów określających ciepło są bardziej skłonni do wiary w globalne ocieplenie niż ci, którzy wykonywali zadania związane z wykorzystaniem słów określających zimno.

Weryfikacji nie przeszedł również słynny eksperyment Yoela Inbara z 2009 r. pokazujący, że ludzie, którzy najpierw doświadczyli uczuć odrazy, byli później bardziej homofobiczni od osób badanych z grupy kontrolnej.

Z powodzeniem natomiast powtórzono eksperyment Daniela Kahnemana, laureata Nagrody Nobla z ekonomii, który wraz z Amosem Tverskym odkrył tzw. efekt framingu. Polega on na tym, że ludzie, mając te same dane, podejmują różne decyzje w zależności od kontekstu, w jakim je im zaprezentowano.

Many Labs 2 potwierdziło też wyniki badań z 2007 r. nad tzw. dylematem wagonika. Podobnie jak w pierwotnym eksperymencie, tak i tym razem większość badanych uznała za niedopuszczalne własnoręczne zepchnięcie jednego człowieka na tory, aby zatrzymać wagonik mogący zabić pięć innych osób. Natomiast w niemal identycznej sytuacji, gdy mieli przestawić zwrotnicę, by skierować pędzący wagonik na jedną osobę, ratując tym samym życie grupie ludzi stojących na torach, większość była gotowa to zrobić.

Trudy replikacji przetrwały również eksperymenty nad podstawowym efektem atrybucji, czyli tendencji do wyjaśniania zachowania obserwowanych osób w kategoriach przyczyn wewnętrznych i stałych (np. cech charakteru) przy jednoczesnym niedocenianiu zewnętrznych wpływów sytuacyjnych.

Kiedy w jakiejś sprawie uzyskuje się wynik pół na pół, zawsze nasuwa się pytanie, czy szklanka jest do połowy pełna czy w połowie pusta? Odpowiedź na nie zależy nie tylko od zasobów optymizmu i pesymizmu, ale również od przyjętej perspektywy.

Wypełnienie

Jeśli zdejmiemy różowe okulary i spojrzymy na psychologię, a w szczególności na psychologię społeczną, jako na naukę borykającą się od lat z problemami metodologicznymi, targaną skandalami wokół kolejnych oszustw naukowych, to odpowiedź będzie paradoksalnie pozytywna. Z takiej perspektywy 50 proc. to bardzo dużo. A fakt, że replikowalność eksperymentów nie zależy od kontekstu kulturowego – co jednoznacznie pokazały wyniki – jest nie do przecenienia (przy czym nie jest to równoznaczne ze stwierdzeniem, że kontekst kulturowy nie ma znaczenia w badaniach psychologicznych). Takiej pewności jeszcze do niedawna psychologowie bowiem nie mieli, bo większość badań prowadzono w populacjach, które od jakiegoś czasu określa się mianem WEIRD. Można je przetłumaczyć jako „dziwaczny”, ale jest też akronimem złożonym ze słów western (zachodni), educated (wykształcony), industrialized (zindustrializowany), rich (bogaty) i democratic (demokratyczny). Popularnymi obiektami badań byli np. amerykańscy studenci psychologii. Zawsze pod ręką.

Inną dobrą wiadomością, jaką niosą ze sobą wyniki Many Labs 2, jest to, że znaczna część naszej wiedzy o zachowaniu ludzi jest niezależna od upływu czasu – zmiennej będącej zmorą wielu badaczy w naukach społecznych, których praca często okazuje się portretowaniem czegoś ulotnego. Być może właśnie takim przypadkiem jest badanie nad altruizmem jedynaków i osób wychowujących się z rodzeństwem, którego wyników Many Labs 2 nie potwierdziło. W czasie, który upłynął od momentu przeprowadzenia oryginalnego badania do jego replikacji, z pewnością nastąpiły zmiany stylu wychowywania dzieci i to w wielu kulturach. Być może niektóre funkcje, jakie pełnił wcześniej dom i rodzina, zostały przejęte przez różnego rodzaju instytucje. To mogło doprowadzić do tego, że kontakty jedynaków z rówieśnikami są obecnie bardziej intensywne niż kiedyś i zastępują relacje z rodzeństwem. Aby jednak się przekonać, czy to przypuszczenie jest prawdziwe, należałoby przeprowadzić badania, w których porównywano by natężenie altruizmu u jedynaków i osób wychowujących się z rodzeństwem z różnych pokoleń. Z samej replikacji to jeszcze nie wynika.

Rezultaty Many Labs 2 potwierdzają również przekonanie o tym, jak duże znaczenie dla replikowalności badań ma wielkość efektu odkrytego w oryginalnym eksperymencie. Okazało się bowiem, że inne czynniki, takie jak miejsce badania, kolejność zadań czy kultura, nie miały aż tak dużego znaczenia dla wyniku replikacji, jak właśnie wielkość efektu. Albo coś udawało się replikować wszędzie, albo nigdzie.

Wynikają stąd jednoznaczne wskazania dla badaczy i redaktorów czasopism naukowych, którzy przed publikacją jakichkolwiek wyników powinni szczególną uwagę zwracać właśnie na wielkość efektu uzyskanego podczas badań i moc statystyczną uzyskanych rezultatów. Odkrycia zespołu Many Labs 2, dostarczając bezcennych wskazówek współczesnym badaczom, pozwalają mieć nadzieję, że obszar wiedzy, którą dziewiętnastowieczny matematyk William Clifford nazywał „bezpieczną prawdą”, będzie się w psychologii powiększał, a o kryzysie replikacyjnym będziemy uczyć się na zajęciach z historii psychologii.

Zanim to jednak nastąpi, warto pamiętać, że co roku w psychologii, tylko w języku angielskim, publikuje się nawet do 150 tysięcy recenzowanych prac, które w zestawieniu z 28 zreplikowanymi studiami stanowią prawdziwy ocean wyników. W samym tylko 2017 r. (wg bazy PsycINFO) opublikowano ich ponad 144 tys., z czego zaledwie 181 (ok. 0,12 proc.) zawierało w tytule słowo „replikacja”.

Pustka

Perspektywa naukowców nie jest jednak jedyną, którą powinniśmy uwzględnić, odpowiadając na pytanie o zawartość szklanki. Całkiem odmienna jest przyjmowana przez przeciętnych użytkowników wiedzy psychologicznej – praktyków wykorzystujących wiedzę z obszaru psychologii społecznej w zarządzaniu, w kształtowaniu postaw społecznych, w reklamie czy edukacji. Oni będą zadawać sobie pytania podobne do tych, które stawiają użytkownicy innych dostępnych nam dóbr. Ile fałszywych banknotów w obiegu powoduje, że waluta staje się bezużyteczna? Jaki odsetek fałszywych haseł w Wikipedii doprowadziłby do całkowitej kompromitacji tego źródła informacji? Jaki procent bubli w produkcji sprawia, że ludzie przestają kupować produkty konkretnej firmy? Ile nieprawdziwych informacji może wydrukować gazeta, zanim zacznie tracić zaufanie czytelników?

Niestety, dla praktyków wyniki Many Labs 2 oznaczają, że połowa kartek w podręcznikach i książkach, z których korzystają, może zawierać nieprawdziwe informacje. I problemem dla nich jest to, że nie wiadomo, która to połowa.

Wygląda jednak na to, że takie dylematy nie dotykają psychologów. W 2018 r. American Psychological Association ogłosiło, że psychologia cieszy się popularnością większą niż kiedykolwiek w historii. Co roku około 1,6 mln studentów rozpoczynających studia w USA wybiera kurs wprowadzenia do psychologii, a liczba ta cały czas rośnie. Prognozy zatrudnienia dla psychologów mówią o 19-procentowym wzroście zapotrzebowania na nich do 2024 r. Podobnym zainteresowaniem cieszą się studia psychologiczne i usługi oferowane przez psychologów w Europie. Czy ten wzrost zainteresowania odbywa się pomimo kryzysu replikacyjnego czy dzięki niemu?

A może oba przypuszczenia są prawdziwe?

***

Autor jest doktorem psychologii, autorem publikacji naukowych i książek, m.in. „Zakazanej psychologii” i wydanej w ubiegłym roku „Psychoterapii bez makijażu”.

***

Spróbuj jeszcze raz

W 2016 r. tygodnik naukowy „Nature” spytał ponad półtora tysiąca naukowców o to, czy doświadczyli porażki podczas próby powtórzenia eksperymentu przeprowadzonego przez innego naukowca oraz przez siebie samego. Wyniki różniły się w zależności od dziedziny, którą reprezentowali badacze (patrz zestawienie procentowe w tabelce).