Eksperyment Shawna Carlsona w Nature 1985 roku

Fizyk i astrologowie przy jednym stole

Shawn Carlson był młodym fizykiem związanym z Uniwersytetem Kalifornijskim w Berkeley, kiedy zaprojektował badanie, które miało stać się jednym z najbardziej znanych tekstów w historii naukowej krytyki astrologii. Artykuł zatytułowany A double-blind test of astrology ukazał się w tomie 318 tygodnika „Nature”, w numerze z 5 grudnia 1985 roku. Już samo miejsce publikacji miało znaczenie. „Nature” rzadko drukowało teksty dotyczące astrologii, a fakt, że zrobiło to w przypadku eksperymentu z kontrolą zaślepienia, nadawał wynikowi autorytet, jakiego nie miały wcześniejsze polemiki z łamów popularnych pism.

Tło tej publikacji tworzyła dekada ostrych sporów. W 1975 roku amerykańskie pismo „The Humanist” wydrukowało oświadczenie Objections to Astrology, podpisane przez blisko dwustu naukowców, wśród nich kilkunastu laureatów Nagrody Nobla, którzy wzywali opinię publiczną do odrzucenia astrologii jako pozbawionej podstaw. Tekst wywołał jednak sprzeciw także wśród ludzi nauki, ponieważ ograniczał się do deklaracji i argumentów z autorytetu. Filozof Paul Feyerabend wytknął sygnatariuszom, że potępiają dziedzinę, której nie zbadali, a sama forma manifestu przypomina raczej orzeczenie kościelne niż wynik badań. W tej atmosferze stało się jasne, że spór wymaga rozstrzygnięcia na drodze eksperymentu, a nie podpisów. Carlson zaprojektował swoje badanie dokładnie jako odpowiedź na tę potrzebę.

Szczególną cechą projektu była współpraca z samymi astrologami. Carlson nie chciał zbudować testu, o którym przeciwnicy mogliby powiedzieć, że sprawdza coś, czego astrologia nigdy nie twierdziła. Dlatego poprosił o pomoc National Council for Geocosmic Research, amerykańską organizację astrologiczną, i przy jej udziale dobrał grupę doradców i uczestników, uznawanych w środowisku za kompetentnych. Protokół badania przedstawiono im przed rozpoczęciem pracy, a astrologowie zaakceptowali go jako uczciwy sprawdzian swojej sztuki. To uprzednie porozumienie było później jednym z najmocniejszych argumentów obrońców wyniku: trudno twierdzić, że test był źle pomyślany, skoro jego założenia przyjęli sami badani.

Konstrukcja próby

Badanie składało się z dwóch powiązanych części. W pierwszej ochotnicy, którzy przekazali dokładne dane urodzeniowe, wypełniali California Psychological Inventory, kwestionariusz osobowości szeroko stosowany w psychologii amerykańskiej. Astrologowie otrzymywali następnie horoskop urodzeniowy jednej osoby oraz trzy profile CPI, z których tylko jeden należał do właściciela horoskopu, a dwa pozostałe wybrano losowo spośród innych uczestników. Ich zadaniem było wskazać, który profil pasuje najlepiej, a który jako drugi. Wszystko odbywało się bez kontaktu z badanymi i bez wiedzy, który profil jest prawdziwy, tak aby ani astrolog, ani osoba przekazująca materiał nie mogła nieświadomie podpowiedzieć odpowiedzi. Na tym właśnie polega podwójne zaślepienie: nie wie ani badany, ani osoba bezpośrednio prowadząca próbę, co jest prawdą, a klucz pozostaje u kogoś, kto nie ma wpływu na przebieg zadania. Taka konstrukcja wyklucza najprostsze źródła złudzeń, przede wszystkim wskazówki przekazywane mimowolnie gestem, tonem lub kolejnością materiałów.

Przed rozpoczęciem próby astrologowie zostali poproszeni o określenie oczekiwanego wyniku. Zgodnie przewidzieli, że trafią właściwy profil co najmniej w połowie przypadków, a więc wyraźnie powyżej poziomu przypadku, który przy trzech możliwościach wynosi jedną trzecią. Ta uprzednia deklaracja miała ogromne znaczenie metodologiczne, ponieważ uniemożliwiała przesuwanie kryterium sukcesu po poznaniu wyniku. Carlson mógł więc sformułować hipotezę astrologów w sposób jednoznaczny: jeżeli horoskop rzeczywiście opisuje osobowość tak, jak twierdzą jego interpretatorzy, trafność powinna przekraczać jedną drugą.

W drugiej części eksperymentu role zostały odwrócone. Uczestnicy otrzymywali trzy interpretacje astrologiczne, przygotowane przez astrologów na podstawie horoskopów, i mieli wybrać tę, która dotyczyła ich samych. Ta część miała sprawdzić, czy astrologiczne opisy są na tyle trafne, że ludzie rozpoznają w nich siebie, gdy nie wiedzą, który tekst jest „ich”. Równolegle uczestnicy próbowali też rozpoznać własny profil CPI spośród trzech możliwych, co dawało porównanie z kwestionariuszem psychologicznym.

Wynik na poziomie przypadku

Rezultaty okazały się jednoznaczne w sensie, który zakładał protokół. Astrologowie wskazywali właściwy profil CPI jako pierwszy wybór mniej więcej w jednej trzeciej przypadków, a więc tak często, jak przewidywałoby zgadywanie. Nie zbliżyli się do zapowiadanej połowy. Również uczestnicy wybierający swoje interpretacje astrologiczne nie radzili sobie lepiej niż przypadek. Carlson zakończył artykuł stwierdzeniem, że eksperyment jednoznacznie podważa hipotezę astrologiczną, a przewidywania astrologów, choć formułowane z pewnością siebie, nie znalazły potwierdzenia w kontrolowanych warunkach.

Wynik szybko przekroczył granice środowiska akademickiego. Cytowały go podręczniki metodologii, popularne książki o myśleniu krytycznym i publikacje organizacji sceptycznych. Stał się symbolicznym zamknięciem sporu, przynajmniej w opinii tych, którzy uważali spór za otwarty tylko z powodu braku dobrze zaprojektowanych badań. Przywoływano go częściej niż wiele późniejszych, obszerniejszych prób, ponieważ łączył prostą konstrukcję, uprzednią zgodę astrologów na protokół i publikację w jednym z najbardziej prestiżowych pism naukowych świata.

Spór o metodę

Krytyka eksperymentu pojawiła się zarówno ze strony astrologów, jak i ze strony badaczy, którzy nie byli zwolennikami astrologii, lecz uważali, że wynik przedstawiano w sposób zbyt kategoryczny. Pierwszy zarzut dotyczył samego narzędzia. California Psychological Inventory opisuje osobowość w kategoriach skal przystosowania społecznego, odpowiedzialności czy samokontroli, które niekoniecznie odpowiadają temu, o czym mówi horoskop. Astrologowie musieli przetłumaczyć swój język na język kwestionariusza, a porażka mogła dotyczyć raczej przekładu niż samej sztuki.

Drugi zarzut był bardziej kłopotliwy dla obrońców wyniku. W części, w której uczestnicy mieli rozpoznać własny profil CPI, także oni nie radzili sobie wyraźnie lepiej niż przypadek. Jeżeli ludzie nie potrafią rozpoznać siebie w opisie stworzonym przez sprawdzone narzędzie psychologiczne, to trudno oczekiwać, że zrobi to za nich astrolog, który widzi tylko horoskop. Krytycy pytali więc, czy test w ogóle miał moc odróżnienia rzeczywistej trafności od przypadku, skoro nawet poprawne opisy nie były rozpoznawalne. Zwolennicy Carlsona odpowiadali, że astrologowie nie byli zobowiązani do rozpoznawania siebie, lecz do zestawiania dwóch opisów, a to zadanie jest odmienne.

Trzeci zestaw zastrzeżeń dotyczył analizy statystycznej. Astrologowie, oprócz wskazania pierwszego i drugiego wyboru, oceniali też dopasowanie na skali liczbowej, a niemiecki psycholog Suitbert Ertel w obszernej reanalizie opublikowanej w 2009 roku w „Journal of Scientific Exploration” przekonywał, że po uwzględnieniu tych ocen pojawia się słaby, ale statystycznie istotny efekt na korzyść astrologów. Ertel nie twierdził, że astrologia została przez to potwierdzona, wskazywał jednak, że wniosek o całkowitym braku efektu wynikał w części ze sposobu, w jaki Carlson podsumował dane. Reanaliza ta również spotkała się z krytyką, zwłaszcza dotyczącą wyboru wskaźników po fakcie. Spór o tę reanalizę dobrze pokazuje, jak wiele zależy od decyzji podjętych przed zebraniem danych: gdy protokół wskazuje jedną miarę sukcesu, późniejsze sięganie po inne miary zawsze budzi podejrzenie, że szuka się takiej, która da pożądany rezultat. Z tego samego powodu oba obozy mogły powoływać się na zasadę uprzedniej rejestracji hipotez, wyciągając z niej przeciwne wnioski.

Pojawiały się także pytania o dobór astrologów i o warunki ich pracy. Interpretacja horoskopu bez rozmowy z klientem, bez możliwości zadania pytań i bez kontekstu biograficznego różni się od tego, jak astrologia funkcjonuje w praktyce. Obrońcy wyniku podkreślali jednak, że właśnie dlatego test był wartościowy: oddzielał to, co horoskop sam w sobie mówi, od tego, co astrolog może wywnioskować z kontaktu z osobą. Jeżeli wiedza astrologiczna rzeczywiście pochodzi z nieba, a nie z obserwacji człowieka, powinna przetrwać także w warunkach zaślepienia.

Miejsce w historii sporu o astrologię

Z perspektywy czasu eksperyment Carlsona należy do grupy prób, które przesunęły dyskusję o astrologii z poziomu ogólnych deklaracji na poziom szczegółowej metodologii. Jego najważniejszą zasługą było włączenie astrologów w projektowanie testu i wymaganie od nich, by przed rozpoczęciem badania określili, co uznają za sukces. Taki standard stał się wzorem dla późniejszych badań, a także dla dyskusji o tym, jak w ogóle testować twierdzenia, które ich zwolennicy uważają za subtelne i trudno mierzalne.

Jednocześnie historia recepcji pokazuje, że nawet dobrze zaprojektowany eksperyment nie rozstrzyga sporu, w którym obie strony wnoszą odmienne założenia o naturze przedmiotu. Dla sceptyków wynik był potwierdzeniem tego, czego się spodziewali, i jako taki wszedł do kanonu argumentów. Dla wielu astrologów był dowodem, że ich sztuka nie poddaje się metodom stworzonym dla zjawisk fizycznych, co jednak samo w sobie stanowi istotne ustępstwo wobec ambicji, by astrologia była wiedzą o świecie. Historyk idei może odnotować, że od lat osiemdziesiątych coraz więcej astrologów przestało w ogóle bronić empirycznej trafności horoskopu, przesuwając swoją praktykę ku symbolicznej interpretacji i doradztwu.

Sam Carlson nie poświęcił reszty kariery astrologii. Zajmował się później popularyzacją nauki i amatorskim eksperymentowaniem, prowadził rubrykę dla miłośników nauki w „Scientific American” i założył stowarzyszenie wspierające badaczy amatorów. Artykuł z 1985 roku pozostał jednak tym, z czego jest najbardziej znany, i nadal pojawia się w każdej poważnej dyskusji o naukowym statusie astrologii, czy to jako rozstrzygnięcie, czy jako punkt wyjścia do pytań o to, co właściwie może rozstrzygnąć pojedynczy test.

Najciekawsze w całej sprawie wydaje się dziś to, co eksperyment mówi o samej naturze sprawdzianu. Każdy test zakłada przekład: twierdzenie musi zostać zapisane w takiej postaci, by dało się je porównać z danymi. Carlson wymógł na astrologach ten przekład i pokazał, że w przyjętej przez nich formie ich twierdzenie nie znalazło potwierdzenia. Spór, który toczy się od tamtej pory, dotyczy w gruncie rzeczy tego, czy przekład był wierny. Obie odpowiedzi na to pytanie mają swoje racje, ale tylko jedna z nich pozostawia astrologii status wiedzy, którą można w ogóle sprawdzić.