Posledné desaťročie sa v psychologickej vede často diskutuje o replikačnej kríze. Mnohé výskumné štúdie, ktoré boli ešte nedávno považované za „klasiky“ psychológie 20-teho storočia, dnes vyvolávajú pochybnosti, keďže snahy o ich replikáciu neboli úspešné.
V predchádzajúcom blogu Pali popísal prehľad možných nástrah, ktoré podobne ako Sirény v príbehu o Odyseovych cestách pôsobia lákavo, no vedú nás do pasce, v našom prípade do pasce falošne pozitívnych výsledkov.
Ako uviedol Pali v blogu o predregistrácii “pripútanie sa” k presnej hypotéze a analytickému postupu, môže na prvý pohľad pôsobiť zväzujúco. V skutočnosti však tento prístup výrazne napomáha replikovateľnosti vo vede a taktiež prináša veľa aj nám, výskumníkom. Teraz sa bližšie pozrime na hlavné výhody predregistrácie pre vedu ako takú (van´t Veer & Giner-Sorolla, 2016).
1. Predregistrácia podporuje výskum založený na teórii.
Pokiaľ sa, ako vedná disciplína, chceme pohybovať vpred, je dôležité, aby sme kládli dôraz na teórie a systematický výskum založený teóriách, namiesto ad-hoc štatistických porovnaní (Meehl, 1978). Predregistrácia je metódou, ktorá pomáha zamerať našu pozornosť na presnejšie, cielenejšie, a teda aj ambicióznejšie sformulovanie hypotéz. Zaujímavé a teoreticky silné hypotézy, testované silnými metódami, sú pri predregistrovaných štúdiách uprednostnené pred naháňaním sa za „p < 0.05“ (van´t Veer & Giner-Sorolla, 2016). Toto je ešte výraznejšie pri publikovaní vo formáte Registered Reports (RR), kde sú články prijímané alebo odmietané na základe kvality teoretických hypotéz a výskumných metód, bez ohľadu na výsledky.
2. Predregistrácia pomáha jasnejšiemu odlíšeniu exploračných a konfirmačných výskumných praktík.
Zatiaľ čo exploračný výskum slúži skôr na vytváranie nových hypotéz preskúmaním všetkých možných súvislostí v dátach, konfirmačný výskum sa zameriava na testovanie vopred presne vymedzených hypotéz. Prax medzi výskumníkmi je, žiaľ, často niekde v sivej zóne medzi týmito dvomi výskumnými postupmi, čo spôsobuje nemalé problémy pre replikovateľnosť výskumu.
Prirovnajme testovanie hypotézy k streľbe na terč. Ak máme iba vágne sformulovanú, alebo žiadnu hypotézu, je to akoby sme najskôr strieľali a potom si terč domaľovali tam, kde “náhodou” trafíme (Wagenmakers, 2012). Je veľmi ľahké podľahnúť ilúzii spätného pohľadu (hindsight bias) a presvedčiť sa, že to, čo nám napokon vyšlo na X-tý pokus, sme vlastne celý čas predpokladali. Predregistrácia nás pred sklonom podliehať tomuto omylu chráni tým, že jasne oddeľuje vopred predpokladané (čo je obsahom predregistrácie), od ostatných exploračných analýz.
3. Predregistrácia znižuje mieru analytickej flexibility a využívania problematických výskumných praktik.
Predstavte si, koľkými možnými spôsobmi sa tak dá určitá hypotéza testovať. Koľko rôznych rozhodnutí môžeme urobiť pri výbere štatistického testu, pri riešení problémov s mimoležiacimi hodnotami a chýbajúcimi dátami, pri riešení kovariátov, a pod. Tak ako v predchádzajúcom bode s hypotézami, špecifikovaním presného analytického postupu v predregistrácii znižujeme analytickú flexibilitu, a tým aj pravdepodobnosť falošne pozitívnych výsledkov (pre problém analytickej flexibility pozri: Simmons et al. 2010).
4. Predregistrácia znižuje publikačné skreslenie
Publikačné skreslenie vzniká nepublikovaním výsledkov, ktoré nepodporili pôvodné hypotézy, čo vedie k preceneniu množstva a veľkosti pozitívnych výsledkov vo výskume. Predregistrovanie, a najmä rozšírenie publikovania v Registered Reports (RR), môže pomôcť zmierniť škodlivé účinky publikačného skreslenia. Napríklad Scheel et al. (2020) pri prieskume „bežných“ štúdií v psychologickej literatúre našli až 96% pozitívnych výsledkov. Pri predregistrovaných výskumoch vo formáte RR sa miera pozitivity pohybovala približne okolo 50%, čo pravdepodobne presnejšie vystihuje skutočnú mieru pozitivity výskumov.
Vyššie uvedené dôvody vysvetľujú hlavné prínosy predregistrácie pre vedu. My jednotlivci však môžeme mať pocit, že predregistrácie sú pre nás náročné a neprinášajú nám osobný prospech. Preto by som chcel záverom tohto blogu spomenúť niekoľko argumentov, ktoré by nás mohli motivovať. Vybraných „sedem sebeckých dôvodov“ pre predregistráciu spísali Wagenmakers a Dulith (2016), pozrime sa na ne:
1. Predregistrácia je dôkazom, že som svoje hypotézy skutočne predpokladal vopred. Môžem sa teda pochváliť nielen vlastnou predikciou, ale aj úvahou, ktorá k nej viedla.
2. Proces predregistrácie je zaujímavý a vzrušujúci. Na rozdiel od analyzovania dát post hoc, ktoré je často nepríjemné a zdĺhavé, pri predregistrácii trochu riskujem, avšak následne mám skutočný dôvod tešiť sa na výsledky. Môžem si “staviť” na svoju hypotézu a presvedčiť sa.
3. Pri analýze sa nestratím v spletitých výpočtoch. Analýza dát je zväčša zložitá a nepríjemná práve vtedy, keď presne neviem, čo hľadám. Ak mám hypotézu a celý analytický postup presne naplánovaný vopred, samotná analýza dát už je prehľadná a jednoduchá. V podstate len naklikám do softvéru to, čo som si naplánoval.
4. V súčasnosti už existuje veľa zdrojov, návodov a aplikácií dostupných online, ktoré predregistráciu uľahčujú. Krátky prehľad nájdete v pokračujúcom blogu (ODKAZ), a taktiež medzi ďalšími materiálmi na stránke.
5. Ak predregistrujem, dávam najavo ostatným, že sa nebojím postaviť sa za svoje hypotézy. Zároveň si budujem reputáciu transparentného výskumníka. Nech každý vidí, že nemám čo skrývať a za svojimi analytickými rozhodnutiami si stojím.
6. Po predregistrácii sa už nemusím obávať toho, ako dopadnú štatistické analýzy. Úspech mojej štúdie už nestojí na p < 0.05. Ak predregistrujem vo formáte RR, môžem sa spoľahnúť, že moja práca (ak je dostatočne kvalitná), bude akceptovaná bez ohľadu na výsledok.
7. Môže to vyzerať, že väčšia transparentnosť z mojej strany dáva muníciu na kritiku ostatným výskumníkom. V určitej miere je to tak, avšak zároveň ma predregistrácia (opät najmä vo formáte RR) chráni pred nekonštruktívnou post-hoc kritikou. Recenzenti majú menšiu možnosť namietať „chyby,“ ktoré identifikovali až po znalosti výsledku, a ktoré už nemôžem zmeniť.
K uvedeným siedmim dôvodom ešte pridám ôsmy. Predregistrácia sa môže zdať ako práca navyše, avšak nie je to tak. Množstvo práce je rovnaké ako pri bežnom publikovaní, iba časť z nej odvedieme v inom, vhodnejšom čase. Nezabudnime, že všetky analytické rozhodnutia budeme musieť aj tak raz urobiť. Ak si vytvoríme presný plán vopred, prácu nám to uľahčí.
Verím, že som vás týmto blogom povzbudil, aby ste si registráciu vyskúšali. V pokračovaní tohto blogu si môžete prečítať viac informácií o tom, čo všetko by malo byť súčasťou predregistrácie.
Referencie:
Meehl, P. E. (1978). Theoretical risks and tabular asterisks: Sir Karl, Sir Ronald, and the slow progress of soft psychology. Journal of consulting and clinical Psychology, 46(4), 806.
van't Veer, A. E., & Giner-Sorolla, R. (2016). Pre-registration in social psychology—A discussion and suggested template. Journal of Experimental Social Psychology, 67, 2-12.
Scheel, A. M., Schijen, M., & Lakens, D. (2020). An excess of positive results: Comparing the standard Psychology literature with Registered Reports.
Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological science, 22(11), 1359-1366.
Wagenmakers, E. J., Wetzels, R., Borsboom, D., van der Maas, H. L., & Kievit, R. A. (2012). An agenda for purely confirmatory research. Perspectives on Psychological Science, 7(6), 632-638.
Wagenmakers, E. J., & Dutilh, G. (2016). Seven selfish reasons for preregistration. APS Observer, 29(9).