Kto sa pýta, niečo sa dozvie... o publikačných skresleniach a predregistrácii.


Jednou z vecí, ktorú som nevedela, ale naučila som sa, je pýtať sa. Ak niečo neviem, nerozumiem tomu alebo chcem poznať názor na konkrétnu problematiku, tak kladiem otázky. Niekedy sa môžu zdať triviálne, ale už len samotné zamýšľanie sa nad nimi ma posúva v poznaní.

Oblasť psychometriky či metodológie v psychológii a štatistiky (v niektorých oblastiach) sa za posledné roky posunula pre mňa míľovými krokmi a keďže som sa venovala skôr iným metódam (napr. metóda rýchleho prebalenia) a využívala jednoduchšie štatistické analýzy (napr. vyhodnocovanie počtu sekúnd strávených sama), tak aktuálne sa snažím všetko dohnať, aby návrat do výskumu v psychológii bol čo najviac plynulý. Uvedomujem si, že je potrebné sledovať „trendy“, ktoré teraz hýbu týmto (mikro)svetom a tak aj ja som siahla po článkoch o replikovaní, o otvorenej vede, predregistrácii, p-hackingu, HARK-ingu a podobne... A hlavou mi víri mnoho otázok, na ktoré by som rada poznala odpovede. Len ich treba položiť tým správnym ľuďom, ktorý sa týmto témam venujú už dlhšie a to práve niektorým zo zakladateľov SKRN. Takže ak to máte podobne, tak tu možno nájdete odpovede aj na Vaše otázky.


Otázka: Čítala som o tzv. publikačných „bias“ (publikačné skreslenie, kedy sú pri publikovaní preferované signifikantné výsledky). V jednom článku uviedli vysvetlenie, že je to (aj) preto, pretože signifikantné výsledky sú viac „sexi“ a viac vzrušujúce[1]. Rozumiem tomu, že je to nielen na strane časopisov (odmietanie uverejniť nesignifikantné výsledky), ale aj u samotných výskumníkov (nepublikovanie nesignifikantných výsledkov).

Aké iné dôvody to podľa Vás má? Stretli ste už s tým aj v praxi? Prípadne publikujete aj Vy sami nesignifikantné výsledky? (ja si doteraz pamätám slová Dr. Sarmányho-Schullera zo seminára k záverečnej práci, ktorý hovorieval, že aj nesignifikantný výsledok je výsledkom, ktorý hovorí o tom, že tadiaľ cesta nevedie).


Vlaďa: Ja som sa už akosi za tie roky zmierila, že výsledky sú skoro vždy menej priamočiare oproti očakávaniu a niekedy je práve najzaujímavejšie rozmýšľať nad tým, prečo to celé vychádza inak než sme očakávali. Podľa mňa sa aj nesignifikantné výsledky dajú „predať“ vo forme zaujímavého príbehu, len si to vyžaduje viac uvažovania. Prečo sa nesignifikantné výsledky publikujú ťažšie je ale podľa mňa často skôr preto, že dizajn výskumu bol slabý a nedá sa potom povedať, že nejaký efekt neexistuje – preto je dôležité dopredu myslieť na dostatočnú štatistickú silu a dobrý dizajn, čomu predregistrácia a registrované štúdie môžu pomôcť.


Jakub: Myslím si, že jeden z problémov pri „nesignifikantných“ výsledkoch je to, že nie sú evidenciou v prospech hypotézy, ale ani evidenciou svedčiacou o absencii efektu. Ak teda v našom výskume napríklad konštatujeme, že „medzi skupinami nie je rozdiel“, je to chybný záver. Odpoveď „neviem“ nie je veľmi populárna a preto môže byť ťažké ju publikovať. Takéto výsledky sú ale úplne normálne a bežné, publikované by byť určite mali.

Ja osobne som sa s tým v praxi samozrejme stretol. Ešte ako študent som počul od skúsenejšej osoby názor, že „nesignifikantné“ výsledky čitateľov nezaujímajú a musíme nájsť signifikantný výsledok, a ten publikovať. Bolo to skôr, než som sa prvý krát dočítal o problematickej analytickej flexibilite v článku od Simmonsa a kol., a teda priznávam veľa omylov v mojich prvých výskumných pokusoch (vrátane omylu, že nesignifikantný výsledok znamená, evidenciu v prospech nulového efektu).


Matúš: Existencia publikačného skreslenia (v našich vedách je počet falošne pozitívnych výsledkov veeeľmi vysoký) je podľa mňa kombináciou faktorov na strane výskumníka (porozumenie metodológii, jeho/jej filozofia vedy, náchylnosť na kognitívne skreslenia prameniaca aj zo zaangažovanosti v problematike, atď.) a problémov systémového charakteru (incentívy vo vede, explorácia prezentovaná ako konfirmácia, nízka transparentnosť, atď.). Samozrejme, nesignifikantný výsledok je náročnejšie publikovať. Opäť je za tým množstvo aspektov. Mne momentálne napadol jeden veľmi milý dôvod – že sú recenzentmi osoby, ktoré obdobný efekt pred vami našli. Prirodzene sa im teda natíska otázka, čo ste spravili [zle], že sa vám ten efekt nepodarilo nájsť a čo môžete dodatočne urobiť (napr. ďalšie analýzy), aby ste ho našli. Inak, veľmi trefne to popísali Vlaďa a Jakub. Dohromady v zásade vravia, že proces tvorby poznania nie je priamočiary, a nesignifikantné zistenia umocňujú s tým spojenú neurčitosť výsledku. V ideálnom prípade by sme zo štúdie chceli mať jeden deterministický výsledok. Problém je, že jedna štúdia ho poskytne len málokedy.


Marcel: Mne napr. editor z nemenovaného Q1 časopisu (Journal of Vocational Behavior) okomentoval Desk Reject tým, že som nesplnil základnú požiadavku pre publikovanie a to sú sign. výsledky. Aké potom očakávame správanie od vedcov, ak tí, ktorí by mali vytvárať nejaké štandardy pre kvalitnú vedu ju sami nerobia/nepoznajú/nepodporujú? A to nie je ojedinelá skúsenosť. Je treba vzdelávať, diseminovať dobré praktiky, vzdelávať, diseminovať dobré praktiky, vzdelávať… a bude lepšie. Myslím si, že Registered Reports (RR) sú riešením, ako „bezproblémovo“ vypublikovať aj nesignifikantné výsledky. A RR sú vnímané ako viac dôveryhodnejšie výstupy, takže (aspoň niektorých) výskumníkov to prirodzene motivuje robiť kvalitnejšiu vedu.


Pali: Myslím, že to kolegovia popísali veľmi dobre. Mne osobne pomáha tomuto problému lepšie porozumieť pokiaľ sa zamýšľam nad tým, že tu nejde iba o akýsi neosobný abstraktný problém, ale o niečo, čo sa dotýka potrieb, očakávaní a cieľov všetkých ľudí. Konkrétne každej zo zúčastnených strán – výskumník, recenzent, editor a čitateľ. Čo mám pod tým na mysli?

Ak by sme začali u samotného výskumníka, myslím, že by sme neboli ďaleko od pravdy, keby sme povedali, že mu štatistiky významný výsledok môže priniesť dobrý pocit – Môže si povedať napr. „Heuréka! Svet je taký, ako som čakal!“ Svet ale taký často nie je. Okrem toho, pri nesignifikantný výsledkoch sa môže výskumník začať sám seba pýtať - „Čo som spravil zle?“; „Možno sú v hre skryté moderátory...; „Akú hodnotu má to, čo som zistil?; „A vôbec, koho bude to, že som na nič neprišiel, vôbec zaujímať a odpublikuje to?“. Nesignifikantné výsledky preto často zahodí do šuplíka a skúša ďalej tak, aby naplnil svoj cieľ - publikovať a v konečnom dôsledku prežiť.

Zabúda ale, že nemusel spraviť chybu a daný efekt na populačnej úrovni skutočne neexistuje alebo je oveľa menší, než prvotne predpokladal, či ako naznačuje výskumná literatúra (a tá často nadhodnocuje preto, že si niečo podobné povedali iní výskumníci, recenzenti a editori). Okrem toho, výskumník často zabúda aj na to, že, pokiaľ je daný výskum dobre vymyslený, aj štatisticky nevýznamný výsledok môže priniesť dôležitú informáciu o ktorú často prichádzame. Práve preto som presvedčený, že je o tejto téme potrebné hovoriť viac – najmä mladej generácií študentov a začínajúcich výskumníkov (ja som mal napr. veľké šťastie na učiteľa štatistiky, ktorý nám zdôrazňoval, že má pán Boh rád všetky čísla a aj štatisticky nevýznamné výsledky).

Okrem toho je ale zároveň fér jedným dychom podotknúť aj to, že štatisticky nevýznamný výsledok so sebou prináša viacero výziev. Ako napr. spomenuli Vlaďa a Jakub, štat. nevýznamný výsledok neumožňuje zamietnuť nulovú hypotézu. Pokiaľ nespravíme dodatočné analýzy a/alebo nemáme všetko dopredu dostatočne premyslené (napr. nedisponujeme dostatočnou štatistickou silou, ktorú nanešťastie nie vždy explicitne zvažujeme pred realizáciou výskumu), tak to môže byť problém. Dokonca aj pokiaľ sme si všetko premysleli môže byť odpoveďou na našu výskumnú otázku „nevieme, je potrebný ďalší výskum“.

A ľudia slovo „nevieme“ nemajú radi. Recenzenti sú pritom taktiež iba ľudia. Možno by radšej počuli „vieme to presne, vyšlo nám niečo nové a maximálne prevratné“ a možno si myslia, že by niečo také chceli čítať aj ich potenciálni čitatelia a preto sa im to aj snažia dodať tak, aby mal ich časopis, na ktorom im prirodzene záleží, čo najvyššiu čitateľnosť, Impact faktor a podobne. Problém takéhoto cieľa ale je, že pokiaľ sa to deje často a systémovo, ľudia následne čítajú iba o tom „novom“, „prevratnom“ a so „sexy senzačným príbehom“ a keď zbadajú niečo štatisticky nevýznamné vo svojom vlastnom výskume alebo vo výskume, ktorý práve recenzujú, tak si povedia, že... (viď začiatok) - začarovaný kruh, ktorý je potrebné pretrhnúť. Som ale veľmi rád, že sa nájdu autori, recenzenti a editori, ktorí situáciu pomaly ale isto pomáhajú meniť k lepšiemu. Patrí im za to veľká vďaka.


Otázka: Predregistráciu vnímam ako kus roboty, ktorú si robíte pred výskumom (a ktorú je v podstate aj tak potrebné spraviť) a jej prevedenie má v konečnom dôsledku viacero výhod popísaných aj v blogu od Jakuba, Paliho alebo Vladi. Ako podstatnú súčasť vnímam práve spätnú väzbu, ktorú by som ja pri svojich minulých výskumoch ocenila. Dostanem sa k nejakej spätnej väzbe aj v prípade, že by som mala nerecenzovanú predregistráciu? A ak nie, nie je lepšie sa skôr zamerať na recenzované predregistrácie?


Vlaďa: Je potrebné si uvedomiť, že je rozdiel predregistrácia – ktorá zvyčajne nie je recenzovaná a registered report – čo je vlastne recenzovaná predregistrácia, pri ktorej dostaneme posudky už na plánovaný dizajn štúdie a v prípade kladného hodnotenia môžeme získať predbežný prísľub publikácie bez ohľadu na signifikanciu výsledkov (tzv. IPA – in principle acceptance). Ja osobne by som toto odporúčala najmä doktorandom a v prípade, kedy ste zaviazaní publikovať výsledky k nejakému projektu, pretože vám to môže pomôcť už pri plánovaní výskumu a zbavuje to stresu, či sa podarí výsledky včas publikovať. Na druhej strane treba rátať s dostatočným časom, keďže recenzný proces je často zdĺhavý a v prípade registrovaných štúdií vlastne prebieha na dvakrát – pred realizovaním výskumu a potom klasicky, po spísaní výsledkov, kde sa však už hodnotí skôr to, či boli dodržané schválené predregistrované postupy. Predregistráciu vnímam skôr ako pomôcku pre samotného výskumníka, lebo nemusí byť taká podrobná a jej hlavnú výhodu vidím najmä v tom, že je jasne odlíšené, čo boli očakávania a čo je explorácia, čiže sa vyhýbame HARKingu a p-hackingu. Dá sa to vnímať aj ako určitý virtue-signalling (napr. mnohé časopisy už ponúkajú tzv. badges, ktorými sa označujú články, ktoré sú predregistrované a kde sú zdieľané materiály a dáta), ale napríklad pre mňa osobne je formát predregistrácie zaujímavý aj v prípade, že nespravíme posledný krok (zverejnenie predregistrácie), pretože keď máme viac výskumov v procese, slúži to na lepšiu komunikáciu medzi spoluautormi a na osvieženie pamäti (napr. keď sa k analýze dát dostanete až po prázdninách a pod.). Okrem toho to uľahčuje následné spisovanie výsledkov, lebo už máte vlastne hotový draft článku. V neposlednom rade sa dá predregistrácia využiť v žiadosti o súhlas Etickej komisie daného pracoviska, čo začína byť nevyhnutnosť, ak chceme publikovať v lepších časopisoch.


Jakub: Ak robíte predregistráciu, ktorá nie je recenzovaná (teda nie je vo formáte RR) spätnú väzbu od recenzentov nedostanete. Predregistrácia však aj tak plní svoj účel, ktorým je jasné odlíšenie konfirmačných a exploračných praktík. Tým, že výskum predregistrujeme, chránime samých seba pred vlastnými kognitívnymi omylmi a zlyhaním pamäti, ktoré by mohli spôsobiť to, že si hypotézu počas analýzy zmeníme, resp. vyskúšame viac jej variantov.

Samozrejme, spätnú väzba je veľmi dôležitá a môžeme ju získať aj od kolegov, alebo iných výskumníkov v našej oblasti aj v prípade, že sa jedná o nerecenzovanú predregistráciu. Taktiež sú dostupné rôzne návody a štandardy pre predregistrácie (napr. štandardy na open science fremework, alebo štandardy APA, BPS a DGPs[JR1] ), ktoré nám môžu pomôcť. Recenzovaný formát RR je výbornou možnosťou, avšak zatiaľ ho neponúkajú všetky vedecké časopisy.


Matúš: Už len doplním, že predregistácia je okrem prevencie problematických výskumných praktík (QRP) aj skvelým prostriedkom na to, aby sa výskumník/výskumníčka zamyslel/a nad konkrétnymi krokmi, ako bude svoj výskum realizovať – od presného stanovenia výskumnej otázky, cez špecifikáciu nástrojov, spôsob zberu dát, stanovenie veľkosti výskumného súboru, prácu s chýbajúcimi dátami až po voľbu štatistického modelu. Predregistrácia (vrátane RR) môže byť bolestná, ale v konečnom dôsledku zvýši efektivitu a rigoróznosť výskumu. Ľudsky povedané, predregistrácia je na to, aby som sa pred realizovaním výskumu poriadne zamyslel nad tým, čo idem robiť a aby som nerobil veci tak, ako mi v danej chvíli napadnú. Samozrejme, predregistrácia nie je vtesaná do kameňa, a ak v priebehu realizácie výskumu zistím, že čosi som mohol robiť lepšie, prípadne, že sa čosi nedá realizovať tak, ako bolo plánované, je v poriadku keď sa od predregistrácie odkloním, akurát je potrebné to transparentne uviesť a vysvetliť.


Marcel: Presne ako to vystihli kolegovia vyššie. Pre mňa osobne je bonus aj to (a nemusí to byť iba feedback od kolegov, recenzentov...), že keď si pripravujem výskum pre publikovanie v podobe Registered Reports, rozmýšľam nad dizajnom výskumu oveľa dlhšie a precíznejšie. Počas toho niekoľkomesačného rozdumovania som projekt výskumu niekoľko krát upravoval a niekoľko krát ma to už zachránilo pred neskorším plieskaním si ruky po čele, že ako som mohol na to zabudnúť/nedomyslieť to. Slow science > fast science.


Pali: Kolegovia to povedali veľmi dobre.


Otázka: Ostanem ešte pri predregistrácii. Je mi jasné, že predregistrácia sa viac rieši v anglickom jazyku, ale publikujeme aj v lokálnych (či českých) časopisoch alebo na konferenciách. Má zmysel (v takom prípade) aj predregistrácia v slovenskom jazyku? Zachytili ste už aj v našich končinách snahy časopisov ponúkať predregistráciu?


Vlaďa: Na toto sa ma už pýtali nejakí študenti, ale neviem o tom, že by bola nejaká slovenská alternatíva. Osobne si ale nemyslím, že to má veľký význam, pretože kto sa dnes chce venovať vede v psychológii, tak sa angličtine nevyhne a aj keď máme slovenské karentované časopisy (ako napr. Studia Psychologica, ktorá tiež ponúka možnosť publikovania registered reports), aj tie sú publikované v angličtine a malo by nám ísť o komunikáciu s celou vedeckou komunitou, nie len s jej časťou. Aj konferenčné príspevky (napr. na SPO) je možné písať už v angličtine. Je síce dôležité informovať o výsledkoch výskumu aj slovenskú verejnosť – a to v slovenskom jazyku – ale podľa mňa by malo potom ísť o iný typ výstupov, písaný popularizačnejším štýlom, pretože bežný človek by si nečítal výsledky výskumu ani keby boli v slovenčine. Opäť len upresním, časopisy ponúkajú registered reports, ale zvyčajne nie predregistrácie. Link na predregistráciu vkladáte do hotového rukopisu, kde si recenzenti môžu overiť podľa časovej známky, že hypotézy ste mali stanovené dopredu, v čom ste sa od predregistrácie odklonili a pod. Čiže aj keby s