Jednou z vecí, ktorú som nevedela, ale naučila som sa, je pýtať sa. Ak niečo neviem, nerozumiem tomu alebo chcem poznať názor na konkrétnu problematiku, tak kladiem otázky. Niekedy sa môžu zdať triviálne, ale už len samotné zamýšľanie sa nad nimi ma posúva v poznaní.
Oblasť psychometriky či metodológie v psychológii a štatistiky (v niektorých oblastiach) sa za posledné roky posunula pre mňa míľovými krokmi a keďže som sa venovala skôr iným metódam (napr. metóda rýchleho prebalenia) a využívala jednoduchšie štatistické analýzy (napr. vyhodnocovanie počtu sekúnd strávených sama), tak aktuálne sa snažím všetko dohnať, aby návrat do výskumu v psychológii bol čo najviac plynulý. Uvedomujem si, že je potrebné sledovať „trendy“, ktoré teraz hýbu týmto (mikro)svetom a tak aj ja som siahla po článkoch o replikovaní, o otvorenej vede, predregistrácii, p-hackingu, HARK-ingu a podobne... A hlavou mi víri mnoho otázok, na ktoré by som rada poznala odpovede. Len ich treba položiť tým správnym ľuďom, ktorý sa týmto témam venujú už dlhšie a to práve niektorým zo zakladateľov SKRN. Takže ak to máte podobne, tak tu možno nájdete odpovede aj na Vaše otázky.
Otázka: Čítala som o tzv. publikačných „bias“ (publikačné skreslenie, kedy sú pri publikovaní preferované signifikantné výsledky). V jednom článku uviedli vysvetlenie, že je to (aj) preto, pretože signifikantné výsledky sú viac „sexi“ a viac vzrušujúce[1]. Rozumiem tomu, že je to nielen na strane časopisov (odmietanie uverejniť nesignifikantné výsledky), ale aj u samotných výskumníkov (nepublikovanie nesignifikantných výsledkov).
Aké iné dôvody to podľa Vás má? Stretli ste už s tým aj v praxi? Prípadne publikujete aj Vy sami nesignifikantné výsledky? (ja si doteraz pamätám slová Dr. Sarmányho-Schullera zo seminára k záverečnej práci, ktorý hovorieval, že aj nesignifikantný výsledok je výsledkom, ktorý hovorí o tom, že tadiaľ cesta nevedie).
Vlaďa: Ja som sa už akosi za tie roky zmierila, že výsledky sú skoro vždy menej priamočiare oproti očakávaniu a niekedy je práve najzaujímavejšie rozmýšľať nad tým, prečo to celé vychádza inak než sme očakávali. Podľa mňa sa aj nesignifikantné výsledky dajú „predať“ vo forme zaujímavého príbehu, len si to vyžaduje viac uvažovania. Prečo sa nesignifikantné výsledky publikujú ťažšie je ale podľa mňa často skôr preto, že dizajn výskumu bol slabý a nedá sa potom povedať, že nejaký efekt neexistuje – preto je dôležité dopredu myslieť na dostatočnú štatistickú silu a dobrý dizajn, čomu predregistrácia a registrované štúdie môžu pomôcť.
Jakub: Myslím si, že jeden z problémov pri „nesignifikantných“ výsledkoch je to, že nie sú evidenciou v prospech hypotézy, ale ani evidenciou svedčiacou o absencii efektu. Ak teda v našom výskume napríklad konštatujeme, že „medzi skupinami nie je rozdiel“, je to chybný záver. Odpoveď „neviem“ nie je veľmi populárna a preto môže byť ťažké ju publikovať. Takéto výsledky sú ale úplne normálne a bežné, publikované by byť určite mali.
Ja osobne som sa s tým v praxi samozrejme stretol. Ešte ako študent som počul od skúsenejšej osoby názor, že „nesignifikantné“ výsledky čitateľov nezaujímajú a musíme nájsť signifikantný výsledok, a ten publikovať. Bolo to skôr, než som sa prvý krát dočítal o problematickej analytickej flexibilite v článku od Simmonsa a kol., a teda priznávam veľa omylov v mojich prvých výskumných pokusoch (vrátane omylu, že nesignifikantný výsledok znamená, evidenciu v prospech nulového efektu).
Matúš: Existencia publikačného skreslenia (v našich vedách je počet falošne pozitívnych výsledkov veeeľmi vysoký) je podľa mňa kombináciou faktorov na strane výskumníka (porozumenie metodológii, jeho/jej filozofia vedy, náchylnosť na kognitívne skreslenia prameniaca aj zo zaangažovanosti v problematike, atď.) a problémov systémového charakteru (incentívy vo vede, explorácia prezentovaná ako konfirmácia, nízka transparentnosť, atď.). Samozrejme, nesignifikantný výsledok je náročnejšie publikovať. Opäť je za tým množstvo aspektov. Mne momentálne napadol jeden veľmi milý dôvod – že sú recenzentmi osoby, ktoré obdobný efekt pred vami našli. Prirodzene sa im teda natíska otázka, čo ste spravili [zle], že sa vám ten efekt nepodarilo nájsť a čo môžete dodatočne urobiť (napr. ďalšie analýzy), aby ste ho našli. Inak, veľmi trefne to popísali Vlaďa a Jakub. Dohromady v zásade vravia, že proces tvorby poznania nie je priamočiary, a nesignifikantné zistenia umocňujú s tým spojenú neurčitosť výsledku. V ideálnom prípade by sme zo štúdie chceli mať jeden deterministický výsledok. Problém je, že jedna štúdia ho poskytne len málokedy.
Marcel: Mne napr. editor z nemenovaného Q1 časopisu (Journal of Vocational Behavior) okomentoval Desk Reject tým, že som nesplnil základnú požiadavku pre publikovanie a to sú sign. výsledky. Aké potom očakávame správanie od vedcov, ak tí, ktorí by mali vytvárať nejaké štandardy pre kvalitnú vedu ju sami nerobia/nepoznajú/nepodporujú? A to nie je ojedinelá skúsenosť. Je treba vzdelávať, diseminovať dobré praktiky, vzdelávať, diseminovať dobré praktiky, vzdelávať… a bude lepšie. Myslím si, že Registered Reports (RR) sú riešením, ako „bezproblémovo“ vypublikovať aj nesignifikantné výsledky. A RR sú vnímané ako viac dôveryhodnejšie výstupy, takže (aspoň niektorých) výskumníkov to prirodzene motivuje robiť kvalitnejšiu vedu.
Pali: Myslím, že to kolegovia popísali veľmi dobre. Mne osobne pomáha tomuto problému lepšie porozumieť pokiaľ sa zamýšľam nad tým, že tu nejde iba o akýsi neosobný abstraktný problém, ale o niečo, čo sa dotýka potrieb, očakávaní a cieľov všetkých ľudí. Konkrétne každej zo zúčastnených strán – výskumník, recenzent, editor a čitateľ. Čo mám pod tým na mysli?
Ak by sme začali u samotného výskumníka, myslím, že by sme neboli ďaleko od pravdy, keby sme povedali, že mu štatistiky významný výsledok môže priniesť dobrý pocit – Môže si povedať napr. „Heuréka! Svet je taký, ako som čakal!“ Svet ale taký často nie je. Okrem toho, pri nesignifikantný výsledkoch sa môže výskumník začať sám seba pýtať - „Čo som spravil zle?“; „Možno sú v hre skryté moderátory...; „Akú hodnotu má to, čo som zistil?; „A vôbec, koho bude to, že som na nič neprišiel, vôbec zaujímať a odpublikuje to?“. Nesignifikantné výsledky preto často zahodí do šuplíka a skúša ďalej tak, aby naplnil svoj cieľ - publikovať a v konečnom dôsledku prežiť.
Zabúda ale, že nemusel spraviť chybu a daný efekt na populačnej úrovni skutočne neexistuje alebo je oveľa menší, než prvotne predpokladal, či ako naznačuje výskumná literatúra (a tá často nadhodnocuje preto, že si niečo podobné povedali iní výskumníci, recenzenti a editori). Okrem toho, výskumník často zabúda aj na to, že, pokiaľ je daný výskum dobre vymyslený, aj štatisticky nevýznamný výsledok môže priniesť dôležitú informáciu o ktorú často prichádzame. Práve preto som presvedčený, že je o tejto téme potrebné hovoriť viac – najmä mladej generácií študentov a začínajúcich výskumníkov (ja som mal napr. veľké šťastie na učiteľa štatistiky, ktorý nám zdôrazňoval, že má pán Boh rád všetky čísla a aj štatisticky nevýznamné výsledky).
Okrem toho je ale zároveň fér jedným dychom podotknúť aj to, že štatisticky nevýznamný výsledok so sebou prináša viacero výziev. Ako napr. spomenuli Vlaďa a Jakub, štat. nevýznamný výsledok neumožňuje zamietnuť nulovú hypotézu. Pokiaľ nespravíme dodatočné analýzy a/alebo nemáme všetko dopredu dostatočne premyslené (napr. nedisponujeme dostatočnou štatistickou silou, ktorú nanešťastie nie vždy explicitne zvažujeme pred realizáciou výskumu), tak to môže byť problém. Dokonca aj pokiaľ sme si všetko premysleli môže byť odpoveďou na našu výskumnú otázku „nevieme, je potrebný ďalší výskum“.
A ľudia slovo „nevieme“ nemajú radi. Recenzenti sú pritom taktiež iba ľudia. Možno by radšej počuli „vieme to presne, vyšlo nám niečo nové a maximálne prevratné“ a možno si myslia, že by niečo také chceli čítať aj ich potenciálni čitatelia a preto sa im to aj snažia dodať tak, aby mal ich časopis, na ktorom im prirodzene záleží, čo najvyššiu čitateľnosť, Impact faktor a podobne. Problém takéhoto cieľa ale je, že pokiaľ sa to deje často a systémovo, ľudia následne čítajú iba o tom „novom“, „prevratnom“ a so „sexy senzačným príbehom“ a keď zbadajú niečo štatisticky nevýznamné vo svojom vlastnom výskume alebo vo výskume, ktorý práve recenzujú, tak si povedia, že... (viď začiatok) - začarovaný kruh, ktorý je potrebné pretrhnúť. Som ale veľmi rád, že sa nájdu autori, recenzenti a editori, ktorí situáciu pomaly ale isto pomáhajú meniť k lepšiemu. Patrí im za to veľká vďaka.
Otázka: Predregistráciu vnímam ako kus roboty, ktorú si robíte pred výskumom (a ktorú je v podstate aj tak potrebné spraviť) a jej prevedenie má v konečnom dôsledku viacero výhod popísaných aj v blogu od Jakuba, Paliho alebo Vladi. Ako podstatnú súčasť vnímam práve spätnú väzbu, ktorú by som ja pri svojich minulých výskumoch ocenila. Dostanem sa k nejakej spätnej väzbe aj v prípade, že by som mala nerecenzovanú predregistráciu? A ak nie, nie je lepšie sa skôr zamerať na recenzované predregistrácie?
Vlaďa: Je potrebné si uvedomiť, že je rozdiel predregistrácia – ktorá zvyčajne nie je recenzovaná a registered report – čo je vlastne recenzovaná predregistrácia, pri ktorej dostaneme posudky už na plánovaný dizajn štúdie a v prípade kladného hodnotenia môžeme získať predbežný prísľub publikácie bez ohľadu na signifikanciu výsledkov (tzv. IPA – in principle acceptance). Ja osobne by som toto odporúčala najmä doktorandom a v prípade, kedy ste zaviazaní publikovať výsledky k nejakému projektu, pretože vám to môže pomôcť už pri plánovaní výskumu a zbavuje to stresu, či sa podarí výsledky včas publikovať. Na druhej strane treba rátať s dostatočným časom, keďže recenzný proces je často zdĺhavý a v prípade registrovaných štúdií vlastne prebieha na dvakrát – pred realizovaním výskumu a potom klasicky, po spísaní výsledkov, kde sa však už hodnotí skôr to, či boli dodržané schválené predregistrované postupy. Predregistráciu vnímam skôr ako pomôcku pre samotného výskumníka, lebo nemusí byť taká podrobná a jej hlavnú výhodu vidím najmä v tom, že je jasne odlíšené, čo boli očakávania a čo je explorácia, čiže sa vyhýbame HARKingu a p-hackingu. Dá sa to vnímať aj ako určitý virtue-signalling (napr. mnohé časopisy už ponúkajú tzv. badges, ktorými sa označujú články, ktoré sú predregistrované a kde sú zdieľané materiály a dáta), ale napríklad pre mňa osobne je formát predregistrácie zaujímavý aj v prípade, že nespravíme posledný krok (zverejnenie predregistrácie), pretože keď máme viac výskumov v procese, slúži to na lepšiu komunikáciu medzi spoluautormi a na osvieženie pamäti (napr. keď sa k analýze dát dostanete až po prázdninách a pod.). Okrem toho to uľahčuje následné spisovanie výsledkov, lebo už máte vlastne hotový draft článku. V neposlednom rade sa dá predregistrácia využiť v žiadosti o súhlas Etickej komisie daného pracoviska, čo začína byť nevyhnutnosť, ak chceme publikovať v lepších časopisoch.
Jakub: Ak robíte predregistráciu, ktorá nie je recenzovaná (teda nie je vo formáte RR) spätnú väzbu od recenzentov nedostanete. Predregistrácia však aj tak plní svoj účel, ktorým je jasné odlíšenie konfirmačných a exploračných praktík. Tým, že výskum predregistrujeme, chránime samých seba pred vlastnými kognitívnymi omylmi a zlyhaním pamäti, ktoré by mohli spôsobiť to, že si hypotézu počas analýzy zmeníme, resp. vyskúšame viac jej variantov.
Samozrejme, spätnú väzba je veľmi dôležitá a môžeme ju získať aj od kolegov, alebo iných výskumníkov v našej oblasti aj v prípade, že sa jedná o nerecenzovanú predregistráciu. Taktiež sú dostupné rôzne návody a štandardy pre predregistrácie (napr. štandardy na open science fremework, alebo štandardy APA, BPS a DGPs[JR1] ), ktoré nám môžu pomôcť. Recenzovaný formát RR je výbornou možnosťou, avšak zatiaľ ho neponúkajú všetky vedecké časopisy.
Matúš: Už len doplním, že predregistácia je okrem prevencie problematických výskumných praktík (QRP) aj skvelým prostriedkom na to, aby sa výskumník/výskumníčka zamyslel/a nad konkrétnymi krokmi, ako bude svoj výskum realizovať – od presného stanovenia výskumnej otázky, cez špecifikáciu nástrojov, spôsob zberu dát, stanovenie veľkosti výskumného súboru, prácu s chýbajúcimi dátami až po voľbu štatistického modelu. Predregistrácia (vrátane RR) môže byť bolestná, ale v konečnom dôsledku zvýši efektivitu a rigoróznosť výskumu. Ľudsky povedané, predregistrácia je na to, aby som sa pred realizovaním výskumu poriadne zamyslel nad tým, čo idem robiť a aby som nerobil veci tak, ako mi v danej chvíli napadnú. Samozrejme, predregistrácia nie je vtesaná do kameňa, a ak v priebehu realizácie výskumu zistím, že čosi som mohol robiť lepšie, prípadne, že sa čosi nedá realizovať tak, ako bolo plánované, je v poriadku keď sa od predregistrácie odkloním, akurát je potrebné to transparentne uviesť a vysvetliť.
Marcel: Presne ako to vystihli kolegovia vyššie. Pre mňa osobne je bonus aj to (a nemusí to byť iba feedback od kolegov, recenzentov...), že keď si pripravujem výskum pre publikovanie v podobe Registered Reports, rozmýšľam nad dizajnom výskumu oveľa dlhšie a precíznejšie. Počas toho niekoľkomesačného rozdumovania som projekt výskumu niekoľko krát upravoval a niekoľko krát ma to už zachránilo pred neskorším plieskaním si ruky po čele, že ako som mohol na to zabudnúť/nedomyslieť to. Slow science > fast science.
Pali: Kolegovia to povedali veľmi dobre.
Otázka: Ostanem ešte pri predregistrácii. Je mi jasné, že predregistrácia sa viac rieši v anglickom jazyku, ale publikujeme aj v lokálnych (či českých) časopisoch alebo na konferenciách. Má zmysel (v takom prípade) aj predregistrácia v slovenskom jazyku? Zachytili ste už aj v našich končinách snahy časopisov ponúkať predregistráciu?
Vlaďa: Na toto sa ma už pýtali nejakí študenti, ale neviem o tom, že by bola nejaká slovenská alternatíva. Osobne si ale nemyslím, že to má veľký význam, pretože kto sa dnes chce venovať vede v psychológii, tak sa angličtine nevyhne a aj keď máme slovenské karentované časopisy (ako napr. Studia Psychologica, ktorá tiež ponúka možnosť publikovania registered reports), aj tie sú publikované v angličtine a malo by nám ísť o komunikáciu s celou vedeckou komunitou, nie len s jej časťou. Aj konferenčné príspevky (napr. na SPO) je možné písať už v angličtine. Je síce dôležité informovať o výsledkoch výskumu aj slovenskú verejnosť – a to v slovenskom jazyku – ale podľa mňa by malo potom ísť o iný typ výstupov, písaný popularizačnejším štýlom, pretože bežný človek by si nečítal výsledky výskumu ani keby boli v slovenčine. Opäť len upresním, časopisy ponúkajú registered reports, ale zvyčajne nie predregistrácie. Link na predregistráciu vkladáte do hotového rukopisu, kde si recenzenti môžu overiť podľa časovej známky, že hypotézy ste mali stanovené dopredu, v čom ste sa od predregistrácie odklonili a pod. Čiže aj keby som posielala článok v slovenčine, nemal by byť problém s tým, že predregistrácia je v angličtine, keďže recenzenti by mali byť dostatočne spôsobilí jej porozumieť.
Jakub: Akákoľvek predregistrácia má zmysel. Každý malý krok vpred, či len záujem o túto tému, má podľa mňa veľkú hodnotu. Aj keby sme si napríklad predregistráciu spísali v slovenčine iba „sami pre seba,“ do istej miery nám to môže pomôcť predísť problematickým výskumným praktikám. Predregistrácia to však nie je.
Zároveň však musím povedať, že v súčasnosti nevidím veľmi zmysel v publikovaní vedeckých prác v slovenčine. Ak chceme mať dosah na medzinárodnú vedeckú komunitu je potrebné publikovať v angličtine. Potom môžeme využiť ktorýkoľvek z existujúcich nástrojov rovnako ako zahraniční výskumníci.
Matúš: Pre výskumníkov/výskumníčky je písanie predregistrácie v slovenskom jazyku asi zbytočné, keďže fakticky celá akademická práca (s výnimkou, keď chceme predstaviť nejaký jav/metódu špecificky lokálnym čitateľom) sa uskutočňuje v angličtine. Na druhú stranu, perspektívne si viem predstaviť, aby už bakalárske a magisterské práce boli písané ako RR, respektíve, aby bola hodnotená už aj ich predregistrácia. To by si síce vyžadovalo zmeniť optiku toho, na čo písanie týchto záverečných prác slúži a ako by malo byť realizované, ale to je už na úplne inú debatu. Čo sa týka RR v lokálnych končinách, tak musím pochváliť ako rýchlo na tento formát nabehla Studia Psychologica.
Marcel: Kolegovia to už vystihli. Ja iba nadviažem na Matúša s nápadom realizovať záverečné práce v podobe RR. Bol by to dobrý krok vpred. Študenti by boli „nútení“ pracovať kontinuálne a aj keď sa z väčšiny z nich nestanú výskumníci, určite sa z nich stanú aspoň príležitostní konzumenti vedy. Nejaký ten článok si niekedy prečítajú a práve väčšie povedomie o tom, ako by sa veda mala robiť (čo súvisí aj s RR), im môže pomôcť kritickejšie uvažovať o tom, čo čítajú (je tento výskum kvalitný alebo iba smetie?…).
Pali: Súhlasím s kolegami že má najväčší zmysel robiť pred-registrácie v anglickom jazyku, keďže ide o jazyk vedy. Na druhej strane, ak chce niekto písať príspevok po slovensky a ešte si v angličtine neverí, nevidím problém v tom, aby si to skúsil po slovensky. Dôležitejšia než forma je podľa mňa podstata toho, na čo nám pred-registrácia (ale aj RR) slúžia. Okrem toho, nápad záverečných prác vo forme RR, ako spomínal Matúš a Marcel, je super a tam by si napr. viem predstaviť, že by si študent vybral jazyk v akom chce predregistráciu realizovať podobne, ako si vyberá jazyk v akom chce písať záverečnú prácu. Ale vo všeobecnosti má najväčší zmysel predregistrácia vtedy, keď je písaná po anglicky aby jej mohlo porozumieť čo najviac ľudí.
Otázka: A tiež ma zaujíma: Odporúčate predregistrovať každý výskum, ktorý budem robiť v budúcnosti?
Vlaďa: V zásade áno, s výnimkou exploračných pilotných štúdií a pod., kde to asi nie je nevyhnutné. Dôvody som uviedla vyššie.
Jakub: Ak ide čisto exploračný alebo popisný výskum, a nemáme žiadne vopred sformulované hypotézy, predregistrácia asi nie je nevyhnutná. Stretol som sa však aj s názorom, že aj takýto výskum môžeme predregistrovať. Uškodiť to nemôže.
Praktiky ako predregistrácia sa nám môžu javiť ako záťaž navyše. Nie je to však tak. Tým, že urobíme časť práce vopred si sami uľahčíme situáciu počas analýzy dát. Páči sa mi výrok: „reprodukovateľnosť je ako umývanie zubov, akonáhle sa to naučíme, stane sa z toho zvyk“ (I. Loladze, podľa: Baker, 2016). Priznám sa, že ja som sa zatiaľ do tohto štádia nedostal, no dôležité je to skúšať.
Matúš: Určite odporúčam. Na druhú stranu, aj v tomto je potrebné mať zdravú mieru. A úprimne – niektoré štúdie (napr. štúdie publikované posledný rok a pol v súvislosti s pandémiou, exploračné záležitosti, analýzy sekundárnych dát či kvalitatívne štúdie) je z pragmatických dôvodov náročné predregistrovať a predregistrácia sa pri nich vlastne ani neočakáva. Na druhú stranu, práve v týchto prípadoch je potrebné realizovať výskum o to transparentnejšie.
Marcel: viď Vlaďa, Jakub a Matúš :-)
Pali: viď. Marcel :-) Ale ak by som mal niečo dodať, tak by odpovedal proti-otázkou - aby si na túto otázku čitateľ odpovedal sám a nepotreboval k tomu mňa. Spýtal by som sa ho: Aký je účel predregistrácie/RR a akú pridanú hodnotu môže priniesť mne osobne a vedeckej komunite (a tak v konečnom dôsledku ľuďom)? Ak si odpovie na túto otázku, odpovie si aj na to či by mal byť všetok (alebo aspoň značná časť výskumu) predregistrovať.
1) Chcem sa vyhnúť publikačnému skresleniu (a zamedziť tomu, aby nám editor nepovedal, že nemá o náš výsledok záujem lebo nie je dosť sexy) a/alebo chcem, aby som získal spätnú väzbu na plánovaný postup ešte pred zberom dát (kedy to má zmysel)? Chcem skúsiť niečo nové a veľa sa pritom naučiť? Nemusím začať zber dát rýchlo a mám čas na recenzné konanie, ktoré chvíľu trvá a na prípadne odmietnutie časopisu? Ak áno, poďme skúsiť registrované protokoly (RR). Myslím, že toto je to najlepšie, čo môžeme využiť pokiaľ máme dostatok časových zdrojov.
2) Chceme si „staviť“ na to, čo skúmame a tak ukázať samému sebe a iným, že danému efektu veríme a/alebo budeme postupovať tak, ako sme si zaumienili, vyhnúť sa QRP a celkovo zvýšiť kvalitu nášho výskumu (napr. už len napr. tým, že sa nad výskumom zamyslíme pri vypĺňaní predregistrácie)? Máme aspoň trochu času (pri prvej predregistrácii trochu viac, s každou ďalšou menej)? Ak áno, poďme realizovať predregistráciu.
3) Mám v pláne spraviť pilotný exploračný výskum (obyčajne prvé fázy výskumného projektu) a v danej chvíli pre mňa nie sú kľúčové body 1 alebo 2? Nemyslím, že tu musíme robiť predregistráciu alebo RR za každú cenu. Na druhej strane, niekedy by som predregistráciu/RR aj rád spravil ale príde mi do toho niečo, čo je veľmi dôležité a s čím som nerátal - aj taký je niekedy život (Fun fakt: Jedná z posledných predregistrácii, ktoré som robil, sa začína slovami: Zber dát sa už začal, ale autor predregistrácie nemal priestor ju realizovať skôr kvôli výťažnosti a spolupracovník, ktorý ma na starosti zber dát k projektu, začal dáta zberať skôr, než bolo očakávané...).
Otázka: A aby toho nebolo veľa na prvý krát (aj pre mňa na ďalšie úvahy nad odpoveďami) posledná otázka: Akú budúcnosť má podľa Vás predregistrácia? Je to zároveň niečo, čo by sa mali učiť už študenti na školách?
Vlaďa: Ak by som sa mala zahrať na jasnovidca, tak by som si tipla, že do 10 rokov to už bude štandard, preto je výhoda začať s tým čím skôr. A ak by sa tak aj nestalo, jednoznačne to pomáha samotnému výskumníkovi – hoci pri tom treba prekonať trochu pohodlnosti a hlavne sklonu prokrastinovať („veď uvidíme, keď budeme mať dáta“). A som rozhodne za to, aby sa to študenti učili pri realizovaní vlastných záverečných prác.
Jakub: Môj, optimistický odhad je taký, že predregistrácia bude nevyhnutnosťou pre väčšinu výskumných článkov, tak ako je to napr. pri klinických skúškach. Študenti by sa o predregistrácii ako aj iných reprodukovateľných praktikách určite mali učiť, o čo sa aj pokúšame na našich hodinách.
Matúš: Taktiež tipujem, že v horizonte cca 10-15 rokov bude pre publikovanie v najserióznejších časopisoch potrebné mať konfirmačný výskum predregistrovaný. Pri klinických štúdiách a meta-analýzach je to štandardom už aj dnes, takže tomuto trendu snáď neujdú ani klasické primárne výskumy. Samozrejme, niektoré procesy v rámci bežnej predregistrácie je potrebné optimalizovať a najmä vytrénovať nasledujúce (ale aj súčasné) generácie výskumníkov/výskumníčok tak, aby pre nich bola predregistrácia prirodzenou súčasťou práce a nie záťažou navyše. Čo sa týka študentov, ako píšem vyššie, viem si predstaviť, že väčšina záverečných prác by bola predregistrovaná. Na to je však potrebné vykonať množstvo zmien súvisiacich s uchopením toho, na čo má slúžiť záverečná práca a ako má prebiehať proces jej tvorby a hodnotenia.
Marcel: Ja som optimistickejší než Matúš, podľa mňa to bude menej ako 10 rokov. A na svojich seminároch sa so študentami o predregistrácii už rozprávam. Ideál by boli záverečné práce v podobe RR...
Pali: Akú budúcnosť má pred-registrácia a RR? Verím, že svetlú. Dúfam, že RR postupne vytlačí klasický formát publikovania alebo aspoň že sa pred-registrácia stane štandardom tam, kde pôjde o konfirmačný výskum. Aj keď dúfam, že budú mať pravdu Marcel a Vlaďa, časový horizont si odhadnúť netrúfam. Dôvodom je, že využívanie RR (registrovaných protokolov) ale aj predregistrácie si vyžaduje zmenu spôsobu myslenia a systému práce, ktorá je zaužívaná a ľudia neradi menia to, čo „funguje“. Obzvlášť ak nestíhajú, alebo im to takto vyhovuje z iných dôvodov. Ak ale budeme k pred-registráciám povzbudzovať študentov alebo zapojíme formát RR do prípravy ZP, ako spomenul Matúš a Marcel, bezpochyby spravíme veľký krok vpred a pohnú sa aj systémové veci.
Ďakujem za odpovede.
Na otázky odpovedali:
Vladimíra Čavojová – samostatná vedecká pracovníčka na Ústave experimentálnej psychológie CSPV SAV. Od roku 2014 vedie doktorandov, a tých posledných systematicky núti do predregistrácií dizertačného výskumu. Venuje sa skúmaniu nepodložených presvedčení, vedeckého myslenia a rôznym chybám, ktorých sa pri pokusoch myslieť dopúšťame. Vedecká práca (vrátanie písania) ju baví, preto ocení každú príležitosť o nej rozprávať.
Jakub Rajčáni – odborný asistent na Filozofickej Fakulte Univerzity Komenského v Bratislave zameriavajúci sa na výskum v oblasti stresu a psychofyziológie a tiež na kvantitatívnu metodológiu a štatistiku. V posledných rokoch patrí k členom Slovenskej siete reprodukovateľnosti (SKRN). Na Filozofickej fakulte UK vyučuje štatistiku pre psychológov a všeobecnú psychológiu.
Matúš Adamkovič – vedecký pracovník s viacerými afiliáciami (1Inštitút psychológie Prešovskej univerzity; 2Spoločenskovedný ústav CSPV SAV, 3Pedagogická fakulta Univerzity Karlovej), participujúci na množstve rôznorodých projektov (replikačné štúdie, projekty zamerané na psychopatológiu, meta-štúdie...). Zaujíma sa o metodológiu behaviorálneho výskumu. Vďaka participácii na množstve projektov sa na neho nalepilo pár prierezových vedomostí, ale vyslovene sa nešpecializuje na žiadnu tému, čo mu (odhliadnuc od množstva negatív) umožňuje nadhľad a odstup. Nemá rád dvojité štandardy.
Marcel Martončik – pracuje ako docent na Inštitúte psychológie, FF PU, je zarytým podporovateľom a šíriteľom praktík otvorenej vedy (transparentnosti, replikovateľnosti...) na Slovensku, snílkom, ktorý verí v lepší zítřky a popri tom sa venuje skúmaniu digitálnych hier.
Pavol Kačmár – pracuje ako odborný asistent na Katedre psychológie FF UPJŠ v Košiciach. Problematika otvorenej vedy a replikovateľnosti psychologického výskumu sa na neho nalepila počas doktorandského štúdia, kedy sa venoval téme sociálnemu primingu. Zhodou okolností to bolo práve v čase, kedy zúrila tzv. „replikačná kríza“, vďaka čomu si uvedomil, aké dôležité je stavať na pevných základoch a neustále sa metodologicky a štatisticky posúvať vpred.
[1]Nuckols, G. (2018). When to trust research findings. https://www.strongerbyscience.com/trust-research-findings/
Komentarze