Myslím, že to bolo počas štúdia na vysokej, keď mi spolužiaci vymysleli prezývku ID (ako skratka information data), ktorá súvisela s tým, že o čom neviem a zaujíma ma to, tak si to vyhľadám a najmä teda na googli (písal sa rok cca 2002 a v tom čase bol google „na svete“ asi 4 roky, takže to nebolo také samozrejmé ako dnes a veľa informácií sa vyhľadávalo v knihách a v relevantnýchčasopisoch).
Môžem povedať, že odvtedy som sa v tomto nezmenila, len teda s objemom dostupných dát rastie aj objem môjho času vyhľadaním informácií, o ktoré mám záujem (vedeli ste napríklad, že akademici trávia približne toľko času hľadaním článkov ako ich čítaním? V priemere, výskumníci trávia viac ako 4 hodiny týždenne hľadaním článkov a viac ako 5 hodín ich čítaním. A zhoršuje sa to: v rokoch 2011 až 2019 vedci prečítali o 10 % menej článkov, ale hľadaním článkov strávili o 11 % viac času[1]).
V súčasnosti ma zaujímajú informácie okolo otvorenej vedy a za dobrý zdroj informácií považujem aj niekoho, kto sa v tejto oblasti pohybuje už dlhšie, čiže si skrátim čas vyhľadávania informácií a ostane mi (možno) viac času na čítanie. Takže s pár otázkami oslovujem tých správnych výskumníkov.
Matúš: Taktiež si, na staré (29-ročné, ale boľavé) kolená, trošku zaspomínam...Bol som, tuším, štvrták na VŠ, keď som sa zapojil do SAŠAPu a mal možnosť ísť na nejakú EFPSA udalosť. V rámci nej mal prednášku o otvorenej vede Jonas Haslbeck (v súčasnosti je jedným z top výskumníkov/vývojárov v oblasti network analysis). Prišlo mi to vtedy surreálne a nevedel som pochopiť, ako môže veda takto (ne)fungovať. Potom som ale prečítal niekoľko blogov/článkov, ktoré hodnoverne potvrdzovali to, čo Jonas vravel. Krátko nato bol v Science publikovaný doposiaľ asi najväčší replikačný projekt – Estimating the reproducibility of psychological science (Open Science Collaboration, 2015). Tieto veci sa postupne diskutovali, síce v malom, ale predsa, aj u nás na pracovisku. Zároveň sme mali šťastie a začali sme spolupracovať s Ivanom Ropovikom, ktorý bol (a stále je) niekoľko krokov pred nami, takže nás vedel ochotne nasmerovať a posunúť. A potom, keď sme sa orientovali v Open Science komunite, to už išlo dosť rýchlo. Celkovo pomohli 4 hlavné veci:
(1) vlastné formálne (offline a online kurzy a workshopy, články) aj neformálne (blogy, Twitter, Facebookové skupiny, diskusie) vzdelávanie;
(2) kolaborácia na veľkých nadnárodných či replikačných projektoch;
(3) prednášanie ostatným o metodológii a otvorenej vede (vtedy sa hecnete, lebo nechcete posúvať nesprávne info);
(4) recenzovanie – okrem bežného recenzovania sa mi podarilo recenzovať projekt pre Psychological Science Accelerator, za SAV som spisoval pripomienky k národnej stratégii otvorenej vedy, či nedávno som recenzoval registered report v rámci PCI RR platformy.
To sú už relatívne seriózne veci, pred ktorými mám fakt rešpekt. V konečnom dôsledku to núti človeka k ešte väčšej zaangažovanosti a profesionalite v zmysle vedomostí o problematike a zvyšovania kompetencií. Zároveň to motivuje k pridržiavaniu sa dobrých výskumných praktík. Ja si už napríklad neviem predstaviť, že by som nezdieľal dáta (aj keď toto je problematické, keďže občas sa stane, že ľudia, s ktorými spolupracujete, nechcú dáta zdieľať, respektíve nemôžu byť z iných príčin zdieľané – vtedy to rieši napr. korelačná matica), kód alebo že by som nepodpísal recenziu. V momente, ako sa človek naučí orientovať (hoci aj neformálne) v Open Science komunite, tak to vyhľadávanie informácií a zlepšovanie/stransparentnenie jeho/jej vlastných praktík príde veeeľmi rýchlo a plynulo.
Pali: Lucia, Matúš, dovoľte mi pridať k tejto nostalgickej chvíľke spomínania 😊. To, ako uvažuješ, Lucia, ma veľmi oslovilo a pripomenulo mi radu Prof. PhDr. Jara Křivohlavého, CSc., ktorý, pokiaľ sa potreboval zorientovať v novej problematike, oslovil ľudí, pri ktorých vedel, že sa danej problematike venujú a poprosil ich, aby mu odporučili pár zdrojov, ktoré považujú za najkľúčovejšie. Až pri čítaní Tvojho úvodu som si uvedomil, aké dôsledky môže táto rada mať, keď ju rozmeníme na percentá a ako to otvára priestor pre to, aby sme sa mohli lepšie zahĺbiť do problematiky. Musím to skúsiť aplikovať častejšie. Pri čítaní Matúšovej odpovede som si zas uvedomil, ako veľmi som vďačný ľuďom, ako sú Ivan, Matúš a všetci ostatní kolegovia (nie len) z SKRN za to, že ma v nejakej oblasti posunuli práve tým, že si už nejakú cestu prešli predo mnou a dali mi do ruky tipy, ako na to.
Otázka: Téma otvorenej vedy ako taká pozostáva z viacerých „čiastkových“ tém a každá z nich mi príde ako dôležitá. Keďže informácií je v dnešnej dobe už veľa a často krát naozaj viac hľadám ako čítam, kde som podľa Vás mala začať? Máte prípadne nejaký tip na článok alias odrazový mostík v tejto téme?
Jakub: Ja som sa o témy otvorenej vedy začal zaujímať po prečítaní si článku „False positive psychology“ od Simmonsa, Nelsona a Simmonsohna. Tento článok poukazuje na vážnosť problému analytickej flexibility a netransparentnosti pri reportovaní dát.
Dobrým odrazovým mostíkom môže byť aj kurz „Improving Your Statistical Inferences“ od Daniela Lakensa, ktorý je dostupný na portáli Coursera (https://www.coursera.org/learn/statistical-inferences).
V neposlednom rade by som chcel upozorniť aj na naše aktivity. Blogy, dostupné na webe SKRN, webináre, ktoré realizujeme v rámci projektu KEGA a tiež na pripravovanú knihu o reprodukovateľnej štatistike, na ktorej pracujeme.
Matúš: Súhlasím s tým, čo píše Jakub. Ešte doplním pár tipov: istotne odporúčam prečítať Estimating the reproducibility of psychological science (Open Science Collaboration, 2015) a sledovať blogy typu Datacolada či The 20% Statistician. Sú aj ďalšie (pravdupovediac je toho fakt dosť), ale mne toto značne pomohlo. Plus, určite sa čitatelia môžu tešiť na blogy a výstupy, ktoré pribudnú na stránke SKRN.
Vlaďa: Tak ja som asi ako ty a rada sa nechám poučiť skúsenejšími ľuďmi. K záujmu o metodologické otázky a otvorenú vedu ma priviedol Miro Sirota, ktorého sme pozvali, aby nám v roku 2019 prišiel o otvorenej vede aj prednášať. Pre mňa je tiež iné počuť to od ľudí, ktorí sú v tom priamo zaangažovaní, ako sa brodiť množstvom informácií, keď nevieš ani kde začať. Práve aj stránka SKRN alias Spoločenstva otvorenej vedy má takúto ambíciu – pomôcť všetkým, kto to chce skúsiť s otvorenou vedou, aby sa zorientovali a posunúť ich podľa záujmu k čoraz sofistikovanejším zdrojom. Plus tiež odporúčam na začiatok prečítať si knihu The Seven Deadly Sins of Psychology od Chrisa Chambersa. Je prehľadná a ľahko čitateľná a človek po jej prečítaní razom zahorí túžbou robiť veci lepšie 😊.
Pali: Je veľmi náročné odpovedať po Jakubovi, Matúšovi a Vladi. Spomenuli mnoho vynikajúcich vecí, ktoré by som chcel povedať aj ja a preto teraz v záchvate paniky rozmýšľam, čo dodať 😊. Túto situáciu ale skúsim predýchať a namiesto novej veci spomeniem vec, ktorá tu už odznela. Ide o stránku SKRN, na ktorej pracujeme. Keď sme spolu uvažovali nad tým, čím by sme mohli prispieť, napadlo nám, že nemusíme za každú cenu nanovo vymýšľať koleso. Možno postačí podeliť sa o to, čo obohatilo a inšpirovať nás. Stránku SKRN sme sa preto snažili koncipovať tak, aby slúžila ako odrazový mostík a uľahčila vstup do problematiky (nie len) otvorenej vedy komukoľvek, kto by sa o tejto téme chcel dozvedieť viac a to vo formáte, ktorý s ním najviac rezonuje - či už ide o naše blogy, ktoré sa pokúšame písať my (https://www.slovakrn.org/blog) alebo o blogy ďalších ľudí, ktorí nás inšpirujú (https://www.slovakrn.org/blogyodkazy), kanály a kurzy (https://www.slovakrn.org/kurzy), repozitáre zdrojov na rôzne témy (https://www.slovakrn.org/repozitare), rôzne vizualizácie (https://www.slovakrn.org/vizualizacie), podcasty, alebo aj také veci ako sú tipy na to, koho sa nám osvedčilo sledovať na Twitteri, keď prokrastinujeme 😊 (https://www.slovakrn.org/podcasty).
Marcel: Jednoznačne The Seven Deadly Sins of Psychology od Chrisa Chambersa! A pre podcastovochtivých určite Everything Hertz: https://everythinghertz.com/.
Otázka: Psychológia zažíva krízu replikovateľnosti a reprodukovateľnosti a ja po oboznámení sa s témami otvorenej vedy začínam byť tiež „nedôverčivá“ k výsledkom iných výskumov (v minulosti mi ako meradlo dôvery stačilo, že to bolo recenzované niekým iným). Môžem veriť výsledkom iných výskumov, ktoré boli robené v minulosti? Ako mám rozlišovať, ktorým výsledkom výskumov dôverovať a ktorým nie?
Jakub: Toto je ťažká, ale veľmi dôležitá otázka. Osobne sa snažím riadiť odporúčaním, ktoré spopularizoval fyzik Carl Sagan, že „mimoriadne tvrdenia si vyžadujú mimoriadne dôkazy“. Ak teda nejaká štúdia tvrdí niečo výnimočné a prekvapivé, snažím sa byť skeptický, kým nevidím dostatočne presvedčivé dáta.
Čo sa týka analytických postupov, ak sa štúdia opiera iba o p-hodnoty, neuvádza deskriptívnu štatistiku, veľkosti efektov a pod., resp. výskumná procedúra nie je opísaná dostatočne detailne, je to pre mňa dôvod na opatrnosť. Skeptický som aj vtedy ak vidím príliš komplikované analýzy (napr. obsahujúce viacero kovariátov) a nie je mi úplne jasné, prečo autori takýto postup zvolili.
Matúš: Dobrá otázka, ale nemám na ňu jednoznačnú odpoveď. Ak už má človek nejaký solídnejší základ v metodológii a štatistike, tak je rozlišovanie dôveryhodného výskumu trochu jednoduchšie. Na druhú stranu, absolútna väčšina psychologov pracuje v praxi a je tak prirodzené, že sa venujú iným oblastiam. Študentom napríklad odporúčam niekoľko heuristík, ako zistiť, či sa jedná o dôveryhodný článok.
(1) Predikoval/a by si taký výsledok, aký je v článku?
(2) Ak by si článok prečítal mimozemšťan, predikoval by zhruba taký výsledok ako je v článku?
(3) Obsahuje článok aj nepotvrdené hypotézy alebo sa výrazná väčšina/všetky hypotézy potvrdili?
(4) Obsahujú výsledky viacero p-hodnôt, ktoré sa pohybujú okolo hodnoty 0.05?
(5) Má článok veľmi pekný naratív a všetko ide extrémne hladko (to jest žiadne problémy, odchýlky od očakávaní autorov, nesignifikantné výsledky, atď.)?.
Ak na týchto 5 otázok odpovieš „nie“, „nie“, „nie“, „áno“ a „áno“, tak je podľa mňa potrebné zbystriť pozornosť. Jedná sa ale o heuristiku, ktorú nemám podloženú dátami :).
Vlaďa: Aj ja som sa stala skeptik pri prednášaní – keď som sa snažila si k niektorým kánonickým experimentom dohľadať originálne zdroje, často som zostala prekvapená, nakoľko sú v učebniciach tieto výsledky často skreslené. Napríklad, odhliadnuc od toho, že sa vždy spomenú etické aspekty výskumu o malom Albertovi, tak nemyslím, že by táto štúdia mohla byť dnes vôbec uverejnená. Nehovoriac už o mnohých atraktívnych primingových výskumoch zo sociálnej psychológie. Práve preto pokladám za dôležité replikovanie výskumov a to, koľko ďalším štúdiám sa podarilo dosiahnuť podobné efekty. Asi by som odporúčala nevyvodzovať priveľa zo sexi výskumov, ktoré vyšli podozrivo hladko (ako spomínal Matúš) a boli robené na malých vzorkách. Na druhej starne, takéto „sexi výskumy“ často pritiahnu pozornosť a pomerne rýchlo sa ukáže, či sa efekt podarilo zreplikovať alebo nie, ale žiaľ, o tom sa zvyčajne píše už oveľa menej.
Marcel: Doplnil by som ešte okrem tých 4 bodov, ktoré písal Matúš, čo funguje u mňa: teda sledujem:
(5) mieru transparentnosti. Ak sú autori „zdieľni“ :D (vidím, že zdieľajú dáta, materiály...a celkovo je celý dizajn precízne opísaný, teda nie sú tam miesta, kde si vravím, že čo? prečo to tak urobili, resp. čo tam robili, ak o tom radšej mlčia?), dôverujem článku viac.
(6) ak svoje závery nezakladajú len na p-hodnotách ale interpretujú aj veľkosti efektov a hlavne ich intervaly spoľahlivosti (teda nechcú silou mocou predať bombastické zistenie cez p = 0.04) (a dizajn výskumu má dostatočnú štat. silu), dôverujem viac.
(7) kredibilita autora a časopisu. Jednoduché a rýchle heuristiky. Ak sa pohybujeme v nejakej oblasti, zistíme, že niektorí autori sa radi nechajú pripísať všade a produkujú bludy a rovnako tak, keď vidím názov časopisu International Advanced Research in SuperDuper Journal of Scientific Psychociences (nehovorím o predátorských časopisoch ale skôr o takých, hmm, ako to napísať politicky korektne...menej známych a zo vzdialených kútov galaxie...) dôverujem článku menej, ako keď je publikovaný v niektorom z časopisov napr. Association for Psychological Science.
Trochu možno offtopic ale predsa doplním k tomu, čo písali VMJ vyššie, túto pyramídu: https://christopherchartierblog.files.wordpress.com/2018/02/pyramid.jpg
Teda vždy ak sa dá, radšej sa snažím nájsť k danej téme meta-analýzu ako jednotlivú štúdiu.
Pali: To je veľmi dobrá otázka, Lucia. Tiež mi to už dlhšie vŕta v hlave. V začiatkoch môjho štúdia som bol sklamaný z toho, že namiesto jednoznačnej odpovede typu „takto to v našom mentálnom živote je“ som nachádzal množstvo teórií, ktoré hovoria o tom, že by to vlastne mohlo „byť takto a takto“. Neskôr som bol sklamaný z toho, že výskumy, na základe ktorých budujeme svoje teórie, nie sú dokonalé a mnohé sa nám nepodarí replikovať. To som si zažil pri dizertačnej téme, ktorá sa venovala sociálnemu primingu. Každá kríza v sebe ale nesie zárodok niečoho nového. Keď sa na to pozerám spätne a zapojím trochu spomienkového optimizmu😊, tak som veľmi rád, že som sa s týmito „sklamaniami“ stretol. Ukázali mi, že moja implicitná teória toho, čo je veda a moje poznatky o tom, ako niektoré aspekty (napr. testovanie nulovej hypotézy) neboli plne v súlade s tým, čo vedecká teória a výskum skutočne predstavuje. Okrem toho mi to ukázalo rôzne kognitívne skreslenia (ako napr. konfirmačné skreslenie[2]), o ktorých som buď nevedel alebo si nechcel priznať, že sa ich dopúšťam.
Namiesto otázky typu „môžem veriť výsledkom iných výskumov, ktoré boli robené v minulosti?“ sa preto radšej snažím pýtať: „do akej miery môžem dôverovať výsledkom daného výskumu/výskumnej línie“. Odpovede na to, ako identifikovať problematický výskum stále hľadám. Matúš spomenul veľmi dobré tipy. Za dôležité ale považujem taktiež uvažovať a hovoriť o tom, čo veda je a ako fungujú veci, ktoré stoja v pozadí toho, čo považujeme za poznatok/zistenie. Osobne ma to vedie k väčšej pokore pri interpretácií zistení a zároveň k uvedomeniu si toho, že sú mnohé veci vlastne vymyslené veľmi múdro, len tomu potrebujeme lepšie porozumieť. Myslím, že keby sme o týchto veciach viac hovorili, (nie len) internetové diskusie by boli krajšie miesto 😊.
Otázka: Zdieľanie dát je pre mňa otázka, ku ktorej vnímam, že nie som rozhodnutá ísť do toho naplno. Na jednej strane vidím väčšiu kontrolu, ktorú zdieľanie dát poskytuje a na druhej strane mám určité osobné obavy, aby sa zdieľané dáta nejakým spôsobom nezneužili (i keď viem, že to je ošetrené a moje obavy sú neopodstatnené). Celkovo mi tam asi vadí tiež to, že niečo, čo môže byť finančne a časovo náročné, bude poskytnuté iným výskumníkom. Máte pre mňa presvedčivé (Vaše osobné) argumenty, aby som sa zdieľania dát nebála?
Jakub: Rozumiem tomu, ja mávam podobné obavy. Napriek obavám som sa ale zatiaľ nestretol s tým, že by niekto na zdieľanie dát doplatil.
Keď som bol počas doktorandského štúdia na stáži vo Veľkej Británii, všimol som si, že tamojší výskumníci a výskumníčky boli oveľa otvorenejší ako som bol zvyknutý u nás. So mnou, ako stážistom, zdieľali dáta, materiály, laboratórne postupy atď., odpovedali mi na všetky zvedavé otázky. Nikto sa neobával, že by som im mohol „ukradnúť ich know-how“. Uvedomil som si teda, že takýto otvorený prístup chcem mať aj ja.
Čo sa týka praktickej stránky, pri finančne náročnom výskume som v minulosti najskôr sprístupnil dáta iba editorom a recenzentom (keďže celý proces trvá dlhý čas a nechcel som aby tieto nepublikované dáta boli voľne dostupné) a až po akceptácii článku som k textu pripojil verejne dostupný link k dátam. Takto som mal „lepší pocit“, že zverejňujem dáta, ktoré už sú, alebo čoskoro budú publikované.
Matúš: Tiež takýmto obavám plne rozumiem. Proces zberu dát je častokrát náročný či už z hľadiska financií, ale tiež času/energie, ktoré do tohto procesu musí výskumný tím vložiť. Na druhú stranu, sme (v našich podmienkach v drvivej) väčšine prípadov platení z verejných zdrojov. Dáta tým pádom nie sú majetkom výskumníka, ale majetkom spoločnosti. Sprístupnenie dát (pokiaľ nie sú mimoriadne senzitívnej povahy) iným výskumníkom šetrí jednak peniaze a jednak čas – či už výskumníkov, ale tiež participantov. Zároveň, zdieľanie dát napomáha väčšej rigoróznosti publikácií. Keď už dám dáta do sveta, tak moje analýzy musia spĺňať aspoň minimálne štandardy. Taktiež to slúži ako kontrola. Je totiž možné, že som vo svojich analýzach spravil nejakú chybu a ostatní majú právo ma na ňu upozorniť. Z môjho pohľadu teda obava o to, že ktosi „ukradne“ „moje“ (úvodzovky som dal schválne pre každé slovo samostatne) dáta je síce pochopiteľná z emočného hľadiska, ale neopodstatnená vzhľadom na charakter práce výskumníka, tobôž v našich sociálnych a behaviorálnych vedách.
Vlaďa: Ja toto vnímam trochu ako kultúrnu vec a veľa závisí od kultúry pracoviska. Na začiatku svojej vedeckej kariéry ako doktorandka som sa stretla s tým, že na našich univerzitách si každý žiarlivo strážil to svoje (dokonca explicitne, že školiteľ nemá príliš zdieľať svoje know-how so študentmi, resp. neskôr som dostala dobre mienenú radu od nadriadenej, že nemám zdieľať svoje prednášky verejne), ale keď som napísala akémukoľvek zahraničnému autorovi, úplne v pohode mi poslal svoje materiály na použitie. Jedna austrálska výskumníčka, ktorá nemala elektronickú kópiu, mi dokonca svoj test zvedavosti poslala poštou! (To bolo okolo roku 2004.) Vtedy mi došlo, aké je v mnohom naše univerzitné prostredie choré a odvtedy ja osobne zdieľam všetko, čo si odo mňa niekto vypýta.
Nemám problém ani so zdieľaním dát, lebo ako spomenul Matúš, zber bol financovaný z verejných zdrojov a my nerobíme typ výskumu, ktorý je tajný, ani nezbierame citlivé údaje o participantoch, že by sa dali identifikovať. Vnímam to nielen ako signál, že sa nebojím toho, aby po mne (nás) niekto moje (naše) dáta skontroloval a zároveň je to pre mňa zvýšená zodpovednosť, aby som si veci viackrát pred submitnutím článku skontrolovala. Navyše to vnímam tak, že tým, že ich zdieľame a niekto ich použije, tak zvyšujeme citovanosť a dopad svojich ostatných prác, čiže za mňa v tom nie sú prakticky žiadne nevýhody. Resp. jedna je – je potrebné si pri finálnej úprave článku spraviť poriadok v dátach, preložiť ich do angličtiny a upraviť tak, aby boli komukoľvek zrozumiteľné. To je naozaj námaha navyše a tu mám tiež určité rezervy a veľmi ďakujem svojmu kolegovi Jakubovi Šrolovi, ktorý si to väčšinou vezme na starosť 😊 Ale opäť to má aj výhodu pre vás, že ak sa z nejakého dôvodu potrebujete k dátam vrátiť o pár mesiacov či rokov, vyznáte sa v nich aj vy. Lebo stavím sa, že nielen mne sa stáva, že mám v dátovom súbore premenné bez labelov, samozrejme si už nepamätám, čo majú znamenať a ako som ich počítala a musím prepočítavať zas od začiatku...
Marcel: Úsmev a totálny súhlas s Vlaďou. Akože aj s Jakubom a Matúšom :D Už iba doplním, že v poslednej dobe preferujem zdieľať (v rámci výskumu :D), či napr. v rámci RR uviesť /opísať naozaj všetko, aby v prípade, že tam budem mať nejaké chyby, na ne niekto prišiel rýchlo a aby som ich ja mohol rýchlo opraviť. Teda, aby môj výstup bol čo najlepší. Lebo sa poznám, som zmätkár, často niečo zabudnem, nedomyslím, popletiem :D, takže za upozornenie na chybu budem naopak vďačný ako nahnevaný. A na chyby ma ľudia môžu upozorniť iba vtedy, ak budem totálne transparentný. Chybujeme všetci, ide iba o to, či tie chyby opravíme alebo nie...
Pali: Aj ja plne rozumiem Tvojej obave, Lucia. Myslím, že je prirodzené že si chceme uschovať a strážiť niečo, na čo sme vynaložili veľa úsilia a čo nám príde cenné. Keď som ale rozmýšľal nad tým, čo inhibuje mňa, prišiel som na to, že viacero mojich strachov nie je úplne opodstatnených alebo sa na nich dá nazerať z iného uhlu pohľadu. Napr. sa bojím, že niekto „využije“ moju ťažkú prácu. Potom som si ale uvedomil, že ľudia majú aj inú prácu, než prehľadávať moje datasety za účelom ich „vykradnutia“ 😊. Okrem toho, čím viac spolupracujem s inými, tým viac vnímam vedu ako tímovú prácu a čím viac spolupracujem s ľuďmi zo zahraničia, tým viac vidím ako je to bežné. Navyše, o čo väčší zmysel by mala moja práca, pokiaľ by mohla prispieť k ďalším zisteniam – aj keby som ich nenapísal do článku ja. Popravde, pokiaľ by som bol účastník výskumu, chcel by som, aby bol čas, ktorý som do výskumu venoval, čo najviac zmysluplný. Ďalším mojím strachom bolo, že neviem ako na to. Povedal som si, že to skúsim najlepšie ako viem a nabudúce to spravím lepšie (na margo tejto časti by som rád spomenul, že sa teším, ako sa to konečne naučím poriadne na jednom z workshopov, ktoré plánujeme). Iným strachom bolo, že nemám čas (je potrebné to pripraviť, anonymizovať, uploadnuť...). Potom som si ale uvedomil, že keď si nájdem systém, v konečnom dôsledku mi to môže čas šetriť - umožňuje mi to mať vo veciach prehľad a vrátiť sa k tomu, čo som robil pred časom tak, ako by som to znovu našiel. To sa týka nie len dát, ale aj analytického kódu a podobne. Ďalším mojím strachom je, že by niekto našiel chybu, ktorej som sa mohol dopustiť napr. pri analýze dát. Ak si ale priznám, že som niekde mohol spraviť chybu, tak je dobré aby som dal možnosť iným sa na to pozrieť, pokiaľ budú chcieť. Transparentnosť nie je jednoduchá ale verím, že má zmysel.
Otázka: A nakoniec v tomto „vstupe“ sa ešte spýtam, nad čím sama poctivo rozmýšľam: Ak budeme praktizovať otvorenú vedu v psychológii, naozaj to pomôže prekonať krízu replikovateľnosti a reprodukovateľnosti? Pretože napr. aj zdieľanie kvantitatívnych dát nemusí nutne viesť k rovnakým výsledkom (napr. výsledky výskumu Silberzahn et al., 2018[3]) a neustále sa vyvíjajú nové spôsoby analýz, ktoré môžu časom vyvrátiť, čo mi teraz dostupnými analýzami zistíme.
Jakub: Možno sa nám ju úplne prekonať nepodarí, keďže asi vždy budeme narážať na nereplikovateľné výsledky. Metódy otvorenej vedy nám však umožňujú kontrolu. Ak napríklad zdieľam so štúdiou aj kompletný dataset, ktokoľvek si môže môj postup overiť. Namiesto toho, aby mi museli vo dôverovať, môžu výpočet zopakovať.
Ja osobne vidím krízu reprodukovateľnosti ako príležitosť pre psychológiu aby oddelila vedecky podporené poznatky o toho, čo vedecké nie je. Možno sa vďaka tejto kríze môžeme priblížiť k vedám, ktoré sú spoločnosťou vnímané ako objektívnejšie.
Matúš: Súhlasím s Jakubom. Transparentnosť výskumnej práce nie je všeliek, ale prevencia. Samozrejme, stále existuje kvantum ciest a možností, ako čosi skúmať a analyzovať. Andrew Gelman to nazval veľmi výstižne – the Garden of Forking Paths. Netýka sa to len analýz, ale celého procesu výskumu (napr. prečo merať konštrukt takým a nie iným nástrojom?). Keď sa ale zastavíme pri analýzach, tak to je vec, s ktorou vieme pracovať aj po zozbieraní dát. Presne ako demonštruje článok od Silberzahna a kolektívu – odpoveď na výskumnú otázku môže mimoriadne variovať vzhľadom na spôsob analýzy (inak, srandovné v tomto článku je, že výpočet extrémne jednoduchej bivariátnej korelácie sa nachádza zhruba v strede všetkých odhadov). Pre analýzy je najdôležitejšie, aby boli získané dáta validné a aby bol testovaný model správne špecifikovaný. Na to však v našich vedách zväčša neexistuje ultimátne riešenie či konsenzus. V súčasnosti sa relatívne bežne stretávame s tzv. analýzami senzitivity (čo sa stane ak spravím niečo ináč ako v primárne reportovanom výpočte) a do povedomia sa dostáva aj tzv. multiverse analysis. Multiverse analysis funguje na princípe syntézy efektov pozorovaných prostredníctvom viacerých analytických možností. Ľudsky povedané, výskumný tím má nejakú otázku/hypotézu, ktorú chce zodpovedať. Dáta analyzuje viacerými spôsobmi, pričom všetky z nich sú prípustné vzhľadom na cieľ výskumu. Potom sa jednotlivé pozorované efekty „dajú dokopy“ a vytvorí sa robustnejší odhad, ktorý pokrýva viacero možných rozhodnutí v rámci analýzy. Multiverse analysis je technika náročná na premýšľanie (výskumník si potrebuje predstaviť čo najväčšie množstvo relevantných/korektných spôsobov, ako analyzovať dáta vzhľadom na výskumnú otázku) a aj na naprogramovanie, ale môj tip je, že postupom času sa s ňou budeme stretávať čoraz viac.
Vlaďa: Ja súhlasím s obomi predchádzajúcimi odpoveďami. Možno nejde ani tak o to, aby sme našli všeliek, ale aby sme robili veci najlepšie, ako v danom momente vieme. Zdieľať materiály a dáta, aby si to ktokoľvek mohol po nás prepočítať a overiť, čo tvrdíme – pretože aj my vedci sme predsa omylní –je minimum, čo môžeme pre zvýšenie dôveryhodnosti vedy spraviť.
Pali: Opäť musím plne súhlasiť s Jakubom, Matúšom a Vlaďou. Možno by som len dodal, že hovoriť o kríze replikovateľnosti je iba jedným z možných naratívov. Nelson, Simmons a Simonsohn (2018) hovoria o renesancii psychologického výskumu a ja som rád, že takejto renesancie môžem byť súčasťou – tak renesancie výskumu v psychológii vo všeobecnosti ale aj mojej osobnej renesancie, pri ktorej mám možnosť sa veľa naučiť a skúšať robiť veci lepšie, než som robil včera. Veda nie je dokonalá, ale je to najlepšie čo máme. Na to, aby nám slúžila, by mala byť sebakorektívna, čo môže byť len vtedy, keď takí budeme my a verím, že veci, na ktoré si sa pýtala, nám môžu pomôcť spraviť krok správnym smerom.
Marcel: „Možno nejde ani tak o to, aby sme našli všeliek, ale aby sme robili veci najlepšie, ako v danom momente vieme“ (Vlaďa, 2021).
Ďakujem za odpovede.
Na otázky odpovedali:
Vladimíra Čavojová – samostatná vedecká pracovníčka na Ústave experimentálnej psychológie CSPV SAV. Od roku 2014 vedie doktorandov, a tých posledných systematicky núti do predregistrácií dizertačného výskumu. Venuje sa skúmaniu nepodložených presvedčení, vedeckého myslenia a rôznym chybám, ktorých sa pri pokusoch myslieť dopúšťame. Vedecká práca (vrátanie písania) ju baví, preto ocení každú príležitosť o nej rozprávať.
Jakub Rajčáni – odborný asistent na Filozofickej Fakulte Univerzity Komenského v Bratislave zameriavajúci sa na výskum v oblasti stresu a psychofyziológie a tiež na kvantitatívnu metodológiu a štatistiku. V posledných rokoch patrí k členom Slovenskej siete reprodukovateľnosti (SKRN). Na Filozofickej fakulte UK vyučuje štatistiku pre psychológov a všeobecnú psychológiu.
Matúš Adamkovič – vedecký pracovník s viacerými afiliáciami (1) Inštitút psychológie Prešovskej univerzity; 2) Spoločenskovedný ústav CSPV SAV, 3) Pedagogická fakulta Univerzity Karlovej), participujúci na množstve rôznorodých projektov (replikačné štúdie, projekty zamerané na psychopatológiu, meta-štúdie...). Zaujíma sa o metodológiu behaviorálneho výskumu. Vďaka participácii na množstve projektov sa na neho nalepilo pár prierezových vedomostí, ale vyslovene sa nešpecializuje na žiadnu tému, čo mu (odhliadnuc od množstva negatív) umožňuje nadhľad a odstup. Nemá rád dvojité štandardy.
Marcel Martončik – pracuje ako docent na Inštitúte psychológie, FF PU, je zarytým podporovateľom a šíriteľom praktík otvorenej vedy (transparentnosti, replikovateľnosti...) na Slovensku, snílkom, ktorý verí v lepší zítřky a popri tom sa venuje skúmaniu digitálnych hier.
Pavol Kačmár – pracuje ako odborný asistent na Katedre psychológie FF UPJŠ v Košiciach. Problematika otvorenej vedy a replikovateľnosti psychologického výskumu sa na neho nalepila počas doktorandského štúdia, kedy sa venoval téme sociálnemu primingu. Zhodou okolností to bolo práve v čase, kedy zúrila tzv. „replikačná kríza“, vďaka čomu si uvedomil, aké dôležité je stavať na pevných základoch a neustále sa metodologicky a štatisticky posúvať vpred.
[1] Údaje pochádzajú v rozsiahleho prieskumu Elsevier a Sense About Science z roku 2019 na vzorke 1450 výskumníkov. Viac o tomto prieskume sa dočítate napríklad na: https://www.elsevier.com/connect/trust-in-research [2] Zjednodušene ide o tendenciu vyhľadávať, pamätať si a využívať také informácie, ktoré potvrdzujú naše už existujúce presvedčenia a ignorovať všetko ostatné. [3] Výskumnú vzorku tvorilo 29 tímov výskumníkov z 13 rôznych krajín, ktoré mali zodpovedať rovnakú výskumnú otázku použitím rovnakých dát. Vecná významnosť sa pohybovala v rozpätí od 0,89 po 2,93 ; 20 tímov zistilo štatistický významný efekt a 9 tímov nepozorovalo signifikantný vzťah. Silberzahn, R. et al. (2018). Many analysts, one data set: Making transparent how variations in analytic choices affect results. Advances in Methods and Practices in Psychological Science, 1, 337–356. doi:10.1177/2515245917747646