Kto sa pýta, niečo sa dozvie... o otvorenej vede a zdieľaní dát.


Myslím, že to bolo počas štúdia na vysokej, keď mi spolužiaci vymysleli prezývku ID (ako skratka information data), ktorá súvisela s tým, že o čom neviem a zaujíma ma to, tak si to vyhľadám a najmä teda na googli (písal sa rok cca 2002 a v tom čase bol google „na svete“ asi 4 roky, takže to nebolo také samozrejmé ako dnes a veľa informácií sa vyhľadávalo v knihách a v relevantnýchčasopisoch).

Môžem povedať, že odvtedy som sa v tomto nezmenila, len teda s objemom dostupných dát rastie aj objem môjho času vyhľadaním informácií, o ktoré mám záujem (vedeli ste napríklad, že akademici trávia približne toľko času hľadaním článkov ako ich čítaním? V priemere, výskumníci trávia viac ako 4 hodiny týždenne hľadaním článkov a viac ako 5 hodín ich čítaním. A zhoršuje sa to: v rokoch 2011 až 2019 vedci prečítali o 10 % menej článkov, ale hľadaním článkov strávili o 11 % viac času[1]).

V súčasnosti ma zaujímajú informácie okolo otvorenej vedy a za dobrý zdroj informácií považujem aj niekoho, kto sa v tejto oblasti pohybuje už dlhšie, čiže si skrátim čas vyhľadávania informácií a ostane mi (možno) viac času na čítanie. Takže s pár otázkami oslovujem tých správnych výskumníkov.


Matúš: Taktiež si, na staré (29-ročné, ale boľavé) kolená, trošku zaspomínam...Bol som, tuším, štvrták na VŠ, keď som sa zapojil do SAŠAPu a mal možnosť ísť na nejakú EFPSA udalosť. V rámci nej mal prednášku o otvorenej vede Jonas Haslbeck (v súčasnosti je jedným z top výskumníkov/vývojárov v oblasti network analysis). Prišlo mi to vtedy surreálne a nevedel som pochopiť, ako môže veda takto (ne)fungovať. Potom som ale prečítal niekoľko blogov/článkov, ktoré hodnoverne potvrdzovali to, čo Jonas vravel. Krátko nato bol v Science publikovaný doposiaľ asi najväčší replikačný projekt – Estimating the reproducibility of psychological science (Open Science Collaboration, 2015). Tieto veci sa postupne diskutovali, síce v malom, ale predsa, aj u nás na pracovisku. Zároveň sme mali šťastie a začali sme spolupracovať s Ivanom Ropovikom, ktorý bol (a stále je) niekoľko krokov pred nami, takže nás vedel ochotne nasmerovať a posunúť. A potom, keď sme sa orientovali v Open Science komunite, to už išlo dosť rýchlo. Celkovo pomohli 4 hlavné veci:

(1) vlastné formálne (offline a online kurzy a workshopy, články) aj neformálne (blogy, Twitter, Facebookové skupiny, diskusie) vzdelávanie;

(2) kolaborácia na veľkých nadnárodných či replikačných projektoch;

(3) prednášanie ostatným o metodológii a otvorenej vede (vtedy sa hecnete, lebo nechcete posúvať nesprávne info);

(4) recenzovanie – okrem bežného recenzovania sa mi podarilo recenzovať projekt pre Psychological Science Accelerator, za SAV som spisoval pripomienky k národnej stratégii otvorenej vedy, či nedávno som recenzoval registered report v rámci PCI RR platformy.

To sú už relatívne seriózne veci, pred ktorými mám fakt rešpekt. V konečnom dôsledku to núti človeka k ešte väčšej zaangažovanosti a profesionalite v zmysle vedomostí o problematike a zvyšovania kompetencií. Zároveň to motivuje k pridržiavaniu sa dobrých výskumných praktík. Ja si už napríklad neviem predstaviť, že by som nezdieľal dáta (aj keď toto je problematické, keďže občas sa stane, že ľudia, s ktorými spolupracujete, nechcú dáta zdieľať, respektíve nemôžu byť z iných príčin zdieľané – vtedy to rieši napr. korelačná matica), kód alebo že by som nepodpísal recenziu. V momente, ako sa človek naučí orientovať (hoci aj neformálne) v Open Science komunite, tak to vyhľadávanie informácií a zlepšovanie/stransparentnenie jeho/jej vlastných praktík príde veeeľmi rýchlo a plynulo.


Pali: Lucia, Matúš, dovoľte mi pridať k tejto nostalgickej chvíľke spomínania 😊. To, ako uvažuješ, Lucia, ma veľmi oslovilo a pripomenulo mi radu Prof. PhDr. Jara Křivohlavého, CSc., ktorý, pokiaľ sa potreboval zorientovať v novej problematike, oslovil ľudí, pri ktorých vedel, že sa danej problematike venujú a poprosil ich, aby mu odporučili pár zdrojov, ktoré považujú za najkľúčovejšie. Až pri čítaní Tvojho úvodu som si uvedomil, aké dôsledky môže táto rada mať, keď ju rozmeníme na percentá a ako to otvára priestor pre to, aby sme sa mohli lepšie zahĺbiť do problematiky. Musím to skúsiť aplikovať častejšie. Pri čítaní Matúšovej odpovede som si zas uvedomil, ako veľmi som vďačný ľuďom, ako sú Ivan, Matúš a všetci ostatní kolegovia (nie len) z SKRN za to, že ma v nejakej oblasti posunuli práve tým, že si už nejakú cestu prešli predo mnou a dali mi do ruky tipy, ako na to.


Otázka: Téma otvorenej vedy ako taká pozostáva z viacerých „čiastkových“ tém a každá z nich mi príde ako dôležitá. Keďže informácií je v dnešnej dobe už veľa a často krát naozaj viac hľadám ako čítam, kde som podľa Vás mala začať? Máte prípadne nejaký tip na článok alias odrazový mostík v tejto téme?


Jakub: Ja som sa o témy otvorenej vedy začal zaujímať po prečítaní si článku „False positive psychology“ od Simmonsa, Nelsona a Simmonsohna. Tento článok poukazuje na vážnosť problému analytickej flexibility a netransparentnosti pri reportovaní dát.

Dobrým odrazovým mostíkom môže byť aj kurz „Improving Your Statistical Inferences“ od Daniela Lakensa, ktorý je dostupný na portáli Coursera (https://www.coursera.org/learn/statistical-inferences).

V neposlednom rade by som chcel upozorniť aj na naše aktivity. Blogy, dostupné na webe SKRN, webináre, ktoré realizujeme v rámci projektu KEGA a tiež na pripravovanú knihu o reprodukovateľnej štatistike, na ktorej pracujeme.


Matúš: Súhlasím s tým, čo píše Jakub. Ešte doplním pár tipov: istotne odporúčam prečítať Estimating the reproducibility of psychological science (Open Science Collaboration, 2015) a sledovať blogy typu Datacolada či The 20% Statistician. Sú aj ďalšie (pravdupovediac je toho fakt dosť), ale mne toto značne pomohlo. Plus, určite sa čitatelia môžu tešiť na blogy a výstupy, ktoré pribudnú na stránke SKRN.


Vlaďa: Tak ja som asi ako ty a rada sa nechám poučiť skúsenejšími ľuďmi. K záujmu o metodologické otázky a otvorenú vedu ma priviedol Miro Sirota, ktorého sme pozvali, aby nám v roku 2019 prišiel o otvorenej vede aj prednášať. Pre mňa je tiež iné počuť to od ľudí, ktorí sú v tom priamo zaangažovaní, ako sa brodiť množstvom informácií, keď nevieš ani kde začať. Práve aj stránka SKRN alias Spoločenstva otvorenej vedy má takúto ambíciu – pomôcť všetkým, kto to chce skúsiť s otvorenou vedou, aby sa zorientovali a posunúť ich podľa záujmu k čoraz sofistikovanejším zdrojom. Plus tiež odporúčam na začiatok prečítať si knihu The Seven Deadly Sins of Psychology od Chrisa Chambersa. Je prehľadná a ľahko čitateľná a človek po jej prečítaní razom zahorí túžbou robiť veci lepšie 😊.


Pali: Je veľmi náročné odpovedať po Jakubovi, Matúšovi a Vladi. Spomenuli mnoho vynikajúcich vecí, ktoré by som chcel povedať aj ja a preto teraz v záchvate paniky rozmýšľam, čo dodať 😊. Túto situáciu ale skúsim predýchať a namiesto novej veci spomeniem vec, ktorá tu už odznela. Ide o stránku SKRN, na ktorej pracujeme. Keď sme spolu uvažovali nad tým, čím by sme mohli prispieť, napadlo nám, že nemusíme za každú cenu nanovo vymýšľať koleso. Možno postačí podeliť sa o to, čo obohatilo a inšpirovať nás. Stránku SKRN sme sa preto snažili koncipovať tak, aby slúžila ako odrazový mostík a uľahčila vstup do problematiky (nie len) otvorenej vedy komukoľvek, kto by sa o tejto téme chcel dozvedieť viac a to vo formáte, ktorý s ním najviac rezonuje - či už ide o naše blogy, ktoré sa pokúšame písať my (https://www.slovakrn.org/blog) alebo o blogy ďalších ľudí, ktorí nás inšpirujú (https://www.slovakrn.org/blogyodkazy), kanály a kurzy (https://www.slovakrn.org/kurzy), repozitáre zdrojov na rôzne témy (https://www.slovakrn.org/repozitare), rôzne vizualizácie (https://www.slovakrn.org/vizualizacie), podcasty, alebo aj také veci ako sú tipy na to, koho sa nám osvedčilo sledovať na Twitteri, keď prokrastinujeme 😊 (https://www.slovakrn.org/podcasty).


Marcel: Jednoznačne The Seven Deadly Sins of Psychology od Chrisa Chambersa! A pre podcastovochtivých určite Everything Hertz: https://everythinghertz.com/.


Otázka: Psychológia zažíva krízu replikovateľnosti a reprodukovateľnosti a ja po oboznámení sa s témami otvorenej vedy začínam byť tiež „nedôverčivá“ k výsledkom iných výskumov (v minulosti mi ako meradlo dôvery stačilo, že to bolo recenzované niekým iným). Môžem veriť výsledkom iných výskumov, ktoré boli robené v minulosti? Ako mám rozlišovať, ktorým výsledkom výskumov dôverovať a ktorým nie?


Jakub: Toto je ťažká, ale veľmi dôležitá otázka. Osobne sa snažím riadiť odporúčaním, ktoré spopularizoval fyzik Carl Sagan, že „mimoriadne tvrdenia si vyžadujú mimoriadne dôkazy“. Ak teda nejaká štúdia tvrdí niečo výnimočné a prekvapivé, snažím sa byť skeptický, kým nevidím dostatočne presvedčivé dáta.

Čo sa týka analytických postupov, ak sa štúdia opiera iba o p-hodnoty, neuvádza deskriptívnu štatistiku, veľkosti efektov a pod., resp. výskumná procedúra nie je opísaná dostatočne detailne, je to pre mňa dôvod na opatrnosť. Skeptický som aj vtedy ak vidím príliš komplikované analýzy (napr. obsahujúce viacero kovariátov) a nie je mi úplne jasné, prečo autori takýto postup zvolili.


Matúš: Dobrá otázka, ale nemám na ňu jednoznačnú odpoveď. Ak už má človek nejaký solídnejší základ v metodológii a štatistike, tak je rozlišovanie dôveryhodného výskumu trochu jednoduchšie. Na druhú stranu, absolútna väčšina psychologov pracuje v praxi a je tak prirodzené, že sa venujú iným oblastiam. Študentom napríklad odporúčam niekoľko heuristík, ako zistiť, či sa jedná o dôveryhodný článok.

(1) Predikoval/a by si taký výsledok, aký je v článku?

(2) Ak by si článok prečítal mimozemšťan, predikoval by zhruba taký výsledok ako je v článku?

(3) Obsahuje článok aj nepotvrdené hypotézy alebo sa výrazná väčšina/všetky hypotézy potvrdili?

(4) Obsahujú výsledky viacero p-hodnôt, ktoré sa pohybujú okolo hodnoty 0.05?

(5) Má článok veľmi pekný naratív a všetko ide extrémne hladko (to jest žiadne problémy, odchýlky od očakávaní autorov, nesignifikantné výsledky, atď.)?.

Ak na týchto 5 otázok odpovieš „nie“, „nie“, „nie“, „áno“ a „áno“, tak je podľa mňa potrebné zbystriť pozornosť. Jedná sa ale o heuristiku, ktorú nemám podloženú dátami :).


Vlaďa: Aj ja som sa stala skeptik pri prednášaní – keď som sa snažila si k niektorým kánonickým experimentom dohľadať originálne zdroje, často som zostala prekvapená, nakoľko sú v učebniciach tieto výsledky často skreslené. Napríklad, odhliadnuc od toho, že sa vždy spomenú etické aspekty výskumu o malom Albertovi, tak nemyslím, že by táto štúdia mohla byť dnes vôbec uverejnená. Nehovoriac už o mnohých atraktívnych primingových výskumoch zo sociálnej psychológie. Práve preto pokladám za dôležité replikovanie výskumov a to, koľko ďalším štúdiám sa podarilo dosiahnuť podobné efekty. Asi by som odporúčala nevyvodzovať priveľa zo sexi výskumov, ktoré vyšli podozrivo hladko (ako spomínal Matúš) a boli robené na malých vzorkách. Na druhej starne, takéto „sexi výskumy“ často pritiahnu pozornosť a pomerne rýchlo sa ukáže, či sa efekt podarilo zreplikovať alebo nie, ale žiaľ, o tom sa zvyčajne píše už oveľa menej.