Kto sa pýta, niečo sa dozvie... o otvorenej vede a zdieľaní dát.

Myslím, že to bolo počas štúdia na vysokej, keď mi spolužiaci vymysleli prezývku ID (ako skratka information data), ktorá súvisela s tým, že o čom neviem a zaujíma ma to, tak si to vyhľadám a najmä teda na googli (písal sa rok cca 2002 a v tom čase bol google „na svete“ asi 4 roky, takže to nebolo také samozrejmé ako dnes a veľa informácií sa vyhľadávalo v knihách a v relevantnýchčasopisoch).

Môžem povedať, že odvtedy som sa v tomto nezmenila, len teda s objemom dostupných dát rastie aj objem môjho času vyhľadaním informácií, o ktoré mám záujem (vedeli ste napríklad, že akademici trávia približne toľko času hľadaním článkov ako ich čítaním? V priemere, výskumníci trávia viac ako 4 hodiny týždenne hľadaním článkov a viac ako 5 hodín ich čítaním. A zhoršuje sa to: v rokoch 2011 až 2019 vedci prečítali o 10 % menej článkov, ale hľadaním článkov strávili o 11 % viac času[1]).

V súčasnosti ma zaujímajú informácie okolo otvorenej vedy a za dobrý zdroj informácií považujem aj niekoho, kto sa v tejto oblasti pohybuje už dlhšie, čiže si skrátim čas vyhľadávania informácií a ostane mi (možno) viac času na čítanie. Takže s pár otázkami oslovujem tých správnych výskumníkov.

Matúš: Taktiež si, na staré (29-ročné, ale boľavé) kolená, trošku zaspomínam...Bol som, tuším, štvrták na VŠ, keď som sa zapojil do SAŠAPu a mal možnosť ísť na nejakú EFPSA udalosť. V rámci nej mal prednášku o otvorenej vede Jonas Haslbeck (v súčasnosti je jedným z top výskumníkov/vývojárov v oblasti network analysis). Prišlo mi to vtedy surreálne a nevedel som pochopiť, ako môže veda takto (ne)fungovať. Potom som ale prečítal niekoľko blogov/článkov, ktoré hodnoverne potvrdzovali to, čo Jonas vravel. Krátko nato bol v Science publikovaný doposiaľ asi najväčší replikačný projekt – Estimating the reproducibility of psychological science (Open Science Collaboration, 2015). Tieto veci sa postupne diskutovali, síce v malom, ale predsa, aj u nás na pracovisku. Zároveň sme mali šťastie a začali sme spolupracovať s Ivanom Ropovikom, ktorý bol (a stále je) niekoľko krokov pred nami, takže nás vedel ochotne nasmerovať a posunúť. A potom, keď sme sa orientovali v Open Science komunite, to už išlo dosť rýchlo. Celkovo pomohli 4 hlavné veci:

(1) vlastné formálne (offline a online kurzy a workshopy, články) aj neformálne (blogy, Twitter, Facebookové skupiny, diskusie) vzdelávanie;

(2) kolaborácia na veľkých nadnárodných či replikačných projektoch;

(3) prednášanie ostatným o metodológii a otvorenej vede (vtedy sa hecnete, lebo nechcete posúvať nesprávne info);

(4) recenzovanie – okrem bežného recenzovania sa mi podarilo recenzovať projekt pre Psychological Science Accelerator, za SAV som spisoval pripomienky k národnej stratégii otvorenej vedy, či nedávno som recenzoval registered report v rámci PCI RR platformy.

To sú už relatívne seriózne veci, pred ktorými mám fakt rešpekt. V konečnom dôsledku to núti človeka k ešte väčšej zaangažovanosti a profesionalite v zmysle vedomostí o problematike a zvyšovania kompetencií. Zároveň to motivuje k pridržiavaniu sa dobrých výskumných praktík. Ja si už napríklad neviem predstaviť, že by som nezdieľal dáta (aj keď toto je problematické, keďže občas sa stane, že ľudia, s ktorými spolupracujete, nechcú dáta zdieľať, respektíve nemôžu byť z iných príčin zdieľané – vtedy to rieši napr. korelačná matica), kód alebo že by som nepodpísal recenziu. V momente, ako sa človek naučí orientovať (hoci aj neformálne) v Open Science komunite, tak to vyhľadávanie informácií a zlepšovanie/stransparentnenie jeho/jej vlastných praktík príde veeeľmi rýchlo a plynulo.

Pali: Lucia, Matúš, dovoľte mi pridať k tejto nostalgickej chvíľke spomínania 😊. To, ako uvažuješ, Lucia, ma veľmi oslovilo a pripomenulo mi radu Prof. PhDr. Jara Křivohlavého, CSc., ktorý, pokiaľ sa potreboval zorientovať v novej problematike, oslovil ľudí, pri ktorých vedel, že sa danej problematike venujú a poprosil ich, aby mu odporučili pár zdrojov, ktoré považujú za najkľúčovejšie. Až pri čítaní Tvojho úvodu som si uvedomil, aké dôsledky môže táto rada mať, keď ju rozmeníme na percentá a ako to otvára priestor pre to, aby sme sa mohli lepšie zahĺbiť do problematiky. Musím to skúsiť aplikovať častejšie. Pri čítaní Matúšovej odpovede som si zas uvedomil, ako veľmi som vďačný ľuďom, ako sú Ivan, Matúš a všetci ostatní kolegovia (nie len) z SKRN za to, že ma v nejakej oblasti posunuli práve tým, že si už nejakú cestu prešli predo mnou a dali mi do ruky tipy, ako na to.

Otázka: Téma otvorenej vedy ako taká pozostáva z viacerých „čiastkových“ tém a každá z nich mi príde ako dôležitá. Keďže informácií je v dnešnej dobe už veľa a často krát naozaj viac hľadám ako čítam, kde som podľa Vás mala začať? Máte prípadne nejaký tip na článok alias odrazový mostík v tejto téme?

Jakub: Ja som sa o témy otvorenej vedy začal zaujímať po prečítaní si článku „False positive psychology“ od Simmonsa, Nelsona a Simmonsohna. Tento článok poukazuje na vážnosť problému analytickej flexibility a netransparentnosti pri reportovaní dát.

Dobrým odrazovým mostíkom môže byť aj kurz „Improving Your Statistical Inferences“ od Daniela Lakensa, ktorý je dostupný na portáli Coursera (https://www.coursera.org/learn/statistical-inferences).

V neposlednom rade by som chcel upozorniť aj na naše aktivity. Blogy, dostupné na webe SKRN, webináre, ktoré realizujeme v rámci projektu KEGA a tiež na pripravovanú knihu o reprodukovateľnej štatistike, na ktorej pracujeme.

Matúš: Súhlasím s tým, čo píše Jakub. Ešte doplním pár tipov: istotne odporúčam prečítať Estimating the reproducibility of psychological science (Open Science Collaboration, 2015) a sledovať blogy typu Datacolada či The 20% Statistician. Sú aj ďalšie (pravdupovediac je toho fakt dosť), ale mne toto značne pomohlo. Plus, určite sa čitatelia môžu tešiť na blogy a výstupy, ktoré pribudnú na stránke SKRN.

Vlaďa: Tak ja som asi ako ty a rada sa nechám poučiť skúsenejšími ľuďmi. K záujmu o metodologické otázky a otvorenú vedu ma priviedol Miro Sirota, ktorého sme pozvali, aby nám v roku 2019 prišiel o otvorenej vede aj prednášať. Pre mňa je tiež iné počuť to od ľudí, ktorí sú v tom priamo zaangažovaní, ako sa brodiť množstvom informácií, keď nevieš ani kde začať. Práve aj stránka SKRN alias Spoločenstva otvorenej vedy má takúto ambíciu – pomôcť všetkým, kto to chce skúsiť s otvorenou vedou, aby sa zorientovali a posunúť ich podľa záujmu k čoraz sofistikovanejším zdrojom. Plus tiež odporúčam na začiatok prečítať si knihu The Seven Deadly Sins of Psychology od Chrisa Chambersa. Je prehľadná a ľahko čitateľná a človek po jej prečítaní razom zahorí túžbou robiť veci lepšie 😊.

Pali: Je veľmi náročné odpovedať po Jakubovi, Matúšovi a Vladi. Spomenuli mnoho vynikajúcich vecí, ktoré by som chcel povedať aj ja a preto teraz v záchvate paniky rozmýšľam, čo dodať 😊. Túto situáciu ale skúsim predýchať a namiesto novej veci spomeniem vec, ktorá tu už odznela. Ide o stránku SKRN, na ktorej pracujeme. Keď sme spolu uvažovali nad tým, čím by sme mohli prispieť, napadlo nám, že nemusíme za každú cenu nanovo vymýšľať koleso. Možno postačí podeliť sa o to, čo obohatilo a inšpirovať nás. Stránku SKRN sme sa preto snažili koncipovať tak, aby slúžila ako odrazový mostík a uľahčila vstup do problematiky (nie len) otvorenej vedy komukoľvek, kto by sa o tejto téme chcel dozvedieť viac a to vo formáte, ktorý s ním najviac rezonuje - či už ide o naše blogy, ktoré sa pokúšame písať my (https://www.slovakrn.org/blog) alebo o blogy ďalších ľudí, ktorí nás inšpirujú (https://www.slovakrn.org/blogyodkazy), kanály a kurzy (https://www.slovakrn.org/kurzy), repozitáre zdrojov na rôzne témy (https://www.slovakrn.org/repozitare), rôzne vizualizácie (https://www.slovakrn.org/vizualizacie), podcasty, alebo aj také veci ako sú tipy na to, koho sa nám osvedčilo sledovať na Twitteri, keď prokrastinujeme 😊 (https://www.slovakrn.org/podcasty).

Marcel: Jednoznačne The Seven Deadly Sins of Psychology od Chrisa Chambersa! A pre podcastovochtivých určite Everything Hertz: https://everythinghertz.com/.

Otázka: Psychológia zažíva krízu replikovateľnosti a reprodukovateľnosti a ja po oboznámení sa s témami otvorenej vedy začínam byť tiež „nedôverčivá“ k výsledkom iných výskumov (v minulosti mi ako meradlo dôvery stačilo, že to bolo recenzované niekým iným). Môžem veriť výsledkom iných výskumov, ktoré boli robené v minulosti? Ako mám rozlišovať, ktorým výsledkom výskumov dôverovať a ktorým nie?

Jakub: Toto je ťažká, ale veľmi dôležitá otázka. Osobne sa snažím riadiť odporúčaním, ktoré spopularizoval fyzik Carl Sagan, že „mimoriadne tvrdenia si vyžadujú mimoriadne dôkazy“. Ak teda nejaká štúdia tvrdí niečo výnimočné a prekvapivé, snažím sa byť skeptický, kým nevidím dostatočne presvedčivé dáta.

Čo sa týka analytických postupov, ak sa štúdia opiera iba o p-hodnoty, neuvádza deskriptívnu štatistiku, veľkosti efektov a pod., resp. výskumná procedúra nie je opísaná dostatočne detailne, je to pre mňa dôvod na opatrnosť. Skeptický som aj vtedy ak vidím príliš komplikované analýzy (napr. obsahujúce viacero kovariátov) a nie je mi úplne jasné, prečo autori takýto postup zvolili.

Matúš: Dobrá otázka, ale nemám na ňu jednoznačnú odpoveď. Ak už má človek nejaký solídnejší základ v metodológii a štatistike, tak je rozlišovanie dôveryhodného výskumu trochu jednoduchšie. Na druhú stranu, absolútna väčšina psychologov pracuje v praxi a je tak prirodzené, že sa venujú iným oblastiam. Študentom napríklad odporúčam niekoľko heuristík, ako zistiť, či sa jedná o dôveryhodný článok.

(1) Predikoval/a by si taký výsledok, aký je v článku?

(2) Ak by si článok prečítal mimozemšťan, predikoval by zhruba taký výsledok ako je v článku?

(3) Obsahuje článok aj nepotvrdené hypotézy alebo sa výrazná väčšina/všetky hypotézy potvrdili?

(4) Obsahujú výsledky viacero p-hodnôt, ktoré sa pohybujú okolo hodnoty 0.05?

(5) Má článok veľmi pekný naratív a všetko ide extrémne hladko (to jest žiadne problémy, odchýlky od očakávaní autorov, nesignifikantné výsledky, atď.)?.

Ak na týchto 5 otázok odpovieš „nie“, „nie“, „nie“, „áno“ a „áno“, tak je podľa mňa potrebné zbystriť pozornosť. Jedná sa ale o heuristiku, ktorú nemám podloženú dátami :).

Vlaďa: Aj ja som sa stala skeptik pri prednášaní – keď som sa snažila si k niektorým kánonickým experimentom dohľadať originálne zdroje, často som zostala prekvapená, nakoľko sú v učebniciach tieto výsledky často skreslené. Napríklad, odhliadnuc od toho, že sa vždy spomenú etické aspekty výskumu o malom Albertovi, tak nemyslím, že by táto štúdia mohla byť dnes vôbec uverejnená. Nehovoriac už o mnohých atraktívnych primingových výskumoch zo sociálnej psychológie. Práve preto pokladám za dôležité replikovanie výskumov a to, koľko ďalším štúdiám sa podarilo dosiahnuť podobné efekty. Asi by som odporúčala nevyvodzovať priveľa zo sexi výskumov, ktoré vyšli podozrivo hladko (ako spomínal Matúš) a boli robené na malých vzorkách. Na druhej starne, takéto „sexi výskumy“ často pritiahnu pozornosť a pomerne rýchlo sa ukáže, či sa efekt podarilo zreplikovať alebo nie, ale žiaľ, o tom sa zvyčajne píše už oveľa menej.

Marcel: Doplnil by som ešte okrem tých 4 bodov, ktoré písal Matúš, čo funguje u mňa: teda sledujem:

(5) mieru transparentnosti. Ak sú autori „zdieľni“ :D (vidím, že zdieľajú dáta, materiály...a celkovo je celý dizajn precízne opísaný, teda nie sú tam miesta, kde si vravím, že čo? prečo to tak urobili, resp. čo tam robili, ak o tom radšej mlčia?), dôverujem článku viac.

(6) ak svoje závery nezakladajú len na p-hodnotách ale interpretujú aj veľkosti efektov a hlavne ich intervaly spoľahlivosti (teda nechcú silou mocou predať bombastické zistenie cez p = 0.04) (a dizajn výskumu má dostatočnú štat. silu), dôverujem viac.

(7) kredibilita autora a časopisu. Jednoduché a rýchle heuristiky. Ak sa pohybujeme v nejakej oblasti, zistíme, že niektorí autori sa radi nechajú pripísať všade a produkujú bludy a rovnako tak, keď vidím názov časopisu International Advanced Research in SuperDuper Journal of Scientific Psychociences (nehovorím o predátorských časopisoch ale skôr o takých, hmm, ako to napísať politicky korektne...menej známych a zo vzdialených kútov galaxie...) dôverujem článku menej, ako keď je publikovaný v niektorom z časopisov napr. Association for Psychological Science.

Trochu možno offtopic ale predsa doplním k tomu, čo písali VMJ vyššie, túto pyramídu: https://christopherchartierblog.files.wordpress.com/2018/02/pyramid.jpg

Teda vždy ak sa dá, radšej sa snažím nájsť k danej téme meta-analýzu ako jednotlivú štúdiu.

Pali: To je veľmi dobrá otázka, Lucia. Tiež mi to už dlhšie vŕta v hlave. V začiatkoch môjho štúdia som bol sklamaný z toho, že namiesto jednoznačnej odpovede typu „takto to v našom mentálnom živote je“ som nachádzal množstvo teórií, ktoré hovoria o tom, že by to vlastne mohlo „byť takto a takto“. Neskôr som bol sklamaný z toho, že výskumy, na základe ktorých budujeme svoje teórie, nie sú dokonalé a mnohé sa nám nepodarí replikovať. To som si zažil pri dizertačnej téme, ktorá sa venovala sociálnemu primingu. Každá kríza v sebe ale nesie zárodok niečoho nového. Keď sa na to pozerám spätne a zapojím trochu spomienkového optimizmu😊, tak som veľmi rád, že som sa s týmito „sklamaniami“ stretol. Ukázali mi, že moja implicitná teória toho, čo je veda a moje poznatky o tom, ako niektoré aspekty (napr. testovanie nulovej hypotézy) neboli plne v súlade s tým, čo vedecká teória a výskum skutočne predstavuje. Okrem toho mi to ukázalo rôzne kognitívne skreslenia (ako napr. konfirmačné skreslenie[2]), o ktorých som buď nevedel alebo si nechcel priznať, že sa ich dopúšťam.

Namiesto otázky typu „môžem veriť výsledkom iných výskumov, ktoré boli robené v minulosti?“ sa preto radšej snažím pýtať: „do akej miery môžem dôverovať výsledkom daného výskumu/výskumnej línie“. Odpovede na to, ako identifikovať problematický výskum stále hľadám. Matúš spomenul veľmi dobré tipy. Za dôležité ale považujem taktiež uvažovať a hovoriť o tom, čo veda je a ako fungujú veci, ktoré stoja v pozadí toho, čo považujeme za poznatok/zistenie. Osobne ma to vedie k väčšej pokore pri interpretácií zistení a zároveň k uvedomeniu si toho, že sú mnohé veci vlastne vymyslené veľmi múdro, len tomu potrebujeme lepšie porozumieť. Myslím, že keby sme o týchto veciach viac hovorili, (nie len) internetové diskusie by boli krajšie miesto 😊.

Otázka: Zdieľanie dát je pre mňa otázka, ku ktorej vnímam, že nie som rozhodnutá ísť do toho naplno. Na jednej strane vidím väčšiu kontrolu, ktorú zdieľanie dát poskytuje a na druhej strane mám určité osobné obavy, aby sa zdieľané dáta nejakým spôsobom nezneužili (i keď viem, že to je ošetrené a moje obavy sú neopodstatnené). Celkovo mi tam asi vadí tiež to, že niečo, čo môže byť finančne a časovo náročné, bude poskytnuté iným výskumníkom. Máte pre mňa presvedčivé (Vaše osobné) argumenty, aby som sa zdieľania dát nebála?

Jakub: Rozumiem tomu, ja mávam podobné obavy. Napriek obavám som sa ale zatiaľ nestretol s tým, že by niekto na zdieľanie dát doplatil.

Keď som bol počas doktorandského štúdia na stáži vo Veľkej Británii, všimol som si, že tamojší výskumníci a výskumníčky boli oveľa otvorenejší ako som bol zvyknutý u nás. So mnou, ako stážistom, zdieľali dáta, materiály, laboratórne postupy atď., odpovedali mi na všetky zvedavé otázky. Nikto sa neobával, že by som im mohol „ukradnúť ich know-how“. Uvedomil som si teda, že takýto otvorený prístup chcem mať aj ja.

Čo sa týka praktickej stránky, pri finančne náročnom výskume som v minulosti najskôr sprístupnil dáta iba editorom a recenzentom (keďže celý proces trvá dlhý čas a nechcel som aby tieto nepublikované dáta boli voľne dostupné) a až po akceptácii článku som k textu pripojil verejne dostupný link k dátam. Takto som mal „lepší pocit“, že zverejňujem dáta, ktoré už sú, alebo čoskoro budú publikované.

Matúš: Tiež takýmto obavám plne rozumiem. Proces zberu dát je častokrát náročný či už z hľadiska financií, ale tiež času/energie, ktoré do tohto procesu musí výskumný tím vložiť. Na druhú stranu, sme (v našich podmienkach v drvivej) väčšine prípadov platení z verejných zdrojov. Dáta tým pádom nie sú majetkom výskumníka, ale majetkom spoločnosti. Sprístupnenie dát (pokiaľ nie sú mimoriadne senzitívnej povahy) iným výskumníkom šetrí jednak peniaze a jednak čas – či už výskumníkov, ale tiež participantov. Zároveň, zdieľanie dát napomáha väčšej rigoróznosti publikácií. Keď už dám dáta do sveta, tak moje analýzy musia spĺňať aspoň minimálne štandardy. Taktiež to slúži ako kontrola. Je totiž možné, že som vo svojich analýzach spravil nejakú chybu a ostatní majú právo ma na ňu upozorniť. Z môjho pohľadu teda obava o to, že ktosi „ukradne“ „moje“ (úvodzovky som dal schválne pre každé slovo samostatne) dáta je síce pochopiteľná z emočného hľadiska, ale neopodstatnená vzhľadom na charakter práce výskumníka, tobôž v našich sociálnych a behaviorálnych vedách.

Vlaďa: Ja toto vnímam trochu ako kultúrnu vec a veľa závisí od kultúry pracoviska. Na začiatku svojej vedeckej kariéry ako doktorandka som sa stretla s tým, že na našich univerzitách si každý žiarlivo strážil to svoje (dokonca explicitne, že školiteľ nemá príliš zdieľať svoje know-how so študentmi, resp. neskôr som dostala dobre mienenú radu od nadriadenej, že nemám zdieľať svoje prednášky verejne), ale keď som napísala akémukoľvek zahraničnému autorovi, úplne v pohode mi poslal svoje materiály na použitie. Jedna austrálska výskumníčka, ktorá nemala elektronickú kópiu, mi dokonca svoj test zvedavosti poslala poštou! (To bolo okolo roku 2004.) Vtedy mi došlo, aké je v mnohom naše univerzitné prostredie choré a odvtedy ja osobne zdieľam všetko, čo si odo mňa niekto vypýta.

Nemám problém ani so zdieľaním dát, lebo ako spomenul Matúš, zber bol financovaný z verejných zdrojov a my nerobíme typ výskumu, ktorý je tajný, ani nezbierame citlivé údaje o participantoch, že by sa dali identifikovať. Vnímam to nielen ako signál, že sa nebojím toho, aby po