Kto Vám napadne keď povieme dobrodružstvo, neznámo a nástrahy neľútostného mora? Možno Aquaman alebo Jack Sparrow. Jedným z tých klasickejších príbehov je epos o Odyseovi.
Jeho vznik sa datuje do čias hlboko pred naším letopočtom. Napriek tomu s nami rezonuje dodnes. Dovoľte mi preto mu venovať trochu priestoru.
Nemusíte sa obávať, nebudeme sa snažiť prerozprávavať celý Odyseov príbeh. Pozrieme sa iba na jednu scénu, ktorá je často uchopovaná v literatúre, umení a filme. Scénu, kde musel Odyseus zdolať Sirény.
Sú nádherné. Ich spevu je takmer nemožné odolať. Neveríte? Spýtajte sa námorníkov, ktorých trosky lodí obklopujú miesto kde Sirény žijú – teda aspoň podľa starých legiend. Ísť za spevom Sirén... Len raz...
Trosky Odyseovej lode by sme ale pri Sirénach nenašli. Odyseus ich prekonal. Ako? Snažil sa s nimi koketovať? Poprel, že môžu byť problémom a ignoroval ich? Nie. Priviazal sa ku stožiaru.
(Obrázok: Odysseus a Sirény; Autor: Ludmila Pokorná; Zdroj Jakub Adámek's archive (Pokorná's grandson); adresa: https://cs.wikipedia.org/wiki/Soubor:Odysseus_a_Sireny_Ludi.jpg)
Priviazal sa! Napriek tomu, že bol kráľom, bojovníkom a hrdinom, ktorý sa v minulosti vysporiadal s mnohými, na prvý pohľad nebezpečnejšími prekážkami. Vlastne, keď nad tým tak rozmýšľam, možno si s nimi vedel poradiť práve kvôli tomu. A taktiež kvôli rade, ktorú mu dala Kirké.
Na samotnú stratégiu priviazania sa pozrieme v druhej časti tohto blogu. Predtým sa ale pozrime na to, čoho sa tak veľmi obával. To, pred čím ho Kirké varovala - Sirény.
Sirény sa uvádzajú v rôznych počtoch a menách. Niektoré zdroje (SIRENS (Seirenes), n.d.) uvádzajú mená ako Θελξιοπη; Θελξινοη; Θελξιεπεια (Charming Voice; Charming-the-Mind...), iné Πεισινοη; Αγλαοφωνος, Μολπη (Affecting-the-Mind; Splendid Sounding...). Všimli ste si tie preklady z Gréčtiny? Nepripomína Vám to niečo?
Každý z nás má svoje Sirény. Jednou z tých mojich je p < 0,05. p < 0,05 - neznie to krásne? Môžem zamietnuť moju nulovú hypotézu. Hurá… Dobre, možno máte lepšie Sirény. Ale ja si za tou mojou stojím. A nie som sám! A práve to môže byť problém. Prečo?
Dnes už klasická štúdia Simmonsa et al. (2011) poukázala na to, že umelo podliezť stanovené hranice nie nemožné. Vlastne ani zložité. Stačí uplatniť pár postupov - pridať pár ďalších premenných pri analýzach (tzv. kovariátov), selektívne reportovať iba niektoré z výsledkov, skúsiť viacero postupov analýzy dát... p < 0,05.
Chcete si to vyskúšať? Na TOMTO ODKAZE nájdete simuláciu, ktorú vytvoril Felix Schönbrodt. Skúste si ju viackrát. Prv nastavte skutočný efekt v populácii na relatívne veľký (podľa Cohenových kritérií môžete napr. uviesť d=0.8 a viac). Sledujte ako ľahko sa ukáže štatisticky významný výsledok, keď máte dostatok ľudí – napr. 80 alebo 50 ľudí v jednej experimentálnej podmienke. Zatiaľ je všetko v poriadku.
Vráťte ukazovatele do pôvodného stavu. Následne skúsme zmeniť simulovaný reálny efekt v populácii na d = 0. Niekoľkokrát stlačte „run new experiment“. Ukázalo sa niečo štatisticky významné? Nie? Skúste to ešte niekoľkokrát...
Pripomeňme si, že je reálny efekt v populácii nastavený na 0. To znamená že nejestvuje. Teraz skúste niekoľkokrát stlačiť „run new experiment“, kým sa nezobrazí menej jasný zelený riadok – napr. p = 0,06. Čo teraz? Teraz si môžeme skúsiť napr. pridať pár ďalších účastníkov. Alebo kontrolovať rôzne premenné, vynechať niekoľkých outlierov a podobne. Alebo všetko naraz.
Možno sa Vám skôr či neskôr podarilo podliezť p 0,05. Bolo to náročné? Táto problematická praktika sa nazýva p-hackovanie (p-hacking). S nadľahčením by sa dalo povedať, že mučíme dáta, kým sa nepriznajú k niečomu, o čom vlastne ani nevedeli. Ak ste videli dobrý film o tajných agentoch, viete, o čom je reč.
Ďalším úzko spätým problémom je tvorba hypotéz potom, ako sa na naše dáta pozrieme. Ide o tzv. HARKing (Kerr, 1998). Nevieme, čo predpokladáme. Pozrieme sa na dáta. Jasné! Takto som to vlastne čakal/a celý čas. Presvedčiť seba je zvyčajne ľahšie než iných.
Tretím možným problémom je nízka štatistická sila spôsobená tým, že sa nášho výskumu zúčastní menej ľudí (alebo realizujeme menej meraní) než potrebujeme na to, aby sme našli to, čo hľadáme. Máme malú lupu na to, aby sme v kope sena našli našu ihlu.
Štvrtým problémom je publikačné skreslenie, tiež známe ako šuflíkový efekt. Keď niečo cenné nájdeme, máme tendenciu to ukázať svetu. Pochváliť sa. Ak nie, tak sa tvárime, že sme ani nehľadali. Hodíme to do šuflíka. Možno by sme aj chceli publikovať, ale recenzent nám povie, že by sme mali hľadať ďalej, keďže sme „nič nenašli“. Predstavme si ale šuflíky vedcov po celom svete. Sú prázdne? Plné? Ak plné, čo je v nich? Nevieme. A to je problém. Z toho mála, čo vidíme, si totiž môžeme vytvoriť mylnú predstavu, pokiaľ tam nezaradíme aj to, čo nevidíme.
Ako to teda všetko môže vyzerať? Pozrime sa na ďalšiu šikovnú simuláciu od Felixa Schönbrodta na TOMTO ODKAZE. Najprv si skúsme nasimulovať situáciu, kde sme si istí, že naša hypotéza funguje (% of a priori true hypotheses = 100), chyba prvého rádu, ktorú sme si zvolili, je 0,001 (α level = 0,001), štatistická sila je 99% (Power (1-β) = 0,99) a nikto v našej výskumnej oblasti nevyužil p-hackovanie (0 % of p-hacked studies). Pekné však?
Teraz skúsme presúvať jednotlivé bežce a sledovať, čo to robí s výsledkami. Vyskúšajte si rôzne scenáre. Aj ten pesimistický, kde je veľmi nízka nepravdepodobné hypotézy (% of a priori true hypotheses = 0), nízka štatistická sila (dajme tomu 20-30%) a 50% štúdii je p-hacknutých. Desivé?
Ktorý z týchto dvoch scenárov je pravdivý alebo ku ktorému sa realita približuje? Nevieme. Je ale pravdepodobné, že aspoň niektoré problematické výskumné praktiky využili aspoň niektorí výskumníci aspoň raz (John et al., 2012).
Môžeme dúfať. Alebo sa obávať.
Je to všetko čo môžeme spraviť? Nie! Môžeme pridať ruku k dielu tak, že keď sa na výskumnú literatúru pozrie generácia po nás alebo my sami o niekoľko rokov, s úľavou povieme, že to je dobré a vieme sa o to oprieť.
Ako? Môžeme skúsiť spraviť to, čo Odyseus... V tejto prvej časti tohto blogu sme si priblížili, že rovnako ako námorníci, aj my - výskumníci - môžeme naraziť na Sirény. Tak ako Kirké varovala Odysea, aj nás varujú iní. Nielen to. Idú nám príkladom. Tým že sa pripútajú... Chcete si prečítať viac? pokračujte na Odysea, pred-registrácia a nástrahy sedmora morí - Časť II.
(Referencie možno nájsť na konci druhej časti blogu)