O tom, ako metodologické chyby ovplyvňujú životy

„Vedci zistili“, „najnovšie výskumy ukazujú“ či „profesori z univerzity XY tvrdia..“ – to všetko vidíme dennodenne v tlači či na internetových stránkach prinášajúcich zaujímavé informácie zo sveta vedy. Môžeme im však bezvýhradne veriť? Nasledujúce riadky okrem iného vysvetľujú, prečo majú nepresnosti vo vede cenu ľudských životov a prečo je namieste tvrdiť, že sa z oxymoronu „netransparentná veda“ stala, žiaľ, často videná realita.

Detoxikuj svoju Barbie!

Ak sa rozhodnete študovať psychológiu, históriu, sociológiu, biológiu, medicínu či iný odbor, v ktorom sa predpokladá, že sa môžete zaujímať o výskum, môžete si byť takmer istí, že v jednom z prvých ročníkov budete musieť absolvovať predmet o metodológii výskumu. Pre niektorých študentov otrava, pre všetkých však potrebný ako soľ. Nech máte akokoľvek zaujímavý a prínosný výskum, stačí jedna chyba v metodológii a vaša povesť môže byť stratená. Ben Goldacre, priekopník tzv. na dôkazoch založenej medicíny, sa podrobne venuje chybám tohto typu a snaží sa na svojom blogu odhaľovať a upozorňovať na skreslenia v kvázi vedeckých experimentoch, ktoré sa za vedecké iba prezentujú.

Počuli ste už o metóde AquaDetox? Je to spôsob detoxikácie organizmu, ktorý spočíva v kúpeli nôh. Hneď ako si nohy ponoríte do špeciálnej vaničky naplnenej vodou, po nejakom čase voda zhnedne, pretože vysala z vášho tela cez póry na chodidlách toxíny, ktorých máte vo svojom tele nesmierne veľa. Zdá sa vám to pochybné? Nebláznite, metóda bola svojho času propagovaná známymi britskými médiami (Goldacre, 2013).

V našom prípade voda zhnedla, keď sme do nej ponorili nohy (to si experimentálne overili stovky užívateľov, ktorí si za tento „pokus“ mastne zaplatili). Chýba nám teda ešte kontrolná skupina a tú dosiahneme ľahko – pri kúpeli neponoríme do vody nohy. Pravda, nemáme špeciálny kúpeľ k dispozícii a peniaze sa nám vyhadzovať nechce. Ben Goldacre bol našťastie dosť zvedavý na to, aby si vyhotovil doma vlastný detoxikačný kúpeľ takmer presne podľa modelu AquaDetox. Podrobnosti vidíte na obrázku (Goldacre, 2013). Ponoril do kúpeľa bábiku Barbie a voda zhnedla. Znamená to, že má Barbie v tele toxíny alebo to, že hnedú farbu vody v skutočnosti spôsobuje niečo iné?

Osud či náhoda? Rozhodnú dáta!

Predošlý príklad „experimentu“ s Barbie nemôžeme pokladať za vzorový príklad vedy, už len kvôli tomu, že doma vyrobený vaničkový systém nie je totožný so systémom AquaDetox. Poslúžil však k vytvoreniu alternatívnych hypotéz o zhnednutí vody, z ktorých niektoré sa aj potvrdili (neskôr vedci zistili, že voda hnedne kvôli zvýšenému obsahu železu – to sa do nej dostáva z elektród; podrobné informácie nájdete tu).

Zámerná manipulácia či nezámerné chyby v metodológii či v prevedení experimentov však nie sú jedinými zábranami, ktoré stoja v ceste k pravdivému poznaniu. Môže sa jednať aj o nedostupnosť výsledkov štúdií.

Predstavte si, že sa s kamarátmi na pive bavíte o svojom vyučujúcom, keď sa zrazu objaví vo dverách podniku! To nemôže byť náhoda! Najmä v prípade, že ste sa o ňom vyjadrovali nelichotivo, vás prepadnú výčitky a máte pocit, že sa vesmír rozhodol vás jeho príchodom upozorniť na nevhodnosť vášho chovania. Je to však naozaj tak? Teraz si skúste spomenúť, koľkokrát ste už o ňom za jeho chrbtom hovorili a on sa neobjavil (povedzme 9 krát). A teraz k tomu pripočítajte prípady, keď ste ho náhodou stretli bez toho, že by ste ho predtým ohovárali (povedzme 12 krát) . Keď sa teraz pozriete na dáta, musí vám byť jasné, že jeden prípad z 22 môže byť obyčajnou náhodou a nie osudom, ktorý vás chce trestať.

Na podobnom princípe funguje aj mnoho veštieb, ktoré sa vyplnili. Sú jednými z mnohých predpovedí, pričom v ostatných sa veštba nevyplnila, ale o tých nikto z nás nevie. To je princíp skreslenia, ktoré sa vo vede nazýva publication bias. Ide o tendenciu publikovať pozitívne výsledky (tie, ktoré potvrdzujú hypotézu) na rozdiel od tých negatívnych, ktoré často ostávajú nepublikované. Niekedy sa táto tendencia nazýva aj pojmom šuplíkový efekt. Podstatou tohto efektu je, tak ako v predošlom príklade s ohováraním učiteľa, že prípady, ktoré nepotvrdzujú našu hypotézu skrátka neberieme v úvahu, zabúdame na ne alebo ich ignorujeme. Tento problém je vážnym preto, lebo ovplyvňuje informovanosť vedcov o danom predmete výskumu a zamlčiava podstatné údaje; taktiež v nadväznosti zamedzenia úplnej informovanosti silno ovplyvňuje budúci výskum (Schot & Phillips, 2013). Možno by ste neverili, že môže viesť až k stratám na životoch.

Nehádžte výsledky do šuplíka a možno zachránite život

Predstavte si, že máte silný kašeľ a chcete ho obmedziť použitím istého lieku. Odporučil vám ho váš lekár, ale aj tak si chcete overiť (ako zodpovedný pacient, ktorý sa vyzná vo vedeckých metódach), či má overené účinky. V databáze výskumov nájdete 2, ktoré neobsahujú žiadne výrazné chyby v metodológii a ktoré jednoznačne potvrdzujú, že je liek účinnejší než placebo. Spokojne liek užijete. A to ani netušíte, že ďalších 9 výskumov účinnosť lieku nepotvrdilo. Nedostali ste sa k nim, lebo neboli publikované.

V tomto videu hovorí Ben Goldacre práve o publication bias a okrem iných zaujímavostí zmieňuje jeden obzvlášť vážny prípad. V minulosti sa vedci rozhodli testovať určitý liek proti arytmii srdca a to konkrétne pre ľudí po infarkte. Ich experiment spočíval tradične v porovnaní experimentálnej (tí, čo dostali liek) a kontrolnej skupiny. Z 50 ľudí v prvej skupine 10 umrelo; v kontrolnej skupine (bez lieku) z 50 ľudí umrel 1 človek – účinnosť lieku sa teda jasne nepotvrdila. Vedecký časopis však odmietol dané výsledky publikovať: nikoho nezaujímali, pretože nepotvrdili účinok lieku, nepriniesli novú účinnú látku do farmaceutického priemyslu. O pár rokov neskôr napadlo iným vedcom a doktorom predpisovať lieky proti arytmii pacientom po infarkte (mali totiž často nepravidelnosti v srdečnom rytme). Až po nejakom čase sa prišlo na to, že zvyšujú pravdepodobnosť úmrtia. Medzitým prišlo o život niekoľko desiatok tisíc ľudí. Stalo by sa to, aj keby bol prvý výskum publikovaný?

A zatiaľ čo študujeme metodológiu, všade okolo nás...

..je mnoho nepublikovaných výskumov a zavádzajúcich tvrdení. Aj keď sa to v akademickom prostredí niekedy nezdá, je to tak. Viac si o tom môžete vypočuť v tomto videu. Je jasné, že nie všetky chyby majú tak ohromný dopad ako v príklade vyššie. Každá z nich však nejaký negatívny dôsledok má; či už zamedzuje prístup k informáciám, zavádza verejnosť alebo „len“ autora štúdie pripraví o dobrú povesť. Našou úlohou je teda kvalitne sa vzdelávať v tejto oblasti, aby sme sa nakoniec my nestali tými, ktorí ostanú neinformovaní či tými, ktorých nakoniec vedecká komunita na základe metodologických chýb odmietne.

Zdroje

1. Goldacre, B. (2013). Zvrátená veda. Brno: CPress.
2. Martin, P. & Bateson, P. (2009). Úvod do teorie a metodologie měření chování. Praha: Portál.
3. Schot, A. A. & Phillips, C. (2012). Publication Bias in Animal Welfare Scientific Literature. Journal of Agricultural and Environmental Ethics, 26. s. 945–958. doi: 10.1007/s10806-012-9433-8

Zdroje TED videí

1. http://www.ted.com/talks/ben_goldacre_battling_bad_science
2. http://www.ted.com/talks/ben_goldacre_what_doctors_don_t_know_about_the_drugs_they_prescribe

Zdroje obrázkov

1. https://harmoniaphilosophica.wordpress.com/2014/05/01/bad-science-humility-virtues/ (úvodný obrázok)
2. Goldacre, B. (2013). Zvrátená veda. Brno: CPress. s. 17. (Barbie obrázok)