Jak nedělat studie
Tiskem nedávno proběhly zprávy o preprintu z dílny českých autorů, kteří na rozsáhlých datech zkoumají účinnost koronavirových vakcín. Od začátku epidemie se už stalo smutnou tradicí, že široce medializované výsledky významných českých týmů jsou podivuhodně nekvalitní. Začalo to studií PREVAL, pod kterou bylo podepsáno množství českých koronavirových celebrit (viz zde dole na stránce). Tato studie byla přehlídkou hrubých chyb v designu, provedení i vyhodnocení, které jsou podrobně popsány zde, a o skutečné prevalenci protilátek nám v kritickou chvíli neřekla vůbec nic. Následovala hojně medializovaná studie z dílny Jana Kulveita, na jejíž zjevnou absurditu jsme poukazovali zde. A do třetice nám nezbývá než s politováním oznámit, že ani nejnovější pokus o hodnocení účinnosti vakcín se našim kolegům nepovedl.
V předloženém preprintu chtějí autoři zkoumat, jak se vyvíjí míra ochrany, kterou poskytují různé vakcíny proti nákaze, hospitalizaci z důvodu covidu a úmrtí s covidem. Autoři dostali k dispozici od ÚZISu řádková data, tedy data po jednotlivých osobách. Ke každé osobě, která se v databázi ÚZIS vyskytuje (asi 7,5 milionu lidí), měli autoři informaci o věku, pohlaví, datu vakcinace, typu očkovací látky, data a výsledky PCR testů, údaje o hospitalizaci z důvodu covidu a data případného úmrtí s covidem. Bohužel nebyly k dispozici informace o zbytku populace, a především nebyly k dispozici informace o úmrtí z jiných příčin, než byl covid. Tento nedostatek autoři řešili tím, že data nějak doplnili informacemi z registru Listů o prohlídce zemřelého (patrně odsud). Pomocí Coxovy regresní analýzy s časově proměnnými prediktory odhadovali autoři poměr rizik jednotlivých sledovaných událostí – zachycená nákaza koronavirem, covidová hospitalizace a covidové úmrtí – mezi očkovanými a neočkovanými v závislosti na době, která uplynula od vakcinace, a typu vakcíny. Hlavním výsledkem je série odhadů a grafů na straně 9, která ukazuje postupný pokles ochrany proti sledovaným událostem v závislosti na čase a typu vakcíny.
Výsledky by byly dosti zajímavé, kdyby ovšem práce netrpěla dvěma zásadními problémy.
1. Autoři si zřejmě neuvědomili, že strategie testování je u nás už dlouho a záměrně vychýlena „ve prospěch“ očkovaných. Porovnáme-li počty provedených testů u očkovaných a neočkovaných například v říjnu 2021 (viz zde, příloha 04), zjistíme, že u neočkovaných bylo provedeno asi 700 tisíc testů, zatímco u očkovaných asi 200 tisíc. Vzhledem k tomu, že očkovaných bylo v říjnu v populaci asi 55 %, znamená to, že neočkovaný měl asi čtyřikrát větší šanci být testován (a tedy zachycen jako pozitivní) než očkovaný. Jedna ze sledovaných událostí – nákaza koronavirem – je tedy detekována metodou, která dramaticky závisí na očkovacím statutu osoby. A takto zkreslená vstupní informace je potom použita k odhadu účinnosti samotného očkování. To je samozřejmě absurdní – kdybychom si představili, že očkované nebudeme testovat vůbec, vyšla by nám tímto postupem účinnost vakcíny rovných 100 %, protože bychom u očkovaných nikdy žádnou infekci nezachytili.
Účinnost vakcíny proti nákaze je tedy odhadována nevalidním způsobem. U účinnosti vakcíny proti hospitalizaci je problém podobný. Při příjmu se mnoho nemocnic ptá, je-li dotyčný očkován. Neočkovaným je automaticky proveden PCR test, a pokud je výsledek pozitivní, pacient je vykázán jako covidový. U očkovaných se testování neprovádí, pokud není potřeba. Ve výsledku je opět vykázaný počet covidových hospitalizací zkreslený očkovacím statutem a nemůže být použit k odhadu účinnosti vakcín proti hospitalizaci.
2. Při sledování covidových úmrtí je problém jiný, ale patrně taky zásadní. Z tabulky na straně 20 plyne, že se autoři pokusili k datům z ÚZISu nějak doplnit necovidová úmrtí. Ve výsledku tedy za (ne úplně celý) rok 2021 pro celou českou populaci (10,7 milionů lidí) vykazují asi 21 tisíc covidových úmrtí (předposlední sloupeček v tabulce) a asi 20 tisíc úmrtí necovidových (poslední sloupeček). Ovšem v běžném roce u nás zemře přes 100 tisíc lidí. Autorům tedy někde chybí asi 60 % úmrtí, ke kterým u nás v roce 2021 došlo. Tato úmrtí autoři zanedbávají, neboť to zřejmě dle jejich názoru výsledky analýz nijak neovlivní. Nad tím, že k cca 60 % úmrtí (což jsou ta, která chybí) dojde v nezahrnuté populaci, která představuje cca 30 % celkové populace, se autoři nepozastavují.
Výsledná čísla účinnosti vakcín proti infekci a hospitalizaci jsou tedy velmi pravděpodobně dramaticky nadhodnocená. Účinnost proti úmrtí je neznámým způsobem vychýlená. Bohužel ani v jednom případě není jednoduché odhadnout o kolik.
Laskavým čtenářům tedy s politováním oznamujeme, že ani třetí pokus domácího týmu probojovat se do soutěže „udělej validní studii“ nevyšel. Autor toho textu se však domnívá, že zpackané studie jsou rovněž důležité. Z české koronavirové response nakonec vznikne mimořádně cenná sbírka protipříkladů z epidemiologie, designu studií, imunologie, statistiky, optimalizace a krizového řízení. Aspoň v něčem budeme „best in covid“.