Anonim

John M. Mandrola, MD: Üdvözlet mindenkinek. Ez John Mandrola a theheart.org-ból, a Medscape Cardiology. Örülök annak, hogy Dr. John Carlisle-rel, az Egyesült Királyság aneszteziológusával vagyok, aki elvégezte a közelmúltbeli PREDIMED visszahúzódással kapcsolatos kutatásokat. Dr Carlisle, üdvözlöm.

John B. Carlisle, MBChB: Köszönöm, John. Nagyon örülök, hogy itt lehetek.

Mandrola: Örülök, hogy találkozhatom. Először csak mondja el nekünk, ki vagy.

Carlisle: Kórházi orvos vagyok az Egyesült Királyságban. Kisebb méretű [Nemzeti Egészségügyi Szolgálat] kórházban dolgozom. 17 éve szakember vagyok itt, az Egyesült Királyságban, Devonban. Nem vagyok tudományos; Nem dolgozom egyetemen. Napi munkám aneszteziológus. Emellett dolgozom egy preoperatív értékelő klinikát is, ahol a betegeket műtéten találkozom. Én is intenzivista vagyok.

Mandrola: Hogyan érdekelt ez a projekt?

Carlisle: Amikor gyakornok voltam, olyan dolgokat kerestem, amelyekkel el tudnám tölteni az önéletrajzomat, és a Cochrane Collaboration-nál álltak elő. Az 1990-es évek végén a Cochrane Anesthesia Review Group, amelynek székhelye Dániában, Koppenhágában volt, csak éppen felállt, és azt akarták, hogy valaki válaszoljon a megjegyzésekre. Pár évig ezt a munkát töltöttem. Aztán azt mondták: "Nos, itt az ideje, hogy saját szisztematikus áttekintést készítsen."

Szóval szisztematikusan felülvizsgáltam a gyógyszereket a posztoperatív émelygés és hányás megelőzésére. A szisztematikus áttekintéshez kapcsolódó dokumentumok vizsgálata során nagyon sokan találkoztam egy japán érzéstelenítő szakembertől. Körülbelül tíz évvel később kiderült, hogy adatainak nagy részét ő tette ki. Ebből indult ki valóban érdeklődésem ezen a területen.

Mandrola: A szisztematikus felülvizsgálat miatt észrevetted a folyamat szabálytalanságait, igaz?

Carlisle: Így van.

Mandrola: Van-e háttere a statisztikában vagy a számítógépes tudományban?

Carlisle: Nem, nem igazán, kivéve a vizsgák átadása iránti érdeklődését, amelyet sok orvostanhallgató megismer. Ez az egyik utolsó dolog, amelyet a vizsga előtt megnéz, majd elfelejti. A másik alkalommal, amikor kicsit megtanultam a statisztikákat, a szisztematikus áttekintések elvégzésére irányult, és megvizsgálta, hogyan lehet elemezni a randomizált kontrollált vizsgálatokat (RCT-k), amikor összevonom őket.

Mandrola: Elolvastam a papírt és a módszereinek számos leírását, de meg tudja-e egyszerűíteni? Hogy csináltad ezt?

Carlisle: Szerencsére a módszer lényege minden orvos számára ismert, így számoljuk ki annak a valószínűségét, hogy két csoport eltérő. Amikor egy RCT-re nézi, amely azt kérdezte: "Működött-e ez a gyógyszer?", Általában egy kis P-értéket keres. Ha az eredmény valami folyamatos volt, mint például a betegek súlya - lehet, hogy az egyik csoport diétát vett fel, a másik nem, és a súlycsökkenésre számolt be - akkor tesztel egy t-tesztet, amelyet a legtöbb orvos ismer. Kétnél több csoportnál használ egy [varianciaanalízist (ANOVA)]. E tesztek neve is ismert, még akkor is, ha nem ismeri annak anyáit és csavarjait.

Az én módszerem az volt, hogy az ilyen típusú teszteket alkalmazzuk azon jellemzőkre, amelyek jelen vannak a vizsgálat megkezdése előtt. Tehát a magasságok, a súlyok és azok a dolgok, amelyek jelen vannak a lakosságban, mielőtt a kísérleteket ténylegesen elvégezzük.

Mandrola: Az RCT kiindulási tulajdonságai, ha valóban véletlenszerűsítésűek, nem lehetnek különböznek egymástól.

Carlisle: Igaz, hogy ha elég nagy mintád van - százezrekre van szüksége -, akkor az eszközök nagyjából pontosan megegyeznek. A legtöbb tanulmány soha nem lesz ilyen nagy. Mennyi különbség függ a véletlentől - az egyik és a másik csoporthoz rendelt emberek esélybeli különbségeitől. Szinte mindig van némi különbség. Amikor egy tanulmány beszámol ezekről az eszközökről, pontatlanul beszámolhatnak azokról, így valószínűleg azonosak. Például mindkét csoport 74, 1 kg-os átlagos súlya meglehetősen eltérő lehet, ha ekkor megnöveli a tizedesjegyek számát. A csoportok között általában eltérések vannak. Mennyi különbségnek kell lennie a véletlen miatt.

Mandrola: Hogyan fedezi fel az Ön módszere a szabálytalanságokat ezekben az alapváltozókban?

Carlisle: A legegyszerűbbnél tesztet végez a magasságokon. Egy igazán kicsi P érték, amely egy igazán nagy különbséget jelez, azt sugallja, hogy talán van valami baj ebben a tanulmányban. A spektrum másik végén a csoportok szokatlanul hasonlóak lehetnek [és ehhez P értéket számíthat].

Módszerem csak annyiban különbözik a t-tesztek és az ANOVA szokásos módszereitől, hogy szimulációkkal próbáltam kidolgozni [annak esélyét, hogy két eszköz azonosak], mert ez ugyanolyan valószínűtlen, mint két nagyon eltérő eszköz.

Mandrola: A [közzétett RCT] első táblázatában a vizsgálók felsorolják a kiindulási tulajdonságokat. Az alapvető jellemzők P értékeit (pl. Magasság, súly, derék kerülete) általában bele kell foglalni. A módszerében megnézi ezen P értékek átlagának összegét?

Carlisle: Ez helyes. A vizsgálat egészére egyetlen P értéket generáltam, ami azt jelenti, hogy valahogy össze kell kapcsolnia ezeket a P értékeket a különféle jellemzőkkel kapcsolatban. Időnként a szerzők nem számítják ki a P értékeket, amint ez a PREDIMED tanulmányban történt. [1] Ha volt, talán észrevettek valamit, ami nem egészen helyes, de nem tették meg. Időnként az emberek helytelenül számolják a P-értékeket, tehát a jellemző mellett megjelenik a P-érték, de lehet, hogy rossz.

Egyes folyóiratok azt javasolják, hogy ne számítsák ki a P értékeket a kiindulási karakterisztikákra, mivel a különbségeknek inkább a kiosztás véletlenszerű folyamatának következményeinek kell lenniük, mint valami fontosnak.

Mandrola: Mit jellemezne a módszer gyengeségeivel?

Carlisle: A módszer feltételezései [a gyengeség]. Ha az emberek nem tudják ezeket a feltételezéseket, akkor félreértelmezik az elemzést. Az elemzés feltételezi, hogy a mintapopulációt nagyon egyszerű módon osztják el. Feltételezi, hogy nincs blokk randomizálás, rétegzés és minimalizálás. Van néhány új módszer a betegek véletlenszerű elosztására, amelyek hatékonyabbá teszik a vizsgálatot.

Például a minimalizálási folyamat valóban megváltoztatja annak valószínűségét, hogy az egyik csoporthoz vagy a másikhoz kiosztódnak, a vizsgálat előrehaladtával. Ez azt jelenti, hogy az én módszerem enyhén hibás P értéket eredményez. Ez a folyamat azt is feltételezi, hogy a kiszámított átlag általában eloszlik. Olyan dolgok, mint az életkor, a magasság és a súly, kissé nem normális módon oszlanak meg (pl. Log-normál). Az eszközök eloszlása ​​azonban általában normálisan eloszlik, tehát valószínűleg rendben van.

Mandrola: Mi a helyzet a változók korrelációjával? Például, a magas embereknek nehezebb lehet a súlya.

Carlisle: Így van. Tehát, még ha az egyes statisztikák P-értéke is helyes, akkor a kombináláskor a módszer feltételezi, hogy egymástól függetlenek. És amint mondtad, a magas emberek általában nehezebbek lesznek, tehát a kis magassági egyensúlyhiány tükröződik a súlyok egyensúlyhiányában is, mivel ez a két dolog összekapcsolódik. Ha valaki ilyen típusú módszert használ, és megkapja az eredményt, akkor szüneteltetnie kell és gondolkodnia kell: "Oké, várj, azok a feltételezések teljesültek, amelyeket tettünk?" És ha van ok arra gondolni, hogy nem, akkor elég óvatosnak kell lennie, amikor megközelíti a következő lépést.

Tanulmányok kiválasztása az elemzéshez

Mandrola: Hogyan döntött úgy, hogy mely tanulmányokat nézze meg?

Carlisle: Az eredeti szisztematikus áttekintések készítésekor, amelyeket a Cochrane-rel készítettem, már elemeztem az általam említett japán szerző tanulmányait. Ő a ranglistán a Retraction Watch ranglistáján - egy olyan webhelyen, amelyben a nézőid érdeklődhetnek. Ez a webhely felsorolja a 30 legjobban szerzőt, akiknek a legtöbb cikke visszahúzódott. A weboldal célja az orvosbiológiai irodalom visszahúzódásának nyomon követése. Négy érzéstelenítő van a top 20-ban, ami kissé aggódik az érzéstelenítők számára. Vagy többet hazudunk, mint más specialitások, vagy hazudunk ugyanolyan összeget, de nagyon rosszul gondolkodunk, és megtudjuk.

Elemeztem ennek a japán kutatónak a tanulmányait, majd azt akartam megnézni, hogy hány további ilyen típusú tanulmány lehet a folyóiratokban, amelyekben dolgozom, az Anesztézia és más érzéstelenítő folyóiratokban, amelyekben az ő publikálta. Megvizsgáltam hat érzéstelenítő naplót, és végül 15 éves értékű RCT-re néztem. Elemeztem mindenkit, akivel találkoztam; Nem érdekelte ezeknek az RCT-knek a konkrét témája.

Ez nem azt jelenti, hogy a normál P értékekkel végzett vizsgálatok jóak voltak, és nem jelenti azt, hogy a kis P értékekkel járó papírok is rosszak.

Miután ezt megtettem, néhányan, amellyel beszéltem a konferenciákon, kissé fel voltak rémülve, hogy az érzéstelenítők talán hazudnak. Azt javasolták, hogy nézzek meg más folyóiratokat. Két nagyszerű folyóiratot választottam: a New England Journal of Medicine és a [The American Medical Association Journal]. Egyszerűen csak egy 15 éves érdeklődésre számot tartó RCT-re néztem, azzal a figyelmeztetéssel, hogy nem mindig adtam hozzá mindenkit, akivel találkoztam. Néhány állatkísérlet volt, amelyet szándékosan úgy döntöttem, hogy nem veszek bele, de néhány állatkísérletet bevontam az elemzésembe.

Mandrola: 5000-ből csaknem 100 vizsgálatot talált, amelyek szabálytalanságokkal rendelkeznek?

Carlisle: Mindegyik tanulmányhoz kiszámítottuk a P-értéket, és most körülbelül 5000 P-értékkel rendelkezünk. A választott küszöb határozza meg, hogyan kategorizálja ezeket a vizsgálatokat fehér "jó" és fekete "kategóriákba", mi aggódunk ezek miatt a "tanulmányokért". Ami igaz, hogy a P-értékek eloszlása ​​nem követi a várakozást az 5000-nek 2% -ában, körülbelül 100-ban.

Azokban a 100 esetben különbség volt a P-értékek várható és megfigyelt eloszlása ​​között. Ez nem azt jelenti, hogy a normál P értékekkel végzett vizsgálatok jóak voltak, és nem jelenti azt, hogy a kis P értékekkel járó papírok is rosszak.

Mandrola: Amikor szabálytalanságokat talált a nagy nevekkel, mint például a PREDIMED, folyó perben, aggódott a nevek elnevezése miatt?

Carlisle: Igen. Nagyon hosszú megbeszélések folytak az Anesztézia szerkesztõ bizottságában. Amikor elvégeztem a szisztematikus felülvizsgálatot a Cochrane-nál, nagyon sok jogi csoport vett részt a munkánkban, és ezt a munkát is elvégeztük. Erõsen úgy éreztem, hogy fontos a módszer közzététele és az elemzett adatok közzététele, hogy az emberek annyi hibát észleljenek a dolgozatban, mint az általam vizsgált papírokban. Ezt nem teheti meg, hacsak nem tettem közzé, amit csináltam.

Nagyon nyitott akartam lenni róla, és amikor megírtam a munkát, fontos volt, hogy senkit sem vádolnék hazudással, kutatási kötelességszegéssel vagy csalással. [2] Néhányan feltételezték, hogy ezt megtettem volna a cikkemben, de ha elolvassa, látni fogja, hogy nagyon óvatos voltam a mondatban. Csak azt mondtam: "Azt hiszem, ez lehet az oka annak, hogy ez a cikk szokatlan P értéket kapott." Amikor a PRIMIMED tanulmányhoz jutottam, kijelentem, hogy nem tudom, miért kapott alacsony P értéket. Nem gondoltam, hogy a változók összefüggései befolyásolták-e azt, és nem gondolom, hogy a megállapított randomizációs folyamat magyarázhatja az adott vizsgálat valószínűtlenségét.

Elsősorban idegesnek érzem az embereket, akik úgy érzik, hogy csalással vádolom őket. Attól tartok, hogy az emberek elveszíthetik munkahelyüket vagy hamisan vádolhatók. Nagyon érzékeny téma, és tisztában vagyok ezzel. Nem akarom pusztítani az emberek életét, csak azért, hogy ezt csináljam. Úgy gondolom, hogy a papírok írása és áttekintése során egyaránt nagyon fontos, hogy óvatosak legyenek a tett feltételezésekkel szemben.

A módszer megismétlése

Mandrola: A módszert könnyen megismételhetik-e a folyóirat-szerkesztők vagy a szakértők?

Carlisle: Igen. Az esetek nagy részében egyszerű t-tesztek és ANOVA-k alkalmazhatók, és kiszámíthatók egy ésszerű P-érték. Az egyetlen kivétel, amikor szükség lehet egy szimuláció futtatására, amikor az eszközök jelentése azonos. Megjelentem azokat a kódokat, amelyeket az elemzésemhez használtam, amelyek szabadon elérhetőek és az R-ben futtatni tervezték, amely egy szabad szoftver program.

Miután a folyóiratok szerkesztői és szerzői nyitottabb annak a lehetőségnek, hogy hibát követtek el, és készen állnak arra, hogy az emberek megnézhessék adataikat és segítségüket, mivel ezt valóban megpróbáljuk tenni, úgy gondolom, hogy a bizonyítékokon alapuló orvoslás tovább lehetne javítani.

Néhány folyóirat már használja. Megvizsgálom az összes RCT-t, amelyek a naplómban jelennek meg. Nem vagyok biztos abban, hogy pontosan mit csinál a New England Journal of Medicine, de megértem, hogy most elemezik azokat az alapvető jellemzőket, amelyeket eddig még nem tettek. Nem vagyok teljesen biztos abban, hogy a kódomat használják-e, vagy a sajátomat.

Mandrola: Ez a munka benyomást kelt önnek a bizonyítékok állapotáról, ahogy van?

Carlisle: Bizonyos értelemben magabiztosnak és optimistanak érzem magam a jövőre nézve, mert úgy gondolom, hogy sokkal nagyobb lépés van az emberek elfogadására, hogy mindannyian emberek vagyunk, hibákat hajtsunk végre, és megvannak a gyengeségeink. Miután a folyóiratok szerkesztői és szerzői nyitottabb annak a lehetőségnek, hogy hibát követtek el, és készen állnak arra, hogy az emberek megnézhessék adataikat és segítségüket, mivel ezt valóban megpróbáljuk tenni, úgy gondolom, hogy a bizonyítékokon alapuló orvoslás tovább lehetne javítani. A múltban a saját ajtóink mögött rejtve maradtunk. Az adatok és a kérdések előállítása egészséges dolog. Tehát meglehetősen optimista vagyok ebben.

Mandrola: Megváltoztatta-e az ön megközelítését, hogy vagy korai bevezető, vagy lassú bevezető? Valahogy lassan alkalmazok. Kapok némi kritikát ezért. Kíváncsi vagyok, hogy érzi magát, és hogy ez megváltozott?

Carlisle: Nem tudom, hogy a fiatalság repült-e, vagy valamilyen más ok miatt, de az idősödéskor látta, hogy a fadok jönnek és mennek. Gyakran az a gyakorlat, amelyet eredetileg nagyon erős bizonyítékok támasztottak alá, kiderülhet, hogy nem a legjobb dolog. John Ioannidis írt erről az ingafolyamatról, ahol valami kezdetben népszerű, majd az emberek ellene vannak, végül egyensúlyt találnak, amelyet a bizonyítékok támasztanak alá. Határozottan mozogtam annak felé, hogy lassan alkalmazkodjak.

Úgy gondolom, hogy a PREDIMED elemzése és más tanulmányok arra ösztönözhetik a mai nézőket, hogy gondolkozzanak arra, hogy ne ugrálnak a szalagkocsira, hanem lépést tegyenek vissza. Nem hiszem, hogy betegei szenvedni fognak, ha nem elsőként kapnak új gyógyszert, de szenvedhetnek, ha korai bevezető vagy. Amíg nem állnak bizonyítékok különböző irányokból, mindegyik egyetértésben, úgy gondolom, hogy óvatosnak kell lennünk.

Jobb a szisztematikus áttekintés?

Mandrola: Ez felveti a szisztematikus áttekintések és a szisztematikus áttekintések minõségének kérdését, szemben egy vagy kettõvel . Azt tanítják nekünk, hogy a szisztematikus felülvizsgálat magas szintű bizonyíték, de úgy tűnik, hogy ezek egyre több. Van véleménye a papírok minőségéről?

Carlisle: Úgy gondolom, hogy a szisztematikus felülvizsgálatok minősége hasonlóan változik, mint az RCT-k minősége. Csakúgy, mint láthat néhány megsemmisítő RCT-t, és felismerheti őket, az emberek, akik ismerik a szisztematikus áttekintéseket, rossz szisztematikus áttekintést fognak látni, és rossznak ismerik fel. Csak azért, mert egy dokumentumot szisztematikus áttekintéssel látnak el, nem azt jelenti, hogy az állítása helyes, vagy akár a bizonyítékok egészének jó tükröződése. Vannak esetek, amikor lehet, hogy két szerzői csoport közzéteszi ugyanazon dokumentumok szisztematikus áttekintését, és eltérő következtetésekre jut, és kiderül, hogy a szisztematikus áttekintés önmagában megfigyelő tanulmány.

A szisztematikus áttekintés a randomizált kontrollkísérleteket és azok eredményeit figyeli, de önmagában nem véletlenszerűen ellenőrzött vizsgálat, és valószínűleg több torzításra nyitott, mint egy randomizált kontrollált vizsgálat, amely valószínűleg nagyon jól lezajlott. Vitattak olyan érvek, amelyek szerint a különféle tanulmányok együttes összekapcsolása eredményeként egyetlen, nagyméretű, többcentrikus tanulmány jobb lehet, mint csak annyi vagy talán több résztvevővel végzett szisztematikus felülvizsgálat. Az egyik érv az, hogy a szisztematikus felülvizsgálat potenciálisan rossz és jó randomizált kontrollos vizsgálatokat is magában foglal.

De amint azt a PRIMIMED tanulmány szemlélteti, ha az összes tojását egyetlen, nagy, randomizált, ellenőrzött vizsgálat kosárába helyezi, akkor sebezhetők lesznek a vizsgálatban felmerülő nyilvánvaló vagy rejtett problémákkal szemben. Általában, ha ez nyilvánvaló, akkor nem fogja elhinni az eredményeket. De amint azt a PREDIMED tanulmány kimutatta, voltak olyan problémák, amelyekre nem voltak tudatában, és úgy gondolom, hogy néhány ember, aki kommentálta az újraindított PREDIMED tanulmányt [3], amelyet a visszahúzást követően tettek közzé, azzal érvelték, hogy lehetnek olyan problémái, amelyek csak menedéket jelentenek”. t nem fedezték fel.

Csak azért, mert egy dokumentumot szisztematikus áttekintéssel látnak el, nem azt jelenti, hogy az állítása helyes, vagy akár a bizonyítékok egészének jó tükröződése.

Mandrola: Van-e további terve, hogy ezt a technikát a jövőben más tanulmányokban is használja?

Carlisle: Nagyon sok papírom van az Anesztézia folyóiratom elkészítéséhez. Számos olyan dokumentummal azonosítottuk a problémákat, amelyeket még nem tettek közzé, ideértve a csalások egyértelmű eseteit is. Az egyik feladatom az lesz, hogy elkészítsem [az elemzést] az áthaladó papírok számáról. Még nem határozták meg, hogy nevezünk-e szerzőket. Mint már említettem, van néhány probléma ezzel. De azt hiszem, érdekes lenne, hogy az olvasók és más folyóirat-szerkesztők tisztában legyenek a nem publikált tanulmányok problémáival.

Számos olyan cikk kerül beküldésre a különféle folyóiratokban, amelyek csak az általuk látott papírok 10–15% -át teszik közzé. Ha valamelyik kiindulási adatokat elemez, elkezdi felvetni a problémákat. Számos szerzőt megkérdeztünk nyers, egyedi beteg adataikról, és így azonosítjuk a problémákat. Úgy gondolom, hogy ennek számos érdekes aspektusa van, és a jövőben mindenképpen megvizsgálom ezeket.