Er det god forskningspraksis å trekke tilbake en artikkel, endre tittel, resultater og konklusjon, og så re-publisere den med et helt nytt ID-nummer? Kritikken mot studien består – artikkelen bør trekkes tilbake.

I april 2020 publiserte BMJ Peadiatrics en artikkel om en norsk studie der ungdom med kronisk utmattelse etter EBV-infeksjon ble behandlet med kognitiv terapi kombinert med musikkterapi (1).  I mai i år gjorde jeg en analyse av artikkelen, og avdekket at artikkelen er full av selvmotsigelser og ulogiske slutninger, og i all hovedsak motbeviser forskernes egne hypoteser og egen konklusjon.  

Les analysen her: Kurere ME med musikk?

Studien har høstet kritikk både i inn- og utland, og 14. juli 2020 ble det kjent at tidsskriftet skulle gjøre en full gjennomgang av artikkelen. Den 21. oktober 2020 ble studien trukket tilbake.  

Tidsskriftet begrunner tilbaketrekkingen med at en leser gjorde oppmerksom på at studien ble presentert som en pilotstudie (feasibility study), mens det originale studiedesignet var for en fullskala studie. Dette blir omtalt som en redaksjonell feil, og det blir understreket at det ikke er forfatterne som har gjort feil. Nå er artikkelen re-publisert med et nytt ID-nummer: DOI: http://dx.doi.org/10.1136/bmjpo-2020-000797. (2)

Jeg har sett litt nærmere på den nye versjonen, og funnet at det er gjort en rekke signifikante endringer som ikke er nevnt av tidsskriftet eller markert av forfatterne.

Endringer

Tittelen er endret fra “feasibility study” til “randomized controlled trial”. Man kan spørre seg om det virkelig er en studie med full styrke når antallet deltakere er 43. Forfatterne skriver selv i abstraktet at «Studien var understyrket angående effekt» og videre på «Styrkeanalyser antydet at 120 deltakere ville være nødvendige for å oppdage en moderat effektstørrelse.»

I publikasjonshistorikken står det at artikkelen først ble mottatt 14. juli 2020. Den opprinnelige artikkelen, som først ble mottatt 3. desember 2019, er ikke nevnt her.  Revisjonshistorikk og endringer går dermed tapt. Først helt nederst, i en fotnote under «Provenance and peer review», blir det opplyst at dette er en endret, re-publisert versjon av en tilbaketrukket artikkel.

Under What this study adds, er en setning fjernet:

«Kombinert CBT og musikkterapi kan bedre tilfriskning og symptomene ved anstrengelsesutløst sykdomsforverring, som rettferdiggjør en studie i full skala.»

og erstattet med:

“Denne studien gir viktige grunnlagsdata for en større studie” og “Ungdommens bekymringer angående skolefravær kan i alvorlig grad påvirke rekruttering”. (min oversettelse)

I originalartikkelen står det at antall steg ble redusert, men at det var en forbedring av anstrengelsesutløst sykdomsforverring etter 3 måneder, og at det var en trend mot en høyere tilfriskningsrate i intervensjonsgruppen.

I den nye versjonen er dette erstattet med at antall steg per dag ikke var signifikant forskjellig mellom intervensjonsgruppen og kontrollgruppen, og at sekundære utfallsmål ikke var signifikant forskjellig mellom de to gruppene.

Antall steg per dag er studiens primære endepunkt. Hovedhypotesen var at musikkterapi skal øke funksjonsnivået, målt i antall steg per dag. Tallene og illustrasjonen er endret:

Opprinnelig ble det rapportert at intervensjonsgruppen gikk fra 7 998 steg per dag ved baseline til 7165 ved 15 måneders oppfølging. Endringen viser at antallet steg per dag ble redusert til 5 680. Dette viser at objektivt målt aktivitetsnivå ble redusert med 29 %.

Endringene viser også at differansen mellom gruppene ved 15 måneder er 1 908 steg, og ikke 874 som opprinnelig rapportert. Likevel skriver forfatterne at det primære endepunktet ikke skilte seg signifikant mellom intervensjonsgruppen og kontrollgruppen.

Tallene for utmattelse: Fatigue, er endret.  Illustrasjonen for anstrengelsesutløst sykdomsforverring: PEM er fjernet og resultatene er endret. Faktisk er alle tallene i tabellen med resultatene av målepunktene endret.

I tabell 3, Resultater: “Outcome of the mental training programme intervention», er alle tallene (unntatt ett) i kolonnene «Intention to Treat» ved 3 måneder og 15 måneder endret; noen resultater er nedjustert, andre er oppjustert.

Konklusjonen er endret

Den originale konklusjonen: «En intervensjonsstudie av kombinert CBT og musikkterapi ved postinfeksiøs CF er gjennomførbar, og virker akseptabel for deltakerne. Tendensene til positiv effekt på pasientens symptomer og tilfriskning kan rettferdiggjøre en klinisk studie i full skala.» (min oversettelse)

er endret til:

“En intervensjonsstudie med kombinert CBT og musikkterapi ved postinfeksisøs CF er gjennomførbar. En fullskala studie er nødvendig for å evaluere effekten; deltakernes bekymring for skolefravær bør adresseres for å sikre rekruttering.”

Den nye fagfellevurderingen som er nevnt i fotnoten, er ikke publisert.

Artikkelen bør trekkes tilbake

I forhold til den opprinnelige artikkelen som er trukket tilbake, er tittel, resultater og konklusjon endret. Deretter er artikkelen re-publisert og gitt et helt nytt ID-nummer. Selv om konklusjonen i den nye versjonen er nedtonet, er det fremdeles en rekke kritikkverdige forhold som gjør at den bør trekkes tilbake. Her er noen hovedpunkter:

Studien ble godkjent som en CFS/ME-studie selv om bare 14 % av deltakerne i intervensjonsgruppen tilfredsstilte strenge diagnosekriterier for CFS/ME.

Deltakernes funksjonsnivå ved baseline var 8 000 skritt per dag, nær dobbelt så høyt som ved ME i mild grad.

Resultatene av omfattende kliniske undersøkelser og sykdomsmarkører ved oppfølging er ikke tatt med i artikkelen.

Resultatene viser en reduksjon på 29 % i objektivt målt aktivitetsnivå. Likevel mener forskerne at en intervensjonsstudie med kombinert CBT og musikkterapi ved postinfeksiøs CF er gjennomførbar.

Studiedeltakerne og foreldrene deres ble fortalt at personlighet, tanker og følelser påvirker sykdomsutviklingen. «Situasjonen», som var langvarig utmattelse etter en infeksjon, blir av forskerteamet beskrevet som negativ sykdomsadferd, sykdomstilskrivning og «avoidance» – unngåelse. Foreldrene ble involvert i terapien fordi forskerne mener at foreldres påvirkning kan bidra til å styrke dette, som igjen kan ha en negativ innvirkning på prognosen.

Terapeutene visste på forhånd resultatene av omfattende psykologiske tester som var tatt et halvt år tidligere. I løpet av programmet ble fokus rettet mot barnas personlighet, foreldrene og familiedynamikken. Både deltakerne og foreldrene ble dermed implisitt gjort medansvarlige for «situasjonen» og for resultatet av terapien.

Artikkelen definerer «frisk» som et visst fall i subjektivt rapportert utmattelse. Resultatene viser at 8 deltakere i intervensjonsgruppen ble «friske» – mot 7 i kontrollgruppen. Samtidig ble noen deltakere i intervensjonsgruppen mer deprimert, mer utmattet, fikk mer smerter og et lavere funksjonsnivå. 8 av 21 deltakerne i intervensjonsgruppen trakk seg underveis.

Det mentale treningsprogrammet som ble benyttet har mange likhetstrekk med den pseudovitenskapelige metoden Lightning Process. Ifølge forskerne var representanter fra Recovery Norge involvert i utformingen av studiedesignet. Organisasjonen ble formelt stiftet i januar 2018. Studiedesignet er datert juni 2015. Organisasjonen ble startet av bl.a. en gruppe Lightning Process-instruktører, og driver markedsføring og lobbyvirksomhet for metoden.

Studiens resultater motbeviser i hovedsak forskernes egne hypoteser og konklusjoner om fordelene ved kognitiv- og musikkterapi – uten at det blir kommentert i artikkelen. Hovedmålet på tilfriskning er antall steg, og intervensjonen gav motsatt effekt. Forskerne søker å bekrefte sin egen hypotese ved å selektivt velge resultater, trekke ubegrunnede konklusjoner og overselge disse. Dette er cherry-picking.

En ærlig forsker ville konkludert med at intervensjonen ikke synes å ha noen positiv effekt, og gått videre med andre hypoteser. Dette er det normale i forskningsverden; manglende resultater i en pilotstudie gjør at man legger prosjektet på hylla. Her snus logikken på hodet, og manglende resultater blir brukt som begrunnelse for å gjøre enda mer psykosomatisk forskning. Forskerne virker overbevist om at kognitiv terapi virker, uansett om forskningen deres viser noe annet.

Studien blir dermed enda et eksempel på dårlig forskning som gjenspeiler forskernes forhåndsbestemte psykosomatiske synspunkt, snarere enn en ærlig vitenskapelig undersøkelse.

Les min analyse av den opprinnelige artikkelen her: Kurere ME med musikk?

Skrevet av Nina E. Steinkopf

Tidligere HMS- og Kvalitetsdirektør i internasjonal petroleumsvirksomhet, nå: ME-syk og skribent

NB: En kortversjon av denne teksten er sendt til tidsskriftet BMJ Peadiatrics som en kommentar til artikkelen.

Referanser:

1. Cognitive–behavioural therapy combined with music therapy for chronic fatigue following Epstein-Barr virus infection in adolescents: a feasibility study BMJ Paediatrics Open 2020;4:e000620. doi: 10.1136/bmjpo-2019-000620
2. Cognitive–behavioural therapy combined with music therapy for chronic fatigue following Epstein-Barr virus infection in adolescents: a randomised controlled trial BMJ Paediatrics Open 2020;4:e000797. doi: 10.1136/bmjpo-2020-000797

Revidert 24.10.2020: Samtidig ble [noen] deltakere i intervensjonsgruppen mer deprimert, mer utmattet, fikk mer smerter og et lavere funksjonsnivå.