Developing and evaluating complex interventions. ((5) Evaluating a complex intervention. - Craig P, Dieppe P et al.

Baggrund

Denne tekst opsummerer den reviderede og udvidede vejledning fra Medical Research Council (MRC) om udvikling og evaluering af komplekse interventioner. Den oprindelige ramme fra 2000 har haft stor indflydelse, og den nye vejledning forsøger at adressere erfaringer siden da. Artiklen peger på behovet for mere alsidig og konteksttilpasset metode, overvejelser omkring alternative evalueringsdesign og større fokus på processuelle og implementeringsrelaterede faktorer. Hovedbudskabet er, at komplekse Interventioner ofte kræver ikke-lineære tilgange, mere vægt på teori og kontekst, og at evalueringer bør støtte beslutningstagere og praktikere i realistiske situationer. Forfatterne inkluderer Peter Craig, Paul Dieppe, Sally Macintyre, Susan Michie, Irwin Nazareth og Mark Petticrew, og de trækker på erfaringer fra forskningsnetværk og mrc-institutioner i Storbritannien.

Hvad er komplekse interventioner?

Komplekse interventioner defineres som interventioner, der indeholder flere interagerende komponenter; de karakteriseres af flere forhold, der gør evaluering mere udfordrende. Der er ikke en skarp grænse mellem simple og komplekse interventioner, og mange tiltag ligger et sted mellem disse ekstremer. Eksempelvis kan Sure Start-programmet til familier med små børn i udsatte områder være sammensat af flere indgreb, der tilsammen udgør en kompleks intervention. To centrale spørgsmål styrer evalueringen: (1) Er interventionen effektiv i hverdagspraksis, og hvordan varierer dens effekt på tværs af modtagere og lokationer? (2) Hvordan virker interventionen – hvilke aktive ingredienser er afgørende, og hvordan udøver de deres effekt? Dette kræver en forståelse af hele virkeforløbet og hvordan effekterne varierer mellem kontekster og grupper. For at kunne designe mere effektive indsatser og implementere dem i praksis er det vigtigt at kende de aktive mekanismer og kontekstuelle faktorer, som påvirker resultaterne. Kommunikationsstrømmen i vejledningen lægger vægt på både udvikling og implementering samt evalueringens rolle i praksis.

Udvikling, evaluering og implementering af komplekse interventioner

Selvom det kan være nyttigt at tænke i faser som i en klassisk udviklingsproces, er det vigtigt at erkende, at faserne ofte ikke følger en lineær eller cirkulær bane. Den nye vejledning anbefaler systematisk udvikling af interventioner baseret på den bedste tilgængelige evidens og relevant teori, efterfulgt af en omhyggelig gennemprøvning i faser, der starter med pilottest og går videre til udforskning og endelig evaluering med klare mål for hver fase. Evaluering finder ofte sted i praksis i forskellige indstillinger, hvor forskere må tilpasse interventionen og valg af evalueringsdesign til konteksten. Det kan være nødvendigt at gennemføre evaluering samtidig med en bred implementering af indsatser, hvilket kræver overvejelse af politiske og praktiske realiteter. Der kan være politiske eller etiske hindringer for brug af eksperimentelle designs, især hvis interventionen giver væsentlige ikke-helsesindtag, og omkostningerne ved sådanne indsatser kan være betydelige. I praksis er det derfor ofte nødvendigt at kombinere forskellige kilder og metoder for at opnå pålidelig evidens, og beslutningstagere skal forstå konsekvenserne af forskellige forskningsdesign og trade-offs mellem intern validitet og praktisk gennemf
ørlighed.

Udvikling af en kompleks intervention

Identificering af eksisterende evidens: Før en større evaluering iværksættes, bør interventionen udvikles til et punkt, hvor en forventet effekt er plausibel. Hvis der ikke findes en nyere, høj kvalitet systematisk gennemgang af relevant evidens, bør en sådan gennemgang gennemføres og opdateres løbende efter behov. Identificering og udvikling af teori: Den teoretiske forståelse af, hvordan ændringer sandsynligvis finder sted, og hvordan ændringer opnås, bør udvikles på grundlag af eksisterende evidens og teori – også hvis man udvikler en ny intervention eller evaluerer en eksisterende. Dette gælder uanset om forskeren udvikler interventionen eller kun evaluerer den. Modellering af processer og udfald: Før en fuldskala-evaluering kan modellering af interventionen og den tilsigtede effekt give vigtige informationer til designet af interventionen og evalueringen. En række studier kan være nødvendige for gradvist at forfine designet. Eksempel: en trial af fysisk aktivitet til forebyggelse af type 2-diabetes anvendte en kausal modellerings tilgang med primære og deskbaserede studier til at udforme interventionen, identificere passende måleparametre og forudsige langsigtede udfald. En foreløbig økonomisk evaluering kan også være nyttig for at identificere svagheder og lede til forbedringer eller konkludere, at en fuld evaluering måske ikke er kosteffektiv i det givne setup. Disse trin viser vigtigheden af forudgående analyse og planlægning for at maksimere chancerne for et informeret forsøg.

Box 2: Udvikling og evaluering af komplekse studier (hovedpunkter)

En god teoretisk forståelse af, hvordan interventionen forårsager ændringer, er central; hvis effekten ikke afspejler en virkelig ineffektivitet, kan implementeringsfejl være årsagen, og derfor kræves en grundig procesevaluering for at identificere sådanne problemer. Variabilitet i individuelle udfald kan skyldes højere niveau-processer; dermed kan stikprøvestørrelser have behov for at være større, og klynge-randomisering bør overvejes. I nogle tilfælde giver det mening at anvende en række udfald frem for et enkelt primært udfald, og man bør være opmærksom på utilsigtede konsekvenser. Streng standardisering er ikke altid passende; nogle interventioner kan have bedre effekt, hvis der gives plads til tilpasning til lokale forhold i protokollen. Et eksempel nævnes: en modellering af en faldforebyggelsestest for ældre viste, at det foreslåede screenings- og henvisningssystem sandsynligvis ikke var omkostningseffektivt og førte til en beslutning om ikke at fortsætte forsøget.

Vurdering af feasibility (gennemførlighed)

Feasibility-studier hjælper med at afklare acceptabilitet, overholdelse, levering, rekruttering og fastholdelse samt effekter større end forventet. Eksempler viser, at kontekst er afgørende; en planlagt program for ungdomslig sundhed i landdistrikter Zimbabwe viste kulturelle normer og undervisningspraksisser, der gjorde den oprindelige klassebaserede tilgang uegnet, hvorefter en samfundsbaseret tilgang blev valgt. Pilotstudier behøver ikke at være fuldt skala af den planlagte evaluering, men de bør undersøge nøgleusikkerhederne og hjælpe med at tilpasse designet. Resultater fra pilottest som følge af høj frafald kan betyde ændringer i forskningsdesignet og incitamenter som at tilbyde interventionen til kontrolgrupperne efter studiets afslutning.

Evaluering af en kompleks intervention

Der findes mange studiedesigns, og valget bør baseres på det specifikke spørgsmål og kontekst, herunder forventet effektstørrelse og risiko for udvælgelses-/tildelingsbias. Generelt bør randomisering overvejes som den mest robuste metode til at undgå udvælgelsesbias, men hvis et konventionelt parallelgroup RCT ikke er muligt, kan alternative randomiserede designs undersøges (box 3). Hvis eksperimentelt design ikke er gennemføeligt, kan kvas-eksperimentelle eller observationsstudier være relevant. I nogle tilfælde er randomisering unødvendig, og andre designs er mere hensigtsmæssige, men forholdene for hvor observationelle metoder kan give pålidelige estimater af effekt er begrænsede. Succesfulde eksempler opstår ofte, når interventionerne har hurtige og tydelige effekter. For at måle effekter bør beslutningstagere afklare, hvilke udfald der er vigtigst, og om der skal være flere udfald eller undergruppeanalyser. Lange follow-up perioder kan være nødvendige for at vurdere, om resultaterne vedvarer eller opfyldes af lange tidsrum. Proces-evalueringer giver indblik i, hvordan interventionen implementeres, hvorfor den virker eller hvorfor den ikke gør det, og hvilke kontekstuelle faktorer der påvirker resultaterne. Fidelitet (fidelity) er ikke entydig i komplekse interventioner: nogle studier kræver streng standardisering for at identificere aktive ingredienser, mens andre interventionsformer er designet til at være tilpasselige til lokale forhold. Det er centralt at afklare, hvor meget forandring eller tilpasning, der er tilladt i protokollen, og hvordan dette påvirker fortolkningen af resultaterne.

Box 3: Eksperimentelle designs for evaluering af komplekse interventioner

Forskellige designs kan anvendes: Individuelt randomiserede forsøg, hvor enkeltpersoner grønt tildeles behandling eller kontrol; klynge-randomiserede forsøg, som håndterer risiko for kontaminering i populationen (for eksempel patienter i en praksis eller beboere i en bolig), så grupper randomiseres til behandlings- eller kontrolbetingelser; Stepped-wedge designs, der muliggør implementering i faser, hvilket tillader at hele populationen senere modtager interventionen; foretrukne forsøg (preference trials) og randomiseret samtykke-designs, hvor patienters præferencer tages i betragtning eller randomisering sker før samtykkeindhentning; N-of-1 designs, hvor individuelle forsøg undersøger ændringer inden for personen og mellempersonlige mediatorer af ændringerne. Disse designs giver forskellige muligheder og kompromiser i forhold til et givet interventions karakteristika og de etiske, praktiske og økonomiske realiteter i feltet.

Box 4: Valg mellem randomiserede og ikke-randomiserede designs

Valget mellem design bør afspejle effekternes størrelse og tidsforløb: meget store eller umiddelbare effekter kan tale imod behovet for randomisering, men små eller langsomt voksende effekter kræver bedre kontrol for confounding, hvilket ofte taler for randomisering. Udvælgelsesbias er en central overvejelse; post-hoc justering kan være en næstbedste løsning, men dens effektivitet er begrænset af fejl i måling af confounding-variabler og vanskeligheder ved ukendte eller ikke-målede confounders. Gennemførlighed og acceptabilitet af eksperimentation er også afgørende: randomisering kan være uhensigtsmæssig, hvis interventionen allerede er udbredt, eller hvis beslutningsprocesser allerede er taget. Omkostninger spiller ind: hvis et eksperimentelt studie ville give mere pålidelig information end et observationsstudie, men er dyre, skal omkostningerne afvejes mod værdien af bedre information. Variabilitet i implementeringen kræver fuld rapportering af både proces og udfald samt detaljeret beskrivelse af interventionen for at muliggøre replikation og evidenssyntese. Vejledningen nævner den forbedrede tilgængelighed af rapporteringsretningslinjer for ikke-medikamentelle interventioner og observationsstudier via EQUATOR-netværket som en kilde til bedre rapportering fremover.

Konklusioner og implikationer

Forfatterne anerkender, at der stadig er meget debat omkring evaluering af komplekse interventioner, og at metoderne fortsat udvikler sig. Den reviderede vejledning er ikke ment som en absolut forskrift, men som et sæt principper, der hjælper forskere, finansiering og beslutningstagere med at træffe kvalificerede metodiske og praktiske valg. Publiceringsværktøjer og rapporteringsstandarder forventes forbedret, og der lægges vægt på, at beslutningstagere i planlægningen af nye tiltag bør inddrage evalueringskrav og, hvis muligt, tillade eksperimentelle eller stærkt non-experimentelle tilgange, især når effekt usikkerhed er til stede. For forfatterne er målet at facilitere højere standarder i rapportering og at opmuntre til udviklingsarbejde før store evalueringer. Forskningsfinansiering og ledelse spiller en vigtig rolle i at understøtte disse udviklings- og evalueringsaktiviteter. De refererede kilder inkluderer tidligere MRC-dokumenter, BMJ- og Lancet-artikler samt senere retningslinjer og metoder inden for evaluering af komplekse interventioner.

Vigtige tematikker og eksempler gennem teksten

• Forståelse af kompleksiteten ved interventioner: Flere komponenter, adfærdsforandringer hos leverandører og modtagere, organisatoriske niveauer, varierende udfald og tilpasning til konteksten. Der er ikke en tydelig grænse mellem simple og komplekse interventioner; kontekst og mål af evalueringen bestemmer tilgangen. Eksempel: Sure Start-indsatsen som en sammensat tilgang til at støtte familier i udsatte områder.

• Ikke-lineær udvikling og vægt på kontakter mellem teori, pilotstudier og evaluering: Anvendelse af piloter, teoretiske modeller og konstruktion af en trinvist designet evaluering frem for en fastlagt, lineær proces.

• Vægt på proces- og implementeringsfaktorer: En intervention kan fejle på grund af implementeringsproblemer, og derfor kræves procesevaluering for at forklare eller optimere resultaterne.

• Bred vifte af designs: Valg mellem individuelle randomiserede forsøg, klynge-randomisering, stepped-wedge, præference-styring, N-of-1-tests og observationelle metoder afhængigt af situationen og etiske/økonomiske overvejelser.

• Feasibility og pilotstudier: Nødvendighed af at undersøge acceptabilitet og gennemførlighed, og at pilottesten kan føre til ændringer i planlagt design eller logistik, såsom sekventiel tilgang til kontrol og intervention.

• Rapportering og kvalitetssikring: Større fokus på detaljeret interventionsbeskrivelse og brug af bredere rapporteringsretningslinjer for at lette replikation og systematisk evidenssyntese.

Implikationer for praksis og forskning

• Planlægningen af nye initiativer bør inkludere krav til evaluering og mulighed for eksperimentelle eller stærkt non-experimentelle designs, især når der er stor usikkerhed omkring effekten.

• Forskere bør være klar til at tilpasse metoderne til kontekstuelle forhold og til at dokumentere tilpasninger, således at resultaterne kan fortolkes korrekt og anvendes bredt.

• Publikations- og finansieringsorganer bør støtte udviklingsstudier og krav om høj standard i rapporteringen for komplekse interventioner, således at evidensen bliver mere pålidelig og anvendelig i beslutningsprocesser.

Bemærkninger om referencer og kilder

• Dokumentet refererer til en række klassiske og mere nyere kilder om udvikling og evaluering af komplekse interventioner, herunder den oprindelige MRC-ramme fra 2000, BMJ-artikler omkring design og evaluering af komplekse interventioner, og senere udviklinger inden for process evaluation, cluster-randomiserede forsøg og rapporteringsstandarder. Der er også konkrete eksempler fra praksis (f.eks. Sure Start) og diskussion af teknikker som kausal modellering og økonomisk evaluering som forberedelse til større forsøg.

Afsluttende pointer

• Den opdaterede MRC-vejledning er ikke en fast skabelon, men en ramme af principper, der bør informere forskere, beslutningstagere og finansieringsorganer i valget af passende metoder og praktiske tilgange til evaluering af komplekse interventioner.

• Fokus ligger på at forstå forandringen, sikre implementeringskvalitet og tilpasse studier til kontekst samt at balancere evidensstyrke og praktisk gennemførlighed.

Konkrete takeaways for eksamensforberedelse

• Kend forskellen mellem simpel og kompleks intervention og de væsentlige kendetegn i Box 1 i teksten.

• Forstå vigtigheden af udvikling, teori, modellering og pilottest i forberedelsen af en evaluering af en kompleks intervention.

• Vær i stand til at beskrive Box 2’s centrale pointer om processer, variation, multiple outcomes og tilpasning af interventionen.

• Vær fortrolig med Box 3’s udvalg af eksperimentelle designs og Box 4’s overvejelser ved valg mellem randomiserede og ikke-randomiserede designs.

• Vær i stand til at diskutere betydningen af feasibility, process evaluation og fidelity i fortolkningen af resultater og i designet af fremtidige studier.