Noter til opdateret rammeværk for udvikling og evaluering af komplekse interventioner (BMJ/Int J Nurs Stud)

Introduktion og formål

Den ukrainske Medical Research Council (MRC)s vejledning for udvikling og evaluering af komplekse interventioner er erstattet af et nyt rammeværk, som blev iværksat i samråd mellem NIHR og MRC. Dette nye rammeværk tager højde for nyere teoretiske og metodologiske udviklinger og fokuserer på at maksimere forskningens udnyttelse, anvendelighed og impact. Det påpeges, at komplekse interventioner anvendes bredt inden for sundheds- og socialpleje og kan operere på forskellige niveauer – fra individniveau til samfundsniveau. Eksempler inkluderer nye kirurgiske procedurer, redesign af sundhedsprogrammer og ændringer i velfærdspolitikker. Rammeværket, der oprindeligt blev udgivet i 2000 (revideret 2006) og senere suppleret af detaljerede vejledninger, erkender i sin opdaterede form behovet for at arbejde sammen med interessenter for at identificere centrale spørgsmål om komplekse interventioner og vælge relevante metoder og tilgange til at afsøge disse spørgsmål fra forskellige perspektiver.

Hvad er komplekse interventioner?

Et komplekst intervention kan anses som komplekst på grund af interventionens egne egenskaber. Dette omfatter elementer som antallet af komponenter, de målrettede adfærdsmønstre, ekspertisen hos leverandører og modtagere, antallet af grupper og niveauer, eller graden af fleksibilitet i levering og komponenter. Et eksempel er Links Worker Programme i Glasgow, der søgte at forbinde borgere med lokalsamfundets ressourcer og dermed påvirkede flere niveauer (individ, primær pleje, lokalsamfund). Fleksibilitet i levering kan være tilladt for at imødekomme variationer i kontekst og behov, mens standardisering af interventionen mere bør relatere til kernefunktioner og underliggende processer end til den konkrete form af komponenter. En teoretisk dekonstruktion af komponenter og fastlæggelse af tilladt og forbudt variation muliggør, at interventionen kan ændre sig i forskellige kontekster, samtidig med at kernefunktionerne bevares. ROMIO-projektet illustrerer, hvordan centrale komponenter fastlægges og overvåges under hovedforsøget, f.eks. ved brug af fotografier til at monitorere leverancen af minimalt invasiv oesofagus-resektion.

Interventionens forhold til kontekst er centralt: enhver kontekst kan påvirke og blive påvirket af interventionen. Begrebet mekanismer (de kausale forbindelser mellem komponenter og udfald) og kontekst (de forhold, der former, hvordan mekanismer virker) fremhæves som centrale for at forstå, hvornår og hvordan ændringer opstår, som beskrevet af Pawson & Tilley. Komplekse interventioner omfatter således ikke kun designet af interventionen selv, men også de betingelser, der er nødvendige for at realisere mekanismernes effekt og for at understøtte gennemførelse og udnyttelse i virkelige verdenssituationer. ASSIST-undersøgelsen viser, hvordan effektiviteten af en interventions leverance kan afhænge af kontekstuelle faktorer som kohesive lokalsamfund og tæt kontakt mellem støttende elever og deres kammerater.

Forskellige forskningsperspektiver

Den opdaterede rammeværk anerkender fire forskningsperspektiver, som bør ses som overlappende frem for gensidigt udelukkende:

  • Efficacy: Effektivitet under optimale betingelser.

  • Effectiveness: Effektivitet i virkelige forhold.

  • Theory-based: Teori- eller mekanismebaseret forståelse af, hvordan ændringer opstår, og under hvilke betingelser.

  • Systems: Forståelse af interaktionen mellem intervention og komplekse systemer.

En effektivitetsevaluering kan integrere teori- eller systemperspektiver gennem en procesevaluering for at undersøge, hvordan og under hvilke omstændigheder udfald opnås. Mange spørgsmål i praksis kræver en bredere tilgang end kun effektstimatet, f.eks. om en effektiv intervention vil kunne reproduceres i andre kontekster, om den er omkostningseffektiv, og hvordan den bidrager til systemændringer. Spørgsmål, der kræver mere end en simpel effektmåling, inkluderer desuden, om interventionen reproducerer sine effekter, hvilke konsekvenser den får for relationer og politikker, og hvordan kontekst påvirker resultaterne.

Faser og kerneelementer af forskningen i komplekse interventioner

Rammeværket inddeler forskning i fire faser: udvikling/identifikation, feasibility (gennemførlighed), evaluering og implementering. Hver fase inddrager seks kerneelementer som led i beslutningen om at fortsætte til næste fase. Disse elementer bør overvåges og justeres løbende, især ved overgange mellem faser. Rammeværket understreger ligeså, at valget af forskningsperspektiv og metode afhænger af, hvilke spørgsmål beslutningstagere finder mest relevante og nyttige, og at der ikke er én “rette” tilgang.

4.1 Kerneelementer

  • Kontext: Effekterne af en kompleks intervention kan være stærkt kontekstafhængige, således at en intervention, der virker i én kontekst, kan være ineffektiv eller skadelig i en anden. Kontexten er dynamisk og multidimensionel og omfatter fysiske, rumlige, organisatoriske, sociale, kulturelle, politiske og økonomiske dimensioner. Eksempler viser, hvordan kontekst som medarbejdermoral og fysiske rammer påvirker implementeringen og dermed forklarer variation i effekt. Interventioner kan også ændre kontekstuelle forhold og dermed normer og adfærd over tid.

  • Programteori: Beskriver, hvordan en intervention forventes at føre til sine effekter og under hvilke betingelser. Den angiver interventionens væsentlige komponenter, hvordan de interagerer, mekanismerne, kontekstens træk, der antages at påvirke mekanismerne, og hvordan disse mekanismer påvirker konteksten. Udvikling og refinering af programteorien sker tidligt og i samarbejde med forskellige interessenter og baseres på eksisterende evidens og teori. En gennemarbejdet programteori kan give mening til implementering og retning for senere evaluering, som eksempler viser. Visualiseringer som logiske modeller, realist matrixer eller systemkort kan være nyttige, men bør suppleres med beskrivelser i publiceringer og ansøgninger.

  • Interessenter (Stakeholders): Interessenter er dem, som interventionen retter sig imod, dem, der udvikler eller leverer interventionen, eller dem, hvis interesser påvirkes. Patienter og offentligheden er centrale interessenter. Meningsfuld inddragelse i hver fase hjælper med at prioritere forskningsspørgsmål, opbygge fælles forståelse af programmet og overkomme praktiske gennemførelsesbarrierer. Potentielle interessekonflikter bør håndteres gennem gennemsigtige metoder. Dette område understreger vigtigheden af bred inddragelse og anerkender, at hensyn kan ændre sig over tid og fase.

  • Nøgleusikkerheder: Hver fase indeholder en række spørgsmål og usikkerheder, som bør udforskes gennem en pragmatisk og fleksibel tilgang. Der bør lægges vægt på blandede metoder, teori- og systembaserede evalueringer for at få indsigt i implementering, kontekst og systems indvirkning. En mere udtalt vægt på usikkerheder signalerer en bevægelse væk fra at søge stærke designs, der giver entydige effektmål, og i stedet mod mere afklarende, beslutningsrelevante indsigter, selv når resultatet er usikkert.

  • Intervention refinement: Interventionen kan forfines under hver fase baseret på data og videreudvikling af programteorien. Brugerinddragelse og feedback fra potentielle brugere kan forbedre acceptabilitet og brugervenlighed. Refinering styres af programteorien og er betinget af klare grænser og dokumentation af ændringerne. Refinering er dog mindre sandsynlig under den endelige evalueringsfase i efficacy/effektivitet-forløb, hvor interventionen bør være stabil.

  • Økonomiske overvejelser: Kompromis mellem omkostninger og konsekvenser bør være en del af alle faser. Økonomisk evaluering bør være en integreret del af forskningen og tidligt involvere eksperter for at identificere relevante omkostninger og gevinster ud fra beslutningstageres behov. Mere brede tilgange som cost-benefit eller cost-consequence analyses kan være mere relevante end snævre cost-effectiveness-analyser. Fx blev den økonomiske evaluering af New Orleans Intervention Model anvendt fra flere perspektiver og med flere rammer til at fange intersektorale omkostninger og udkomster. EVPI (Expected Value of Perfect Information) nævnes som en metode til at vurdere værdien af at få komplet information før beslutninger træffes. Den generelle formel for EVPI kan illustreres som EVPI = \mathbb{E}\big[\max{a} U(a, \theta)\big] - \max{a} \mathbb{E}\big[U(a, \theta)\big], hvor U er payofffunktion og $\theta$ er ukendt parameter.

4.2 Faser

  • 4.2.1 Udvikling eller identifikation af en kompleks intervention: Udvikling refererer til hele processen fra første idé til en intervention, der kan gå videre til feasibility, pilot eller evaluering. Ofte kan udviklingen være baseret på eksisterende interventioner, der kan tilpasses en ny kontekst eller population. Policy- eller praksisstyrede interventioner er også et vigtigt fokus i evalueringsforskningen. Et stærkt udgangspunkt er at udvikle en programteori tidligt og inddrage forskellige interessenter for at identificere mekanismer, kontekstuelle faktorer og relevante udkomster. Eksempelvis blev systemkort og logiske modeller brugt til at artikulere forståelsen af et økonomisk program og derved guide evalueringen (UK sukkerafgifter). NHS Diabetes Prevention Programme viste manglende eksplicit teoretisk basis og logisk model, hvilket understreger vigtigheden af tydelige mekanismer og ræsonnement for komponenter.

  • 4.2.2 Feasibility: Feasibility-studier er designet til at vurdere klare progressionskriterier relateret til evalueringsdesign eller interventionen selv, herunder acceptabilitet, overholdelse, dataindsamling og potentiale for omkostningseffektivitet. Evaluability assessments kan afgøre, om en evaluering er plausibel, og hvor meget den vil koste at gennemføre. Økonomiske modelleringer kan udføres i feasibility-fasen for at vurdere sandsynligheden for en positiv cost-benefit og for at vejlede beslutningstagere om videre forskning. EVPI er en af metoderne nævnt her for at vurdere potentialet for at få ny information.

  • 4.2.3 Evaluering: Evaluering udvider spørgsmålet ud over, om interventionen virker, til at overveje dens andre konsekvenser, hvordan mekanismer og kontekst interagerer, og hvordan resultater kan bidrage til systemændringer og beslutningstagning i praksis. Valget af udfaldsindikatorer bør ske i samarbejde med interessenter og kan omfatte systemniveau-udfald såsom ændringer i relationer, politikker og praksisnormalisering. Multivariat håndtering af flere udfald og i nogle tilfælde undergruppeanalyser er vigtige, og selv underpowered analyser bør beskrives i protokol for senere metaanalyser eller hypotesetestning i fremtidig forskning. Processer kan også måle systemændringer og ikke kun individskift i adfærd. For eksempel anvendte Delaware Young Health Program tre systemevidensmetoder for at forstå systemdynamikker og netværksændringer. For designvalg kan man bruge både eksperimentelle og ikke-eksperimentelle tilgange, inklusive adaptive designs, SMART-trials, n-of-1 trials og hybride designs for at forbedre effekten og implementeringen. Procesevalueringer er centrale i teori-baserede eller systembaserede evalueringer og kan prioritere teoriudvikling frem for kapitalisering på effektstørrelser.

  • 4.2.4 Implementering: Implementering bør overvejes tidligt og inkluderer spørgsmål om rækkevidde og udbredelse samt komponenter i implementeringsstrategien og kontekstuelle faktorer, der understøtter eller hæmmer effekt. En vis fleksibilitet i implementering er tilladt, så længe de vigtige funktioner af programmet opretholdes, og tilpasninger tydeligt dokumenteres. Eksempler som ASSIST viser, hvordan implementeringen blev designet til at være mindst belastende for skoler, og hvordan brugerfeedback førte til refineringer i både accept og rækkevidde. Naturlige eksperimenter og hybride designs kan bruges til evaluering under eller efter implementering i en virkelig verden. Økonomiske overvejelser bør inddrages tidligt, og tidlig inddragelse af relevante interessenter hjælper med at afstemme forskningsspørgsmål og potentielle implementeringsudfordringer.

5. Konklusioner og hovedbudskaber

Et af formålene med rammeværket er at ændre forskningsprioriteter ved at anerkende, at unbiased effektmåling ikke er den eneste eller altid den mest nyttige måleparameter for beslutningstagere. Rammeværket opfordrer til en bredere tilgang, der inkluderer teoriudvikling, forståelse af mekanismer og kontekst samt systemiske effekter. Der kan være tilfælde, hvor en efficacy- eller effectiveness-tilgang stadig er passende, men for andre spørgsmål er alternative perspektiver og designs nødvendige for at skabe ny viden og reducere beslutningstagernes usikkerhed. Rammeværket anbefaler en åben og pluralistisk tilgang og understreger vigtigheden af at reducere forskningsspild ved at maksimere relevans og anvendelighed. En checkliste er udviklet for at støtte udarbejdelse af ansøgninger, forskningsprotokoller og tidsskriftsartikler. Rammeværket anbefales løbende opdateret i en webbaseret form for at inkludere nye materialer og casestudier. Rammeværket er således bedst beskrevet som meta-guidance og opfordrer til fortsat udvikling og afprøvning i samarbejde med forskere, fonde og tidsskrifter.

Eksempler og cases nævnt i teksten

Rammeværket indeholder flere konkrete eksempler, der illustrerer anvendelsen af kerneelementerne:

  • Links Worker Programme: Et fleksibelt eksempel, hvor interventionen varierer mellem praksisser, men bevarer kernefunktioner.

  • ASSIST: En skolebaseret, peer-ledet intervention, hvor implementeringen blev justeret via procesevaluering for at øge rækkevidde og accept.

  • Delaware Young Health Program: Et systemtilgangsforskningsforløb, der anvendte tre forskellige systemmetoder (group model building, viable systems model, social network analysis).

  • ROMIO-projektet: Brugte fotografier til at monitorere kernekomponenter i kirurgisk behandling (minimalt invasiv oesofagus-resektion).

  • NHS Diabetes Prevention Programme: Hvor der blev identificeret manglende eksplicit teoretisk basis og logisk model.

Tabel- og figurgennemgang (referencer i teksten)

  • Tabel 1: Beskriver egenskaber ved komplekse adaptive systemer og giver eksempler som emergens, feedback, adaptation og selvorganisering i forskellige sociale og sundhedsmæssige kontekster.

  • Tabel 2: Præsenterer fire forskningsperspektiver og centrale spørgsmål samt et vaccine-eksempel for hver.

  • Fig. 1: Illustrerer rammeværket for udvikling og evaluering af komplekse interventioner og viser relationerne mellem kontekst, programteori, interessenter, usikkerheder, refinering og økonomiske overvejelser. Disse visuelle elementer understøtter den narrative forklaring og gør det muligt at se, hvordan de enkelte elementer hænger sammen i en helhedsmodel for beslutningstagere og forskere.

Forbindelser til tidligere undervisning og praktisk relevans

Den nye rammeværks fokus på kompleksitet og systemiske bidrag står i skærende kontrast til det tidligere ensidige spørgsmål om effektivitet. Den inddrager og formidler vigtigheden af at arbejde sammen med patienter, praktikere og beslutningstagere fra begyndelsen og gennem hele forskningsforløbet for at sikre relevans og gennemførelse i virkeligheden. Den understreger også, at forskningsdesign og metodik bør tilpasses de konkrete spørgsmål og kontekstuelle forudsætninger og ikke nødvendigvis være begrænset til randomiserede kontrollerede forsøg alene. Dette skaber en mere praktisk og beslutningsrelevant tilgang til forskning i komplekse interventioner og giver et rammeværk for fremtidig udvikling og innovation inden for metoder og anvendelser.

Noter til videre brug

Rammeværket anbefaler løbende opdateringer og bred inddragelse af metoder og perspektiver. En specifik checkliste for fundingsansøgninger, protokoller og publikationer er udviklet (Skivington et al., 2021) og bør anvendes til at sikre, at kerneelementerne bliver adresseret i forskningen. Rammeværket betragtes som meta-guidance, der kan tilpasses og opdateres løbende, og der lægges vægt på konferencer, workshopper og konsultationer med internationale aktører som en del af den videnskabelige proces. Dette afsnit viser, at beslutningstagere og forskere forventes at anvende en bredere vifte af metoder og perspektiver, og at tidlige investeringer i planlægning og evaluering af implementering kan øge real world-impact og bæredygtighed.

Formler og teoretiske notater

Der gives en generel formel for EVPI (Expected Value of Perfect Information) som et eksempel på, hvordan økonomiske overvejelser kan udtrykkes matematisk i rammeværket: EVPI = \mathbb{E}\big[\max{a} U(a, \theta)\big] - \max{a} \mathbb{E}\big[U(a, \theta)\big],
hvor U(a, $\theta$) er payoff/slutværdi som funktion af beslutning $a$ og ukendt parameter $\theta$.

Der er ikke præcist angivet andre matematiske ligninger i den gennemgåede tekst, men principperne omkring effektmåling, procesevaluering og systembaserede udsyn er regelmæssigt ledsaget af teoretiske modeller og visuelle repræsentationer som logiske modeller, realist matrices og systemkort, som hjælper med at oversætte komplekse mekanismer og kontekst til konkrete forskningsspørgsmål og måleparametre.

  • Framing og teoretisk baggrund i rammeværket følger detaljeret i Skivington et al. (2021) og relaterede værker nævnt i referencenavnet.

  • Dokumentationen er tænkt som en dynamisk og webbaseret ressource, der kan tilpasses løbende, med konkrete eksempler og casestudier for at lette anvendelse i praksis.