Proces-evaluering af komplekse interventioner – noter (BMJ 2015 h1258)

Baggrund

Process evaluation er en væsentlig del af at designe og teste komplekse interventioner. Den nye MRC-vejledning giver et rammeværk for, hvordan man gennemfører og rapporterer sådanne process evaluations. Formålet er at hjælpe beslutningstagere med at forstå hvordan interventioner fungerer i praksis, og hvorvidt resultater kan replikeres i forskellige kontekster. I dette arbejde diskuteres, hvordan process evaluation supplerer effektestimation ved at kaste lys over implementering, mekanismer og kontekst, og hvordan det kan bidrage til en mere robust evidensbase til politik og praksis. Vejledningen er udviklet gennem en række faser – fra litteraturgennemgang og casestudier til stakeholder-feedback – og den peger på, at selvom den primære fokus er proces i komplekse interventioner, er den relevante for andre domæner som sundhedstjenester og uddannelse. Senere afsnit beskriver den opdaterede ramme og giver praktiske anbefalinger, herunder hvordan man planlægger, designer, gennemfører og rapporterer en proces-evaluering, med udgangspunkt i casestudiet af Welsh national exercise referral scheme (NERS).

MRC-process-evalueringens ramme

Det nye rammeværk bygger videre på temaerne fra 2008-vejledningen om proces-evaluering af komplekse interventioner. Rammeværket hævder, at en forståelse af interventionens kausale antagelser og brug af evaluering til at forstå, hvordan interventionen virker i praksis, er afgørende for at opbygge en evidensbase, der informerer politik og praksis. Kausale antagelser kan være nedarvet i socialvidenskabsteori og andre faktorer som erfaring og sund fornuft. En vigtig pointe er forholdet mellem implementering, mekanismer og kontekst: hvordan implementeringen påvirker mekanismer og resultater, og hvordan konteksten både former og bliver formet af interventionen. Indførelsen af en ny intervention kan ændre konteksten i hvilket den leveres, hvilket igen påvirker resultaterne. Begrebet implementering omhandler hvad der faktisk leveres og hvordan det leveres, inklusive emner som fidelity (om leveringen følger den tiltænkte plan) og dose (mængden af interventionen, der leveres). Kompleksiteten betyder ofte tilpasninger til forskellige kontekster; evaluering bør dokumentere hvad der leveres nær interventionens teori, samt hvordan leveringen kan tilpasses uden at true fidelity. Mekanismerne undersøges for at forstå hvordan interventionen skaber ændringer, enten gennem kvantitative data og/eller kvalitative metoder for at afdække komplekse veje eller uventede mekanismer. Kontexten defineres bredt som noget uden for interventionen, der kan være barriere eller fremmende faktorer for gennemførelse og effekt, og som derfor er vigtig for tolkning og generalisering af resultater. Rammeværket beskriver også de funktioner, der har betydning på forskellige stadier af udvikling, evaluering og implementering af en proces-evaluering.

Implementering: hvad der implementeres, og hvordan?

Ifølge rammeværket kan en intervention have begrænsede effekter, hvis designet er dårligt eller hvis den ikke implementeres korrekt. Derfor sigter proces-evaluering normalt mod at fastholde fidelity og vurdere dose og reach. Kompleksitet i tilpasning til kontekst betyder, at evalueringen også bør undersøge hvordan interaktionen mellem implementeringsstrukturer (f.eks. træning og støtte, kommunikation og ledelsesstrukturer) og implementatorers holdninger påvirker gennemførelsen. Reach undersøger, om den tiltænkte målgruppe faktisk kommer i kontakt med interventionen, og hvordan det sker. Der er ingen entydig enighed om den ideelle opdeling af implementeringsaspekter i underkategorier, og forskellige rammeværk foreslår lidt forskellige tilgange. Hver intervention kan derfor kræve sin egen tilpasning af, hvordan fidelity, dose og reach operationaliseres og måles. Implementering påvirker også kontekst og kan ændre de forhold, hvori interventionen virker, hvilket igen påvirker resultaterne. Samlet giver det policy-makers og praktikere vigtig viden om, hvordan man replikerer interventionen i forskellige settinger og betingelser.

Mekanismer af effekt: hvordan producerer interventionen forandring?

At undersøge mekanismerne er afgørende for at forstå, hvordan og hvorfor effekterne opstår, og hvordan tilsvarende interventioner kan replikeres. Proces-evaluering kan teste hypoteser om kausale veje ved hjælp af kvantitative data og samtidig anvende kvalitative metoder for at opnå en dybere forståelse af komplekse pathways og identificere uventede mekanismer. Mekanismerne udgår ofte fra interventionens teoretiske antagelser om, hvordan ændringer opstår, og om hvilke dele af interventionen der skal igangsætte intermediate change-processer hos deltagerne og/eller organisationerne. Rammeværket understreger, at det er vigtigt at undersøge både intentionelle mekanismer (de tiltenkte veje) og potentielt uventede mekanismer, som kan forklareVariationer i effekter på tværs af kontekster.

Kontext: hvordan konteksten påvirker implementering og udfald?

Context består af alt uden for interventionen, som kan fungere som forhindring eller facilitator for implementering og effekter. Implementering varierer ofte mellem kontekster, men interventioner kan også have forskellige effekter i forskellige kontekster, selv når implementeringen ikke varierer væsentligt. Kompleks intervention arbejder ved at introducere mekanismer, der passer til konteksten og dermed producerer forandringer; årsagerne til de problemer, interventionen sigter imod at afhjælpe, kan også variere på tværs af kontekster. Forståelse af kontekst er derfor afgørende for tolkning og generalisering af fund og for at kunne anvende resultater i andre situationer, også når interventionens indhold er enkelt. Dette betyder, at evalueringens kontekstforståelse må være en integreret del af analysen og fortolkningen af resultaterne.

Forskellige faser: funktioner af proces-evaluering i udvikling, evaluering og implementering

MRC-rammeværket anbefaler en faseseparator eller integration, hvor behovet for datakilder og fokus kan variere. Ved feasibility og piloting kan proces-evaluering spille en vigtig rolle i at forstå gennemførlighed og optimere design og evaluering, mens ved evaluering af effekt betyder det at kunne forklare resultaterne ved at vurdere hvor meget og hvor godt interventionen blev leveret, og i hvilket omfang konteksten formede effekterne. Selv ved en feasibility-studie vil der typisk være behov for en opfølgende evaluering i en større og mere forskelligartet population.

Planlægning af en proces-evaluering

Arbejde sammen med interventionsudviklere og implementeringspartnere

Kvaliteten af proces-evalueringen afhænger af stærke relationer til involverede interessenter. Det kan være udfordrende at opnå åbenhed, hvis interessenter har interesser i at fremstå positivt eller ser evaluering som en trussel. Evaluatorer skal samtidig bevare tilstrækkelig uafhængighed for at observere kritisk. Kommunikation om fundene til interessenter bør aftales fra starten for at undgå opfattelser af upassende indblanding eller at vigtige oplysninger holdes tilbage. Et vigtigt spørgsmål er, hvor aktivt evaluatoren bør hægte sig ved eller reagere på problemer i implementeringen: i feasibility-stadier kan en mere aktiv rolle være berettiget, mens man i effektstudier bør undgå kontinuerlig forbedring af kvaliteten, da dette kan true ekstern validitet. Enklarering af kommunikations-systemer fra begyndelsen kan mindske misforståelser og perceptioner af inhabilitet.

Ressourcer og personale

En proces-evaluering kræver kvalificeret og bredt funderet kompetence, ofte en tværfaglig tilgang, der kombinerer kvantitative og kvalitative metoder og kompetencer fra felter som folkesundhed, epidemiologi, sosiologi og psykologi. Der bør afsættes tilstrækkelige ressourcer til at indsamle og analysere store mængder varieret data, og analyse af kvalitative data kan være særdeles tidskrævende.

Relationer inden for evalueringsholdet

Proces-evaluering er ofte en del af en større studie med måling af resultater og muligvis omkostningseffektivitet. Nogle gange deler man proces- og effektudviklingsholdene, andre gange er de integrerede. Det er vigtigt at kommunikere klart for at undgå overlap eller konflikter og sikre, at hele studiet har en fælles forståelse af integrationen mellem komponenterne.

Designe og gennemføre en proces-evaluering

Beskrivelse af interventionen og afklaring af kausale antagelser

En tydelig beskrivelse af Interventionen, hvordan den implementeres, og hvordan den forventes at virke, bør være tilvejebragt allerede før evalueringen. Hvis der er uklarhed omkring indholdet eller hvordan det fungerere, bør dette afklares med interventionens udviklere, så designet af proces-evalueringen kan tilpasses og centrale spørgsmål kan identificeres. Ofte bør evaluatoren anvende eksisterende teorier, men hvis udviklingen af interventionen er drevet af erfaring eller sund fornuft, bør man være åben om dette og tydeligt beskrive de antagelser, i stedet for at trosse dem til en fast teori fra en disciplin.

Logiske modeller og kausale antagelser

At fremstille en logisk model hjælper med at tydeliggøre antagelserne om, hvordan interventionen forventes at virke og hvilke mekanismer der forventes at formidle forandringer. Figuren i artiklen illustrerer, hvordan interventionen forbinder inputs, leveringsmekanismer, delaktige responsmekanismer og kontekst til endelige outcomes. I
ightarrow M
ightarrow O hvor M repræsenterer mediatorer og O er outcomes; yderligere relationer bliver påvirket af kontekst K. Der gives ofte en tre-trins relation hvor Implementering (How delivery is achieved) påvirker Fidelity, Dose og Reach; Disse i deres tur påvirker Mekanismer og Til sidst Outcomes.

Udvælgelse af centrale spørgsmål og tidligere erfaringer

Identificér centrale usikkerheder og systematisk udvælg de vigtigste spørgsmål baseret på interventionens antagelser og tidligere lignende evalueringer. Balancen mellem at afklare vigtige spørgsmål detaljeret og at være flexibel til emergente spørgsmål er vigtig, idet komplekse interventioner er uforudsigelige. Box 1 i artiklen giver konkrete anbefalinger til planlægning, design, analyse og rapportering; Box 2 diskuterer separation versus integration af process- og outcomes-evaluationer.

Box 1: Nøgleanbefalinger for proces-evaluering (planlægning, design og gennemførelse, analyse, rapportering)

Planlægning: Definér relationerne til interventionens udviklere/implementører klart, balancer relationernes tæthed med uafhængighed, beslut om evaluatoren skal være mere aktiv i kommunikation af resultater eller have en mere passiv rolle, og sørg for kompetencer og tværfaglig ekspertise. Afklar graden af separation eller integration mellem process- og outcomes-evaluering. Et robust overblik bør sikres gennem en stærk PI-ledelse og klare kommunikationssystemer.
Design og gennemførelse: Beskriv interventionen tydeligt og afklar kausale antagelser (hvordan den implementeres, og hvilke mekanismer der forventes at producere forandring i en given kontekst). Identificér centrale spørgsmål og prioriter dem gennem evidens og interessentinddragelse. Vælg kombination af metoder (kvantitativ og kvalitativ) og embedd relevante målinger af process-variable, f.eks. fidelity, dose og reach, samt potentiella mekanismer og kontekstuelle moderatorer.
Analyse: Beskriv og analyser processdata og integrér dem med effektdata. Overvej modellering af variation mellem deltagere/sites i f.eks. fidelity eller reach, og test mediationsmodeller. Indarbejd iterativ kvalitativ analyse sammen med kvantitativ for at forklare data og udvikle teoretiske indsigter. Overvej at rapportere process-data før effektdata, hvis muligt, for at undgå bias. Transparens omkring brug af data til hypotesegenerering vs post-hoc forklaring er vigtig.
Rapportering: Brug relevante rapporteringsretningslinjer, og rapportér logikken bag interventionen og hvordan den blev testet. Del resultaterne til policy/praksis aktører. Når flere artikler publiceres fra samme evaluering, bør det tydeligt fremgå, hvordan de hænger sammen og indgå i en samlet rapport eller protocol-papir for hele evalueringen.

Box 2: Separation eller integration af proces- og effektvurderingsteams?

Argumenter for separation: mindsker bias i analyse af udfald, gør det nemmere at opretholde blindhed, reducerer risikoen for “fishing” efter forklaringer, muliggør uafhængig rapportering af potentielle problemer, og kan lette kommunikation så både interessenter og deltagere føler sig hørt uden at evaluatoren påvirker implementeringen direkte.
Argumenter for integration: muliggør tæt integration af procesdata i outcomes-data og sikrer, at relevante procesmål kan tilføjes i outcomes-indsamlingen; mindsker duplicering af målinger og reducerer belastningen for deltagerne; muliggør at dataindsamlingen hurtigt tilpasses efter behov og at midlertidige processer kan informere dataindsamlingen samtidig.

Udvælgelse af metoder og dataindsamling

Figur 3 i artiklen viser en række datakilder og analysemetoder, der ofte anvendes i proces-evaluering af komplekse interventioner. Generelt kræver sådanne evalueringer en kombination af kvantitative og kvalitative metoder, hvor vægtningen af hver tilgang afhænger af fasen i evalueringen og den eksisterende evidens. Ved feasibility og piloting bruges ofte grundlæggende kvantitative mål for implementering i kombination med dybdegående kvalitative data for en detaljeret forståelse af, hvordan interventionen fungerer på mindre skala. I effektstudierne prioriteres ofte kvantitative procesmål til at teste hypotheser om mekanismer og kontekstuelle moderatorer, men kvalitative data kan stadig være nyttige til at forstå ændringer i implementeringen og uventede veje. Vigtige overvejelser inkluderer sampling og timing: man bør undgå at interviewe alle implementatorer eller observere i alle steder og i stedet vælge strategisk prøver og tidsraster, der giver mening i forhold til forskningsspørgsmålene. Eksempelvis i NERS-process-evalueringen brugte man strukturerede observationer af patient-konsultationer for at vurdere fidelity og dose, og udnyttede rutinemæssige monitoreringsdata til at vurdere reach. Kvantitative målinger af psykiske mekanismer, såsom motivation og selvtillid til motion, blev indsamlet som en del af forsøget, og kvalitative interviews blev gennemført med patienter, motionsprofessionelle, koordinatorer og sundhedsprofessionelle for at forstå implementeringsudfordringer og hvordan NERS blev oplevet i praksis. Analyse af processdata bør begynde med beskrivende statistikker af fidelity, dose og reach, og integration af disse data i outcomes-datasættet hjælper med at forklare tids- og kontekstforskelle i effektstørrelser. Når kvalitative data bruges til at forklare eller generere hypoteser, kan dataene anvendes iterativt og i kombination med kvantitative analyser for at undersøge mekanismer og kontekstuelle forhold.

INCLUSIVE- og andre konkrete eksempler

Et eksempel er INCLUSIVE-projektet, der sigtede mod at reducere mobning og forbedre elevers sundhed gennem restituerende praksisser i hele skolen. Logikmodellen byggede på Markham og Aveyards teori om menneskelig funktion og skoleorganisation, som foreslår at sundhedsfordele bliver medieret af elevers tilknytning til skolefællesskabet og deres engagement i læring. Dette førte til målbare mellemtilstande som forpligtelse og tilhørsforhold. Denne tilgang illustrerer, hvordan en logikmodel kan guide valg af indikatorer og dataindsamling gennem hele studiet. Læringen fra tidligere proces-evalueringer i Wales’ nationale ordning for motionsreferral viste vigtigheden af at indsætte mekanismer og context som centrale forklaringsfaktorer, og at procesdata kan og bør bruges til at informere systematiske oversigter senere. Brug af konsistente data og metoder på tværs af lignende interventioner muliggør bedre sammenlignelighed i future systematiske reviews.

Identifikation af centrale forskningsspørgsmål og behov for fleksibilitet

Selvom det er vigtigt med klar fokus fra starten, bør proces-evalueringer være åbne for emergente spørgsmål, især i komplekse interventioner, hvor uforudsete faktorer ofte spiller en rolle. En systematisk tilgang involverer at identificere de mest væsentlige kausale antagelser i interventionens manual eller logiske model og vurdere evidens for dem gennem litteratur, interessentinddragelse og samarbejde i evalueringsgruppen. I kraft af kompleksitet er det ofte nødvendigt at tilpasse spørgsmål og metoder undervejs og have tilstrækkelige ressourcer til at adressere vigtige, hvis uventede spørgsmål opstår.

Dokumentation og rapportering

Rapporteringsretningslinjer for sundhedsvidenskabelig forskning (EQUATOR-netværket) er relevante, men proces-evalueringer er særligt udfordrende, fordi de varierer meget i design og dataindsamling. Det er nyttigt at beskrive relationerne mellem kvantitative og kvalitative komponenter, relationen af proces-evalueringen til andre evalueringer (f.eks. effekt- eller omkostningseffektivitet), og at rapportere antagelser om hvordan interventionen virker (ideelt gennem en logisk model) og hvordan dette informerede forskningsspørgsmål og metoder. Ofte vil en proces-evaluering føre til flere artikler; derfor bør hver publikation tydeligt sættes i relation til evalueringens samlede arkitektur, og der bør inkluderes referencer til protokol- eller samlet rapport, der samler alle dele. Desuden understreges vigtigheden af at formidle resultater også til ikke-akademiske interessenter gennem forståelige lay-oversigter, især til beslutningstagere og praktikere.

Praktisk betydning for eksamen og anvendelse

Denne ramme giver en struktureret tilgang til at forstå hvorfor effektstørrelser i en trial ikke nødvendigvis giver hele historien om, hvordan interventionen virker i praksis. Ved at koble implementering, mekanismer og kontekst kan man evaluere hvilke dele af interventionen der virker, i hvilke kontekster, og hvorfor, hvilket er afgørende for at designe mere effektive og robuste offentlige sundhedsprogrammer fremover. Specifikke begreber og nøgleord du bør kunne forklare og anvende inkluderer fidelity, dose, reach, mekanismer, kontekst, logisk model, data-integrationsstrategier og forskel mellem separated og integrated evalueringsmodeller. Derudover bør du kunne diskutere hvordan man planlægger, designer, gennemfører og rapporterer en proces-evaluering i praksis og hvordan man bruger funnene til at informere beslutningstagere og implementeringsplaner.

Formeloversigt til hukommelse

Kjernemodel: I
ightarrow M
ightarrow O med kontekst C som modererende faktor. Implementering påvirker Fidelity, Dose og Reach, som igen former M og slutteligt O.
Overordnet sammenkobling: O = f(M, C) ext{ og } M = g(I, F, D, R), hvor alle termer er definerede som beskrevet over.