RAMESES II: Realistiske evaluerings-rapporteringer – detaljerede studie-noter (Dansk)

Baggrund og formål

Realistisk evaluering er en teori-drevet evalueringsform, der bygger på en realistisk videnskabsteori. Den søger at besvare spørgsmålene ‘hva fungerer, for hvem, under hvilke omstændigheder, og hvordan’ og er særligt udbredt inden for sundhedssektoren og andre felter, hvor komplekse interventioner står på spil. Realistiske evalueringer adresserer, hvordan og hvorfor et program virker forskelligt i forskellige kontekster, og hvorfor overførsler mellem kontekster ikke altid giver ens resultater. En central idé er, at sociale systemer har realøkseffekter, og at mennesker reagerer forskelligt i forskellige situationer. For at forstå, hvordan et program kan give forskellige resultater, undersøges hvordan programmekanismer udløses i bestemte kontekster. Woolden sammenhængen kan udtrykkes som Context + Mechanism = Outcome, hvor mekanismer refererer til ændringer i deltagernes tænkning og adfærd som reaktion på ressourcer eller reguleringer i konteksten. Et grundlæggende udsagn er, at programmer virker forskelligt i forskellige situationer, hvilket gør direkte nedarvning mellem steder uigennemførlig uden tilpasning. Teorier om, hvad der får ændringer til at ske, antager at programmer er ‘teorier indkarnede’, dvs. når et program designes er det underbygget af teoretiske antagelser om forandring, som evaluatoren gør eksplicit ved at udvikle hypoteser om, hvordan og for hvem, til hvilken grad og i hvilke kontekster et program måske vil ‘virke’. Data i realistiske evalueringer bør muliggøre testning af disse hypoteser og dermed understøtte konstruktion af Kontext-Mechanism-Outcome (CMO) konfigurationer. Elicitering, forfining og testing af CM konfigurationer giver en dybere forståelse af hvem, i hvilke omstændigheder og hvorfor programmet virker. RAMESES II-projektet indsamler og udvikler rapporteringsstandarder og tilhørende træningsmaterialer, der er frit tilgængelige via www.ramesesproject.org. Realistiske evalueringer har særlige implikationer for design og rollefordeling: i stedet for at sammenligne grupper, der deltog med dem der ikke deltog, sammenlignes CMOs inden for programmer eller på tværs af implementeringssteder for at undersøge, om programmet virker mere eller mindre godt i bestemte lokaliteter eller for bestemte deltagere.

Metode og udvikling af standarderne

RAMESES II-standarden blev udviklet gennem en bevidst udvalg af eksperter i realistiske evalueringer via en online Delphi-undersøgelse. Materialerne til Delphi-deltagerne blev udarbejdet ved at sammenfatte den nyeste litteratur om realistiske evalueringer for at identificere, hvordan rigor blev demonstreret, og hvor der mangler ekspertise og rigor. Ud fra projektteamets diskussioner blev en liste over kvalitetsrelaterede spørgsmål udarbejdet og derefter delt med paneldeltagerne. De blev bedt om at vurdere potentielle items to gange på en 7-punktet Likert-skala - én gang for relevans og én gang for validitet. Frie tekstkommentarer blev også opfordret. Paneldeltagerne blev inviteret til tre runder mellem juni 2015 og januar 2016, og responsraterne blev 94 %, 76 % og 80 % i de tre runder. Resultatet var enighed om 20 items, der skulle inkluderes i rapporteringsstandarderne for realistiske evalueringer. Panelet omfattede 35 medlemmer fra 27 organisationer i seks lande og fem forskellige fagområder, herunder sundhedssektor, offentlig policy og andre samfundssektorer.

Hovedresultater og konklusioner

Standarden er baseret på en kombination af eksisterende publikationer, metodologiske publikaitoner og feedback fra et bredt konsortium af eksperter. Målet er at øge gennemsigtigheden, konsistensen og rigor i rapporteringen af realistiske evalueringer og gøre rapporterne mere tilgængelige og brugbare for forskellige interessenter. Standarden er ikke en komplet guide til gennemførelse af realistiske evalueringer; den supplerer eksisterende metoder og kan udvikles over tid, efterhånden som teorier og metoder udvikler sig. Brugere opfordres til at anvende standarderne fleksibelt og supplere med velfunderet professional vurdering, især hvor ordlyd eller kontekst kræver tilpasninger. For at måle accept og nytte af standarderne vil der sandsynligvis være behov for yderligere evaluering i fremtiden.

RAMESES II: Rapporteringsstandarder for realistiske evalueringer – 20 centrale items

Item 1: Titel

I titlen skal dokumentet identificeres som en realistisk evaluering. Eksempel: “How do you modernize a health service? A realist evaluation of whole-scale transformation in London.” Forklaring: Realist evaluation er en specifik teoretisk og metodisk tilgang og bør derfor tydeligt mærkes i titlen for at lette søgning og klassificering. Inkludering af ordet ‘realistisk evaluering’ som et nøgleord øger tilgængeligheden og søgemulighederne for beslutningstagere og forskere.

Item 2: Resumé eller abstract

Artikler kræver typisk et abstract; rapporter og andre publikationer har fordel af en kort opsummering. Dette afsnit skal give detaljer om: programmet/initiativet under evaluering, kontekst og indstillinger, evalueringsformål, evalueringsspørgsmål/objektiver, evalueringsstrategi, dataindsamling og analysemetoder, nøglestykker og konklusioner. Det skal også angive at en realistisk tilgang og programteori har været udviklet eller forfinet. Forklaring: Abstractet giver beslutningstagere og læsere en hurtig vurdering af relevans og realistisk tilgang og giver mulighed for at skelne realistiske evalueringer fra andre typer evalueringer.

Item 3: Begrundelse for evalueringen

Forklar formålet med evalueringen og de implikationer for fokus og design. Eksempel: Dette studie viser, hvordan realistisk evaluering hjælper med at tænke i komplekse systemer i sundheds-evalueringer og at forskellige kontekster og mekanismer interagerer for at producere resultater. Forklaring: Realistiske evalueringer kan bruges til mange formål – udvikling af design, forståelse af variation i implementering og effekt, og beslutningsstøtte til forbedring og skalering. Detaljer om formål og kontekst bør beskrives i baggrundsafsnittet.

Item 4: Programmteori

Beskriv den initiale programmteori (eller teorier) som understøtter programmet/initiativet. Eksempel: Den primære teori involverer, at facilitering af diskussioner om evidens og fælles interesse vil øge forståelsen og anvendelsen af evidens i praksis, hvilket fører til ændringer i praksis. En sekundær teori beskriver samarbejde mellem partnere og opbygning af tillid, som senere kan føre til videre kontakt og samarbejde. Forklaring: Realistiske evalueringer søger at beskrive og forklare hvordan og hvorfor programmet forventes at forårsage ændringer i bestemte kontekster gennem specifikke mekanismer. Forfinelse af teori gennem evalueringens forløb er central og bør dokumenteres tydeligt. Overvej diagrammer for at vise teorien.

Item 5: Evalueringsspørgsmål, mål og fokus

Angiv evalueringsspørgsmålet og specifiser evalueringens mål. Beskriv om og hvordan programmets teori blev anvendt til at definere evalueringsomfanget og fokus. Forklaring: Realistiske evalueringsspørgsmål bør afspejle elementer som “hvad virker, hvordan, hvorfor, for hvem, i hvilken grad og under hvilke omstændigheder, og i hvilken henseende?”. Evalueringsomfanget bør afklares i forhandling med opdragsgivere og interessenter, og programteoriens rolle i bestemmelsen af omfanget bør beskrives. Hvis formål/omfang ændres under forløbet, bør dette rapporteres.

Item 6: Etikgodkendelse

Angiv om realistiske evalueringer kræver og har fået etisk godkendelse fra relevante myndigheder, og giv detaljer. Hvis godkendelse ikke var nødvendig, forklar hvorfor. Forklaring: Realistiske evalueringer involverer ofte mennesker; derfor kan forskellige etiske standarder gælde. Behovet for fleksibilitet i godkendelser i lyset af forandringer under evalueringens forløb bør nævnes.

Item 7: Begrundelse for anvendelse af realistisk tilgang

Forklar hvorfor realistisk evalueringsmetode blev valgt og eventuelt tilpasset. Eksempel: Realistisk tilgang er særligt velegnet, fordi programmer virker forskelligt i forskellige kontekster og mekanismer udløses af kontekstuelle betingelser. Det kan være særligt relevant i Community-Based Participatory Research og komplekse samfundsinterventioner. Forklaring: Positionér den realistiske tilgang i forhold til filosofien om videnskab og forklar, hvornår den ikke er lige passende. Beskriv tilpasninger og eventuelle kombinationer med andre tilgange.

Item 8: Miljøet omkring evalueringen

Beskriv miljøet, hvor evalueringen foregik. Eksempel: Beskrivelse af locationer, policy-landskabet, interessenter, servicestruktur, finansiering og tidsramme. Forklaring: Denne kontekstuelle orientering hjælper læseren med at forstå faktorer, der påvirker evaluandens gennemførelse og resultater, uden at erstatte den egentlige kontekstuelle forklaring i CMOs.

Item 9: Beskriv program, politik eller produktet der evalueres

Giv relevante detaljer om programmet, politikken eller initiativet. Eksempel: En integreret plejevej (ICP) i en semierural region i England, som kræver register og tværfaglig ledelse for at forbedre palliativ pleje. Forklaring: Gennem en detaljeret beskrivelse af evaluanden sikres kontekst og relevans for at kunne analysere CMOs.

Item 10: Beskriv og retfærdigér evalueringsdesignet

Giv en beskrivelse og begrundelse for evalueringsdesignet i hovedrapporten eller i et vedhæftet protokol-dokument. Eksempel: CLAHRC-tilgangen som realistisk evaluering. Forklaring: Realistiske evalueringers design kan afvige væsentligt fra andre evalueringsmetoder; forbered en tydelig redegørelse for formål, omfang og design og angiv, hvis protokollen ændres for at bevare gennemsigtighed. Diagrammer kan hjælpe til at illustrere overordnet struktur og faktorer, der påvirker designet.

Item 11: Dataindsamlingsmetoder

Beskriv og begrund dataindsamlingsmetoder – hvilke metoder der blev brugt, hvorfor og hvordan de bidrog til udvikling, støtte, afvisning eller forfining af programteorien. Forklaring: Realistiske evalueringer kræver varierede data for at kunne analysere CMOs. Triangulering og dokumentation er vigtig. Beskriv værktøjer og processer detaljeret og forklar, hvordan instrumenter kan tilpasses realistisk analyse.

Item 12: Rekruttering og prøvestrategi

Beskriv hvordan respondenter blev rekrutteret og hvordan udvalget bidrog til udvikling eller test af programteorien. Forklaring: Udvælgelse skal sikre adgang til informanter, der kan give information om kontekst, mekanismer og resultater, således at data kan understøtte forfinelsen af programteorien.

Item 13: Dataanalyse

Beskriv i detaljer hvordan data blev analyseret. Inkluder hvilke konstruktioner der blev identificeret, processen for analyse, hvordan programteorien blev videreudviklet, og hvordan analysen ændrede sig under evalueringens forløb. Forklaring: Analysen i realistiske evalueringer er iterativ og ofte tværfaglig; forklar hvordan data bidrager til CMO-konfigurationer og til tværgående sammenhænge mellem konfigurationer.

Item 14: Detaljer om deltagere

Rapporter hvem der deltog (hvis relevant), hvilke data de gav, og hvordan dataene blev brugt til at udvikle, støtte, afvise eller forfine programteorien. Eksempel: 23 interviews fordelt på forskellige ledelsesniveauer; køn, anciennitet og formel uddannelse er angivet. Forklaring: Deltagernes bidrag udgør en vigtig informationskilde til CMOs og til inferences om kontekst og mekanismer.

Item 15: Hovedfund

Præsenter nøglefundene og binding dem til CMOs. Vis hvordan fundene blev brugt til at udvikle, teste eller forfine programteorien. Forklaring: Realistiske evalueringer fokuserer på forklaringer frem for blot beskrivelser og bør tydeliggøre, hvordan konklusioner er forbundet med data og CMOs.

Item 16: Sammenfatning af resultater

Sammenfat hovedfundene med fokus på evalueringsspørgsmål, formål, programteori og tiltænkt målgruppe. Forklaring: Holdningen er, at resultater bør være klare og afstemme med den realistiske forklaring af CMOs og deres effekter. Ofte kan dette kombineres med konklusion og anbefalinger.

Item 17: Fordele, begrænsninger og fremtidige retninger

Diskuter både styrker og begrænsninger ved evalueringen og realistisk metode. Overvej hvordan fundene påvirker fremtidig praksis og design. Forklaring: Realistiske evalueringer kan have særlige udfordringer ved at måle mekanismer (ofte ikke direkte observerbare) og relationerne mellem kontekst, mekanismer og resultater. Vigtige overvejelser inkluderer hvordan ændringer i design eller processer påvirker resultaterne og hvilke implikationer det har for fremtidige evalueringer.

Item 18: Sammenligning med eksisterende litteratur

Hvis relevant, sammenlign og kontraster fund med eksisterende litteratur om lignende programmer eller initiativer. Forklaring: Sammenligning kontekstualiserer fund og hjælper læsere med at forstå bidraget til det eksisterende vidensfelt og eventuelle forskelle i mekanismer under forskellige kontekster.

Item 19: Konklusion og anbefalinger

List de vigtigste konklusioner og, hvis relevant, anbefalinger i overensstemmelse med realistisk tilgang. Eksempel: Velfærdsudvikling og organisationsforandringer har større sandsynlighed for succes under bestemte kontekstuelle betingelser, og anbefalinger bør afspejle disse forhold og være tilpasset lokale forhold. Forklaring: Anbefalinger bør være konsistente med de fundne mekanismer og kontekstuelle forhold, snarere end generelle på tværs af alle miljøer.

Item 20: Finansiering og interessekonflikter

Angiv finansieringskilde til evalueringen, rolle spillet af finansiereren og eventuelle interessekonflikter hos evaluatorerne. Forklaring: Finansieringskilder og interesser kan påvirke spørgsmål, metoder, analyse og konklusioner; gennemsigtighed hjælper læsere med tolkningen. Hvis publikation kræver særlige retningslinjer fra forlæggeren, følg disse.

Diskusion og anvendelse af standarderne

Disse rapporteringsstandarder er udarbejdet gennem en kombination af eksisterende publikationer, metodologiske arbejder og feedback fra et bredt Delphi-panel, samt input fra et netværk og træningssessioner. Målet er at øge gennemsigtighed, konsistens og rigor i rapporteringen af realistiske evalueringer og at gøre rapporterne mere tilgængelige for beslutningstagere og andre interessenter. Standarden er ikke en detaljeret gennemgang af, hvordan man udfører en realistisk evaluering; den supplerer andre ressourcer og kan tilpasses i takt med, at feltet udvikler sig. Gennem implementeringen forventes standeren at blive revideret og forbedret over tid. For at sikre anvendeligheden bliver der opfordret til at supplere med online bilag eller filer, hvis ordlyd eller plads begrænser fuld redegørelse. Kontinuerlig feedback fra brugere og forskere vil være afgørende for forbedring af RAMESES II-standardenes anvendelighed.

Mulige konsekvenser og fremtidige skridt

RAMESES II-projektet lover at fortsætte udviklingen af træningsmaterialer, kvalitetssikringsstandarder og yderligere revideringer gennem internetbaserede netværk og bredere kommunikation med forskere, beslutningstagere og fundere. Den videre udvikling vil sandsynligvis inkludere evaluering af standardernes anvendelighed og deres indflydelse på rapportkvalitet og reproducibilitet af realistiske evalueringer. Acknowledgement og reference-øjeblikke: Projektet blev støttet af NIHR Health Services and Delivery Research-programmet, og flere bidragydere og eksperter er anerkendt for deres input.

Afsluttende bemærkninger

Disse rapporteringsstandarder for realistiske evalueringer er afledt af en række kilder og erfaringer og er designet til at være ikke-disciplinært og anvendelige for brugere på tværs af områder. Transparens i beskrivelser af hvordan kontekster, mekanismer og resultater hænger sammen, og hvordan inferenser er udledt, er nøglen til at læse og anvende disse standarder på en meningsfuld måde. Det er vigtigt at understrege, at disse standarder primært fokuserer på rapportering og ikke en komplet guide til gennemførelse; hvis et punkt ikke er inkluderet i en given rapport, bør der gives en begrundelse.

Karakteristika ved CMO-konfigurationer og analytisk fokus

En grundlæggende idé i realistiske evalueringer er, at mekanismer er underliggende kognitive eller affektive responser hos deltagere til ressourcer eller ændringer i konteksten. Den analytiske enhed er derfor CMO-konfigurationen, og evaluatoren arbejder med at elicere, teste og refinere disse konfigurationer. I rapporteringen er det vigtigt tydeligt at angive, hvilke elementer der udgør kontekst (C), hvilke der udløser mekanismer (M) og hvilke der resulterer i bestemte outcome (O). Ofte vil outputs være dissesanderet og præsenteret for forskellige grupper og under forskellige betingelser for at forklare variation i resultaterne. Desuden kan data og konklusioner overordnet deles op i forskellige kilder, og i mange tilfælde kræver robust konklusion en triangulering af data for at støtte påstande om CMOs.

Praktiske bemærkninger og fleksibilitet i anvendelse

Rapporteringsstandarderne er ikke en fuldstændig metodevejledning for gennemførelsen af realistiske evalueringer. Afhængige af evalueringens formål og publikeringskrav kan rækkefølgen af afsnit variere, og ikke alle items behøver at være nødvendige i alle rapporter. Hvis et item udelades, bør der gives en begrundelse. For at sikre forståelse og brugbarhed er der angivet eksempler og rationale efter hvert item. Den endelige anvendelse af standarderne kræver skøn og kontekstforståelse fra evaluatoren, journalister og beslutningstagere. Anvendelsen af disse standarder forventes at bidrage til større ensartethed og gennemsigtighed i realistiske evalueringer og deres anvendelse i praksis.

Eksempler og referencer

Standarderne bygger på en række publikationer og ressourcepersoner nævnt i referencerne til RAMESES II-projektet, herunder Pawson og Tilley’ realistiske evaluering, og tidligere RAMESES-udgivelser om realistiske synteser og rapporteringsstandarder. Projektet understreger betydningen af åbenhed omkring etiske forhold, dataindsamling og analyse og opfordrer til brug af bilag og online-ressourcer til supplerende information, så beslutningstagere og læsere kan vurdere troværdigheden og relevansen af evalueringen. Afgørende er at give en gennemsigtig og velunderbygget argumentation for konklusioner og anbefalinger, baseret på CMOs og deres kontekstuelle forudsætninger.