Noter til Roger's artikel om programteori, komplicerede og komplekse interventioner

Baggrund og formål

Denne note gengiver Patricia J. Rogers’ artikel om brugen af programteori til evaluering af dele af programmer, der er enten komplicerede eller komplekse. Artiklen hævder, at der er nyttige distinktioner mellem det, der er kompliceret, og det, der er komplekst, og den giver eksempler på programteori-evalueringer, der på meningsfuld vis repræsenterer og adresserer begge typer udfordringer. Den trækker på Glouberman og Zimmermans tilgang til forskellen mellem det, der er kompliceret (mange komponenter) og det, der er komplekst (emergent). Andetsteds udtrykkes det, at en “kompliceret” programteori kan bruges til interventioner med mange komponenter, mange agenturer og/eller mange samtidige eller alternative kausale strømme, mens en “kompleks” programteori kan bruges til at repræsentere rekursive kausale relationer (med forstærkende løkker), forhold, der viser en tipping point, og emergente udfald. Artiklen giver også eksempler på evalueringer, som ikke blot laver en mere rodet logikmodel, men som adresserer specificerede komplekse eller komplicerede aspekter gennem forskellige typer modeller og anvendelser.

Nøglebegreber og terminologi

Programteori, også kaldet programlogik, teorigennemførsel i evaluering (theory-based evaluation) eller teori om forandring, refererer til metoder til at udvikle en kausal model, der kobler input og aktiviteter til en række forventede eller observerede resultater, og senere bruge denne model til at styre evalueringen. I denne tekst bruges “logikmodel” til at beskrive den sammenskrevne teori om, hvordan interventionen virker (typisk som diagram), mens “programteori-evaluering” refererer til processen med at udvikle en logikmodel og anvende den i evalueringen. Mange tilgange har fokuseret på simple, lineære modeller, men der er også undersøgelser af, hvordan ikke-lineære modeller kan bruges til bedre at repræsentere programmer og vejlede evalueringer. Artiklen nævner, at nogle evaluators har inkorporeret begreber fra kompleksitet i deres diskussion og anvendelse af logikmodeller, f.eks. Barnes, Davies, Douthwaite, Pawson, Sanderson, Stame, men med forskellige fortolkninger og fokusområder.

En central del af rammen er tre-delt klassifikationen af problemer: Simple, Complicated og Complex. Dette bruges som et orienterende framework snarere end som en fast beskrivelse af hele interventionen. En simpel intervention følger en udskrevet “opskrift”; en kompliceret intervention består af mange dele og kræver specialiseret viden, men har en forståelig og gengivelig kausalsti; en kompleks intervention er kendetegnet ved usikkerhed, emergens og ofte uforudsigelige resultater, hvor små ændringer kan have store effekter gennem feedback og årvågen tilpasning. Denne distinktion anvendes til at præcisere hvilke typer logikmodeller og evalueringsstrategier der passer til forskellige interventioner.

Simple Logic Models vs. Komplicerede og Komplekse tilgange

Ifølge Rogers er simple logikmodeller ofte lineære og opstiller en enkelt vej fra inputs til outputs og impact. De giver tydelig guidning til implementering og variable for evaluering, men bærer væsentlige risikoer: de kan overskønne den kausale rolle af interventionen ved at udelade implementeringskonteksten, samtidige programmer og klientkarakteristika; de kan fremme målforvridning (goal displacement), hvor målene er nået på papiret, men ikke i praksis. Simple modeller er også mere tilbøjelige til at repræsentere en enkelt teori om forandring, hvilket kan ignorere forskellige interessenters synspunkter om hvilke resultater der er ønskelige og hvordan de opnås. Overgangen til mere komplekse eller komplicerede modeller anbefales derfor i situationer, hvor interventionen ikke er homogent kontrollerbar eller forudsigelig.

I modsætning hertil passer komplicerede logikmodeller til interventioner med flere komponenter, hvor der er behov for at synliggøre og dokumentere flere kausale veje og/eller at sammenkoble aktiviteter på tværs af organisationer og geografi. Artiklen understreger tre aspekter af manipulation under komplication: (1) styring og placering – at interventioner kan være fordelt over flere governance-strukturer eller sites; (2) samtidige kausale strenge – der kan være mere end én vigtig kausal sti, som må dokumenteres samtidig; (3) alternative kausale strenge – forskellige veje, der virker i forskellige kontekster og sammenhænge. Eksempler inkluderer multilokal bekæmpelse af river blindness (onchocerciasis) i Afrika gennem et partnerskab af nationalstater, internationelle sponsorer og private aktører, hvor den kausale sti er kendt, men implementeringen er kompleks og varieret mellem jurisdiktioner. Samme tilgang anvendes i andre sager, hvor to eller flere kausale strenge er nødvendige for interventionens succes, og hvor alternative strenge kan være kontekstafhængige eller afhængige af forhold uden for den primære mekanisme. Her kan logikmodeller tegnes således, at de viser flere nødvendige stier, og evalueringer indsamler data for at dokumentere og understøtte begge/alle stier.

Fem nøgleaspekter af komplikation og kompleksitet i interventioner

Table 2 i artiklen identificerer fem aspekter af interventioner og giver en angivelse af, om de er “komplicerede” eller “komplekse” med hensyn til evaluering: 1) Governance og placering: ofte komplikeret, fordi der involveres flere agenturer og cross-jurisdictional samarbejde, 2) Simultane kausale strenge: flere forudsætninger/stier, der skal ske samtidig for succes, 3) Alternative kausale strenge: forskellige mekanismer, der virker i forskellige kontekster, 4) Ikke-linær kausalitet: feedback-loop og forstærkende mekanismer kan føre til tipping points og disproportionerede effekter, 5) Emergent outcomes: resultaterne kan være emergente og ikke forudidentificerede, hvilket gør forud-planlægning og sammenligning udfordrende. Hvert af disse aspekter kræver specifikke logikmodel-udformninger og evalueringsstrategier for at kunne dokumentere og vurdere interventionens virkning præcist. Sagt kort viser modellen, at kompleksitet ikke nødvendigvis betyder, at alt er uforståeligt; i stedet bør evalueringen afpasses til at tilpasse sig de konkrete aspekter af komplikation og kompleksitet, der er til stede.

Metode og tilgang i Rogers’ analyse

Rogers beskriver en tre-trins søgeproces for at identificere, hvordan disse aspekter er adresseret i program-teori-evalueringer: en tekstbaseret søgning efter udtryk som “program theory” og “complexity/complex”, en visuel søgning af billeder online (fx logikmodeller og koncepter) og gennemgang af yderligere eksempler fra forfatterens egne evalueringsprojekter. Eksemplerne er tiltænkt som illustrerende og ikke som ”bedst praksis”. Målet er at vise en tilgang, hvor man ikke blot gør logikmodeller mere rodede, men hvor man ved, hvornår det er nødvendigt at forenkle, og hvornår og hvordan man kan tilføje kompleksitet.

Simple Logic Models og deres begrænsninger

En af de mest udbredte måder at beskrive interventioner på er i form af en enkelt, lineær kæde af inputs–aktiviteter–produkter–outcomes–impact. Kellogg Foundation’s logikmodel (Figur 1) bliver brugt som eksempel. Statslige evalueringer har vist, at sådanne modeller kan være passende for nogle meget veldefinerede, tætte og homogene interventioner, men at de også bærer risici: de udelader implementeringskontekst, samtidige programmer og klientkarakteristika, hvilket kan føre til overdrevet vurdering af interventionens kausale bidrag og mindre nyttige konklusioner til replikation. Derudover kan fokus på mål og målstyring føre til “goal displacement”, hvor target-målepunkter opfyldes, men de overordnede formål undermineres. Endvidere kan simple logikmodeller ofte repræsentere en enkelt teori om forandring, hvilket ikke nødvendigvis afspejler diverse interessenters syn på, hvilke resultater der er ønskværdige og hvordan de opnås. Disse begrænsninger gør, at enkle modeller kan være egnede til visse kontrollerede eller homogene aspekter, men ikke generelt for komplekse sociale interventioner.

Komplicerede logikmodeller

Tre typer af komplikationer er identificeret og diskuteret som eksempler i praksis: Governance og placering (interventioner gennem flere agenturer, tvær-jurisdictional implementering); Simultane kausale strenge (flere vigtige kausale veje, der må dokumenteres samtidig); Alternative kausale strenge (forskellige mekanismer, der virker i forskellige kontekster). Det understreges, at logikmodeller til komplication ofte kan være en samlet model, hvor data indsamles separat for hvert område og aggregeres senere. Eksempler inkluderer World Bank’s internationale indsats mod river blindness (onchocerciasis) siden 1974, hvor mange lande og sponsorer var involveret, men der var en klar forståelse af kausalpaths. En anden dimension er vigtigheden af at demonstrere samtidige eller alternative stier i evalueringen, så man ikke overser vigtige dele af interventionen, som ellers bliver udvandet eller forkert repræsenteret. Denne del af analysen viser, hvordan komplekse Komplicerede logikmodeller kræver praksisser, der afspejler multi-site og multi-governance realiteter samt multiple kausale strenge, uden nødvendigvis at sprænge modellen i rodet.

Komplekse interventioner og logikmodeller

To centrale aspekter af kompleksitet er: (1) rekursiv kausalitet og tipping points, og (2) emergente udfald. Patton (1997) beskriver, at relationerne mellem led i en kausal kæde ofte ikke er lineære, men rekursive og interaktive; højere niveauers mål kan påvirke lavere niveauer og omvendt gennem feedback og konfigurationer. Nogle interventioner kan have en eller flere virtuelle cykler, hvor en tidlig succes skaber forhold, der muliggør yderligere succes. Tipping points opstår, når en lille ekstra indsats eller et bestemt niveau fører til store effekter. Batterham et al. (1996) foreslår, at visse tilstande kan være tærskler, der gør resultaterne mere bæredygtige og muliggør videre forbedring. For at illustrere dette kan logikmodeller anvendes med annotationsforklaringer, særligt når det gælder kommunikation til staff eller andre myndigheder og beslutningstagere. Emergence er en af de mest udfordrende dimensioner ved komplekse interventioner: specifikke udfald og veje til opnåelse udvikler sig under implementeringen. Regine og Lewin beskriver komplekse adaptive systemer som sammensat af mange aktører, der interagerer og skaber nyt systemadfærd, som konstant tilpasses miljøet. I sådanne situationer anbefales ofte en mere fleksibel teori om forandring og evalueringsdesign, der kan udvikles sideløbende med interventionen og justeres efterhånden som planer ændres. Når interventioner er komplekse og involverer flere steder og aktører, kan det være nødvendigt at have fælles rammer, der kan rumme lokale tilpasninger og samtidig muliggøre horisontal og vertikal syntese. Emergent evaluation og multi-stakeholder-dialoger (f.eks. Good Future Dialogue) er eksempler på metoder, der understøtter en sådan tilgang, hvor deltagerne aktiverer emergente teorier og anvender dem i planlægning, ledelse og evaluering i realtid. En anden tilgang er netværksteori til at repræsentere heterarkiske relationer mellem organisationer, projekter og overordnede mål. Endelig foreslås det ofte, at man ikke nødvendigvis præsenterer én kausal model, men snarere også at formulere fælles principper eller regler, der kan vejlede emergent og responsiv strategi og handling. Eksemplerne inkluderer Riggan (2005) og CIRCLE (2006) med logiske modeller, der er brede nok til at rumme forskellige interessenters teorier om forandring og emergente resultater.

Interventioner, der er både komplicerede og komplekse

Den største udfordring opstår, når interventioner rummer både komplicerede og komplekse elementer: multi-site/ multi-level og samtidig emergente udfald. Barnes et al. (2003, 2004) beskriver forsøgene med Health Action Zones (HAZ), som begyndte med håbet om en tydelig teori om forandring, men oplevede at HAZ omfattede mindst syv dimensioner af kompleksitet: struktur (horisontale og vertikale partnerskaber), tidsmæssige krav (langtidsmål med behov for kortsigtede resultater), omfang (fokus på katalytisk organisatorisk forandring), flere interessenter med forskellige perspektiver, forskellige teorier om forandring på tværs af projekter, procedurale begrænsninger og et problemområde (sundhedsforskel) med mange og konkurrerende årsager. De konkluderede, at flere teorier måtte artikuleres for de forskellige processer og relationer i forandringen, og at anvendelsen af en entydig “teori om forandring” blev metodologisk og teoretisk sårbar. Ligeledes konkluderede Kankare (2004) i evalueringen af ESF i Finland, at kompleksiteten voksede og reducerede gennemsigtigheden, hvilket gjorde evalueringer fokuseret på outputs (f.eks. netværk og innovation) frem for deres kobling til reduktion af arbejdsløshed. Til gengæld fremhæver Douthwaite et al. (2003a, 2003b) og andre eksempler, hvordan komplekse processer som vidensudveksling og innovation i landbrugsudvikling kræver integrerede tilgange og iterative logikmodeller, der kan tilpasses flere sites og lokale forhold. En kendt case er Striga-management i sub-Saharan Afrika, hvor et integreret naturressourcehåndteringsprogram blev evalueret ved hjælp af en logikmodel, der var fulgt med iterationer mellem landsbyer og forskere; her illustrerer figuren 3 en overordnet teori om forandring med gentagende opbygning og anvendelse af viden. Denne tilgang understreger, at forståelse og evaluering i komplekse situationer kræver løbende tilpasning og gensidig læring mellem aktører. Endvidere diskuteres den teoretiske dimension af vertikal kompleksitet (Stame) i EU-programmer og hvordan lokal evaluering ikke automatisk informerer om effekterne af overordnede programmers virkninger. Riggan (2005) og andre viser, hvordan komplekse programmer kan have mere fleksible logikmodeller, der afspejler forskellige interessenters teorier om forandring og vægter samarbejdet mellem aktører som en central del af programforløbet. Netværks- eller heterarkiske tilgange kan være særligt nyttige i sådanne sammenhænge, ligesom brugen af principbaserede rammer (f.eks. Eoyang og Berkas) kan støtte emergente strategier uden at låse dem i en enkelt årsag. Endelig bemærkes der, at for nogle projekter kan det være mere hensigtsmæssigt ikke at præsentere en kausal model overhovedet, men i stedet at fremhæve fælles principper eller spilleregler, der kan guide emergent og responsiv strategi og handling.

Hvordan programteori evalueres og anvendes i praksis

Artiklen fremhæver, at det ikke er tilrådeligt at bruge en detaljeret logikmodel som en facsimile af virkeligheden og som en ensartet kilde til præstationsmåling i komplekse interventioner. Evaluationsmetoder bør være kvalitative, kommunikerende, iterative og participatoriske, især i cluster- eller netværksbaserede programmer, hvor resultater ikke kan sammenfattes uden tab af information. Potter (2004) argumenterer for netværksbaserede evalueringer i byfornyelse i otte europæiske byer, hvor metoden bevæger sig mellem feltstudier af enkelte byer, case-analyser og tematiske analyser, med løbende reviews og reframing af gruppen. Arnkil et al. (2002) anbefaler emergent evaluation og multi-stakeholder-dialoger til at håndtere “glocalisation” og uklare mål, hvor deltagerne arbejder sammen i realtid for at udvikle og anvende emergente programteorier. En anden tilgang er at anvende emergent evaluering, hvor der ikke nødvendigvis søges konsensus om én fælles teori, men i stedet et løbende fokus på forskellige perspektiver og mulige veje. Gennem sådanne metoder kan man også bruge data som et fælles referencepunkt og samtidig stimulere læring og tilpasning i praksis.

Specifikke eksempler og figurer som illustrative referencer

Simple logic models (f.eks. Kellogg Foundation, Figur 1) illustrerer en standardiseret, lineær sti, der kan fungere som en introduktion til evaluering og implementering, men ofte ikke er tilstrækkelig til komplekse sociale programmer.
Simultan kausale strenge (Figur 2) i en helhedslogik for en mor-barn service viser behovet for at illustrere to (eller flere) kausale stier, der må arbejde parallelt og ikke i konkurrence med hinanden. Dette kan være afgørende for at dokumentere effekter og for at undgå, at en enkelt sti dominerer evalueringen.
Striga-logik-modellen (Figur 3) illustrerer, hvordan en kompleks intervention kan være iterativ og forhandle viden gennem åbenhed og samarbejde mellem landsbyer og forskere.
En logikmodel for et program med både komplekse og komplicerede aspekter (Figur 4, Riggan 2005) viser, hvordan man kan have et overordnet rammeværk, der samtidig tillader lokale tilpasninger og emergente resultater.
Netværkstænkning og emergent evaluation (Figur 5, CIRCLE 2006) viser, hvordan man kan balancere mellem styring og autonomi ved hjælp af simple regler, der guider systemet uden at kvæle innovation.

Praktiske implikationer og anbefalinger

Når interventioner er komplekse eller kombinerer komplekse og komplicerede elementer, bør evaluering ikke blot anvende en enkelt logikmodel som en universel målestok. I stedet bør evalueringerne være dialogbaserede, iterative og tilpasses det konkrete kontekstuelle landskab. Potters tilgang til cluster-evaluering og Arnkils emergent evaluation er eksempler herpå.
Emergent evaluation og “good future dialogue” er nyttige tilgange i situationer med glokalisering og uafklarede formål, hvor man søger at forstå og støtte fremtidig udvikling snarere end at måle i forvejen bestemte resultater.
For interventioner i komplekse systemer anbefales det at anvende fleksible logikmodeller, der kan udvikles sideløbende med projektet og justeres som planer ændrer sig. I nogle tilfælde kan det være passende at anvende netværksteori for at repræsentere relationer mellem organisationer og projekter i stedet for at forsøge at konstruere en enkelt lineær sti.
Det er vigtigt ikke at lade målene diktere handlingerne på bekostning af den indre kompleksitet og kontekst. Måleenheder bør være tilpassede de konkrete forhold og muliggøre både horizontale og vertikale synteser, så man kan erfare og forstå emergente resultater og læring undervejs.

Afslutning

Ifølge Rogers er usikkerhed og ambivalens i offentlig ledelse uundgåelige realiteter. Angst for uvished kan få ledere og evaluators til at søge en enkelt, rolig logikmodel, men det er ofte uforeneligt med de krav, som komplekse og følsomme interventionsmiljøer stiller. Artiklen opfordrer til at identificere og adressere de specifikke elementer af komplikation eller kompleksitet, der kræver særlige tilgange, og at bruge eksemplerne som en begyndende guide til praksis. I sidste ende handler det om at tilpasse evalueringsdesign til den virkelige verden: anerkende kompleksitet, men ikke nødvendigvis forsøge at gøre alting til enkle relationer eller én enkelt teori om forandring.

Kilder og videre læsning (centrale bud). Artiklen refererer til en bred vifte af forskere og projekter – f.eks. Glouberman og Zimmerman, Patton, Pawson, Weiss, Stame, Douthwaite, Riggan, Arnkil, Potter, Davies, Barnes, Eoyang og Berkas, samt konkrete programcases som river blindness (World Bank), Health Action Zones (HAZ), Striga-management og emergent evaluation-tilgange. Disse referencer giver en bred forståelse af, hvordan forskellige metoder kan kombineres for at håndtere både complication og complexity i praktiske evalueringer.

Note: Dette er et sammendrag og en tolkning af Rogers' artikel om brugen af programteori til evaluering af komplikation og kompleksitet i interventioner (Rogers, 2008).