Open Online Kurs Wirkungsorientierung

Wirkungsorientierung in der Sozialen Arbeit

Einführung

Wirkung

• durch eine verursachende Kraft bewirkt Veränderung

• Kausaler Mechanismus

• Stabilisierung einer Situation

Wirkpotential

hat die Maßnahme das Potential eine Wirkung zu erwirken

Qualitat

• eher Rückgriff auf quantitative Daten

• aus institutioneller Sicht

Nutzen

• eher Rückgriff auf qualitative Daten

• aus Sicht der Nutzenden

Input

• Ich gebe etwas rein (z. B. Arbeitszeit)

Output

• Eine Maßnahme findet statt, DAS was passiert und der Effekt.

Outcome

• Wirkungen auf Ebene der Klient:innen

Impacts

• auf Ebene der Gesellschaft

Wirkungsunterscheidungen

• positiv Vs. negativ

• intendiert vs. nicht-intendiert

• Maßnahmen-spezifische vs. externe Wirkungen

Wirkungsplausibilisierung

• Abgrenzung zum "Kausalen Zusammenhang”

• „Diskussion" über Wirkungszusammenhang

Bruttowirkung

wie war es vor vs. nach der Maßnahme

Nettowirkung

Abweichung zwischen der Veränderung mit/ohne Maßnahme

Wirksamkeit

• in Abgrenzung zur Wirkung

• Ausmaß der intendierten Wirkungen (also der Wirkungen die sich erhofft wurden)

Wirkungsorientierung

politische und gesellschaftliche Forderung nach der Hinwendung zu Wirkung Sozialer Dienste (Legitimationsdebatte)

fachliche Ebene

• Weiterentwicklung eigenen Handelns

• Aufbau Wissenskorpus

• Professionalisierung

Ethische Ebene

• Klient:in kann sich eine Maßnahme oft nicht aussuchen, daher sollte diese eine Wirkung für den*die Klient:in haben.

Legtimationsebene

• Bringschuld gegenüber dem Kostenträger

Entscheidungsebene

• Wirkungen unterstützen fachlichkeit

Ordnungspolitische Ebene

• Wirkungen als Steuerungsgröße (als Ersatz zu Preis als Steuerungsgröße)

• Angebote mit Wirkung werden unterstützt.

Kreislauf der Wirkungsorientierung

1. Verständigen innerhalb der Einrichtung

2. Entwickeln von Wirkmodellen

3. Analyse der Wirkung

   1. Weiterentwickeln der Wirkung

   2. erneute Analyse der Wirkung

4. Berichten (z. B. gg. Kostenträger)

5. Skalieren (bei Erfolg)

Phase 1 Unfreezing

↳ Verstandigen

Phase 2 Moving,

↳ Entwickeln

Phase 3 Freezing

↳ Kreislauf Analyse, Weiterentwicklung, Analyse

Change management

1. Dringlichkeit aufzeigen

2. Führungskoalition aufbauen

3. Vision & Strategie entwickeln

4. Vision Kommunizieren

5. Hindernisse wegräumen

6. kurzfristige Erfolge anstreben

7. Veränderung weiter antreiben

8. Veränderung in der Kultur Verankern

Wichtig: Jeder MA reagiert unterschiedlich auf Veränderungen!

Akzeptanzmatrix

zeigt auf wie die Mitarbeiter:innen der Veränderung gegenüber eingestellt sind

Gegner

Position der Akzeptanzmatrix, vermuten hohe sachliche und persönliche Risiken; oft -ca. 15 %

(sollten zum Schluss überzeugt werden.

Bremser

Position der Akzeptanzmatrix, vermuten hohe sachliche aber niedrige persönliche Risiken; oft ca. 40 %, sollten an zweiter Stelle stehen (mit Skeptikern)

Skeptiker

Position der Akzeptanzmatrix, vermuten niedrige sachliche Risiken aber hohe persönliche Risiken, oft ca. 40%, sollten an zweiter Stelle stehen (mit Bremsern)

Promoter

Position der Akzeptanzmatrix, vermuten niedrige sachliche und persönliche Risiken, oft ca. 5 %, sollten zuerst ins Boot geholt werden

Pilotprojekt

erstes erproben in speziellem abgegrenzten Arbeitsfeld z.B. punktuelle Beratungen

Begleitgruppe

begleiten Pilotprojekt, besteht vor allem aus Promotern der Veränderung

Vorgehen bei Implementierung

• Verständigung auf Wirkungsbegriff/Vision

• erste Erfolge

• Wirkmodelle erstellen, um Erfolg für Skeptiker, Bremser und Gegner greifbar zu machen.

• erfolgreich Implementierung

• Kontrolle (z.B. durch regelmäßige

• Datenerhebung & Interpretation

EVAS / WIMES

sind Wirkmodelle und somit eine theoretische Grundlage für die Wirkungsanalyse. Beschäftigen sich mit Fragen wie:

• warum Wirkung

• wann Wirkung

• Persistenz

• Moderatorvariablen

• Anforderungs- & Situation-Transfer

• empirische Testung von Wirkung

Moderatorvariablen

von welchen Randbedingungen hängt die Wirkung ab

Mediatorvariablen

welche Zwischenschritte benötigt eine Wirkung

Persistenz

wie lange und wie nachhaltig hält die Wirkung an

Wirkmodelle erstellen

1. Methoden Wirkmodelle (Vorfeld)

• Analyse Konzepte & Literatur

• Wissensstand im Arbeitsfeld

• Experten interviews

  • MA

  • Klient:innen

  • Angehörige

  • Kooperationspartner

1. Workshops zur Erstellung des Wirkmodells

• 8-10 TN, heterogene Gruppe

1. Sichten

2. Erstellen

3. Überprüfen

4. Wirkungen benennen

5. auf welcher Ebene (Mikro, Meso Makro)

6. Welche Dauer (kurzfristig, mittelfristig, langfristig)

7. Thema (z.B. ökonomisch, politisch, sozial, ökologisch, kulturell, psychologisch, physiologisch, …)

Theory of change

• Methode wirkungsorientierte Programm planung

• Denken von der Wirkung her

  • identify long-term-goal

  • backwards mapping (small steps)

  • Identify the context (Kontextfaktoren: z. B. andere gesellschaftliche Zusammensetzungen in unterschiedlichen Stadtteilen)

  • Identify your interventions (Welche Aktivitäten mache ich)

  • develop measure indicators to measure outcome.

  • Write a narrative (nicht nur Grafiken)

• Stufenweise Definition von Outputs - Outcomes - Impacts.

Beispiel:

Beispiel Wirkung: Befähigung zu gelingender Beziehungen

Beispiel Teilwirkungen: Selbstwirksamkeit stärken, Erziehungsrolle entwickeln & bestärken, Kommunikationsfähigkeit entwickeln, …

Beispiel Outputs: welche Kommunikations Fähigkeit beeinflussen (Entlastung, Verstehen des Ist-Zustand, Akzeptanz für “Problem”, Perspektive wechseln, Kommunikation ermöglichen, Klären der Rolle, …)

Beispiel Aktivitäten, die diese Outputs haben können (Gespräche, Beziehungsaufbau, Beratungen, Gruppenangebote, …)

Zielgruppenanalyse

Welche Zielgruppen spielen in meinem Angebot eine Rolle ?

Wie werden diese Zielgruppen berücksichtigt?

Braucht es verschiedene Wirkmodelle für verschiedene Zielgruppen?

Gibt es Interdependenzen? (Wirkung bei Zielgruppe A hat auch Wirkung auf B.)

Wirkungen betreffen Direkt Betroffene, indirekt betroffene und das Umfeld

Beispiel: Das Ziel “Gesund Ernährung" ist dann besonders erfolgreich, wenn ver. Zielgruppen einbezogen werden statt nur die eigenen Klient:innen (z. B. Jugendliche) zu adressieren ist es ratsam auch Eltern, Schulen (Mittagessen) mit einzubeziehen und separate Wirkmodelle zu entwickeln (Dabei sollten auch das Vorwissen und die Vorerfahrungen der einzelnen ZG berücksichtigt werden).

Kaskadenmodell

benennt ver. Zielgruppen und stufenweise Aktivitäten, Outputs, Outcomes (und Impacts).

Personamethode

Splittung der Akteure der Zielgruppe(n) in kleinere Gruppen (z. B. Alter, Probleme, Wünsche, Hobbys, Gewohnheiten, ...)

Kontexte erfassen

Angebote sind immer in der Lebenswelt der Klient:innen verankert, der Kontext ist daher elementar. Ein Beispielhaftes Verfahren zur Erfassung dieser Kontexte ist der Programmbaum von Univation:

Kontextfaktoren immer genau in den Blick nehmen

• Einfluss auf Klient:in?

• Einfluss auf Maßnahme?

• positiver oder negativer Einfluss ?

Kontext

alle gesellschaftlichen, politischen, rechtlichen (Einfluss)-Faktoren

Input

Einbringung des Trägers

Struktur

genaue Beschreibung des Angebots

Incomes

Ressourcen, welche die Klient:innen mitbringen.

Persistenz

erworbene Fähigkeiten bleiben auch nach Maßnahme erhalten, im besten Fall im Sinne eines Wirksamkeitsgewinn oder einer stabile Wirksamkeit. Im schlechten Fall kommt es zu einem Wirksamkeitsverlust

Transfer

erworbene Fähigkeiten können auch außerhalb eingesetzt werden

Validitat

Grad der Genauigkeit, mit der ein Verfahren tatsächlich DAS misst oder Vorhersagt, was es messen oder vorhersagen soll. Entscheidet, ob Kausalität möglich oder nicht-möglich ist.

Studien

Metastudien

Studien die vorhandene Studien analysieren und vergleichen, Kausalitätsnachweis möglich

RCT

randomized control trials, Experimente (mit Maßnahmen und Kontrollgruppe) per Zufall, ethisch bedenklich. Kausalitätsnachweis möglich.

Quasi-Experimental Studien

Arbeit mit bestehenden Gruppen und Suche nach Vergleichsgruppen. Kausalitätsnachweis möglich.

Kohortenstudien

ohne Experimentaldesign, kein Kausalitätsnachweis möglich

Einzelfallstudien

genaue Betrachtung eines Einzelfalles, kein Kausalitätsnachweis möglich

Praxiswissen, Erfahrungen

Nutzung vorhandenen Wissens, kein Kausalitätsnachweis möglich

Realistic Evaluation

Kontext (K) + Mechanismus (M) = Outcome (O)

• ändert sich K oder M ändert sich auch 0.

Von der Studie zum Nachweis

Operationalisierung

• Differenzierung eines Gegenstandes in ver. Dimensionen bzw. Latente Merkmale

• Entwicklung von Indikatoren zur Erfassung der Dimensionen

Dimensionen

bezeichnen die Outcomes

Skalenniveaus

Wie etwas gemessen wird

Nominalskala

Gemessen wird Gleichheit, Verschiedenheit, z.B. Geschlecht. Beispiel: Der Klient hat den erklärten Zusammenhang verstanden (Ja/Nein).

Ordinalskala

größer bis kleiner bzw. zutreffender bis weniger zutreffend. z.B. Schulnotensystem

(häufig genutzte Skala in Soz. Arbeit) Beispiel: Der Klient kann seinen eigenen Standpunkt artikulieren (1 sehr gut - 6 sehr schlecht)

Intervallskala

Gleichheit von Differenzen z.B. Temperaturunterschied zwischen 10-20°C = 50-60°C

Verhältnisskala

Gleichheit von Verhältnissen, Unabhängig von Maßeinheit. X ist doppelt so schwer wie Y ist

Unabhängig davon, ob ich die Maßeinheit in Pfund oder kg angegeben habe.

Tendenz zur Mitte

Bei Ordinalskalen neigen Menschen dazu, bei ungeraden Antwortmöglichkeiten die mittlere auszuwählen (z.B. 1-3 wäre Mitte 2), daher eignen sich gerade Skalen wie z.B. Schulnotensystem 1-6.

Index

Die einzelnen Indikatoren werden mit einer Skala abgefragt. Das Ergebnis wird als Mittelwert oder Summe zusammengefasst.

Monitoring

Messungen in verschiedenen Abständen. z.B. Vor & Nach Maßnahme; Vor, Während & Nach Maßnahme; Vor, Während, Nach, Später (zur langfristigen Wirkungsmessung)

Ankerbeispiele

Beispiele die Verhalten von Klient:innen dokumentieren welches auf Erwerb von Indikatoren

Hinweisen z.B. XY ist im Beratungsangebot gesprächsbereit.

Selbst vs. Fremdeinschätzung

Fremdeinschätzung ist oft etwas genauer als die Selbsteinschätzung

Selbsteinschätzung hat den Vorteil, dass der Klient sich mit den eigenen Zielen auseinandersetzt.

Wirkungspauschalisierung

nachdenken darüber welchen Einfluss die Maßnahme auf den eingetretenen Effekt / die Wirkung hat

Kausaler Wirkungsnachweis

• braucht Vergleichsgruppe

• Zwei-Gruppen Design's (eine mit und eine ohne Maßnahme)

• benötigt mind. zwei Messpunkte (Vor/Nach Maßnahme)

• die Differenz zwischen der Wirkung der Vergleichsgruppe und der Wirkung der Maßnahmengruppe ist die Wirkung (Nettowirkung)

Zwei-Gruppen-Design’s sind

• Schwer zu realisieren (Vergleichsgruppe finden ist schwer)

• ist unethisch (eine Gruppe helfe ich, der anderen nicht)

Interne Validitāt

gemessene Veränderungen sind auf die Maßnahme zurückzuführen.

externe Validität

wie generalisierbar ist meine Analyse auf andere Sachverhalte anwendbar

Propensity Score Matching

• statt randomisierten Vergleichsgruppen (unethisch)

• quasi-experimentelles Verfahren

Vorgehen

1. Vergleichsgruppe bilden (sollte vielfach größer als Maßnahmengruppe sein) & Score als Vergleich zur Maßnahmengruppe bilden z.B. nach Kategorien wie Alter, Geschlecht, Schulabschluss, Unterstützung durch Familie, …

2. Jede Person aus der Maßnahmengruppe wird mit möglichst ähnlicher Person aus der Vergleichsgruppe gematcht.

3. Wir erhalten zwei gleichgroße Gruppen

4. Es werden folgende Gruppen die gleiche Frage gestellt (z. B. Ab wann würden sie ihr Kind einschulen lassen?)

5. Maßnahmengruppe

6. gesamte Vergleichsgruppe (Match/ohne Match)

7. nur Match-Vergleichsgruppe

Die Frage ist eine Störvariable, ähneln sich die Antworten von a + c aber die von a + b nicht, ist diese Variable eliminiert.. Die Maßnahme hatte also keinen Einfluss / keine Wirkung bei der Frage nach Einschulung-

Wartekontrollgruppe

- statt randomisierten Vergleichsgruppen; geeignet in homogenen Settings z. B. in Schulen.

Klasse 5a) erhält Maßnahme, nach ca. 6 Monaten erhält auch Klasse 5b) diese Maßnahme. Die ersten 6 Monate ist somit eine Vergleichsgruppe vorhanden.

Wirkungen sichtbar machen (nicht nur ob sondern wie)

White-Box-Mechanismus

Frage nach dem Wie eine Wirkung entstanden ist

Sozialer Mechanismus

• Ebene des Klienten

• Interventionen lösen Einstellungsänderungen aus

• nur kleiner Teil des Wirkmodells

• Methoden: Realistic Evaluation, Mediationsanalyse

:

Prozess Mechanismus

• Ursache & Wirkungsbeziehung

• Weiter Teil des Wirkmodells

• Methoden: Process tracing, Kontributionsanalyse

Beispiel Vorgehen:

Zielgruppe quantitativ in Blick nehmen

• wo hat es gut geklappt (z. B. mehr Wirkung bei jüngeren), wo besonders schlecht?

• hat die Zielgruppe teilgenommen, die wir als Target hatten (bei offenen Angeboten)?

• Kontextfaktoren & demographische Abweichungen beachten

Moderationsanalysen

Moderation entsteht, wenn die Beziehung von x (vorher) & y (nachher) von einer dritten Variablen beeinflusst wird: dem Kontextfaktor (n). Beispiel "Maßnahme Lernhilfe" bereitet den

Schüler auf eine Prüfung vor. Er schläft die Nacht vor der Prüfung schlecht und fällt schlechter aus als erwartet.

Mediationsanalysen

Mediationen sind Variablen zwischen Maßnahme und Wirkung, Mechanismen stehen hier im Fokus z.B. Maßnahme x stärkt das Selbstwertgefühl, dieses gesteigerte Selbstbewusstsein wiederum führt zur besseren Note in mündlicher Prüfung

Strukturgleichungsmodelle

Quantitative Überprüfung von theoretisch aufgestellten Beziehungen

Qualitative Methoden:

1. Einzelinterviews: bei starken Unterschieden zwischen den Teilnehmenden

2. Fokusgruppe Befragung von homogenen Gruppen (Vorteil ist, dass hier Diskussionen zwischen den Teilnehmenden entstehen können.

3. Process Tracing: Einzelfälle werden stetig überprüft, um Validität zu prüfen. Im Fokus steht die Bestätigung vorhandener Mechanismen sowie die Entdeckung neuer Mechanismen

Bewertung von Evidenz

Unverwechselbarkeit

• Fokus auf unwahrscheinliche Evidenz

• Bestätigung Kausaler Zusammenhänge

Gewissheit

• Fokus auf wahrscheinliche Evidenz

• Ausschluss Kausaler Mechanismen

Social Return on Investment (SROI)

= monetarisierte Wirkung geteilt durch Finanzielle Inputs

monetarisierte Wirkung

nicht entstandene Folgekosten z.B. im Arbeitsmarkt vermittelte Jugendliche brauchen keine Grundsicherung mehr. SROI liegt meist in sehr weiter Zukunft.

Reporting von Wirkung

Social Reporting Standart (SRS)

besteht meistens aus drei Teilen:

• Teil A Darstellung der Vision und des Angebot für Zielgruppe (Vision, Ansatz, Gegenstand des Berichtes)

• Teil B Detaillierte Darstellung des Angebot (gesellschaftliches Problem und Lösungsansatz, Ressourcen, Leistungen und Wirkungen, Planung & Ausblick, Organisationsstruktur und Team)

• Teil C Darstellung der Organisation (allgemein Leistungsstruktur, Eigentumsstruktur, Mitgliedschaften, Umwelt & Sozialprofil, Finanzen und Rechnungslegung)

bei mehreren Angeboten wird Teil B mehrmals geschrieben

bei mehreren Organisations wird Teil A mehrmals geschrieben

internes Reporting

• Rückmeldung zur Arbeit

• Entscheidungsgrundlage

• Weiterentwicklung

Wichtig: Erhebung von Daten ist nur der erste Schritt viel wichtiger

ist regelmäßige fachliche Interpretation:

• Welche Ergebnisse waren überraschend?

• Wirkungen überall gleich oder abweichende Teilgruppen?

• Konsequenzen für unsere Arbeit?

• Bedarf nach weiterer Forschung?

• Weitere Datenerhebung notwendig?

externes Reporting

Zielgruppengerechte Aufbereitung

• Den Kontext klären? Wem präsentiere ich? Sind diese Zuschauenden mir positiv oder negativ gesinnt?

• Was ist mein Ziel (z. B. Zuschüsse)

• Methode: Drei-Minuten-Geschichte (kurze Spannende Zusammenfassung)

• Methode: Die große Idee (sehr kurze Zusammenfassung - in Form von einer kurzen Phrase)

• Methode: Storyboards (statt direkt Powerpoint zu erstellen, z.B. Post-Its auf Pinnwand ordnen)

Storytelling mit Daten

• Kurze Texte statt Diagramme, z. B. 60% würden unser Dienstleistung Weiterempfehlen

• Tabelle: heatmap nutzen (wichtige Zahlen farbig markieren, aber nicht zu bunt)

• Balkendiagramme besser links nach rechts statt von unten nach oben

• Tortendiagramme sind eher ungeeignet da das menschliche Auge diese nicht direkt erfassen kann (Menschen Lesen von links nach rechts!!)

Prattentive Merkmale

• wichtiges hervorheben (Heatmap)

• legende einfügen

Buchtipp: Storytelling mit Daten von Cole-Nussbaumer Knaflic

Skalierung sozialer Wirkung

Skalierung

effektive & effiziente Steigerung der Wirkung eines operativen Modells (Maßnahme)

Kapazitätserweiterung

• Kontrolle bleibt bei Einrichtung, geringe Transferkosten

• z.B. durch Bereitstellung von mehr Plätzen oder durch Prozessoptimierung

• begrenzte Skalierung

strategische Ausdehnung

• Kontrolle bleibt bei Einrichtung, hohe Kosten

• am besten mit Fokus auf Produktentwicklung (neues Produkt für vorhandenen Markt entwickeln) oder Marktentwicklung (neuen Markt für vorhandenes Produkt erschließen).

• benötigt oft Aufbau neuer Strukturen, insbesondere bei geographischer Ausdehnung sehr kostenintensiv (die bessere Wahl ist hier oft eine vertraglich fundierte Partnerschaft)

Marktdurchdringung

• Maßnahme der strategischen Ausdehnung

• Fokus auf vorhandenen Markt, Nutzung eines vorhandenen Produkts

Produktentwicklung

• Maßnahme der strategischen Ausdehnung

• Fokus auf vorhandenen Markt, Entwicklung eines neuen Produktes

Marktentwicklung

• Maßnahme der strategischen Ausdehnung

• Fokus auf neuen Marktes, Nutzung eines vorhandenen Produktes

Diversifikation

• Maßnahme der strategischen Ausdehnung

• Fokus auf neuen Markt, Nutzung eines neuen Produktes

vertraglich fundierte Partnerschaft

• Kontrolle bleibt nicht komplett bei Einrichtung, hohe Kosten

• Lizenz /Franchise

• Netzwerkarbeit

• benötigt Koordinationsstelle

• Ressourcen vor Ort sind schneller verfügbar (durch Partner vor Ort)

Wissensdiffusion

• Kontrolle bleibt nicht komplett bei Einrichtung, hohe Kosten

• Weitergabe von Wissen (auch Kostenpflichtig, somit zusätzliche Einnahme)

• keine Kontrolle wie Wissen verwendet wird.

Kontextfaktoren & Skalierung

Wenn diese bei der Wirkung eine entscheidende Rolle spielen, muss dies bei der Skalierung bedacht werden, z.B. durch regelmäßiges Monitoring und Vergleich um Überblick zu er-/behalten.

Herausforderungen Wirkungsorientierung

• Beauftragung Wirkungsanalysen oft erst nach Beginn einer Maßnahme (Fehlender Messzeitpunkt)

• Bildung von Vergleichsgruppen nicht immer möglich (nur Wirkungsplausibilisierung möglich, kein Kausalitätszusammenhang herstellbar)

• Entwicklung einheitlicher Items & Ankermodellen

• Wie lässt sich Wirkungsorientierung in stationären Angebote realisieren (also Angeboten, in denen verschiedene Maßnahmen gleichzeitig und ineinander verzahnt bestehen).

• Einheitliche Durchführung von Meta-Analysen und Aufbau zentraler Datenbanken

Ansätze in denen Wirkungsorientierung eine Rolle spielt

Social Entrepreneurship

Lösung gesellsch. Herausforderungen durch kontinuierliche Nutzung unternehmerischer Mittel mit Fokus auf neue & innovative Lösungen (z.B. durch die Nutzung von GmbHs, als Rechtsform)

• Können diese mit freier Wohlfahrt zusammenarbeiten?

• Wirkungsorientierung hier besonders Wichtig!

Social Impact Labs

Räumlichkeiten, um Menschen bei der Entwicklung sozialer Innovationen zu unterstützen.

Social Impact Bonds

Erweiterung des sozialrechtlichen Dreiecks (Nutzer hat einen Anspruch auf eine Sozialleistung, welche vom Sozialleistungsträger finanziert wird und vom Dienstleister erbracht wird) um einen privaten Finanzier (Viereck):

SIB-Partner finanzieren eine Sozialleistung, hat diese eine gewisse Wirkung (mit Nachweis) wird die Leistung vom Sozialleistungsträger mit Zinsen refinanziert (Geldgewinn für SIB-Partner). Erbringer der Leistung ist der Dienstleister, welcher die Leistung für den Nutzer erbringt und einen Anspruch gegenüber dem Sozialleistungsträger hat. Es handelt sich also um ein Risikobehaftetes Investment welches im besten Fall sowohl finanziellen als auch sozialen Mehrwert hat (gut für die öffentliche Darstellung des SIB-Trägers). Fraglich dabei ist, wer die Kriterien der eingetretenen Wirkung aufstellt.

Metaanalysen

zur Überprüfung ab ähnliche Maßnahmen auch ähnliche

Wirkungen haben.

• Aufbau fachlicher Wissenskorpus

• trägt zur Professionalisierung soziale Arbeit bei