WIRKMODELLE PRAXISNAH ERARBEITEN UND FÜR WIRKUNGSUNTERSUCHUNGEN NUTZEN - DEGEVAL
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Wirkmodelle praxisnah erarbeiten und
für Wirkungsuntersuchungen nutzen
Potenziale und Grenzen in komplexen Mehrebenen-
programmen
Deutsches Jugendinstitut e. V.
Franckeplatz 1, Haus 12/13
D-06110 Halle (Saale)
Telefon +49 345 68178-0
Fax +49 345 68178-47
Session des AK Soziale Dienstleistungen www.dji.de
21. Jahrestagung der Gesellschaft für Evaluation e.V., Dresden, 14.09.2018
Hintergrund
• Diskussionen im Rahmen der Evaluation des Bundesprogramms „Demokratie
leben!“: Wie können Wirkungen gegenstandsangemessen erhoben
werden?
• Programmwirkungen fundiert planen (Wirkungsmodellierung)
• Wirksamkeit der Interventionen des Programms aufzeigen
(Wirkungsfeststellung)
• Bewertung des Programms in Abwägung der negativen wie der positiven
Resultate (Wirkungsidentifizierung)
2
„Demokratie leben!“ als
komplexes Mehrebenenprogramm
Gesamt-
Input Prozess Output Outcome Impact
programm
Programm- Input Prozess Output Outcome Impact
bereiche
Projekte &
Input Prozess Output Outcome Impact
Maßnahmen
Quelle: Gesamtevaluation am DJI in Anlehnung an Widmer 2012, S. 44 nach Widmer/Frey 2006, S. 293
3
Problem
• Zurechenbarkeit von festgestellten Veränderungen bzw. Stabilisierungen
(Wirkungen)?
• aufgrund v.a.
der Interaktion von Akteuren
der multifaktoriellen Beeinflussung der Veränderungsprozesse
der Koproduktion
4
Ausblick auf Vorträge
• Vorstellung und Diskussion von zwei partizipationsorientierten
Vorgehensweisen:
• Logische Modellierung mit Projektumsetzenden als diskursiv-iterativer
Prozess der partizipativen Modellbildung und -anpassung auf Projektebene
(Formulierung von Veränderungs- und Handlungstheorien) u.a. zur
Vorbereitung von Erhebungen zu Effekten (Resonanzen)
• (Kausal-)Analysen mittel QCA als algorithmusgestützte Iterationen zur
Identifikation von Einflussfaktor-Outcome-Zusammenhängen auf der
Ebene von Programmbereichen, in die partizipative Prozesse einfließen
Einfluss von Evaluierenden auf Modellierungsprozesse
(Ko-Konstruktion von Wirkungen)?
Umgang mit Interferenzen der verschiedenen Programmebenen?
Reichweite der jeweiligen Aussagen?
5Eine interessante Session!
6Franziska Heinze, Frank König, Stefanie Reiter, Ellen Schroeter
Wirkungsannahmen gemeinsam auf der
Spur
Logische Modellierung als Vorbereiter von
Resonanzorterhebungen Franckeplatz Halle
Außenstelle 1, Haus 12/13
V.
Deutsches Jugendinstitut e. V.,
D-06110 Halle1,(Saale)
Franckeplatz Haus 12/13
D-06110 Halle (Saale)
Telefon +49
+49345
34568178-0
68178-11
Email heinze@dji.de
Fax +49 345 68178-47
fkoenig@dji.de
sreiter@dji.de
www.dji.de
schroeter@dji.de
21. Jahrestagung der Gesellschaft für Evaluation e.V., Dresden, 14.09.2018
www.dji.de/DemokratieLebenAufbau
• Logische Modellierungen in Mehrebenenprogrammen: Begriffe und
Funktionen
• Erkenntnisinteresse, Annahmen und methodisches Vorgehen
• Logische Modellierung im Mehrebenenprogramm: Beispiele
• Implikationen, Lernerfahrungen, Nutzungspotenziale und Grenzen
• Fazit und Diskussion
8Logische Modellierungen in
Mehrebenenprogrammen
Gesamt-
Input Prozess Output Outcome Impact
programm
Programm- Input Prozess Output Outcome Impact
bereiche
Projekte &
Input Prozess Output Outcome Impact
Maßnahmen
Quelle: Gesamtevaluation am DJI in Anlehnung an Widmer 2012, S. 44 nach Widmer/Frey 2006, S. 293
9Funktionen logischer Modellierungen in
Mehrebenenprogrammen
• logische Modelle als vereinfachte Form von umfassenderen Wirkmodellen
• Anspruch:
– Annahmen über Funktionen und Wirkungsweisen eines Programms
sichtbar machen; Wirkungsmechanismen identifizieren
– Mittel der Verständigung zwischen Evaluierenden, Auftraggebenden und
weiteren Stakeholdern (v.a. partizipative Settings)
• Unterstützungsfunktionen und Einsatzbereiche:
– Überprüfung der Plausibilität und Konsistenz geplanter Maßnahmen
– Grundlage zur Entwicklung von Untersuchungsdesigns
– Unterstützung der Implementierungskontrolle
– Kommunikative Validierung von Befunden
– in Mehrebenenprogrammen: Explikation der Annahmen zu den
Bezügen innerhalb der Ebenen (horizontal) sowie zwischen
den Ebenen (vertikal) der Programmumsetzung
10Methodologische Annahmen und
methodisches Vorgehen
• Implizite Annahme: Programm und Programmtheorie emergieren im
Programmverlauf im Zusammenwirken vieler Akteure (vgl. Haubrich 2009,
Giel 2013; Berg-Lupper et al. 2017)
erfordert partizipative, praxisnahe Vorgehensweise
• Verschiedene mögliche Vorgehensweisen (z.B. Dössegger 2017)
• Methodenmix mit den Schritten:
̶ Beschreibung des Erprobungsraums (Dokumentenanalyse,
Literaturstudium); erste Visualisierung auf Programm(bereichs)ebene
als Auswertungsheuristik
̶ Programmbereichsebene: Rekonstruktion von Annahmen mit
Programmgebenden und Projektdurchführenden (Expert*innen-
interviews, Workshops); Visualisierung durch die Evaluierenden mit
kommunikativer Validierung
̶ Projektebene: Rekonstruktion von Annahmen mit Projektdurchführen-
den über Einzelprojekte und Abgleich mit Programmbereichsebene
(Expert*inneninterviews); gemeinsame Erstellung logischer Modelle
11Erkenntnisinteresse
• Fragestellung/Erkenntnisinteresse:
̶ Potenziale und Grenzen partizipationsorientierter logischer Modellierungen
für die Rekonstruktion von Ziel-Interventions-Zusammenhangsannahmen
(‚Wirkungsannahmen‘) und deren Nutzung für die Erhebung von
Resonanzen ausgewählter Programmaktivitäten
̶ Reflexion der Potenziale und Limitationen dieser Vorgehensweise in
methodischer und methodologischer Hinsicht insbesondere hinsichtlich
der ihnen inhärenten gegenstandskonstitutiven Anteile der Evaluierenden
12Beispiele aus der Evaluationspraxis
Beispiel 1
13(…) AW: Klar, gerne. Dann schreib ich hier einfach mal, also Vernetzung der Mitglieder. [schreibt] (…) I: Wenn ich ganz kurz unterbrechen darf, die Vernetzung der Mitglieder ist eine Maßnahme. AW: Okay. I: Ja? Also das, das, das ist genau der Punkt an der Stelle, warum wir jetzt quasi .. warum wir das jetzt auch so ein bisschen schriftlich usw. .. und im Gespräch jetzt auch nochmal darüber reden, die Vernetzung der Mitglieder als solche ist zunächst erstmal die Maßnahme. Das Ziel, was dahintersteht, ist, dass die Mitglieder vernetzt sind. So. Also dass quasi ein funktionierendes Netzwerk besteht. Und ich glaube, das sind .. also das klingt jetzt irgendwie alles so didaktisch [Gelächter] wahrscheinlich, aber ich glaube, das sind, das sind, das sind am Ende dann so, so, so die Punkte, über die wir heute auch tatsächlich nochmal dann .. reden können und sollten usw. usf., dass wir wirklich da versuchen, präzise zu sein und uns zu überlegen, was ist .. das Ziel // AW: Okay // I: Und wie kommt man eigentlich zu dem Ziel. AW: Dahin, ja, okay. (…) AW: Ist dann der kollegiale Austausch auch eine Maßnahme, oder ist das Vertrauen, das wir aufbauen bei den Mitgliedern // I: Das ist die Frage, wollen Sie Vertrauen aufbauen? AW: Auch, ja. I: Also die Mitglieder .. arbeiten vertrauensvoll zusammen. AW: Mhm. I: So. Das wär ein Ziel. Das würde .. also wenn man das jetzt mal so durchdekliniert, wenn´s heißt – ich kann das ja mal aufschreiben, die Mitglieder arbeiten vertrauensvoll zusammen, dann hätte man quasi letztendlich ein Ziel, was sich auf eine bestimmte Zielgruppe, nämlich die Mitglieder, also nach innen richtet und wo quasi, damit sie tatsächlich vertrauensvoll .. eine Form der vertrauensvollen Zusammenarbeit entwickelt haben, bestimmte Dinge notwendig sind. Aber beispielsweise nicht Fachkonferenzen, die sich nach außen richten, sondern, sondern bestimmte Arbeitsformate und Prozesse oder ähnliches. AW: Ja, ist ja klar, unterschiedliche Ziele bedürfen unterschiedlicher Maßnahmen, so. I: Genau. Also, was hatten wir gesagt? Die .. Mitglieder .. arbeiten vertrauensvoll // AM: (??) wär .. die vertrauensvolle Zusammenarbeit (?) eine Notwendigkeit um .. ein anderes Ziel zu erreichen. AW: Ja. Ja. Ja, ja, das könnte man // (…) AM: Also ich hatte .. also was ich jetzt im Kopf hatte .. war auch quasi Vernetzung bzw. .. ein Netzwerk .. schaffen, ist quasi ein einmaliger Akt. Es geht für mich eher darum, was am Laufen zu halten. (…) Und das erste Ziel wär für mich, .. ein Fach-, ein kollegialer Austausch .. um dann damit wiederum es zu ermöglichen .. aber das ist auch eine Maßnahme (??) [Gelächter] um sich auf Qualitätsstandards einigen zu können (…) I: Um das nochmal quasi zurückzuholen, also wir hätten quasi als Maßnahme den kollegialen Austausch und die Formulierung von – also ein Prozess im Rahmen .. dessen quasi Qualitätsstandards formuliert werden. Das Ergebnis wäre dann, es gibt .. einen Konsens mit Qualitätsstandards // AM: Ja, genau. (…) 14
Modellierung und Mehrebenenbezüge
Logisches Modell des Programmbereichs „Förderung der Strukturentwicklung zum bundeszentralen Träger“
OUTCOME IMPACT
Maßnahmen OUTPUT
Input & Incomes (adressatenbezogene (struktur-/systembezogene
(Prozesse) (erwartete Produkte) Wirkungen)
Wirkungen)
Logisches Modell des Einzelträgervorhabens FREESIE (Ausschnitt)
Struktur und Planung des Einzelträgervorhabens Erwartete Resultate des Einzelträgervorhabens
OUTCOME IMPACT
Maßnahmen OUTPUT
INPUT & INCOMES (adressatenbezogene (struktur-/systembezogene
(Prozesse) (Produkte)
Wirkungen) Wirkungen)
Prämissen Die Mitgliedsorganisationen haben
sich als Netzwerk etabliert.
(…)
Kollegialer Fachaustausch Formate des kollegialen Die Mitgliedsorganisationen
Fachaustauschs sind etabliert. arbeiten vertrauensvoll zusammen
(zu bestimmten inhaltlichen
Themen/in AGs).
Incomes Die Mitgliedsorganisationen
Einrichtung von inhaltlichen Arbeitsgruppen Arbeitsgruppen arbeiten und
Wissen/Kompetenzen/vorhan (AGs) kommen im Quartalsturnus stimmen ihr Handeln untereinander
dene Netzwerke der zusammen. ab und ziehen an einem Strang.
Mitgliedsorganisationen
Netzwerktreffen durchführen [Freesie] vertritt die Interessen der gesellschaftliche Sicht auf das
(…) Mitgliedsorganisationen gegenüber Thema religiös begründete
Netzwerktreffen fanden statt.
politischen Entscheidern Radikalisierung beeinflussen
(Förderungen stellen), anderen (u.a. Versachlichung der
Trägern (Aufgabenklärung) und der öffentlichen Debatte um
Ressourcen des breiten Fachöffentlichkeit Präventionsarbeit im Kontext
Einzelträgervorhabens (Verständnis schaffen). religiös begründeten
Extremismus)
Fördermittel für 06/2017 bis
Netzwerktreffen dokumentieren/aufbereiten (…)
12/2019
Dokumentation des
2,5 VZÄ Netzwerktreffens wurde erstellt. (…)
(…)
Organisationsentwicklungsbera
tung
(…)
(…)
15Erträge und Implikationen für
Resonanzorterhebung auf Projektebene
• Erträge der Vorgehensweise:
– Abgleich von Einzelprojekt- und Programmbereichszielen
– Rahmen für aggregierte Betrachtung der Einzelprojekte
– Identifizierung von gemeinsam als relevant wahrgenommenen
Resonanzorten1
• Implikationen:
̶ Identifikation von Resonanzorten auf Einzelprojektebene
a) programmbereichszielgesteuert
b) evaluationsgesteuert
– Ko-Konstruktion der Wirksamkeit von Maßnahmen
1Nach unserem Verständnis bestehen „Resonanzorte“ überall dort, wo aus dem Programmbereichskontext
entstandene Leistungen der Aktivitäten der geförderten Organisationen zum Tragen kommen.
16Weitere Lernerfahrungen
• Notwendigkeit der Klärung der jeweiligen Funktion von logischen
Modellierungen
• transparente Kommunikation/Darstellung der jeweiligen Funktion
• Reflexion des methodologischen Status der Konstruktionsleistung in
Abhängigkeit von der gewählten Vorgehensweise
• unterschiedliche Anforderungen an Handeln der Evaluierenden
17Zum Weiterdenken und Diskutieren
• Bewältigung des Spannungsverhältnisses von formativem und partizipativem
Anspruch
• Umgang mit Ansprüchen „emanzipatorischer Relevanz“ (Holzkamp 1972)
• Möglichkeiten und Grenzen der Reflexion der Ko-Konstruktions-/
„Produktions“-Anteile
• Notwendigkeit und Möglichkeiten der Weiterentwicklung von logischer
Modellierung in Mehrebenenprogrammen
18Dankeschön.
Nachfragen?
19Literatur
Berg-Lupper, Ulrike et al. (2017): Zwischen den Stühlen? Rollenverständnisse und -aushandlungen von
Evaluierenden an drei Beispielen. Vortrag auf der 20. Jahrestagung der DeGEval - Gesellschaft für
Evaluation e.V. Johannes-Gutenberg-Universität, Mainz, 22.09.2017.
DeGEval – Gesellschaft für Evaluation (Hrsg.) (2016): Standards für Evaluation. Erste Revision auf
Basis der Fassung 2002. Mainz.
Dössegger, Alain et al. (2017): Entwicklung eines Wirkmodells für die Evaluation des Programms Jugend
und Sport. In: Zeitschrift für Evaluation 1/2017, S. 97-120.
Giel, Susanne (2013): Theoriebasierte Evaluation. Konzepte und methodische Umsetzungen. Münster,
Waxmann.
Haubrich, Karin (2009): Sozialpolitische Innovation ermöglichen. Die Entwicklung der rekonstruktiven
Programmtheorie‐Evaluation am Beispiel der Modellförderung in der Kinder‐ und Jugendhilfe. Münster,
Waxmann.
Holzkamp, Klaus (1972): Zum Problem der Relevanz psychologischer Forschung für die Praxis. In: Ders.
(Hrsg.): Kritische Psychologie. Vorbereitende Arbeiten. Frankfurt a.M., S. 9-34.
Gesamtevaluation des Bundesprogramms „Demokratie leben!“ am DJI (2018, unveröff.):
„Demokratie leben!“ – Ein Bundesprogramm zwischen Kontinuität und Wandel. Halle (Saale).
Widmer, Thomas (2012): Wirkungsevaluation zu Maßnahmen der Demokratieförderung. In: Strobl,
Rainer et al. (Hrsg.): Evaluation von Programmen und Projekten für eine demokratische Kultur;
Wiesbaden: Springer, S. 41–68.
Widmer, Thomas & Frey, Kathrin (2006): Evaluation von Mehrebenen-Netzwerkstrategien. In: Zeitschrift
für Evaluation, 2/2006, S. 287–316.
20Sie können auch lesen
