WISSEN, WAS WIRKT Arbeitshilfe für ein wirkungsorientiertes Monitoring kommunaler Präventionsketten gegen Kinderarmut - LVR
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
LVR-Landesjugendamt Rheinland WISSEN, WAS WIRKT Arbeitshilfe für ein wirkungsorientiertes Monitoring kommunaler Präventionsketten gegen Kinderarmut Eine Veröffentlichung der Koordinationsstelle Kinderarmut und der Fachberatung Jugendhilfeplanung
WISSEN, WAS WIRKT – Monitoring kommunaler Präventionsketten
WISSEN, WAS WIRKT
Arbeitshilfe für ein
wirkungsorientiertes Monitoring
kommunaler Präventionsketten
gegen Kinderarmut
1
Herausgeber: LVR-Landesjugendamt Rheinland 50663 Köln www.jugend.lvr.de Die Broschüre entstand unter Mitarbeit der Jugendämter Bergheim, Kerpen und Nettetal. Das Projekt wurde gefördert von der Auridis Stiftung. Text und Redaktion: LVR-Landesjugendamt Rheinland Christina Muscutt Kennedy-Ufer 2, 50679 Köln Tel: 0221 809-6963 E-Mail: christina.muscutt@lvr.de LVR-Landesjugendamt Rheinland Sandra Rostock Kennedy-Ufer 2, 50679 Köln Tel: 0221 809-4018 E-Mail: sandra.rostock@lvr.de www.kinderarmut.lvr.de www.lvr.de Grafiken: Die Veröffentlichung der Grafiken und Tabellen erfolgt mit freundlicher Genehmigung der dargestellten Kommunen. Layout und Druck: LVR-Druckerei, Inklusionsabteilung, K8, Kaltenbornweg 8, 50679 Köln Tel: 0221 809-2442 Köln, April 2021 Auflage: 600 Exemplare 2
WISSEN, WAS WIRKT – Monitoring kommunaler Präventionsketten
INHALTSVERZEICHNIS
1. VORWORT 5
2. PRÄVENTIONSKETTEN GEGEN KINDERARMUT 7
3. WIRKUNGSANALYSE VON PRÄVENTIONSKETTEN 11
3.1 Monitoring und Evaluation 11
3.2 Das LVR-Praxisentwicklungsprojekt 12
3.3 Wirkungslogik und Wirkungsziele 16
3.4 Methoden für Monitoring und Wirkungsanalysen 22
4. WERKZEUGE, INDIKATOREN UND WIRKUNGEN 25
4.1 Untersuchungsfeld: Individual- und Aggregatdaten 26
4.2 Untersuchungsfeld: Infrastrukturelle Daten 35
4.3 Untersuchungsfeld: Rückmeldungen von Fachkräften 39
4.4 Untersuchungsfeld: Rückmeldungen von Nutzer*innen 43
4.5 Ergebnisse zusammenführen, um Erkenntnisse zu gewinnen 45
5. GELINGENSBEDINGUNGEN UND HERAUSFORDERUNGEN 47
6. WIE MONITORING UND WIRKUNGSBEWERTUNGEN VON
PRÄVENTIONSKETTEN GELINGEN KÖNNEN 51
7. LITERATUR 54
ANHANG 56
Arbeitsmaterialien 56
Nützliche Literaturhinweise 62
3
WISSEN, WAS WIRKT – Monitoring kommunaler Präventionsketten 4
WISSEN, WAS WIRKT – Monitoring kommunaler Präventionsketten
1. VORWORT
Präventionsketten haben positive Wirkungen! Diese und Nutzen, nach Wirkungen sind dabei immer wieder
aus der Praxis gespeiste Grundannahme ist die Vor- Thema gewesen. Eine valide Antwort auf diese Fragen
aussetzung für engagiertes Handeln in den Netzwer- stand uns nicht zur Verfügung, denn weder in der Fach-
ken und den sich daraus ergebenden Angeboten und literatur noch bei den anderen Präventionskettenpro-
Maßnahmen, die sich an alle Kinder, Jugendliche und grammen in Deutschland sind wir diesbezüglich fündig
deren Eltern richten; insbesondere an diejenigen, die geworden.
in schwierigen und problembelasteten Lebensverhält-
nissen leben. Das war der Ausgangspunkt für das Praxisentwick-
lungsprojekt „Monitoring kommunaler Präventions-
Aber wie sind diese Wirkungen festzustellen? Gibt ketten“, das wir mit Unterstützung der Auridis Stiftung
es ein Instrument, um einschätzen zu können, ob die von 2017 bis 2020 durchgeführt haben. Einfach, all-
Kommune mit ihrer gestalteten Präventionskette auch tagstauglich, praxisnah, mit den Ressourcen der Netz-
auf dem richtigen Weg ist, wo Erfolge zu verzeichnen werkkoordinierenden Kinderarmut und der Jugendhil-
sind, wo Nutzen deutlich wird und wo die Anstrengun- feplanung im Jugendamt umsetzbar – das waren die
gen auch ohne erkennbaren Erfolg bleiben? Rahmenbedingungen für die Projektdurchführung, zu-
sammengefasst als „Weniger ist mehr!“.
Die Verantwortlichen für die Präventionsketten brau-
chen die Antworten auf diese Fragen als Grundlage für Die Fachberatung Jugendhilfeplanung und die Koordi-
die fachliche Reflexion, die qualitative Weiterentwick- nationsstelle Kinderarmut im LVR-Landesjugendamt
lung und die strategische Planung. Sie sind aber auch Rheinland haben gemeinsam die Projektentwicklung
Begründung und Legitimation gegenüber Entschei- und -begleitung übernommen. Nach einer Interes-
dungstragenden und der Öffentlichkeit. sensbekundung aus dem Kreis der Programmkom-
munen „Kommunale Netzwerke gegen Kinderarmut“
Das LVR-Projekt „NeFF – Netzwerke Früher Förde- wurde das Projekt mit den Jugendämtern der Städte
rung“ (vgl. LVR 2009) von 2005 bis 2009 brachte die ers- Bergheim, Kerpen und Nettetal durchgeführt.
ten Erkenntnisse zu Netzwerken und deren Wirkungen.
Auf dieser Grundlage begleitet die LVR-Koordinations- Wir bewegten uns fachlich auf einem in der kommuna-
stelle Kinderarmut seit 2009 rund 40 Jugendämter im len Praxis wenig beackerten Feld. Es galt, gemeinsam
Rheinland dabei, über kommunale Netzwerke gegen mit den Projektbeteiligten aus den Kommunen einen
Kinderarmut die Teilhabemöglichkeiten für Kinder und Weg zu einem erfolgreichen Monitoring der Präventi-
Jugendliche und deren Eltern zu verbessern und die onsketten zu finden. Als Ergänzung dazu haben wir zu
Folgen von Armut abzumildern. Die Fragen nach Erfolg Beginn des Projektes uns bekannte Fachleute zu einem
5
WISSEN, WAS WIRKT – Monitoring kommunaler Präventionsketten
Expert*innenhearing1 eingeladen, bei dem wir uns mit werden, erschwerte und bereicherte zugleich das
unseren konzeptionellen Grundlagen dem kritischen kollegiale Lernen und machte letztlich deutlich,
Diskurs gestellt haben. Wir konnten aus diesem Hea- dass es einfache Lösungen für dieses Problem und
ring wertvolle Hinweise, inhaltliche Ergänzungen und Ansinnen nicht gibt. Dennoch haben wir gemein-
kritische Anmerkungen mit in die Projektarbeit neh- sam mit den Kommunen Lösungsansätze gefunden!
men und haben auch im Laufe des Prozesses immer
wieder den fachlichen Diskurs mit Fachleuten aus ganz Die nun vorliegende Arbeitshilfe „Wissen, was wirkt“
Deutschland initiiert und gepflegt. Eine wichtige Platt- trägt die Ergebnisse und die sich daraus ergebenden
form für Vernetzung und fachlichen Austausch bildete Erkenntnisse aus den drei Projektkommunen, aus den
ein von uns initiierter bundesweiter Fachkongress im Diskursen mit Expert*innen und aus unserer eigenen
Mai 2019. Auswertung zusammen und bündelt die zentralen As-
pekte so, dass sie für andere Jugendämter, Träger und
Der eigentliche Projektverlauf hatte alle bekannten Interessierte hilfreich sind, ein wirkungsorientiertes
Phasen intensiver, gemeinsamer Arbeit: Verhaltener, Monitoring für Präventionsketten aufzubauen und er-
skeptischer Einstieg, fachliche Euphorie, die mühsame folgreich wirksam werden zu lassen2.
Ebene des Alltags, die Bewältigung personeller Ver-
änderungen und letztlich die arbeitsaufwändige und Unser großer Dank gilt den Kolleg*innen in den Ju-
zugleich den Erfolg des Projekts erkennbar machen- gendämtern in Bergheim, Kerpen und Nettetal, die
de Auswertung der Projektergebnisse. Das haben die mit großer Fachlichkeit, Ausdauer und sehr viel Enga-
Kolleg*innen in den Jugendämtern genauso erlebt wie gement die Entwicklungsprozesse vor Ort umgesetzt
das Projektteam im Landesjugendamt. haben. Danken möchten wir ebenfalls unseren Kolle-
ginnen Christina Muscutt, Sandra Rostock und Corinna
Es war keine Überraschung und dennoch immer wie- Spanke, die das Projekt inhaltlich und operativ voran-
der eine große Herausforderung, dass alle drei Projekt- getrieben haben. Schließlich gilt es, der Auridis Stif-
kommunen sehr unterschiedliche, ihren Rahmenbe- tung zu danken, die nicht nur die finanziellen Grund-
dingungen entsprechende Lösungen für das Monitoring lagen bereitgestellt, sondern auch die Projektarbeit
der Präventionsketten gefunden haben. Diese Vielfalt fachlich unterstützt hat.
musste immer wieder konzeptionell aufgearbeitet
Christoph Gilles & Andreas Hopmann
Abteilungsleiter Jugend Leiter zentrale
förderung und der Fortbildungsstelle,
Koordinationsstelle Jugendhilfeplanung,
Kinderarmut Projektförderung
1 Mit der Verwendung des Gender*Sterns, bei der zwischen dem
Wortstamm und der weiblichen Endung ein „*“ eingefügt wird,
möchten wir auf alle Menschen jenseits der Zweigeschlecht- 2 Journalistischer Bericht über das Praxisentwicklungsprojekt
lichkeit hinweisen und neben Frauen und Männern ausdrücklich "Monitoring kommunaler Präventionsketten" von Natalie-Deiss-
all diejenigen einbeziehen und ansprechen, die sich nicht in die ler-Hesse verfügbar unter: www.lvr.de > Jugend > Jugendämter
Geschlechterkategorien „weiblich“ und „männlich“ einordnen > Koordinationsstelle Kinderarmut > Monitoring kommunaler
können oder möchten. Präventionsketten
6
WISSEN, WAS WIRKT – Monitoring kommunaler Präventionsketten
2. PRÄVENTIONSKETTEN GEGEN KINDERARMUT
Kinder- und Jugendarmut Insbesondere im Kontext von Monitoring und Wirkungs-
Armut ist eine komplexe Lebenslage, die von einem analysen ist es sinnvoll, eine klare Definition und Ein-
Mangel an materiellen und immateriellen Ressour- grenzung der zu erreichenden Zielgruppe festzulegen,
cen und damit einhergehend durch eingeschränkte um eine kontinuierliche Beobachtung zu ermöglichen.
gesellschaftliche Teilhabe geprägt ist. Sie beeinflusst Nicht außer Acht gelassen werden dürfen dabei Kinder,
und bestimmt maßgeblich das Aufwachsen und Wohl- Jugendliche und Familien, die zwar nach normativ-
ergehen von Kindern und Jugendlichen und hat damit politischer Definition nicht direkt von Armut bedroht
Auswirkungen auf die Möglichkeiten ihrer Entwicklung, sind, bei denen bei genauerer Betrachtung ihrer Le-
Teilhabe, Bildung und Chancengleichheit in der Ge- benslagen jedoch deutlich wird, dass sie trotzdem von
sellschaft. Während in Deutschland eher wenige Men- Benachteiligung und Deprivation betroffen sind. Eine
schen von absoluter Armut betroffen sind (absolut arm ganzheitlichere Betrachtungsweise ermöglicht der
ist, wer weniger als 1,90 Euro pro Tag zum Leben hat) Lebenslagenansatz des Instituts für Sozialarbeit und
(vgl. BMZ 2019), spricht man im Kontext Kinderarmut Sozialpädagogik (ISS): Die AWO-ISS-Studie entwickelte
meist von relativer Einkommensarmut. ausgehend von einer Befragung von Kindern einen um-
fassenden Ansatz zur Definition von Kinderarmut, das
Armut ist ein komplexes, mehrdimensionales Phäno- kindbezogene Armutskonzept (Lebenslagenansatz).
men, das immer in Beziehung zur Gesellschaft steht, in Ziel war es, einen akteur*innenzentrierten Ansatz zu
der Kinder, Jugendliche und Familien leben: Wer rela- entwickeln, der die Lebenslage von jungen Menschen,
tiv arm ist, hat deutlich weniger als die meisten ande- die in Armut aufwachsen, mehrdimensional und aus
ren. Um passgenaue Angebote für junge Menschen in der Kinderperspektive erfasst (ebd.).
Armutslagen bereitstellen zu können, ist es zunächst
wichtig, per Definition einzugrenzen, welche Kinder, Das Konzept der AWO-ISS-Studie orientiert sich ne-
Jugendlichen und Familien von relativer Einkommens- ben der Haushaltssituation der Familie stark an der
armut bedroht oder betroffen sind. Ein weit verbreitetes Lebenswelt der Kinder, um deren subjektive Sichtwei-
Definitionskonzept ist der politisch-normative Ansatz, se auf das Erleben von Armut und damit den Einfluss
der das staatlich definierte, soziokulturelle Existenz- auf die kindliche Entwicklung zu beschreiben. Dabei
minimum als Armutsgrenze bemisst. Haushalte gelten werden vier Dimensionen berücksichtigt, die die Le-
dann als relativ arm, wenn sie Grundsicherung nach benslage des Kindes bestimmen. Materielle Güter
SGB XII oder SGB II beziehen. Eine weitere Art der Be- definieren sich z.B. durch die Ausstattung mit Wohn-
messung ist die Bestimmung der Armutsrisikoschwel- raum, Kleidung oder Ernährung. Die soziale Kompo-
le. Diese liegt bei einem Einkommen, das weniger als nente berücksichtigt die soziale Situation eines Kindes
60 Prozent des Medians des Nettoäquivalenzeinkom- sowie soziale Kontakte (Freunde/Peers) und soziale
mens beträgt (vgl. Laubstein et al. 2012). Kompetenzen. Bei der kulturellen Dimension handelt
7
WISSEN, WAS WIRKT – Monitoring kommunaler Präventionsketten
Haushalt ist arm Materiell
(Kleidung, Wohnen, Nahrung,
Partizipation u.a.)
Sozial
Eltern/ (soziale Kompetenz,
soziale Kontakte u.a.)
Erwachsene Kind
Gesundheitlich
(physisch und psychisch)
Kulturell
(kognitive Entwicklung, Sprache,
Was kommt beim Kind an? Bildung, kult. Kompetenzen u.a.)
Lebenslage Kind
Wohlergehen Benachteiligung Multiple Deprivation
Abb. 1: Das kindbezogene Armutskonzept: Dimensionen kindlicher Armut (eigene Darstellung nach Holz, Laubstein, Sthamer 2012, S. 7).
es sich beispielsweise um Sprachverhalten, wie auch Lage häufig eingeschränkt. Das führt dazu, dass sie
um den Zugang zu formalen und informellen Bildungs- beispielsweise weniger Gelegenheiten haben, an Frei-
angeboten. Die gesundheitliche Dimension bemisst die zeitangeboten teilzunehmen, in der Schule schlechter
psychische und physische Situation des Kindes und die abschneiden und gesundheitlich stärker belastet sind
Entwicklungslaufbahn. Dabei wird eine Einteilung vor- (vgl. Holz et al. 2016, S. 44 ff.). Das strategische Ziel,
genommen zwischen Wohlergehen, Benachteiligung wenn es darum geht, Folgen von Kinderarmut zu be-
und Deprivation. Wohlergehen besteht dann, wenn kei- kämpfen und zu mildern, ist es, die Teilhabemöglich-
ne Auffälligkeiten in Bezug auf die vier beschriebenen keiten von Kindern und Jugendlichen in benachteilig-
Dimensionen festzustellen sind. Von Benachteiligung ten Lebenslagen zu stärken. Das SGB VIII formuliert in
wird gesprochen, wenn mindesten zwei der Bereiche § 1 entsprechend den Auftrag, Benachteiligung junger
durch Armut eingeschränkt sind. Multiple Deprivation Menschen zu vermeiden oder abzubauen und positive
liegt vor, wenn in mindestens drei bis vier der Bereiche Lebensbedingungen für sie zu schaffen (vgl. LVR 2020,
wichtige Einschnitte zu verzeichnen sind (vgl. Holz et S. 15). Das bedeutet etwa, Kindern und Jugendlichen
al. 2012, S. 7-13). Zugänge zu (Bildungs-)Angeboten zu ermöglichen, die
sie aufgrund ihrer Benachteiligung durch Armut nicht
Strategisches Ziel: Teilhabe und wahrnehmen können, beispielsweise, weil Gebühren
gelingendes Aufwachsen oder Eintritte erforderlich sind. Es geht aber auch um
Kinder und Jugendliche aus sozioökonomisch benach- Angebote, die Kinder nicht wahrnehmen, weil ihre El-
teiligten Familien haben oft geringere Bildungs- und tern keinen Zugang haben, schaffen können oder an-
Entwicklungschancen als andere Gleichaltrige. Ihre dere Zugangsvoraussetzungen fehlen. Ein Beispiel sind
Handlungsspielräume sind aufgrund ihrer finanziellen Plätze in Offenen Ganztagsgrundschulen, die vielerorts
8
WISSEN, WAS WIRKT – Monitoring kommunaler Präventionsketten
nur an Kinder berufstätiger Eltern vergeben werden. Auf kommunaler Ebene ist leistbar, die Folgen von
Auch Schwellenängste, die dazu führen, dass Angebo- Kinderarmut zu mildern sowie Teilhabemöglichkeiten
te nicht genutzt werden oder Stigmatisierungen, wenn und Zugänge zu schaffen und zu erleichtern. Das kann
von Armut betroffene Kinder und Jugendliche subven- beispielsweise durch bedarfsgerechtere Angebote ge-
tionierte Angebote in Anspruch nehmen, können Teil- schehen, wie etwa kostenfreie Sport- und Kulturange-
habe verhindern3. bote oder Unterstützung für Ausbildung und Schule. An
dieser Stelle können Wirkungsanalysen von Präventi-
Präventionsketten und onsketten ansetzen.
Präventionsnetzwerke
Präventionsketten bündeln eine Vielzahl von Unterstüt- Wirkungsanalysen setzen immer trennscharfe Defini-
zungs- und Bildungsangeboten für Kinder, Jugendliche tionen von Untersuchungsgegenständen und die klare
und Familien: Beginnend mit den Frühen Hilfen und Formulierung von überprüfbaren Wirkungszielen vo-
Kindertagesstätten bis hin zum Übergang in Ausbil- raus. Eine hilfreiche Unterscheidung kann eine Diffe-
dung, Studium, Beruf und ein selbstbestimmtes Leben. renzierung zwischen den Begriffen „Präventionsket-
Es geht darum, alle Kinder und Jugendlichen in den ten“ und „Präventionsnetzwerken“ sein.
Blick zu nehmen und da anzusetzen, wo Angebote und
passgenaue Hilfen nötig sind. Ziel ist es, Teilhabe zu Die Bandbreite der Angebote für Kinder, Jugendliche
stärken, gelingendes Aufwachsen zu ermöglichen und und Familien aus unterschiedlichen Handlungsfeldern
Folgen von Armut entgegenzuwirken. Präventionsket- kann man als Untersuchungsgegenstand der Präventi-
ten bilden eine integrierte kommunale Handlungsstra- onskette beschreiben. Dieses Spektrum an Angeboten
tegie, die eine enge Zusammenarbeit aller relevanten kann konkret auf seine Wirkungen auf Zielgruppen un-
Akteur*innen erfordert, um die Angebote in der kom- tersucht werden.
munalen Landschaft zusammenzuführen und zu ver-
netzen (vgl. LVR 2017). Über die Angebotsebene hinaus umfasst der Begriff
Präventionsnetzwerke auch die kooperative Vernetzung
Präventionsketten gegen Kinderarmut können die ma- aller im Hinblick auf die Präventionskette relevanten
terielle Armut von Kindern nicht verringern. Die Anzahl Akteur*innen auf Fachkräfte- und Steuerungsebene.
der von Armut bedrohten oder betroffenen Familien und Gegenstand von Wirkungsanalysen sind hier haupt-
der Bezug von Transferleistungen sind abhängig von po- sächlich Strukturen zwischen Institutionen, Trägern
litisch-wirtschaftlichen Rahmenbedingungen auf Bun- und Fachkräften sowie Gremien und Netzwerkkoordi-
desebene und können durch die Angebote von Präventi- nation. Hier lohnt sich etwa die Betrachtung von Ko-
onsnetzwerken in Kommunen nicht beeinflusst werden. operationsstrukturen zwischen Fachkräften und unter-
Insbesondere diese Erwartung darf daher an die Ange- schiedlichen Formen der Gremienarbeit.
bote der Präventionsketten nicht gestellt werden.
3 Wichtig an dieser Stelle ist der Hinweis darauf, dass der hier
verwendete Begriff von Teilhabe nicht identisch ist mit dem
Teilhabebegriff des BTHG (Bundesteilhabegesetz), das vorrangig
auf die Teilhabe von Menschen mit Behinderung ausgerichtet ist
und damit den Fokus auf diese eine Zielgruppe legt.
9WISSEN, WAS WIRKT – Monitoring kommunaler Präventionsketten Herausforderung Wirkungsanalyse – die gesamte Präventionskette in den Blick nehmen? Häufig wird bei der Wirkungsanalyse von Präventionsketten, insbesondere in Legitimierungszusammenhängen, der Anspruch an eine ganzheitliche Analyse der Präventionskette gestellt. Fachkräfte sollten sich von Beginn an bewusst sein, dass die zur Verfügung stehenden Methoden auch Grenzen aufweisen und eine Gesamtanalyse der Präventionskette als Angebotsstruktur herausfordernd ist. Hierfür wäre es nötig, alle relevanten Angebote kontinuierlich zu beobachten und zu bewerten. Dies stellt sich insbesondere bei großen Sozialräumen und einer heterogenen Angebotsstruktur als sehr schwierig dar. Daher ist es sinnvoll, Ausschnitte zu betrachten, bei- spielsweise zunächst einen Stadtteil oder einzelne Angebote zu untersuchen. Hingegen lässt eine Analyse von Präventionsnetzwerken, die die Steuerungsebene und Vernetzung zwischen den Institutionen und Fachkräften in den Fokus stellt, eine Wirkungsanalyse zu, die den Blick auf die gesamte Landschaft der Präventionsarbeit lenkt. 10
WISSEN, WAS WIRKT – Monitoring kommunaler Präventionsketten
3. WIRKUNGSANALYSE VON PRÄVENTIONSKETTEN
Wie wirksam sind Präventionsketten und die damit ver- Monitoring von Präventionsketten“ (Jehles 2017, S. 7).
bundenen Maßnahmen? Die oft angefragte „messbare Wirkungsanalysen bieten darüberhinausgehende Aus-
Rendite“ der eingesetzten Mittel und Maßnahmen ist sagen zu den Wirkungen der Präventionskette.
in der Regel nicht belegbar, zu vielschichtig sind die
Einflussfaktoren auf gelingendes Aufwachsen und zu 3.1 Monitoring und Evaluation
lang die Zeiträume, die beobachtet werden müssten. Bei der Planung von Projekten und Prozessen zur wir-
Erkenntnisse über einzelne Bausteine und Maßnah- kungsorientierten Steuerung stellt sich zu Beginn die
men der Präventionskette geben aber wertvolle An- zentrale Frage nach einer Definition von Wirkungszie-
satzpunkte zur Weiterentwicklung der Präventionsar- len und der Entwicklung eines Wirkungsmodells. Dar-
beit selbst: Ob die Angebote dem Bedarf der Zielgruppe auf basierend sollten mögliche Indikatoren ausgesucht
entsprechen, welches Echo die Teilnehmenden und werden, die sich auf die festgelegten Wirkungsziele
Fachkräfte anschließend geben oder in welchen Sozi- beziehen, erst danach erfolgt die Suche nach einem
alräumen der Bedarf nach Unterstützungsmaßnahmen geeigneten Instrument. Kommunen verfügen zum Teil
besonders hoch ist, sind Fragestellungen, die aus- bereits über eine ausgeprägte Sozialberichterstattung,
schlaggebend für eine fachlich fundierte Reflexion und regelmäßige Erhebungen von sozialräumlichen Daten
Weiterentwicklung der Präventionsarbeit sind. oder einzelne Evaluationsinstrumente für die Bewer-
tung und Weiterentwicklung von Angeboten und Maß-
Die Wirkungen von Präventionsketten und einzel- nahmen. Die Herausforderung besteht nicht notwendi-
nen Maßnahmen in den jeweiligen Kommunen lassen gerweise in der flächendeckenden Erhebung von Daten,
sich mitunter durch Aussagen von Fachkräften und sondern in der systematischen Zusammenführung von
Netzwerkakteur*innen sowie von Kindern, Jugend- Datenquellen und einem sinnvollen Methodeneinsatz,
lichen und Familien identifizieren, dennoch fehlt es die konkrete Fragestellungen gezielt beleuchten. Zur
häufig an Instrumenten, die eine systematische Abbil- Auswahl geeigneter Instrumente müssen zunächst das
dung von Effekten und Wirkungen der geleisteten Prä- Ziel, die Intention und die Fragestellung klar formu-
ventionsarbeit ermöglichen. Eine erste Annäherung liert sein (siehe Gelingensbedingungen, Kapitel 5). Erst
bildet ein Monitoring, denn: „Durch ein Monitoring von dann kann eine sinnvolle Anpassung eines Instrumen-
Präventionsketten kann erstens Transparenz über die tes zur Wirkungsanalyse erfolgen.
Bedarfe von Kindern mit eingeschränkter Teilhabe her-
gestellt werden. Zweitens können dort, wo die Teilhabe Evaluationen als zentrale Elemente der Wirkungsana-
von Kindern eingeschränkt ist, entsprechende Ange- lyse beschäftigen sich mit einem konkreten Untersu-
bote vorgehalten werden und drittens die Inanspruch- chungsgegenstand, der auf seine im Vorfeld formulier-
nahme der Angebote nachgehalten werden. Die regel- ten und intendierten Wirkungsziele bewertet werden
mäßige Erhebung der Bedarfe, der Angebote sowie soll. Im Fokus stehen können beispielsweise einzelne
der Inanspruchnahme sind also die Grundlage für ein Angebote, Maßnahmen oder Projekte, die einen be-
11WISSEN, WAS WIRKT – Monitoring kommunaler Präventionsketten
stimmten Effekt etwa auf die Zielgruppe erzielen sollen. dauerhafte Beobachtung, ob das Ziel der Bildungsbe-
Evaluationen sollen Maßnahmen „bewertbar“ machen teiligung von Kindern nach einiger Zeit wirkungsvoll
und Schlussfolgerungen und Empfehlungen ableiten, umgesetzt wurde.
die in einem späteren Schritt zur Anpassung und Qua-
litätsentwicklung führen sollen (vgl. Kurz/Kubek 2013, Abzugrenzen ist der Begriff des Monitorings von der
S. 48ff.). Da die Bewertung der eigenen Arbeitsabläufe Sozialberichterstattung, die bereits in vielen Kommu-
Fachkräfte häufig vor große Herausforderungen stellt, nen zum festen Bestandteil von Jugendhilfeplanungs-
ist es mitunter ratsam, externe Expert*innen zu Rate prozessen gehört. Ein Monitoring beinhaltet ein klar
zu ziehen, die mit einem Blick von außen Prozesse be- formuliertes strategisches Ziel sowie eine klare Inten-
obachten können, ohne in Legitimationskonflikte zu tion und unterscheidet sich zudem durch seine dauer-
geraten. Auf der anderen Seite haben interne Evalua- hafte Betrachtung gleichbleibender Untersuchungsge-
tionen jedoch den Vorteil, dass das spezifische Fach- genstände. „Im Hinblick auf die Regelmäßigkeit haben
wissen über die Beschaffenheit der Angebote von den routinemäßig anfallende Daten den Vorteil, dass sie
Fachkräften selbst in die Instrumentenentwicklung mit nicht zusätzlich erhoben werden müssen und keine
einfließen kann. Evaluationen, obwohl sie Bestandteil zusätzlichen Kosten für die Erhebung anfallen“ (Jehles
der Methodik von Wirkungsanalysen sind, grenzen sich 2017, S. 6).
aufgrund ihrer Vorgehensweise jedoch von Monitoring-
konzepten ab (ebd.). 3.2 Das LVR-Praxisentwicklungs
projekt
Monitoringinstrumente erfüllen den Zweck einer syste- Das LVR-Praxisentwicklungsprojekt „Monitoring kom-
matischen Dauerbeobachtung, beispielsweise von so- munaler Präventionsketten gegen Kinderarmut“ hat
zialräumlichen Entwicklungen und gesellschaftlichen mit ausgewählten Kommunen ein Konzept erprobt und
Phänomenen. Beim Monitoring geht es weniger um die Instrumente sowie Gelingensbedingungen entwickelt,
Bewertung, ob und wie Maßnahmen gelingen können, die praxisnah helfen, Effekte und Wirkungen von Prä-
sondern mehr um eine sich wiederholende Bericht- ventionsketten abzubilden. Von den 39 Kommunen des
erstattung, die Entwicklungen aufzeigen kann und die LVR-Programms „Teilhabe ermöglichen – Kommunale
zugleich die Funktion hat, eine kritische Öffentlichkeit Netzwerke gegen Kinderarmut“ entwickelten die drei
aufzuklären wie auch zu sensibilisieren (vgl. Gehne/ Jugendämter der Städte Bergheim, Kerpen und Net-
Schräpler 2018, S. 5ff.). Damit ist ein Monitoring auch tetal individuelle Lösungen, um gelingende Teilhabe
besonders interessant für Stakeholder und steuernde messbar und bewertbar zu machen.
Akteur*innen in der Politik. Auch wenn ein Monitoring
nicht mit Wirkungsanalyse gleichgesetzt werden kann, Pragmatisch einsetzbare
kann es gleichzeitig wirkungsorientiert ausgerichtet Instrumentenkoffer für die Kommunen
sein. Der besondere Fokus liegt hierbei auf beobacht- Im Sinne eines Monitorings, das an die individuellen
baren Zielen, die nach gewissen Zeiträumen erreicht Rahmenbedingungen, kommunalen Gegebenheiten,
werden sollen: Als Beispiel kann hier die Versorgung Ressourcen sowie die Trägerlandschaft in den Kom-
von Kindern mit Plätzen in Kindertagesstätten genannt munen anknüpft, kann die Entwicklung eines Instru-
werden. Es geht dabei nicht konkret um die Wirkungs- mentenkoffers nicht auf der Grundlage vorgefertigter
messung der Maßnahme „Kita“, sondern um eine Entwicklungspläne oder Indikatorensets erfolgen.
12WISSEN, WAS WIRKT – Monitoring kommunaler Präventionsketten
Aufgrund der Heterogenität der kommunalen Struk- sind komplexe Gebilde, die verschiedene Ebenen bein-
turen und Präventionsnetzwerke entwickelte jede der halten, die es zu untersuchen gilt. So können beispiels-
teilnehmenden Kommunen einen Instrumentenkoffer, weise die Angebote in den Blick genommen werden,
der auf ihre Ausgangslage hin abgestimmt und in den die Zielgruppen oder auch die Strukturen. Wichtig bei
Arbeitsalltag integrierbar ist. Unter Berücksichtigung Monitoringkonzepten und Wirkungsanalysen ist die
der Vorgabe „Weniger ist Mehr“ sollten Instrumente Klarheit darüber, was untersucht und abgebildet wer-
entstehen, die in einem durchschnittlichen Jugendamt den soll. Da es bei der Bekämpfung von Kinderarmuts-
möglichst mit den bestehenden Ressourcen einsetzbar folgen zumindest auf kommunaler Ebene darum geht,
sind. insbesondere Teilhabechancen zu ermöglichen, gab es
im Projekt „Monitoring kommunaler Präventionsket-
Ziel des Monitorings und der Analysen in den Kommu- ten gegen Kinderarmut“ die Verständigung darauf, die
nen war bei allen die Teilhabe im Sinne eines gelingen- Teilhabe von Kindern und Jugendlichen als Untersu-
den Aufwachsens. Präventionsketten und -netzwerke chungsgegenstand in den Fokus zu stellen.
Vorhandenes Wissen und wissenschaftliche Erkenntnisse nutzen
In kommunalen Datenerhebungen stehen nicht unbedingt direkte Wirkungsmessungen im Vordergrund. Das
ist mit der vorhandenen Ausstattung kaum leistbar. Jugendämter können sich auf wissenschaftliche Ergeb-
nisse über nachgewiesen wirksame Maßnahmen berufen und ihre Indikatoren darauf basierend auswählen.
Es existieren gesicherte Erkenntnisse über Aufwachsen in Wohlergehen und gelingende Teilhabe, die sich in
wissenschaftlichen Studien abbilden. Wenn man weiß, welche Maßnahmen wirken, können dementsprechend
Indikatoren ausgesucht und im Sinne eines Monitorings systematisch und dauerhaft beobachtet werden*. „Es
ist nicht Aufgabe der kommunalen Akteur*innen zu beweisen, dass beispielsweise Maßnahmen der Frühen
Hilfen, der frühe Besuch einer Kita, der Besuch einer gemischten Kita oder Sport im Verein positive Effekte auf
die Entwicklung von Kindern haben. Für solche Wirkungsanalysen wären neben Individualdaten, enorme zeit-
liche, personelle und finanzielle Ressourcen notwendig. Dies ist in den Kommunen in der Regel nicht gegeben
und nur durch externe Dienstleister*innen erbringbar“ (vgl. Jehles 2017, S. 10).
* Die LVR-Koordinationsstelle Kinderarmut und die LVR-Fachberatung Jugendhilfeplanung haben eine Veröffentlichungsreihe mit
Informationen aus dem aktuellen Forschungsstand zum Thema "Kinderarmut und gelingende Teilhabe" ins Leben gerufen. Die
Themenhefte sollen einen kurzen, prägnanten Überblick über aktuelle Studien und ausgewählte Forschungsergebnisse geben.
Verfügbar unter: https://www.lvr.de/de/nav_main/jugend_2/jugendmter/koordinationsstellekinderarmut/monitoringpraeventions-
ketten/monitoring_kommunaler_praeventionsketten.jsp
13WISSEN, WAS WIRKT – Monitoring kommunaler Präventionsketten
Methodenmix: Quantität plus Qualität aufgrund quantitativer Daten erhoben werden, soll-
Im Sinne eines kontinuierlichen Monitorings war es Ziel ten aber durch qualitative Rückmeldungen sowohl von
des Projektes, eine nachhaltige Implementierung in die Fachkräften als auch von den Nutzer*innen der Ange-
Präventionslandschaft der Kommunen zu erreichen bote genauer untersucht werden. Das folgende Modell
und die Jugendämter zu befähigen, ein Instrument der ist die konzeptionelle Basis für das Projekt und die wei-
systematischen und kontinuierlichen Informationser- tere Bearbeitung des Themas. Entlang der folgenden
hebung und Beobachtung eigenständig durchzuführen. vier Themenfelder war es das Ziel jedes teilnehmen-
Die besondere Herausforderung einer Wirkungsana- den Jugendamtes, ein auf die Maßnahmen der eigenen
lyse von Präventionsketten ist die Zusammenführung kommunalen Präventionskette abgestimmtes Konzept
quantitativer und qualitativer Datenquellen: Indikato- zu entwickeln. Da dieser Ansatz über ein reines Moni-
ren zur Analyse von Bedarfen von Kindern, Jugendli- toring im Sinne einer Datensammlung (blau markierte
chen und Familien geben wichtige Hinweise darüber, Felder) hinausgeht und Ansätze von Wirkungsanalysen
wo Angebote passgenau anzusiedeln sind. Wirkungen (grün markierte Felder) enthält, sprechen wir in unse-
von Maßnahmen und Angeboten können zum einen rem Konzept von Monitoring „plus“.
Individual-/Aggregatdaten, z.B. Rückmeldungen
• Soziodemographiedaten von Fachkräften und
• Kitaversorgung Netzwerkakteur*innen
• Schuleingangsuntersuchung
• Sozial- und Jugendhilfeleistungen
Erkenntnisse zu
Teilhabe und gelingendem Aufwachsen
sammeln, ordnen, verdichten, bewerten
Infrastrukturelle Daten Rückmeldungen der Nutzer*innen
Qualität und Quantität, z.B. von Kindern, Jugendlichen, Eltern
• Netzwerke
• Koordination
• Kooperationen
Abb. 2: Erhebungskonzept „Monitoring kommunaler Präventionsketten“ (Gilles, Hopmann, Muscutt, Rostock 2017)
14WISSEN, WAS WIRKT – Monitoring kommunaler Präventionsketten
Individual-/Aggregatdaten: Die Grundlage von Moni- operationsstrukturen zu erfassen und die Qualität der
toringkonzepten bilden die ohnehin in den Kommunen Zusammenarbeit der beteiligten Partner*innen zu ana-
vorliegenden soziodemografischen Daten, zum Beispiel lysieren. Darüber hinaus liegen in Aussagen über die
Einwohner*innendaten, Daten zur Bevölkerungsstruk- Prozessqualität der einzelnen Netzwerke und Vernet-
tur und Sozial- und Jugendhilfeleistungen. Sie liegen zungen/Kooperationen wichtige Erkenntnisse für die
oft auch auf kleinräumiger Ebene vor, so dass sich über Fachkräfte. Diese gilt es hier zu erfassen.
diese Daten beispielsweise die Sozialstruktur in einem
zu untersuchenden Stadtteil gut sichtbar machen lässt. Rückmeldungen durch Fachkräfte und Netzwerk
Ergänzend dazu können systematisierte Daten aus den akteur*innen: Hier geht es um die subjektiven Ein-
verschiedenen Handlungsfeldern wie den Frühen Hil- schätzungen der Fachkräfte und Netzwerkakteur*innen
fen, Kindertagesbetreuung, Jugendarbeit oder Jugend- von Maßnahmen sowie deren intendierte Wirkung auf
sozialarbeit genutzt werden. Dies können beispielswei- Kinder, Jugendliche und Familien. Im Fokus stehen
se verschiedene Daten zur Nutzung dieser Angebote qualitative Aussagen zu Inhalten und Passgenauigkeit
sein oder die Elternbeiträge für die Kindertagesbetreu- der Angebote. Die Beurteilung der Fachkräfte, war-
ung. Auch Daten von Kooperationspartner*innen, zum um bestimmte Angebote durch wen genutzt oder nicht
Beispiel Ergebnisse der Schuleingangsuntersuchun- genutzt werden und was sie bewirken, bieten wichtige
gen der Gesundheitsämter und Daten aus dem Bereich Hinweise zur Weiterentwicklung der Präventionskette.
Schule können eine hilfreiche Datengrundlage bieten.
Rückmeldungen von Nutzer*innen: Die Fragestellung,
Die Individual-/Aggregatdaten bilden die Ausgangsla- welchen Gewinn zum Beispiel Beratungs-, Bildungs-
ge ab, auf deren Hintergrund die weiteren Erhebungen oder Freizeitangebote für Kinder, Jugendliche und
eingeordnet werden müssen. Sie sind zudem nutzbar Eltern aus deren Sicht mit sich bringen, lassen sich
für Zeitreihenvergleiche, bei gleichbleibender Erhe- durch quantitative Erhebungen und Datenaggregatio-
bungssystematik. nen nur schwer abbilden. Ergänzend sollten deshalb
qualitative, niederschwellig angelegte Befragungen
Bei der Erstellung eines Monitoringskonzepts ist zu mit Nutzer*innen der Angebote durchgeführt werden.
empfehlen, sich auf eine begründete Auswahl an Da- Letztlich sind es erst die subjektiven Sichtweisen der
ten hinsichtlich der Fragestellung zu begrenzen. Oft- Kinder, Jugendlichen und Eltern, die einen fundierten
mals reicht ein kleines Datenset, um einen bestimmten Erkenntnisgewinn über die Wirkungen, Effekte, An-
Sachverhalt oder eine Entwicklung abzubilden und zu wendbarkeit und gelingende Bedarfsorientierung der
beobachten. Angebote ermöglichen.
Infrastrukturdaten: Der zweite Baustein, die Unter- Erkenntnisse zu Teilhabe und gelingendem Aufwach-
suchung der Infrastruktur der Präventionskette bzw. sen bewerten: Ziel der Erhebungen in den vier Bau-
des Präventionsnetzwerks beschäftigt sich mit den steinen ist es, Aussagen zur Teilhabe von Kindern, Ju-
verwaltungsinternen Strukturen der Jugendämter, gendlichen und deren Familien zu gewinnen und diese
installierten Netzwerkgremien (z.B. Steuerungsgrup- miteinander in Kombination zu setzen. Teilhabe bzw.
pen), Ausgestaltung und Umfang der Netzwerke sowie Teilhabechancen sind daher der Fokus, auf den sich
Kooperation mit weiteren Trägern. Es geht darum, Ko- die Analysen beziehen. Unter diesem Untersuchungs-
15WISSEN, WAS WIRKT – Monitoring kommunaler Präventionsketten
gegenstand werden Indikatoren entwickelt und die Er- 3.3 Wirkungslogik und Wirkungsziele
gebnisse der verschiedenen Analysen ausgewertet und Eine zentrale Voraussetzung für ein gelingendes Moni-
zusammengeführt. Idealerweise geschieht dies, wo es toring ist das Ausformulieren einer nachvollziehbaren
möglich und passend ist, gemeinsam mit Fachkräften, Wirkungslogik. „Durch diese legitimiert sich das Mo-
Netzwerkakteur*innen, aber auch mit Nutzer*innen nitoring nicht nur, sie ist auch der Ausgangspunkt für
der Angebote. die Formulierung von Indikatoren und für die Auswahl
geeigneter Erhebungsmethoden“ (Ulrich 2019, S. 17).
Im Sinne einer multiperspektivischen Betrachtungs- Durch den Aufbau einer Wirkungslogik können beab-
weise werden die Ergebnisse der verschiedenen Er- sichtigte Ziele benannt, Hypothesen hinsichtlich der
hebungen und Datenquellen miteinander verbunden. Wirkungen formuliert und durch passende Indikatoren
Auch wenn diese in ihren Auswertungskategorien oder beobachtet und überprüft werden.
Erhebungsbezügen nicht immer deckungsgleich sind,
ermöglicht erst die gemeinsame Betrachtung aller Da- Wirkungstreppe
ten und Methoden aus unterschiedlichen Perspektiven Die Wirkungstreppe beschreibt ein zentrales Modell
eine umfassende Analyse über die Situation der Kinder, zur wirkungsorientierten Planung von Projekten und
Jugendlichen und Familien in der Kommune. Damit Maßnahmen. Sie ist kein direktes Messinstrument,
lässt sich ein Eindruck über die Teilhabechancen der sondern ermöglicht eine strukturierte Abbildung von
Adressat*innen gewinnen sowie über die Qualität und Ressourcen, Maßnahmen und Zielen. Die Wirkungs-
die Wirkungen der Präventionskette. treppe stellt ein hilfreiches Element für die Erstellung
Wirksamkeit und Wirkung
Bei der Entwicklung von Prozessen und Projekten zur Wirkungsanalyse ist ein differenzierter Umgang mit den
Begrifflichkeiten wichtig. Das Ziel, Wirksamkeit zu belegen, kann schnell zu einer Überforderung führen, da es
hier um die Bewertung des Nutzens oder Wertes einer Maßnahme oder eines Projekts geht. Wirkungen dage-
gen sind Veränderungen, die durch eine Maßnahme oder ein Projekt erreicht werden und intendierte oder nicht
intendierte Effekte beinhalten. Diese zu belegen ist daher durch konkrete Zielsetzungen und Indikatoren eher
leistbar. Zu berücksichtigen bei der Benennung der Prozesse und Maßnahmen ist stets, welche Erwartungen
Konzepte zur Wirkungsanalyse wecken können und wie man diesen gerecht werden kann.
16WISSEN, WAS WIRKT – Monitoring kommunaler Präventionsketten
eines Erhebungsplans dar, wenn sie an die individu- Voraussetzung dafür, dass wirkungserzeugende Aktivi-
ellen Voraussetzungen und Planungen der Kommune täten stattfinden können ist, dass die entsprechenden
angepasst wird. Voraussetzungen und Strukturen geschaffen sind bzw.
die notwendigen Ressourcen bereitstehen (Input). Auf
Die Wirkungstreppe wurde unter dem Begriffen „Er- der Ebene Input werden alle Mittel und Ressourcen
eigniskette“ als Modell zur Evaluation (Beywl/Schepp- beschrieben, die notwendig sind, um ein Angebot oder
Winter 1999) und „Resultate-Treppe“ ursprünglich eine Maßnahme umzusetzen. Hierzu zählen nicht nur
durch das Institut „Univation“ entwickelt. Ziel war es finanzielle Mittel, sondern auch personelle Ressour-
darzustellen, dass Angebote und Maßnahmen Ergeb- cen (haupt- und ehrenamtlich), Räumlichkeiten für die
nisse auf verschiedenen Ebenen erzeugen und „es oft Angebotsumsetzung sowie die räumliche Ausstattung.
eines Resultats auf einer niedrigeren Stufe bedarf, Inputs messen, was wir benötigen, um eine Maßnahme
damit ein Resultat auf einer höheren Stufe eintreten umzusetzen.
kann“ (Univation GmbH 2020). Eine Aktivität muss also
erst einmal überhaupt stattfinden und von der entspre- Die sogenannten Outputs (Leistungen) benennen alle
chenden Zielgruppe angenommen werden (Output), Produkte und Resultate, die die Nutzung der Leistun-
bevor sie überhaupt Wirkungen entfalten kann (Out- gen durch die Zielgruppe beschreiben. Die Wirkungs-
come). Und um bei den Zielgruppen beispielsweise treppe unterteilt Outputs in drei Stufen der Wirkungs-
ein bestimmtes Handeln oder Verhalten zu erreichen, logik: Ebene eins bezieht sich darauf, dass Aktivitäten
müssen diese möglicherweise erst einmal neues Wis- installiert werden und wie geplant stattfinden. Dies
sen oder Fähigkeiten erlangen. bedeutet jedoch nicht, dass Angebote von den ange-
Gesellschaft verändert sich Impact
Lebenslage der Adressat*innen ändert sich
Adressat*innen/Fachkräfte ändern ihr Handeln, Verhalten Outcome
Adressat*innen/Fachkräfte verändern Fähigkeiten, Wissen, Einstellungen
Adressat*innen/Fachkräfte akzeptieren Angebote
Adressat*innen/Fachkräfte werden erreicht Output
Aktivitäten finden wie geplant statt
Notwendige Ressourcen stehen bereit, Strukturen und Voraussetzungen sind geschaffen Input
Abb. 3: Wirkungstreppe (eigene Darstellung, vgl. Kurz/Kubek (PHINEO) 2013 nach Univation GmbH)
17WISSEN, WAS WIRKT – Monitoring kommunaler Präventionsketten
sprochenen Adressat*innen auch genutzt werden. Auf darum geht, mit bestimmten Angeboten deren Sensi-
Output-Ebene zwei lässt sich durch Indikatoren wie bilität für das Thema Kinderarmut zu steigern, kann
Besucher*innenzahlen abbilden, ob das Wirkungsziel für die Abbildung der Zielerreichung ebenfalls die Wir-
erreicht wurde und die erwarteten Zielgruppen an den kungstreppe genutzt werden.
Angeboten teilnehmen. Ob Adressat*innen die Ange-
bote und Maßnahmen annehmen, lässt sich mit der Der Impact beschreibt eine gewünschte langfristige und
Output-Ebene drei beschreiben. Hier geht es im We- beobachtbare gesellschaftliche Veränderung, die sich
sentlichen um die Zufriedenheit der Teilnehmenden durch eine veränderte Lebenslage der Zielgruppen be-
und ihre subjektive Einschätzung, ob sie von Angeboten gründet. Ob durch Wirkungsanalysen von Präventions-
auch tatsächlich profitieren. Dafür, dass die gewünsch- ketten oder in der Sozialen Arbeit im Allgemeinen tat-
te Wirkung der Maßnahmen eintritt, ist die Akzeptanz sächlich Impact-Effekte abgebildet werden können, wird
und Zufriedenheit der Zielgruppe ein ausschlaggeben- kritisch und kontrovers diskutiert. Die Faktoren für ge-
der Indikator. lingendes Aufwachsen sind vielschichtig und häufig nicht
auf monokausale Zusammenhänge zurückzuführen.
Outcomes beschreiben direkte Wirkungen der Angebo-
te und Maßnahmen auf das Wissen, Verhalten und Han- Der Anspruch eines kommunalen Monitorings kann es
deln der Adressat*innen. Daher ist es wichtig, wenn nicht sein, Veränderungen auf gesellschaftlicher Ebene
es um Wirkungsanalysen geht, Indikatoren und dazu aufzuzeigen. Dies würde nicht nur eine Überforderung
passende Messinstrumente zu finden, die vor allem die des Instruments, sondern auch der verantwortlichen
Outcomes, also beispielsweise Verhaltensänderungen Akteur*innen auf kommunaler Ebene bedeuten.
oder Wissenserwerb, abbilden. Oftmals ist dies nur
über qualitative Methoden wie Befragungen oder Be- Gleichwohl sollte ein gewünschter Impact als strate-
obachtungen möglich. Da es in der Sozialen Arbeit ge- gisches Ziel für Wirkungsanalysen definiert sein. Auch
nerell schwierig ist, kausale Wirkzusammenhänge zu wenn mit den zur Verfügung stehenden Instrumenten
belegen, ist die Auswahl der Indikatoren entscheidend. nicht die tatsächliche kausale Wirkung auf gesell-
Diese müssen so kleinteilig und zielgenau formuliert schaftlicher Ebene nachgewiesen werden kann, müs-
sein, dass sie einen Wirkzusammenhang abbilden kön- sen Maßnahmen bestimmte Ziele vor Augen haben,
nen. die zu gesellschaftlichen Veränderungen beitragen
können. Zum Beispiel kann die Bekämpfung der Fol-
Mit Blick auf das Erhebungskonzept unseres Projekts gen von Kinderarmut, insbesondere in den davon stark
ist die Wirkungstreppe, bis auf die beiden letzten Stu- betroffenen Stadtquartieren, für eine Kommune ein
fen, nicht nur anwendbar bezüglich der Zielgruppen, wichtiges politisches Ziel und strategische wie konkre-
an die sich die Angebote der Präventionskette richten, te Handlungsgrundlage der Verwaltung sein.
sondern auch auf Fachkräfte. Wenn es beispielsweise
18WISSEN, WAS WIRKT – Monitoring kommunaler Präventionsketten
Bedarfs- und Wirkungsindikatoren
Bei der Auswahl geeigneter Indikatorensets ist vorab zu klären, welche Aussagen die Indikatoren überprüfbar
machen sollen, und um welchen Indikatorentyp es sich dabei handelt. Diese Differenzierung ist vor allem für
die richtige Interpretation der Daten wichtig, aber auch um Fehlschlüsse zu vermeiden.
Bei Leistungsindikatoren handelt es sich um die Messung von reinen Outputs, z.B. die Anzahl von durchge-
führten Beratungen oder die Anzahl der Vermittlung an Beratungsangebote. Diese Indikatoren bilden bereits
eine Aussage über Wirkungen auf der Ebene des Outputs, also etwa über die Teilnehmendenzahl und Akzep-
tanz eines Angebots, beschreiben in der Regel aber noch keine Wirkung auf der Ebene des Outcomes (siehe
Wirkungstreppe).
Wirkungsindikatoren sind Kenngrößen, die auf die Lösung von individuellen oder gesellschaftlichen Prob-
lemen ausgerichtet sind (Outcome und Impact) und stehen im Zusammenhang mit einer vorhergegangenen
Maßnahme, z.B. die Anzahl der Berufsausbildungsplätze nach durchgeführten Bewerbungstrainings (vgl. Dea-
ring 2005). Sie zeigen auf, welche konkreten Veränderungen bei der Zielgruppe, beispielsweise hinsichtlich
ihrer Fähigkeiten oder Verhaltensweisen, sichtbar werden.
Soziodemographische Daten stehen im Mittelpunkt der Erhebungen eines Monitorings kommunaler Präven-
tionsketten, sie dürfen jedoch nicht als Output- oder Outcome-Indikatoren interpretiert werden. Erhebt man
beispielsweise die Quote der SGB II- Bezieher*innen in einem Stadtteil, kann eine positive oder negative Ver-
änderung der Quoten nicht als Effekt der Präventionskette zugeschrieben werden. Hier geht es lediglich um
die Erhebung von Bedarfsindikatoren, nach denen sich Präventionsketten stärker ausrichten können. Ihnen
kommt eine wichtige Bedeutung für die dauerhafte, kleinräumige Beobachtung von Bedarfen und die Sensibi-
lisierung in Bezug auf Kinderarmut zu.
Wirkungslogik rich 2019, S. 20/21). Die Zielformulierungen beginnen
Die in der folgenden Tabelle abgebildeten Fragen bei der Ebene des Impacts als strategisches Leitziel
wurden durch die wissenschaftliche Begleitung des und bearbeiten von dort ausgehend Fragestellungen
Praxisentwicklungsprojekts „Monitoring kommuna- nach unten über die Ebenen der Wirkungstreppe. Die
ler Präventionsketten“ entwickelt und können dabei Fragen helfen, Zielformulierungen für die entspre-
unterstützen, eine Wirkungslogik zu erstellen (vgl. Ul- chende Ebene zu finden.
19WISSEN, WAS WIRKT – Monitoring kommunaler Präventionsketten
Impact
1a) Welches Problem oder welche Herausforderung sehen wir in der Gesellschaft, zu dessen Lösung
ich beitragen möchte?
Und/oder
1b) Welches gesellschaftliche Idealbild habe ich, zu welchem ich mit meinen Maßnahmen beitragen möchte?
2)
Wieso setze ich mit meinen Maßnahmen dort an, wo ich ansetze?
Zielgruppen/Adressat*innen
3) An welche Zielgruppen wendet sich mein Angebot direkt? (Wer sind Teilnehmer*innen?)
4) An
welche Zielgruppen wendet sich mein Angebot indirekt (Wer profitiert davon, obwohl sie nicht
Teilnehmer*innen sind?)
5) Wieso
ist es im Sinne der Lösung des gesellschaftlichen Problems bzw. des Beitrags zum
gesellschaftlichen Idealbild (s.o.) sinnvoll, sich gerade an diese Zielgruppen zu wenden?
Outcome
6) Welche konkreten Veränderungen (in ihrem Denken, Verhalten, Handeln…) möchte ich bei den
direkten Zielgruppen bewirken?
7) Welche
konkreten Veränderungen (in ihrem Denken, Verhalten, Handeln…) können bei den
indirekten Zielgruppen entstehen?
8) In
welchem Zusammenhang stehen die Veränderungen auf Ebene der Zielgruppe mit der Lösung
des gesellschaftlichen Problems bzw. dem Beitrag zum gesellschaftlichen Idealbild?
ZUSATZFRAGEN:
Wann rechne ich damit, dass sich diese Veränderungen zeigen (unmittelbar nach den Maßnahmen;
mit zeitlicher Verzögerung usw.)?
Woran könnte ich diese Veränderungen konkret beobachten?
20WISSEN, WAS WIRKT – Monitoring kommunaler Präventionsketten
Output
9) Welche Maßnahmen habe ich geplant, um die o.g. Veränderungen bei den Zielgruppen zu bewirken?
10) Wieso
sind gerade diese Maßnahmen so geeignet, um die Veränderungen bei den Zielgruppen
zu bewirken?
PRÜFFRAGEN
11a) Tragen alle meine Maßnahmen zur Erreichung von mindestens einer Veränderung bei
den Zielgruppen bei?
Und
11b) Lassen sich alle von mir intendierten Veränderungen mittels mindestens einer Maßnahme realisieren?
Input
12) Welche Ressourcen (Geld, Personal, Netzwerk/Partnerschaften, Strukturen etc.) benötige ich, um die Maß-
nahmen umzusetzen, welche die Veränderungen bei den Zielgruppen bewirken und somit einen Beitrag zur
Lösung des gesellschaftlichen Problems oder Erreichung des Idealbildes leisten?
Abb. 4: Leitfragen zur Erstellung einer Wirkungslogik (Ulrich 2019, S. 20/21: FGW Expertise: Monitoring kommunaler Präventionsketten)
Ist das denn repräsentativ?
Die Frage nach der Repräsentativität ist eine der meist gestellten in Bezug auf die Gültigkeit und Aussagekraft
von kommunalen Datenerhebungen, Evaluationen in der Sozialen Arbeit und Sozialberichterstattung. Reprä-
sentativität gilt zwar als wissenschaftliches Gütekriterium, aber repräsentative Untersuchungen sind in der
Regel sehr kostspielig und aufwändig.
Der Anspruch an ein kommunales Monitoring kann und muss es nicht sein, im vollen Maße wissenschaftlichen
Gütekriterien gerecht zu werden. Gute Hinweise auf das richtige Handeln lassen sich auch durch Erhebungen
finden, die nicht repräsentativ im streng wissenschaftlichen Sinne sind. Damit auch in der alltäglichen Praxis
eines kommunalen Jugendamtes ein Monitoring kontinuierlich durchführbar ist, muss dieses praxisnah, prag-
matisch und mit den vorhandenen Ressourcen umsetzbar sein. Eine durchdachte Auswahl der Datenquellen
und Stichproben, die z.B. kleinräumig und übersichtlich die entsprechende Zielgruppe abbilden, sind hierbei
hilfreich.
21WISSEN, WAS WIRKT – Monitoring kommunaler Präventionsketten
3.4 M
ethoden für Monitoring und spezifischen Fragestellungen in moderierten Settings
Wirkungsanalysen erhoben.
Im Zuge des Praxisentwicklungsprojekts wurden durch
die teilnehmenden Projektkommunen Erhebungsme- Erreichen von Zielgruppen
thoden entwickelt, die praxisnah helfen, Effekte und Mitunter kann es sich schwierig gestalten, Zielgruppen
Wirkungen von Präventionsketten abzubilden. Hierfür durch bestimmte Erhebungsmethoden wie einen Fra-
wurden die bestehenden Maßnahmen der Präventions- gebogen anzusprechen. Gründe dafür sind beispiels-
netzwerke der Kommunen in den Blick genommen und weise Sprachbarrieren oder Schwellenängste der zu
eigens hierfür angepasste Fragestellungen konzipiert. Befragenden, dies muss bei der Methodenentwicklung
Eine besondere Rolle bei der Entwicklung der Metho- gut bedacht werden. Es lohnt sich daher, zu prüfen, ob
den spielte die pragmatische Einsetzbarkeit. Erhebun- die vorgesehenen Instrumente passgenau für die zu Be-
gen mit Fachkräften und Zielgruppen bedeuten häufig fragenden sind und beispielsweise in weitere Sprachen
einen nicht zu vernachlässigenden zeitlichen Aufwand, übersetzt werden müssen. Eine weitere Herausforde-
dementsprechend sollte die Entscheidung für die Aus- rung kann die Auswahl des richtigen Befragungsortes
wahl bestimmter Methoden in Bezug auf mögliche per- sein. Wird beispielsweise von Familien, Kindern oder
sonelle und zeitliche Ressourcen sehr bewusst getrof- Jugendlichen eine Befragung während eines Angebots
fen werden. als eine Störung empfunden, kann sich dies ungünstig
auf die Motivation zur Teilnahme auswirken. Auch spie-
Quantitative Methoden wie Datenanalysen oder Frage- len eventuelle Vorbehalte gegenüber Institutionen eine
bögen ermöglichen eine aussagekräftige, breite empi- Rolle. Es besteht z.B. die Möglichkeit, dass eine pos-
rische Datenbasis, die vor allem für das Monitoring und talische Befragung durch das Jugendamt eher als ein
die kommunale Steuerung von besonderem Interesse Kontrollinstrument erlebt wird. Es gilt also beim Ein-
sein können. Während Fragebögen mit einem hohen satz der Methoden sorgfältig zu überlegen, wann genug
Entwicklungsaufwand einhergehen, erlauben sie, wenn Raum, Zeit und vertrauensvolle Atmosphäre vorhanden
sie einmal entwickelt sind, einen kontinuierlichen Ein- sind, um Befragungsinstrumente einzusetzen.
satz und sind damit ein sinnvolles Instrument für die
Implementierung eines Monitoringkonzepts. Einbezug von Fachkräften
Befragt man Fachkräfte, ist im besonderen Maße zu
Qualitative Methoden eignen sich besonders, um sub- bedenken, dass es zu Legitimierungskonflikten kom-
jektive Sichtweisen von Fachkräften und Zielgruppen men kann. Nicht selten kommt bei Fachkräften die
einzufangen. Wie Kinder, Jugendliche und Familien Sorge auf, ihre geplanten und durchgeführten Maß-
einzelne Angebote wahrnehmen, und ob diese auch nahmen könnten von Budgetkürzungen bedroht sein,
den Bedarfen der Zielgruppe entsprechen, lässt sich wenn die Ergebnisse der Erhebungen für die steuernde
oft nur durch konkrete Äußerungen der Zielgruppe Ebene nicht zufriedenstellend sind. Um diesem Effekt
selbst feststellen. Im Rahmen des Projekts kamen z.B. wirksam vorzubeugen, ist es hilfreich, Fachkräfte von
Expert*inneninterviews zum Einsatz, zudem wurden Beginn an in den Entwicklungsprozess von Methoden
neue Formate entwickelt, die sich an Konzepten der miteinzubeziehen. Eine transparente Vermittlung des
Gruppendiskussionen orientieren. In Stadtteilkonfe- Vorhabens kann hilfreich sein, um Ängste diesbezüg-
renzen oder anderen Gremien wurden Ergebnisse zu lich abzubauen und ermöglicht auch hilfreiche Vor-
22Sie können auch lesen
