Evaluation praktisch Wie kann eine Taschengeldbörse evaluiert werden? - Abschlussworkshop des Projektes "Servicebrücken Jugend-Alter"
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Evaluation praktisch
Wie kann eine Taschengeldbörse evaluiert werden?
Abschlussworkshop des Projektes „Servicebrücken Jugend-Alter“
Düsseldorf, 01.12.2015Ziele des Inputs
Wir erarbeiten gemeinsam Ideen für ein passendes Vorgehen zur
Evaluation einer Taschengeldbörse.
Wir berücksichtigen dabei, dass Sie mit (sehr) begrenzten Ressourcen
auskommen müssen.
Sie sind dafür sensibilisiert, eine Evaluation gut zu planen.
Sie kennen weiterführende Informationsquellen.
schmidt evaluation Evaluation praktisch: Wie kann eine Taschengeldbörse evaluiert werden? 2Der Evaluationszyklus
1. Ziele des
Projekts klären
6. Ergebnisse 2. Zweck der
verwenden Evaluation klären
Partizipation?
5. Schluss- 3. Fragestellungen
folgerungen festlegen
4. Daten erheben
und auswerten
schmidt evaluation Evaluation praktisch: Wie kann eine Taschengeldbörse evaluiert werden? 3Partizipation
Wer stellt welche Fragen?
In jedem Projekt gibt es Personen, für die «etwas auf dem Spiel steht». Sie werden Stakeholder (Anspruchs-
gruppen) genannt. Oft haben sie rollentypischen Fragen, Interessen, Befürchtungen und Erwartungen an eine
Evaluation. Darunter sind …
… jene, welche das Projekt finanzieren und über die Fortsetzung entscheiden;
… jene, die für das Projekt auf strategischer Ebene Verantwortung tragen (z. B. Geschäftsführung des
Trägers, Projektleitung);
… jene, die an der Umsetzung des Projekts beteiligt sind (haupt- und ehrenamtliche Mitarbeitende);
… jene, die durch das Projekt direkt oder indirekt erreicht werden oder werden sollen bzw. die von dessen
Umsetzung betroffen sind (Zielgruppen).
Die Differenzierung ist nicht in jedem Projekt trennscharf gegeben.
Wesentlich für eine konstruktive Haltung zur Evaluation und eine effektive Nutzung der Evaluations-
ergebnisse ist die Identifizierung der Stakeholder und eine den jeweiligen Ressourcen angemessene
Einbeziehung.
schmidt evaluation Evaluation praktisch: Wie kann eine Taschengeldbörse evaluiert werden? 41. Ziele des Projekts klären
Was genau möchten Sie im Projekt
Ziele sollten auch unabhängig von einer erreichen?
Evaluation geklärt sein.
Für eine Evaluation müssen die Ziele operationalisiert werden (messbar gemacht werden!)
Ziele gibt es auf mehreren Ebenen: Outputs, Outcomes, Impacts
Outputs Outcomes Impacts
(zählbare Leistungen) (Veränderungen bei (Veränderungen in
Personen) sozialen Systemen)
• Was müssen Sie zur • Was sollen die • Soll die Taschen-
Verfügung stellen? Jugendlichen lernen? geldbörse auch
• Wie viele • Wie sollen ältere Auswirkungen auf den
Jugendliche/Ältere Menschen davon Sozialraum, die Stadt
möchten Sie erreichen? profitieren? haben?
Die Erreichung von Output-Zielen zu messen ist „mit Bordmitteln“ in der Regel leistbar.
Bei Outcomes und Impacts wird es von Stufe zu Stufe anspruchsvoller. Die Messung der Zielerreichung
ist „mit Bordmitteln“ selten möglich.
schmidt evaluation Evaluation praktisch: Wie kann eine Taschengeldbörse evaluiert werden? 52. Zweck der Evaluation klären
Wozu mache ich die Evaluation?
Der Zweck einer Evaluation lässt sich in der Regel einer dieser vier Kategorien zuordnen:
1. Optimierung: die Veränderung der Aktivitäten des Projekts, um bessere Ergebnisse zu erzielen
2. Rechenschaftslegung: die Legitimation über die Kosten des Projekts
3. Entscheidungsfindung: das Ermöglichen von Entscheidungen über das Projekt
4. Wissensgenerierung: generalisierbares Fachwissen über das Thema, die Zielgruppen etc. des Projekts
(häufig zusätzlich gefordert: Nutzung von Ergebnissen für die Öffentlichkeitsarbeit)
Sie dürfen strategisch denken! Was nützt Ihnen am meisten? Wie viel können Sie leisten?
Für eine Evaluation „mit Bordmitteln“ kommen in der Regel nur die „Optimierung/Verbesserung“ oder
die „Rechenschaftslegung“ in Betracht.
An die Stakeholder muss klar und deutlich kommuniziert werden, welche Zwecke verfolgt werden und
vor allem auch, welche nicht verfolgt werden! (Was geht – Was geht nicht)
schmidt evaluation Evaluation praktisch: Wie kann eine Taschengeldbörse evaluiert werden? 63. Fragestellungen festlegen
Was genau soll die Evaluation untersuchen?
Die Fragestellung bringt mein Erkenntnisinteresse auf den Punkt. Worüber konkret brauche ich datenbasierte
Informationen? Fragestellungen unterscheiden sich je nach Evaluationszweck und Erkenntnisinteresse. Fragen,
die beim Fokussieren helfen können, sind:
1. Verbesserung/Optimierung: Bezüglich welcher Aspekte bin ich mir unsicher, ob das Konzept aufgeht? Wo
hakt es?
2. Rechenschaftslegung: Wie kann ich darlegen, dass die (Finanz-)Mittel wirtschaftlich und sinnvoll eingesetzt
wurden?
3. Entscheidungsfindung: Welche Argumente überzeugen (derzeitige und/oder potentielle) Mittelgeber, das
Projekt weiter zu finanzieren?
4. Wissensgenerierung (im Sinne von neuem, generalisierbarem Fachwissen): Warum geht das Konzept auf?
Was kann man (für Folgeprojekte) daraus lernen?
Jeder Zweck erfordert spezifische Fragestellungen und Daten (Vorsicht: hoher Aufwand!)
Je nach Zweck/Fragestellungen werden die rollentypischen Fragen von bestimmten Stakeholdern
bedient bzw. nicht bedient. Das muss offen kommuniziert werden.
schmidt evaluation Evaluation praktisch: Wie kann eine Taschengeldbörse evaluiert werden? 74. Daten erheben und auswerten
Welche Daten beantworten die
Fragestellungen?
Fragestellung
Ausprägung des zu untersuchenden Sachverhalts
Kann ich es Kann ich es Kann ich es Kann ich es Kann ich es
beobachten? lesen? fragen? dokumentieren? ausprobieren?
Beobachtung Inhaltsanalyse Befragung Monitoring Experiment
Auswertung: „Filtern“ des Materials in Bezug auf die Fragestellung
Der Nutzen der Evaluation wird nicht über den Umfang oder die Komplexität der Erhebungen und
Auswertungen bestimmt, sondern darüber, wie systematisch und überlegt vorgegangen wird!
Zu allererst sollte geprüft werden, ob vorhandene Daten genutzt werden können! Dann sollte geprüft
werden, welche Unterstützung Sie erhalten können!
Soweit möglich sollten qualitative und quantitative Daten kombiniert werden (Triangulation).
schmidt evaluation Evaluation praktisch: Wie kann eine Taschengeldbörse evaluiert werden? 85. Schlussfolgerungen
Am Ende leiten Werte das Handeln…
FIWE-Methode am Beispiel der Evaluationsergebnisse eines Führungskräftetrainings
Fakten Interpretationen Wertungen Empfehlungen
Welche Daten? Wie erklären? Was leitet uns? Was ist zu tun?
Wir sind die Besten Das Programm wird
und wollen es ausgeweitet.
Die Erwartungen der
Mitarbeitenden sind bleiben.
Die Auswahl und
sehr hoch. Die Mitarbeitenden Beurteilung der
Drei Viertel der Mitarbeitenden wird
müssen sich
Mitarbeitenden ist verändert.
anpassen.
unzufrieden mit dem
Führungsverhalten
Kein Staub auf- Das Programm wird
ihrer Vorgesetzten.
Das Trainings- wirbeln. Stabilität eingestellt, die
programm ist hat Vorrang. Mitarbeitenden beruhigt.
schlecht. Es wird ein neues
Wir wollen besser
werden. Programm erarbeitet.
schmidt evaluation Evaluation praktisch: Wie kann eine Taschengeldbörse evaluiert werden? 96. Ergebnisse verwenden
Ergebnisse verwerten - strategisch denken!
Rahmenbedingung/Vorgehensweise
für Erfolg/Misserfolg ist… …stabil …variabel
und liegt…
…innerhalb unseres Keine bzw. langfristige
Schnelle Veränderung möglich
Verantwortungsbereichs. Veränderung möglich
…innerhalb des Keine bzw. langfristige
Überzeugungsarbeit notwendig
Verantwortungsbereich von… Veränderung möglich
Welche Akteure sollen bei der Interpretation von Ergebnissen einbezogen werden? Welche
Ansprechpartnerinnen und -partner sind dafür zuständig bzw. geeignet?
An welchen Stellen bzw. durch welche Personen werden strategische Entscheidungen getroffen, die auf
Grundlage der Ergebnisse angestrebt bzw. vermieden werden sollen?
Welche Form der Berichterstattung ist für die verfolgten Zwecke und die einzubeziehenden Personen
geeignet?
schmidt evaluation Evaluation praktisch: Wie kann eine Taschengeldbörse evaluiert werden? 10Weiterführende Literatur
Handreichungen zur Planung und Umsetzung von Evaluationen
König, J. (2000). Einführung in die Selbstevaluation. Ein Leitfaden zur Bewertung der Praxis sozialer Arbeit. Freiburg
i.Br.: Lambertus Verlag.
Beywl, Kehr, Mäder & Niestroj (2007). Evaluation Schritt für Schritt: Planung von Evaluationen. Münster: hiba
Verlag.
Kurz, B. & Kubek, D. (2013). Kursbuch Wirkung. Berlin: Phineo gAG.
Schmidt, Stefan (2016): Elemente und Aspekte im Sinne der Ergebnisqualität. In Institut für Soziale Arbeit (Hrsg.)
(im erscheinen). Qualitätsmanagement im Bereich Ehrenamt in den Frühen Hilfen. Münster.
Handreichungen speziell zur Zielklärung
Beywl, W. & Schepp-Winter, E. (1999). Zielfindung und Zielklärung – ein Leitfaden [online].
Schmidt, Stefan (2015): Die wirkungsorientierte Zielsystematik als Instrument der Evaluation und der Steuerung
von komplexen Programmen und Netzwerken. In: Giel, S./Klockgether, K./Mäder, S. (Hrsg.). Evaluationspraxis.
Professionalisierung - Ansätze - Methoden. Münster
schmidt evaluation Evaluation praktisch: Wie kann eine Taschengeldbörse evaluiert werden? 11Herzlichen Dank für die
Einladung!Sie können auch lesen
