EX-ANTE-EVALUATION ALS INSTRUMENT ZUR PROGRAMMPLANUNG UND -STEUERUNG - DEGEVAL
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Ex-ante-Evaluation als Instrument zur Programmplanung und -steuerung Ansätze, Erfahrungen und Herausforderungen Dr. Stefan Silvestrini Frühjahrstagung 2021 des AK Methoden in der Evaluation DeGEval – Gesellschaft für Evaluation Prospektive Elemente in Evaluationen – Prognosen und Prophezeiungen 11. Juni 2021, Deutsche Hochschule der Polizei, Münster
Hintergrund ü Zahlreiche Untersuchungsdesigns und umfassendes Methodeninstrumentarium für Zwischen-, Schluss- und Ex-post-Evaluationen ü Limitierter Gegenstandsbereich begleitender Untersuchungen während der Planungsphase von Programmen à Keine ganzheitliche Bewertung von Programmkonzepten à Voraussetzungen für evidenzbasierte Programmsteuerung fehlen ü Ansätze und Verfahren zur prospektiven Bewertung auf Politikfeldebene vorhanden à Einige dieser Ansätze und Verfahren eignen sich ebenfalls zur Anwendung auf Programmebene Silvestrini: Ex-ante-Evaluation 2
Konzeptionelle Überlegungen
Definitionen von Ex-ante-Evaluation
ü OECD, 2002
ü „[...] an evaluation that is performed before implementation of a development intervention.“
ü „[...] an overall assessment of the relevance, feasibility and potential sustainability of a
development intervention prior to a decision of funding.“
ü Europäische Kommission, 2001
ü „[...] to gather information and carry out analyses that help to define objectives [1], to ensure
that these objectives can be met [2], that the instruments are cost-effective [3] and that reliable
later evaluation will be possible [4].“
ü European Environment Agency, 2001
ü „[...] forward-looking assessment of the likely future effects of new policies of proposals.“
ü „[...] analyse the disparities, gaps and potentials of the current situation; assess the consistency
of the proposed strategy with the situation and targets; assess the expected impact; quantify
targets; verify the proposed implementing arrangements and the consistency with Common
Agricultural Policy and other policies; form a part of the rural development plan.“
Silvestrini: Ex-ante-Evaluation 4Was üblicherweise unter EaE verstanden wird
Stakeholder Mapping
Bedarfsanalysen à Systemorientierte Ansätze
Baseline-Studien
Rentabilitätsprüfungen
Machbarkeitsstudien Impact Assessments
Risikoanalysen
Projekt-Screening Projektfolgenabschätzungen
Umweltverträglichkeitsprüfungen
à Organisations- und
Potentialanalysen
prozessorientierte Ansätze
à Ziel- und wirkungsorientierte Ansätze
Silvestrini: Ex-ante-Evaluation 5Aufgaben und Ziele von Ex-ante-Evaluationen ü Bereitstellung der Grundlagen für Wirkungsmonitoring und -evaluation ü Sensibilisierung der Programmverantwortlichen und Entwicklung geeigneter Kapazitäten für künftige M&E-Aktivitäten à Ziel: Schaffung der Voraussetzungen zur Programmbewertung ü Wirkungsabschätzung auf Grundlage von Daten zu den Rahmenbedingungen in den Wirkungsfeldern des Programms sowie Erfahrungen aus vergleichbaren Programmen ü Identifikation relevanter Einflussfaktoren auf den Umsetzungsverlauf und darüber hinaus à Ziel: Bereitstellung entscheidungsrelevanter Informationen zur Programmsteuerung Silvestrini: Ex-ante-Evaluation 6
Analyseperspektiven einer Ex-ante-Evaluation
Handlungsperspektive
Organisations- und Ziel- und
Systemperspektive
Prozessperspektive Wirkungsperspektive
Erfahrungsperspektive
Silvestrini: Ex-ante-Evaluation 7Ausgangspunkt: systemisches Wirkungsmodell
Politische und
wirtschaftliche
Rahmenbedingungen strategische
Träger-
organisation Partner
Programm
operative
Partner
Programmumwelt
Eigene Darstellung,
angelehnt an Stockmann 1996
Silvestrini: Ex-ante-Evaluation 8Die Erfahrungs- und Handlungsperspektive
ü Relevante Vergleichsobjekte
ü Vergleichsdimensionen
ü Prozessstruktur
ü Wirkungen
ü Systemische Einflüsse
ü Lessons learnt
ü Datenanalyse
ü Vergleichbarkeit der Datenbasis
ü Schlussfolgerungen
ü Konzeptentwicklung, -anpassung und vorbereitende Maßnahmen
Silvestrini: Ex-ante-Evaluation 9Eine Arbeitsdefinition Ex-ante-Evaluation umfasst … ü … die systematische Sammlung und Auswertung von Organisations- und Prozessdaten, ü … die Konstruktion von Bewertungskriterien zur Überprüfung der Zielerreichung und Wirksamkeit, ü … die Analyse der Rahmenbedingungen und die Abschätzung ihrer Einflüsse auf den Programmverlauf ü … unter Einbezug von Ergebnissen aus vorangegangenen Untersuchungen vergleichbarer Vorhaben. Silvestrini: Ex-ante-Evaluation 10
Szenario Analyse
Prinzip der Szenarioanalyse
Überarbeitete Darstellung
nach Eggers, Eickhoff 1996
Silvestrini: Ex-ante-Evaluation 12Ablauf einer Szenarioanalyse Gausemeier, Plass und Wenzelmann, 2009 Silvestrini: Ex-ante-Evaluation 13
Das Praxisbeispiel
Praxisbeispiel
ü Untersuchungsgegenstand:
GIZ-Neuvorhaben „Skills Development for Climate and Environment Business –
‘Green Jobs’“ in Südafrika (2012)
ü Ziel des Vorhabens:
ü Verbesserung der Qualifikation und damit Beschäftigungsfähigkeit von
Berufsausbildungsabsolventen im Bereich der ‚Green Energy‘
ü Aufgaben im Rahmen der begleitenden Ex-ante Evaluation:
ü Unterstützung des Planungsteams bei der Ausarbeitung der Programmkonzeption
ü Entwicklung eines Wirkungsmodells
ü Entwicklung eines wirkungsorientierten M&E-Systems
ü M&E-Training für Programmverantwortliche und methodische Beratung
ü Baseline Erhebung
ü Szenariobasierte Abschätzung von Risiken und nicht intendierten Wirkungen
Silvestrini: Ex-ante-Evaluation 15Ausarbeitung eines Wirkungsmodells
Influence of other policy fields Green energy research capacities
Legal framework for GS SAs environmental agenda SAs energy strategy
Consumer behaviour Industry needs for green skills Public sector needs for green skills
Advice for GS mainstreaming Capacity building of SETAs GS capacities of SETAs
Orga/HRD development support Capacity building of FETs Organizational capacities of FETs Provision of GS trainings
Support for GS training provision Capacity building of DHET GS capacities of DHET Strategic orientation of DHET Availability of GS workforce
Capacity building of QCTO & QP GS capacities of QCTO & QP Development of GS guidelines
Organizational Perspective
Process Perspective
PSDS implementation support Capacity building of PSDF GS capacities of PSDF Goal Perspective
Impact Perspective
System Perspective
Silvestrini: Ex-ante-Evaluation 16Erstellung von Zukunftsszenarien Silvestrini: Ex-ante-Evaluation 17
Risikoabschätzung
System element Risk Probability Influences on other system Extent of Risk mitigation measures
elements and the goal influence
achievement
SAs environmental Weak implementation of green skills High ü Diminishing industry and Highly ü Advice and training of DHET and DST
agenda and technologies related rules and public demand for green negative (and other department) staff
regulations skills and technologies ü Aligning policy support with other
(GS/GT) programs, donors
ü Adverse legal framework
conditions GS/GT
ü Less availability of venture
capital for the development of
GT
Consumer behavior Remains unchanged High ü Absence of incentives for Moderately ü Advocacy/campaigning for green energy
industry and public to invest negative and technologies, awareness raising
in green skills and measures
technologies
Influence of other Changing priorities of SAs government Moderate ü Decreasing significance of Highly ü Advice and training of DHET and DST
policy fields environmental agenda negative (and other department) staff
Industry and public Qualitatively (i.e. type of qualifications) Moderate ü Reducing commitment of Highly ü Research on industry and public sector
sector needs for and quantitatively (i.e. in terms of SETAs and TIA to introduce negative demands
green skills number of workers needed) not GS/GT ü Advocacy/campaigning for green energy
matching ü Low employability of FET and technologies
graduates and TC interns
Availability of venture Does not provide sufficient venture Moderate ü Reducing investments of Highly ü ?
capital capital industry and public sector in negative
GS/GT
Legal framework for Insufficient integration of GS in Moderate ü Diminishing industry and Highly ü Advice and training for DHET, QCTO &
green skills national qualifications public demand for GS/GT negative QP
SAs energy strategy SA government withdraws from RE/EE Low ü Diminishing industry and Slightly ü Political intervention (German
strategy public demand for GS/GT negative government)
ü Decrease of venture capital ü Advice and training of DHET and DST
for GS/GT (and other department) staff
Green energy Limited resources available High ü Impeding implementation of Moderately ü Additional measures focusing on capacity
research capacities SAs energy strategy negative building at universities and other
Silvestrini: Ex-ante Evaluation research organizations 18Abschätzung nicht intendierter Wirkungen
System Unintended impact Probability Influences on other system elements and Extent of Measures to mitigate unintended impact
element the goal achievement influence
Component one
Advice for GS None - ü - - ü -
mainstreaming
Orga/HRD Other training programs High ü None. Moderately ü None necessary.
development benefit from general positive
support efficiency increase of
administration
Support for GS External expertise does not Moderate ü GS trainings do not match industry needs Highly ü Research about SA framework conditions and
training match required know-how ü Reduced employability of green skilled negative industry needs
provision graduates ü Implementation of graduate tracer studies
ü Inadequately green skilled workforce
PSDS None - ü - - ü -
implementation
support
Component two
GF transfer/ External expertise cannot Moderate ü Reduced ability of TCs to provide GT Highly ü Research about SA framework conditions and
innovation be integrated in TC ü Reduced ability of TCs to capacitate negative industry needs
support products and services enterprise staff ü Inclusion of local know-how
Revision of TIA Additional data needs for High ü Increasing workload for TC staff Moderately ü Coordination of information needs of different
monitoring program monitoring, ü Reduced capacities for networking and negative constituencies
system incompatibility with existing research ü Adaptation of program monitoring system to
monitoring systems existing systems
Training of External expertise does not Moderate ü Reduced employability of interns Highly ü Research about SA framework conditions and
interns match required know-how negative industry needs
ü Implementation of interns tracer studies
Capacity None - ü - - ü -
building
measures
Feeding back External expertise does not Moderate ü GT competences of universities cannot be Highly ü Identification of state of research at SA
experiences to match required know-how build up as intended negative universities
universities ü Consultation of universities about their know-
how needs
Silvestrini: Ex-ante-Evaluation 19Potentiale vs. Vorbehalte ü Erlaubt die systematische, methodisch ✘ Erkenntnisgewinn bzw. Mehrwert ist fundierte Abschätzung intendierter und unklar nicht-intendierter Wirkungen ... ✘ Hält den Planungsprozess auf, keine Zeit ü ... sowie interner und externer Risiken ✘ Hoher personeller und finanzieller ü Stellt neben Monitoring-System Ressourcenaufwand wesentliche Quelle steuerungsrelevanter ✘ Unklar, was überhaupt zu tun ist Informationen dar à d.h. was eine Ex-ante-Evaluation ü Sensibilisiert Stakeholder für Monitoring beinhaltet und Evaluation ✘ Wird bereits durchgeführt ü Ermöglicht Ressourcen- und damit à d.h. wird oftmals mit Baseline-Studie Kosteneinsparungen bei späteren gleichgesetzt Evaluationen ü ... sowie evidenzbasierte à Frage, wie kann den Vorbehalten Programmsteuerung entgegengewirkt werden? Silvestrini: Ex-ante-Evaluation 20
Lessons learned
ü Zentrale Erfolgsfaktoren
ü Organisation und Kommunikation (v.a. mit dem Planungsteam)
ü Offene Herangehensweise und Committment von allen Beteiligten
ü Verständnis über Ziele und (langfristigen) Nutzen
ü Einbezug des Planungsteams beim Impact Assessment
ü Verfahrensweise
ü Eher begleitender Ansatz
ü Höhere zeitliche Flexibilität erforderlich
ü Timing
ü Zusammenarbeit mit Planungsteam bei Konzeption à Früherer Einbezug
ü M&E-Systementwicklung, Baseline Studie und Impact Assessment à Späterer Beginn
ü Capacity Building
ü Zur Weiterentwicklung und dauerhaften Umsetzung des M&E-Systems
Silvestrini: Ex-ante-Evaluation 21Vielen Dank für Ihre Aufmerksamkeit! Dr. Stefan Silvestrini T +49 (0)681 387539 73 E s.silvestrini@ceval.de W www.ceval.de
Sie können auch lesen
