Die Evaluation von Landesprogrammen
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Querschnittsanalyse von Landesprogrammevaluationen 27.4.2006
Die Evaluation von Landesprogrammen
Zum Stand der Evaluationspraxis von Landesprogrammen
(respektive Kooperationsstrategien) bei 4 Gebern
Vortrag im Rahmen der SEVAL – DeGEval Frühjahrestagung an der ETH
Zürch am 27. April 2006
Dieter Zürcher ( zuercher@nadel.ethz.ch )
Pierre Walther ( pw@walther-consulting.ch )
Querschnittsanalyse von Landesprogrammevaluationen 27.4.2006
Inhalt
1. Ausgangslage & Fragestellung
2. Methodik & Stichprobe
3. Erkenntnisse aus Dokumentenanalyse
4. Erkenntnisse aus Fragebogen
5. Highlights im methodischen Bereich
6. Schlussfolgerungen
7. Empfehlungen
Literatur
Querschnittsanalyse von Landesprogrammevaluationen 27.4.2006
1. Ausgangslage und Fragestellung
¾ Seit Mitte der 80er Jahre haben Geberländer versucht, ihre Unter-
stützung auf Schwerpunktländer zu konzentrieren -> Verbesserung
von Relevanz und Kohärenz durch landesspezifische Strategien
¾ Im Jahre 1999 hat das DAC (Development Assistance Committee der
OECD) Empfehlungen zur Umsetzung von Landesprogramm-
evaluationen (LPE) gemacht: mehr gemeinsame Analysen, klarer
Referenzrahmen für Bewertung, etc.
¾ Seit der Erarbeitung von PRSPs, mit stärkerer Ownership bei den
Nehmern, werden Landesprogramme für die Harmonisierung
wichtiger (Paris Declaration 2005)
¾ Die Programme werden verstärkt an den effektiven Resultaten
gemessen. Die Einführung einer resultatsorientierten Architektur in
Landesprogrammen steht – international wie in der DEZA - am
Anfang
Querschnittsanalyse von Landesprogrammevaluationen 27.4.2006
Fragestellung
Ziel: Umsetzungsorientierte Schlussfolgerungen für die künftige
Evaluation von Kooperationsstrategien der DEZA, insbesondere
bezüglich
¾ Wie werden Resultate definiert, gemessen, aggregiert und mit
PRSP/MDGs korreliert ?
¾ Mit welchen Methoden werden Wirkungsketten auf Ebene
Sektor/Land analysiert und Wirkungen bewertet ?
¾ Wie sehen Aufwand und Ertrag dieser Evaluationen aus ?
¾ Welches sind die Stärken und Schwächen des DEZA Ansatzes im
Quervergleich mit anderen Gebern ?
¾ Was sind die wichtigsten Folgerungen für die Planung von neuen
Kooperationsstrategien ?
¾ Was sind in Zukunft minimale Standards für solche Evaluationen?Querschnittsanalyse von Landesprogrammevaluationen 27.4.2006
2. Methodik und Stichprobe
¾ Vergleich von 15 Evaluationsberichten nach einer Checkliste
- Generelle Charakteristiken (Autoren, Kosten, untersuchte Sektoren, ...)
- Terms of Reference (Zahl der Fragen, Schritte der Evaluation, …)
- Bericht (Lesbarkeit, Terminologie, fehlende Themen, ….)
- Wirkungsanalyse (Welche Resultate auf Sektor- und Landesebene, …)
- Methoden (qualitative/quantitative, Fallstudien, …)
- Empfehlungen (Klarheit, Umsetzung, ….)
- Anderes (Interviewte Personen, ….)
¾ Schriftliche Befragung DEZA, DFID, Danida, SIDA
¾ Schriftliche Befragung einiger Schweizer NGOs (Helvetas, Caritas, Terres
des Hommes, Swisscontact)
¾ Dokumentenanalyse (Meta-Analysen DFID, Sida, Weltbank)
¾ SyntheseQuerschnittsanalyse von Landesprogrammevaluationen 27.4.2006
Geber Land (Jahr) Volumen (ca. Mio. Zahl der Autoren/
€ pro Jahr) ca. Kosten
Danida Kosovo (04) 40 Mio € 10 / 312 AT
Nicaragua (02) 28 Mio € 16 / 364‘000 €
Vietnam (02) 35 Mio € 9 / 424‘000 €
Bolivien (02) 19 Mio € 8 / 383‘000 €
DFID Ghana (06) 160 Mio € 6 / 128‘000 €
Kambodscha (05) 12 Mio € 6 / 311‘000 €
Rumänien (04) 9 Mio € 5 / 274‘000 €
Bolivien (04) 10 Mio € 3 / 87‘000 €
SDC Zentralamerika (06) 26 Mio € 4 / 50‘000 € (106 AT)
Serbien & Mo.N. (06) 19 Mio € 4/ 75‘000 € (104 AT)
Nepal (05) 12 Mio € 4 / 80‘000 € (117 AT)
Angola (03) 5.5 Mio € 2 / 45 AT
Sida Laos (02) 60 Mio € 4 / 150 AT
Vietnam (02) 35 mio € 4 / 150 AT
Mozambique (01) 37 Mio € 8 / 200 ATQuerschnittsanalyse von Landesprogrammevaluationen 27.4.2006
Feststellungen zu den Landesprogrammevaluationen
¾ Grosse Unterschiede in Aufwand (z.B. Autoren: 2 bis 16!) und Kosten
(50‘000 € bis 400‘000 €)
¾ DEZA liegt deutlich am unteren Ende bezüglich Aufwand, DFID
investiert trotz dem „light approach“ erheblich mehr
¾ Die meisten Evaluationen dauern ab ToR bis Veröffentlichung ca. ein
Jahr, die effektiven Missionen benötigen 2-3 Wochen
¾ Grosse Unterschiede bezüglich Internationalität (ev. „Unabhängig-
keit“): bei DFID waren 2/3 der Konsulenten britisch, bei Danida/Sida
kamen die Hälfte aus dem Geberland, bei der DEZA weniger als 10%
¾ Alle Evaluationen sind auf den Homepages der Geber vorhanden,alle
Berichte präsentieren sich mit attraktivem Layout und sind gut editiert
¾ Umfang Hauptbericht schwankt (meistens ca. 40 Seiten bei
DFID/DEZA bis zu 100 Seiten bei Sida)Querschnittsanalyse von Landesprogrammevaluationen 27.4.2006
3. Erkenntnisse aus Dokumentenanalyse
Ansatz
¾ Bei der DEZA etabliert sich ein formativer Ansatz mit Lerngruppen in
der Schweiz und z.T. vor Ort (Schwerpunkt auf internem Lernen)
¾ Balance zwischen Rechenschaftspflicht und Lernen bei allen Gebern
angestrebt, z.T. unterschiedlich gewichtet
¾ Alle Evaluationen waren Grundlage für eine neue Landesprogramm-
respektive Kooperationsstrategie
Inhalt/Kriterien
¾ Zentrale Themen/Kriterien der Analyse: Relevanz, Effektivität,
Kohärenz des Portfolios und Qualität der Partnerschaften.
¾ Kriterien wie Effizienz, Impakt, Nachhaltigkeit und Querschnittsthemen
werden z.T. sehr unterschiedlich tief bearbeitet
¾ Die meisten Geber haben einen Raster zur Struktur der Bericht-
erstattungQuerschnittsanalyse von Landesprogrammevaluationen 27.4.2006
Dokumentenanalyse
Methodik
¾ Vorwiegend qualitative Methoden (Experteninterviews). In Einzelfällen
wurden standardisierte Befragungen durchgeführt (DFID) oder
Fallbeispiele aufgearbeitet
¾ Auswahl, Qualifikation und Mut zur Meinungsäusserung der Experten hat
einen grossen Einfluss auf den Nutzen den solche LPEs bringen
¾ Wirkungsmodelle und quantitative Methoden wie Fragebogen werden
selten eingesetzt (einzelne Beispiele bei DFID, Danida)
¾ Wenig Referenz zu MDGs, PRSPs als Bewertungskriterien (DFID ab
2005)
Ablauf
¾ ToR -> Auftrag -> „inception report“ oder „scoping visit“ als Vorbereitung
¾ Eigentliche Mission 2-3 wöchige Feldphase (eher selten mit
Projektbesuchen), z.T separate/parallele SektoranalysenQuerschnittsanalyse von Landesprogrammevaluationen 27.4.2006
Besonderheiten Danida
Positiv aufgefallen Negativ aufgefallen
Detaillierte Analyse jedes Sektors Sehr expertenlastig (top-down)
mit Hintergrund Studien
Wenig Ownership bei den Partnern
Die Gründlichkeit der Analyse
Interviews mit 250 - 300 Personen
schafft Basis für Konsens über
-> “versteckte Kosten” bei Partnern
Stärken / Schwächen
Gut lesbare Texte
Besonderheiten DEZA
Gutes Management des Grenzen der Belastbarkeit der
Prozesses (sorgfältige Planung, Teams z.T. ausgereizt (kleine
griffige Management Response) Teams, grosse Anforderungen)
Fragestellungen sind nicht uniform Prozess ev. noch etwas zu
sondern richten sich nach den schwerfällig und zu stark nach
spezifischen Bedürfnissen innen (DEZA, seco) gerichtet
Relativ kostengünstig Interne Kosten wahrscheinlich
hochQuerschnittsanalyse von Landesprogrammevaluationen 27.4.2006
Besonderheiten DFID
Positiv aufgefallen Negativ aufgefallen
Innovative Methoden (z.B. time Uneinheitliche Begriffe: Goal,
lines, evaluation matrix) Purpose, objective, output, key
Umfassende Analysen (inkl. priority, theme
Budgethilfe) Bezug zu PRSP und MDGs
Systematische Auswertung der illustriert Zuordnungslücke
Projekt-Ratings (Output to Purpose Nachhaltigkeit marginal
Reports)
Besonderheiten Sida
Sehr gut editierte Berichte -> gute Unvollständigkeit: z.T. nur
Analyse strategischer Fragen ausgewählte Sektoren evaluiert
Fokus auf „Key Issues“ erhöht die Kaum Fokussierung (bis zu 12
Attraktivität für die Leserschaft Sektoren)
Fokus auf Neuausrichtung in der Seit 2002 keine LPEs mehr,
Zukunft (nicht auf Outcome und nachher Gewicht auf Sektor/
Impact) ThemenevaluationenQuerschnittsanalyse von Landesprogrammevaluationen 27.4.2006
4. Erkenntnisse aus Fragebogen
Methoden
¾ Das Messen von Outputs und Wirkungen auf der Sektor- und
Landesprogrammebene ist viel schwieriger als auf Projektebene
(fehlende Indikatoren, komplexe Wirkungsketten, mangelhafte Daten,
etc.)
¾ Eine Erarbeitung von Wirkungsketten auf Landesprogrammebene (z.B.
mit Logframe, …) erscheint hilfreich für die Rekonstruktion der
Programm-Logik
¾ Kombination von lokalen und internationalen Konsulenten ist
kostengünstig und effektiv
¾ Halb-strukturierte Interviews, ergänzt mit Feldbesuchen, sind
wirkungsvoll
¾ Noch mehr Gewicht auf Resultatorientierung und dem Feedback von
ZielgruppenQuerschnittsanalyse von Landesprogrammevaluationen 27.4.2006 Herausforderungen ¾ Vereinheitlichung der Sprachlegung (z.B. Zielhierarchien, Berichtstypen, Zweck der Evaluation) als Grundlage für eine weitergehende Zusammenarbeit unter den Gebern ¾ Es braucht klarere und standardisiertere Monitoring-Rahmen auf Projekt und Sektorebene (mit Bezug zu PRS/MDG) und Vergleichswerten (Baselines, Benchmarking) ¾ Mehr gemeinsame Evaluationen bedingt eine verstärkte gemeinsame Planung der Landesprogramme ¾ Behalten die Landesprogramme angesichts vermehrter Budget- und Sektorhilfe ihre Relevanz? Die Meinungen gehen auseinander ¾ Effektive Harmonisierung auf der Ebene von Landesprogrammplanung und Evaluation steht erst am Anfang ¾ Methoden für „quick-screening“ oder „rapid appraisal“ auf Programmebene sind zu erarbeiten/testen
Querschnittsanalyse von Landesprogrammevaluationen 27.4.2006
5. Highlights im methodischen Bereich
¾ Design des Evaluationsprozesses (DEZA)
¾ Analyse von Anomalien (Sida)
¾ Evaluationsmatrix (DFID)
Hier nicht illustriert, aber interessant
¾ Time line (DFID), Teil der Evaluationsmatrix
¾ Beeinflussungsmatrix (DFID)Querschnittsanalyse von Landesprogrammevaluationen 27.4.2006
Design des Evaluationsprozesses (DEZA)
Evaluationsprogramm, vom comité stratégique (COSTRA) verabschiedet
Stabsstelle E+C identifiziert Nutzer der Evaluation und etabliert eine Core
Learning Partnership (CLP), die Approach Paper kommentiert
Stabstelle E+C identifiziert das Evaluationsteam
Evaluationsmission
CLP kommentiert alle Empfehlungen des Teams in einem Agreement at
Completion Point (ACP)
CLP identifiziert zudem Lessons Learned (LL) für die DEZA selber.
COSTRA diskutiert ACP und LL und gibt Entscheide über ein Senior
Management Response bekanntQuerschnittsanalyse von Landesprogrammevaluationen 27.4.2006
Analyse von Anomalien (Sida)
Landesprogramm (LP) in Land xy
Gesundheitssektor Pro-Poor Gouvernanz
x Phasing out wegen neuem LP
Neu wegen neuem LP
Pro-Poor Dienstleistungen
Fortgeführt wegen neuem LP
x Phasing out trotz neuem LP
Fortgeführt trotz neuem LP „The elusive
middle“
Bildungssektor
Neu trotz neuem LP • Diskussion von
Alternativen
• Darlegung der
Entscheide
Evaluation Evaluation
Neuausrichtung NeuausrichtungQuerschnittsanalyse von Landesprogrammevaluationen 27.4.2006
Evaluationsmatrix (DFID)
Kriterien Hauptfrage Unterfrage/Methode
1. Was waren die wichtigsten Veränderungen im Kontext?
Landesbüro /DFID Time line
Entwicklungsfortschritt des - Fortschritt bei den MDGs Nationale Statistiken
Landes - Beitrag ODA zu den MDGs
2. Was war die Qualität des DFID Programmes?
Strategie War die Strategie relevant? Zusammenfassung der
Entwicklung/Entscheide
….
3. Was hat das Programm erreicht? (Effektivität)
Resultate Erreichung der Projektziele “PRISM”
Outcome (Sektor) Fortschritt Outcome-Ebene Dokumente/Interviews
4. Conclusions, Lessons and recommendations
DFID contribution Welchen Mehrwert durch DFID? Dokumente/InterviewsQuerschnittsanalyse von Landesprogrammevaluationen 27.4.2006
6. Schlussfolgerungen
Was sich bei Landesprogrammevaluationen (LPE) bewährt hat
¾ Standardisierte Abläufe (inkl. ToR)
¾ Teams von 4-5 Experten, mit erfahrenem Teamleiter
¾ Eine sorgfältige Planung des Prozesses von Seiten Auftraggeber (z.B.
Lerngruppen)
¾ Leichte Evaluationen, die trotzdem eine solide Analyse zur Programm-
umsetzung geben und zu strat. Schlüsselthemen Stellung beziehen
¾ Kurze Feldbesuche, damit das Team mit der Projektrealität in Kontakt
kommt (Querschnittsanalyse)
¾ Bereicherung des Berichtes durch zusammenfassende Tabellen zu
Themen wie: Projektübersicht nach Sektoren (mit Mitteln), Bewertung
(Rating) der Projekte, Analyse der Stakeholders und des gegen-
seitigen Einflusses, etc.
¾ Sorgfältige Redaktion und gute graphische Aufmachung und
Publikation der Berichte (auch auf Internet)Querschnittsanalyse von Landesprogrammevaluationen 27.4.2006
Wo es noch Verbesserungen braucht
¾ Referenzrahmen der Bewertung (Pläne, Strategien, Portfolios) ändern
z.T. rasch und bleiben oft eher implizit
¾ Einbindung der Institutionen aus Partnerländer in die Evaluation (z.B.
über Experten im Team) sollte verstärkt werden
¾ Transparenz der Berichte ( Methodik, Interviewpartner) könnte
verbessert werden und besser ausbalanciert werden (lokale Nicht-
Regierungspartner und Privatsektor sind rar als Interviewpartner)
¾ Lernprozesse zu stark auf „Insider“ bezogen (Geberorganisation)
¾ Die unabhängigen Evaluationen sind nur die Spitze des Eisberges: für
eine systematische Evaluation von Landesstrategien (Performance
analysis, z.B. Sida) sollten die gleichen Grundsätze wie für LPE gelten
¾ Absenz oder Scheu vor klaren Aussagen zu Programm-Management
(Effizienzfragen), keine Angaben zu Overhead und PersonalbestandQuerschnittsanalyse von Landesprogrammevaluationen 27.4.2006
Last but not least…
¾ Die „leichtesten Landesprogramme“ führt die DEZA durch, investiert
jedoch viel in die begleitenden Lernprozesse
¾ Die Wirkungsanalyse auf Projektebene funktioniert, am systematisch-
sten bei DFID (mit formalem Bewertungssystem), Aggregierung hat
aber oft Plausibilitäts-Lücken
¾ Die Aggregierung der Projektresultate auf Sektorebene scheitert an
unklaren Zielsetzungen, fehlenden Indikatoren und der Absenz von
Zielwerten (sowie der z.T. starken Fragmentierung der Sektoren)
¾ Die sich schnell ändernden Strategien (Landesfokus Region,
Sektorschwerpunkte, Partnerstrategien, etc.) erschweren die
systematische Wirkungsanalyse über längere Zeit
¾ Gesamtheitliche Ansätze werden in Zukunft noch wichtiger (Stichworte:
Budgethilfe und der „total ODA Impact“ Ansatz des DAC) um ein
realistisches Bild der Entwicklungsfortschritte zu erhaltenQuerschnittsanalyse von Landesprogrammevaluationen 27.4.2006
7. Empfehlungen
¾ Einen gemeinsamen Begriffsrahmen und Standard für LPE festlegen,
die ToRs und Methoden harmonisieren (aber Raum für spezifische
Fragen zu Lernprozessen behalten)
¾ Das gleiche Land wird in kurzem Abstand von verschiedenen Gebern
evaluiert -> bessere Koordination der LPEs
¾ Gesamtheitliche Betrachtung der Massnahmen von Budgethilfe,
Sektoransätze und Projekten verlangt a) „up-stream“ M&E Rahmen für
Projekte und b) „down-stream“ Rahmen für die Wirkungsanalyse der
Budgethilfe mit eher langfristigen Wirkungshorizonten
¾ Trotz Harmonisierung werden Landesprogramme und deren
Evaluation wichtige Plattformen bleiben für:
a) die Strategiefindung auf Geberseite (z.T. viele Stakeholder)
b) Dokumentation der gemeinsamen Lernprozesse
c) besseres Kontextverständnis für Design von ReformvorhabenQuerschnittsanalyse von Landesprogrammevaluationen 27.4.2006 ¾ Landes- und Kooperationsstrategien sollten für die Wertediskussion mit den Partnern genutzt werden, trotz PRS bestehen unterschiedliche Sichtweisen (z.B. neu Strassen für Armutsbekämpfung?) ¾ Für LPEs sollte noch mehr Ownership bei den Empfängern liegen (ToR, lokale ExpertInnen, Balance der Interviewpartner), auch für Analysen des „Total ODA impacts“ ¾ Gemeinsame LPEs wagen (gemeinsamer Rahmen, aber z.B. separate Fallstudien zu den Programmen bilateraler Geber)
Querschnittsanalyse von Landesprogrammevaluationen 27.4.2006
Literatur
Die hier verwendeten Landesprogrammevaluationen können von den
entsprechenden Homepages herunter geladen werden:
Danida:http://www.um.dk/en/menu/DevelopmentPolicy/Evaluations/
DEZA:http://www.deza.admin.ch/index.php?navID=21413&langID=6&userhash=445f75561517c278f615
b74db7683c20
DFID:http://www.dfid.gov.uk/aboutdfid/performance/default.asp
Sida:http://www.sida.se/sida/jsp/sida.jsp?d=118&m=result&publicationSeries=1363&language=en_US
Weitere Schlüsseldokumente:
DAC/OECD (1999): Evaluation and Aids Effectiveness, Evaluating Country Programmes, Vienna
Workshop 1999.
DAC/OECD (2005): Evaluating Total ODA Impact – Report of the workshop.
DFID (2004): Evaluation of DFID Country Programmes, Synthesis Report.
Sida (2002): Sida‘s Performance Analysis – Quality and use.
World Bank (2005): Country Assistance Evaluation Retrospective, an OED Self-evaluation.
Zürcher D. / Walther P. (2006): Comparative Assessment of Country Programme Evaluations
Lessons learned from Danida, DFID, SDC and Sida (in preparation)Sie können auch lesen
