EVALUIERUNGSBERICHT 2019-2020 - BEGLEITEN. BEWERTEN. LERNEN - KFW ENTWICKLUNGSBANK
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
16. Evaluierungsbericht
2019–2020
Begleiten. Bewerten. Lernen.
Bank aus Verantwortung
Unabhängige Evaluierung der Vorwort Christiane Laibach
Mitglied des Vorstands der KfW Bankengruppe
Finanziellen Zusammenarbeit FZ E
Vision wir alle spüren, wie sich unsere Welt verändert: Die rasante einer neuen Wasser-Pipeline auf das Leben und die Gesundheit
Wir stärken die Wirksamkeit der Finanziellen Zusammenarbeit (FZ) Digitalisierung und die Veränderung unserer Arbeitswelten der Menschen im ländlichen Tansania schon während des Baus
im Sinne der Agenda 2030 und ihrer nachhaltigen Entwicklungsziele bedeuten große Chancen, der Klimawandel und die Folgen der erfassen (Seite 19), ergibt sich aus meiner Sicht daraus eine
(SDGs), indem wir Vorhaben der FZ mit unseren evaluatorischen Corona Pandemie sind hingegen zentrale Herausforderungen spannende neue Perspektive.
Kenntnissen konstruktiv begleiten, sie kritisch bewerten und Lessons für unsere ganze Gesellschaft. Es freut mich persönlich sehr,
Learned für zukünftige Vorhaben ableiten. dass wir in der KfW gemeinsam mit der Bundesregierung unse- Die Bewertungen abgeschlossener Vorhaben der FZ werden Jahrzehnte FZ-Evaluierung zurückzugreifen: Als Suchbegriff
ren Beitrag dazu leisten können, die Chancen zu nutzen und die durch Ex-post-Evaluierungen vorgenommen, die uns anhand der geben sie zum Beispiel „Biodiversität“ ein und erhalten alle
Herausforderungen möglichst gut zu meistern; in Deutschland, OECD-DAC Kriterien zeigen, wie erfolgreich – oder auch verbes- passenden Evaluierungen mit ihren Lessons Learned, Benotun-
Mission Statement aber auch weltweit. serungsfähig – unsere Arbeit hinsichtlich Relevanz, Kohärenz, gen, und Risiken. Oder sie filtern nach Region, Sektor und Note,
Effektivität, Effizienz, Wirkung und Nachhaltigkeit gewesen ist. und erhalten auf Knopfdruck alle Vorhaben im Energiesektor
Wir kombinieren interne und externe Evaluierungskompetenz, um Wir-
„Begleiten – Bewerten – Lernen“, so interpretiert Professor Und ob vor Ort evaluiert oder wie neuerdings immer häufiger in Westafrika, die als „erfolgreich“ bewertet wurden (oder auch
kungen abgeschlossener Vorhaben der FZ systematisch zu bewerten
Jochen Kluve, der seit Oktober 2019 die Evaluierungsabteilung „remote“ (Seite 28), alle Evaluierungen benötigen möglichst gute nicht), und können so bessere, neue Projekte umsetzen (Seite
und laufende Vorhaben der FZ durch begleitende Wirkungsmessung
der KfW Entwicklungsbank leitet, seinen Auftrag. Mit dem und innovative Daten, wie ein Aufforstungsvorhaben in Vietnam 36). Zusätzlich lernen die operativ Mitarbeitenden der Entwick-
zu unterstützen. Wir stärken das Institutionelle Lernen, indem wir die
vorliegenden 16. Evaluierungsbericht blickt er gemeinsam mit zeigt: Die in der Ex-post-Evaluierung verwendete Geodaten- lungsbank aber auch durch die persönliche Durchführung von
Ergebnisse unserer Evaluierungsarbeit in zielgruppengerechten und
seinem Team auf die Arbeit der unabhängigen Evaluierungs- analyse zeichnet im Detail die Erhöhung des Waldbedeckungs- Ex-post-Evaluierungen. Von ihren spannenden Erfahrungen beim
effizient nutzbaren Produkten aufbereiten. Wir streben nach fachlicher
abteilung der vergangenen zwei Jahre zurück. Im Zeichen des grades nach. Die Initiative MAPME erläutert (Seite 34), welche „Aufsetzen der Evaluierungsbrille“ und ihren Reisen in Projekt-
Exzellenz, fortlaufender Weiterentwicklung und Innovation.
Wandels und der Fortentwicklung gilt das Augenmerk aber auch Herausforderungen sich bei der Nutzung von Satellitendaten länder berichten sie auf Seite 6.
der Zukunft und einer Vision des langfristigen Evaluierungsauf- und offenen Sekundärdaten (Open Data) ergeben und warum
Über uns trags (Seite 10). eine Vernetzung mit anderen Abteilungen in der Entwicklungs-
bank der Schlüssel zum Erfolg ist, was mich aus Sicht des Vor-
Die Evaluierungsabteilung setzt also weiter auf eine gesunde
Mischung aus Kontinuität und Innovation. Dies spiegelt sich
Als agiles Team aus Sektorexpertinnen und -experten mit wissen- Was verbirgt sich hinter dem Dreiklang stands besonders freut. auch im Format dieser Publikation wider. Als 16. Evaluierungsbe-
schaftlicher und/oder operativer Erfahrung verstehen wir uns inner-
halb der KfW Entwicklungsbank als „Knowledge Hub“ zum Thema
Evaluierung und Wirkungsmessung. Wir kooperieren mit dem BMZ und
Evaluierungsbericht „BEGLEITEN – BEWERTEN – LERNEN“?
Er steht für die zentralen Produkte der Evaluierungsabteilung:
Aus der gleichen Sicht frage ich mich auch, was bringen die
richt setzt er eine lange und wichtige Tradition der Wissensver-
mittlung fort. Gleichzeitig ist es der erste Evaluierungsbericht,
jetzt auch digital
besten Daten und Studien der Welt, wenn sie nicht zur Verbes- der als digitale Publikation konzipiert wurde und interaktive und
vernetzen uns mit anderen nationalen wie internationalen Institutionen Die Begleitevaluierung laufender Vorhaben, die Bewertung ab- serung neuer Vorhaben und Institutionellem Lernen beitragen? audiovisuelle Inhalte bietet. Ich freue mich darauf, mit Ihnen ge-
der Evaluierung in der Entwicklungszusammenarbeit. Die Einbeziehung geschlossener Vorhaben und das Institutionelle Lernen. Begleit- Hier begrüße ich außerordentlich, dass die Evaluierungsabtei- meinsam, die neue und alte Welt unserer Evaluierungsabteilung
lokaler Partnerinnen und Partnern und ihr Erkenntnisinteresse sind uns evaluierungen unterstützen hierbei ausgewählte Vorhaben von lung ihr Evaluierungswissen gezielt in die KfW Entwicklungsbank zu erkunden.
wichtig. Wir berücksichtigen in unserer Arbeit relevante Standards der Anfang bis Ende und entwickeln maßgeschneiderte Konzepte zurückspielt: Besonders innovativ und in dieser Form einzigartig
Evaluierungscommunity (DeGEval, OECD-DAC) sowie der empirischen zur Wirkungsmessung. Dies verschafft uns wissenschaftlich fun- ist das neue digitale Tool QUER (Quick Evaluation Results), das
In diesem Jahr bieten wir erstmalig den
Forschung, insbesondere hinsichtlich des Schutzes von Persönlichkeits- dierte und tiefere Einblicke in die Wirksamkeit der Finanziellen es Projektmanagerinnen und Projektmanagern interaktiv er-
16. Evaluierungsbericht 2019–2020 als digitale Version an:
rechten und der Anonymität persönlicher Daten sowie eines „ethical Zusammenarbeit (FZ). Wenn wir beispielsweise die Wirkungen möglicht, auf mehr als 1.000 Evaluierungsergebnisse der letzten
www.kfw-entwicklungsbank.de/evbe2021_start
code of conduct“.
Wirksamkeit der Finanziellen
Zusammenarbeit
Wir sind eine unabhängige Evaluierungsabteilung, die anerkannte und moderne Methoden
in drei Säulen der Evaluierungsarbeit einsetzt:
Ex-post-Evaluierungen Begleitevaluierungen Institutionelles Lernen
– Wir evaluieren jährlich eine nach Sektoren – Wir begleiten ausgewählte laufende – Wir orientieren uns am Erkenntnisinteresse
geschichtete, repräsentative Stichprobe Vorhaben der FZ evaluatorisch, indem wir der Zielgruppe und informieren aktuell und
abgeschlossener Vorhaben der FZ. maßgeschneiderte Designs zur fortlaufen- in modernen Formaten.
den Wirkungsmessung entwickeln und
– Wir führen Ex-post-Evaluierungen (EPE) umsetzen. – Wir bieten thematische Lernformate an,
selbst durch und arbeiten mit externen veranstalten Fortbildungen zu Evaluier-
Consultants sowie Abordnungen aus – Wir beantworten inhaltliche Frage- ungsmethoden und bringen unser Wissen
den operativen Bereichen der FZ stellungen, die von besonderer Relevanz in Peer Discussions und Sector Retreats
zusammen. für die FZ sind. ein.
– EPE werden seit 2000 systematisch durch – Wir verwenden moderne Methoden der – Operative Kolleginnen und Kollegen führen
FZ E durchgeführt. Sie dienen der Rechen- Rigorosen Impact Evaluierung (RIE) und gemeinsam mit uns aktiv EPE durch.
schaftspflicht und bilden den Erfahrungs- wählen aus der RIE-Toolbox das für das
schatz für Institutionelles Lernen. – Über Newsletter und Publikationsreihen
jeweilige Vorhaben passende Design
informieren wir über neue Ergebnisse.
(form follows function).
– Die Bewertung erfolgt systematisch nach
OECD-DAC Kriterien. – Digital und interaktiv stellen wir
– Wir streben die innovative Sammlung und
die Inhalte aller Ex-post-Evaluierungen
Nutzung von Daten an, insbesondere
– EPE sind die tragende Säule unserer seit 2007 in einer App bereit
Satellitendaten.
Evaluierungsarbeit. (QUER – QUick Evaluation Results).
– Wir kooperieren fallspezifisch mit pas-
senden externen Partnern, insbesondere
Forschungseinrichtungen und anderen
Entwicklungsbanken.
Inhalt BEGLEITEN — BEWERTEN — LERNEN — Arbeitsweise und Erfolgsquote — Evaluierung laufender FZ-Vorhaben Evaluierung abgeschlossener FZ-Vorhaben Zukünftige Vorhaben verbessern Ex-post-Evaluierungen 2019–2020 06 Evaluierung weltweit 22 Perspektivwechsel – Ein Streifzug durch Sektoren und Regionen 34 MAPME – Planung, Monitoring und Evaluierung 42 Arbeitsweise und Methodik der FZ Evaluierungseinheit 10 Interview mit Prof. Dr. Jochen Kluve 28 Impacts 2.0 – Wirkungen besser messen 36 QUER – Die App für Evaluierungsergebnisse 44 Stichprobengröße und Notenverteilung 12 Rigorose Wirkungsevaluierung in der Entwicklungszusammenarbeit 29 Projektbeispiel Vietnam: Forstentwicklung 38 Corona und Beschäftigung – Vorschläge für Maßnahmen 46 Ex-post-Evaluierungen – online 16 Evaluierungsbeispiel Burkina Faso: Ernährungssicherheit 30 Projektbeispiel Kambodscha: Elektrifizierung 47 Impressum / Bildnachweis 18 Evaluierungsbeispiel Jemen: Beschäftigungsmaßnahmen 31 Projektbeispiel Kenia: Bewässerungsmaßnahmen 19 Evaluierungsbeispiel Tansania: Wasserversorgung
Evaluierung weltweit Lea Stuff
China – Ökologische
Vom ökologischen Waldumbau in China über Kleinunternehmen in Landschaftssanierung
Tunesien bis hin zur Mikrofinanzlinie in Paraguay – die evaluierten Projekte
der Finanziellen Zusammenarbeit (FZ) verteilen sich über nahezu die ganze Ich fand es sehr spannend nicht nur die Partnerinstitutionen
Welt. Um das Lernen aus Evaluierungen für die laufenden und zukünftigen zu treffen, sondern auch tunesische Kleinunternehmen, und zu sehen,
Projekte der FZ zu fördern, evaluieren Mitarbeiterinnen und Mitarbeiter was sich für sie – auch dank der Kredite – verändert hat. Interessant
waren auch die sehr unterschiedlichen Profile dieser Unternehmen
der KfW Entwicklungsbank im Auftrag der unabhängigen Evaluierungs- sowie der Optimismus, den die Unternehmerinnen und Unternehmer
abteilung – natürlich nur dann, wenn die Beauftragten noch nie mit dem ausstrahlten. Ich würde jedem in der FZ empfehlen, eine Evaluierung
Spannend war insbesondere, den eigenen Horizont
zu evaluierenden Projekt befasst waren und somit unabhängig sind. durchzuführen. Man lernt viel über die Arbeit der KfW und nimmt für
zu erweitern und zu sehen, wie sich Entwicklungs-
sich persönlich sehr viel mit.
Hier berichten fünf von ihnen über ihre Evaluierungserfahrung: perspektiven in anderen Ländern gestalten – das war
herausfordernd, hat mir aber viel für meine eigene Arbeit
gebracht.
Von den Projektpartnern sind wir mit offenen Armen empfangen
Mehr Informationen gibt
worden. Das Feedback lief in beide Richtungen, das habe ich
es online bei einer virtuellen Verena Quesnel als sehr hilfreich empfunden. Mitgenommen habe ich die Eine wichtige Voraussetzung für den Projekterfolg war eine
Reise durch die Projekte! Tunesien – stimmige politische Botschaft hinter dem Projekt. Es war
große Wertschätzung und Freude der Menschen, die sich mit
Beschäftigungsförderung interessant zu sehen, dass die umweltpolitischen Themen wie
Hilfe des Projekts ihr eigenes Haus leisten konnten.
Biodiversität mit dem für die Regierung prioritären Thema
Wasserversorgung für die Großregion Peking verknüpft wurden.
Annika Schulte
Paraguay – Mikrokredite für
Kleinstunternehmen
Alexander Ehlert Dirk Wenzel
Der Perspektivwechsel war für mich äußerst interessant. Tadschikistan – Ausbau China – Ökologische
Mit meinem Hintergrund des Finanzsektors im Nahen Osten zu nachhaltiges Kreditgeschäft Landschaftssanierung
schauen, wo die Entwicklungsprobleme im gleichen Sektor in Paraguay
liegen, welche Maßnahmen diese Probleme lösen können und wo die Es ist erneut deutlich geworden, dass gerade bei umwelt-
Projekte ansetzen – das war ein sehr wichtiger Transfer für mich. politischen Projekten eine langfristige Begleitung der Vorhaben
Die Zusammenarbeit mit der Evaluierungsabteilung und der Regionalab- von essentieller Bedeutung ist, so auch hier bei einem
teilung hat viel Spaß gemacht. Auch von dem zuständigen KfW-Büro ökologischen Umbau des Waldes.
in Bolivien bin ich sehr gut unterstützt worden.
06 I 07 I B EG L EI T EN
Von Anfang an dabei – Mit Beginn des
Projektes startet auch die Begleitevaluierung:
Gemeinsam mit den Partnern werden die
Wirkungen der Projekte untersucht.
BEGLEITEN
Evaluierung laufender FZ-Vorhaben
08 I 09 I B EG L EI T EN
„ Ein absolutes Highlight habe ich die Wissenschaft ja nicht, ein
wenig Forschen und Lehren werde ich im
schenergebnissen. Hier wollen wir auch
methodisch anspruchsvolle Evaluierungs-
bank – und Universitäten in Deutschland
und in den Partnerländern zusammenzu-
brachte hier durchaus einen Innovations-
schub, sowohl in der Evaluierung als
ist unsere interaktive Rahmen der Professur weiterhin. designs – sogenannte Rigorous Impact arbeiten. auch in den operativen Abteilungen, mit
Evaluation (RIE) – umsetzen, wobei aber denen wir hausintern kooperieren – da
Was war für Sie die größte Überra- immer die inhaltliche Frage im Vorder- Und wie funktioniert eine RIE gibt es tolle Initiativen. Viele Formen der
QUER-App mit schung – positiv wie negativ – als Sie
in der KfW angekommen sind?
grund steht. Also ganz im Sinne von form
follows function: Was will ich wissen und
konkret: Was brauchen Projektmana-
gerinnen und Projektmanager, wenn
Remote-Technik sind recht ausgereift und
werden immer besser, auch technische Der Besuch vor Ort bleibt unverzichtbar –
Bei einem Programm in El Salvador sammelte
mit welcher Methode erreiche ich das? sie eine RIE umsetzen wollen? Einschätzungen von Infrastrukturvorha-
Evaluierungswissen Kluve: Ich weiß nicht, ob „Überraschung“
das richtige Wort ist. Ich fand und finde
Und unsere dritte Aktivität ist das Institu-
tionelle Lernen. Hier ist die Aufgabe, Kluve: Zunächst einfach nur Interesse.
ben durch Videotelefonate oder ähnliches
sind ja inzwischen machbar. Dennoch ist
Jochen Kluve wichtige Eindrücke.
der FZ.“
es bemerkenswert, wie sehr alle Kollegin- all die Erkenntnisse aus den ersten beiden Dann setzen wir uns zusammen und es so, dass einige Vorhaben der Entwick-
nen und Kollegen in der Entwicklungsbank Bereichen zielgruppengerecht aufzuberei- überlegen, ob und wie genau man eine lungszusammenarbeit ohne Reise vor Ort
auf allen Ebenen für die Sache – für gute ten und ins Haus zu vermitteln. RIE aufsetzen kann. Dabei spielen dann nicht wirklich adäquat evaluiert werden
Entwicklungszusammenarbeit – enga- letztlich natürlich auch Kooperationsmög- können. Da fehlt der persönliche Eindruck,
giert sind. Ich bin sehr glücklich, in einem Sie haben erwähnt, dass Sie nur einen lichkeiten und finanzielle Mittel eine Rolle, die Eruierung von Daten vor Ort – vor
so professionellen und offenen Umfeld ausgewählten, also begrenzten Teil an aber hier gibt es fallspezifisch viele ver- allem aber der Kontakt zu den Menschen,
arbeiten zu dürfen. RIEs durchführen können. Wie gehen schiedene Lösungen: Die Integration der die von den Vorhaben profitieren oder sie
Interview Herr Kluve, Sie sind nun seit Was hat Sie bewegt, die Stelle Sie bei der Auswahl von RIE vor und Datensammlung in das ohnehin laufende umgesetzt haben.
eineinhalb Jahren in der KfW als Professor an der Humboldt- Gleich zu Beginn Ihrer Arbeit hat das was kann die FZ Evaluierungsabtei- Monitoring zum Beispiel oder die Nutzung
Entwicklungsbank tätig. Universität zu Berlin gegen die BMZ die Agenda 2030 beschlossen. lung leisten? von Satellitendaten oder die Kooperation Was denken Sie: Wie wird die
Wie war der Einstieg für Sie? Leitung der Evaluierungsabteilung Wie denken Sie, wird sich das auf die mit externen Partnern, wie Universitäten, Evaluierungsarbeit in den nächsten
einzutauschen? Evaluierungsarbeit auswirken? Kluve: Wir befassen uns insbesondere Forschungsinstituten oder anderen Ent- 10 Jahren aussehen?
Prof. Dr. Jochen Kluve übernahm Kluve: Sehr gut. Und das in mindestens mit Themen von operativer Relevanz, also wicklungsbanken.
im Oktober 2019 die Leitung der dreierlei Hinsicht. Ich habe von meiner Kluve: Ich fand die Aussicht ungeheuer Kluve: Ich greife mal einen Aspekt dort, wo Kolleginnen und Kollegen die Kluve: In vielerlei Hinsicht sicherlich ähn-
Evaluierungsabteilung in der KfW Vorgängerin Eva Terberger eine etablierte attraktiv, näher an die Praxis zu rücken heraus. Die Agenda 2030 betont unter Unterstützung durch Wirkungsmessung Mit der Corona Pandemie haben Sie lich wie heute. Innovative Evaluierungs-
„ Die Beispiele zeigen
Entwicklungsbank, seit 2011 ist er Evaluierungseinheit (FZ E) übernommen, – naja, eigentlich direkt in die Praxis zu anderem das Thema Wirksamkeit, das ist anfragen. Besonders passend ist das bei gleich zu Beginn Ihrer Zeit in der designs werden immer noch vor Ort am
Professor für Volkswirtschaftslehre die seit inzwischen mehr als 20 Jahren – gehen. In der Wissenschaft beschäftigt dem BMZ wichtig. Genau darauf wollen Vorhaben in der Konzeptionsphase, da Entwicklungsbank eine „Jahrhundert- besten entstehen. Aber hochauflösende
an der Humboldt-Universität zu Berlin.
In diesem Interview berichtet er von
wir haben letztes Jahr ja Jubiläum gefeiert
– als unabhängige Abteilung systematisch
man sich sehr damit, möglichst gutes
Wissen zu generieren. Das ist essenziell.
wir als moderne Evaluierungseinheit
buchen, im Dreiklang unserer Aktivitäten:
man hier Methodik und Datensammlung
auf die Wirkungsfragen des Vorhabens
krise“ zu managen. Was hat sich bei
Ihnen geändert in der Arbeitsweise?
Satellitendaten werden Aussagen zu viel
mehr Projekten und zu viel mehr Indika- auch, dass wir als
seinen ersten Eindrücken, den Heraus-
forderungen durch Corona und seiner
Evaluierungswissen generiert. Das ist be-
merkenswert. Dazu kam ich in ein tolles,
Aber die Frage ist doch: Was machen wir
mit dem Wissen? Wie machen wir das
Da haben wir erstens die Ex-post-Evaluie-
rungen, mit denen wir seit über 20 Jahren
zuschneiden und auch noch Baseline-
Daten erheben kann. Einige Beispiele aus Kluve: Ich würde das Thema bei uns nicht
toren machen können, als sie das heute
schon tun. Datensammlungen vor Ort
FZ E Vorhaben über
Vorstellung von Evaluierungsarbeit
in zehn Jahren.
agiles und engagiertes Team in FZ E. Und
genauso engagierte Leute habe ich in der
anwendbar? Wie übertragen wir Evaluie-
rungsergebnisse in die Praxis? An diese
systematisch Evaluierungswissen zusam-
mentragen. Das ist unser Kerngeschäft,
dem Jemen, aus Tansania und Burkina
Faso stellen wir im Evaluierungsbericht
zu hoch hängen, die „Jahrhundertkrise“
spüren andere Bereiche der Wirtschaft
werden durch weiter verbreitete Mobil-
technologie immer einfacher. Und Daten-
mehrere Jahre
ganzen Entwicklungsbank kennengelernt.
Davon war und bin ich immer noch be-
Themen wollte ich ran und hier haben wir
in den eineinhalb Jahren schon sehr viel
um repräsentativ über die Wirkungen und
Nachhaltigkeit der FZ zu berichten. Quan-
vor. Die Beispiele zeigen auch, dass wir
als FZ E hier Vorhaben über mehrere
oder Beschäftigte im Gesundheits- oder
Pflegesektor intensiver. In der konkreten
banken und Apps mit Evaluierungswissen
wie unser QUER-Tool – mit dem wir
begleiten.“
geistert. Ach ja: Eine steile Lernkurve in bewegt. Ein absolutes Highlight ist unsere titativ ist das sicherlich der größte Teil. Jahre begleiten werden – und das können Evaluierungsarbeit aber ist es natürlich meines Wissens Vorreiter sind – werden
praktischer FZ gab es natürlich auch. interaktive QUER-App mit dem gebün- Daneben stellen wir zweitens die Begleit- wir insgesamt dann natürlich nur für eine so, dass wir mehr „remote“ arbeiten müs- fundierter und vermutlich weiter ver-
delten Evaluierungswissen der FZ. Von so evaluierungen, in denen wir ausgewählte begrenzte Zahl an Projekten leisten; sen: Also sogenannte Schreibtischprüfun- breitet sein. Ich denke, wir in FZ E werden
einem praktischen Tool habe ich immer laufende Vorhaben mit Wirkungsmessung auch wenn wir in diesen Evaluierungen gen auf Basis von Dokumenten oder die auf jeden Fall in genau diese Richtung
geträumt. Und so ganz eingetauscht unterstützen, zum Beispiel mit Zwi- besonders versuchen, mit anderen Ent- Nutzung von Satellitendaten. Letzteres arbeiten.
wicklungsbanken – vor allem der Welt-
10 I 11 I B EG L EI T EN
Rigorose Wirkungsevaluierungen – Aufbau einer randomisierten Kontrollstudie (RCT)
für einen Cash Transfer zur Erhöhung des Bildungsniveaus
Mehr als nur l’art pour l’art
In der Wissenschaft sind rigorose Wirkungsevaluie- aktiv eine stärkere Wirkungsorientierung in der EZ. Dies Die Königlich Schwedische Akademie der Wissenschaften Warum evaluieren?
rungen (RIE) seit knapp 20 Jahren ein wichtiges Tool manifestierte sich in den Millennium Development Goals würdigte dies 2019 mit der Vergabe des Alfred-Nobel-
zur Analyse von Wirkungen. Auch in internationalen (MDG) und in der vom BMZ stark mitgestalteten Aid- Gedächtnispreises für Wirtschaftswissenschaften an die Gute Gründe für die Durchführung von belastbaren
>
Organisationen und Entwicklungsbanken setzen Effectiveness-Agenda. Auf der anderen Seite stieg das Entwicklungsökonomin Esther Duflo sowie ihre Kollegen Evaluierungen gibt es viele. Unter den wichtigsten ist die
sich diese Ansätze immer mehr durch. Doch, was ist Interesse der Wissenschaftsgemeinde an der Analyse Abhijit Banerjee und Michael Kremer. Das Preiskomitee Rechenschaftspflicht gegenüber der Öffentlichkeit und
das eigentlich genau? Was sind die Vorteile, der Ursachen von Armut und insbesondere an möglichen kommentierte die Auszeichnung mit folgenden Worten: Zivilgesellschaft in Partnerländern sowie in Deutschland.
>
was die Nachteile und welche Rolle spielen RIE Mechanismen zu ihrer Überwindung. Sie nutzte vermehrt „Millionen von Menschen profitieren heute von wirksamen Evaluierungen ermöglichen es, besonders wirksame Bevölkerung
wird in 2 Gruppen
innerhalb der KfW Entwicklungsbank? verbesserte statistische und ökonometrische Methoden Maßnahmen, die mit dem neuen experimentellen Ansatz Ansätze zu identifizieren, diese – wenn nötig – frühzeitig randomisiert
zur Evaluierung von Vorhaben. Die Wissenschaft begann, entwickelt und getestet wurden, für den sie [die Preisträger zu modifizieren sowie die Kosteneffizienz eines Vorhabens
Seit der Jahrhundertwende sind rigorose Wirkungseva- experimentelle Methoden – wie sie bereits aus der natur- und Preisträgerinnen] den Grundstein gelegt haben.“2 zu quantifizieren. Eine möglichst stichhaltige Messung
luierungen (Rigorous Impact Evaluations - RIEs) in der wissenschaftlichen und medizinischen Forschung bekannt der Wirkungen befähigt uns dementsprechend auch Beide Gruppen
sind auf Grund der
internationalen Entwicklungszusammenarbeit (EZ) auf waren – auf entwicklungsökonomische Fragestellungen institutionell zu lernen. Außerdem tragen die Erkenntnisse
randomisierten
dem Vormarsch. Inspiriert von der Wissenschaft sind anzuwenden. 1 Quelle: Sabet, S.M. und Brown, A.N. (2018). Is impact evaluation still on the rise?
zum Ausbau externen Lernens und der globalen Evidenz- Auswahl gleich
sie heute integraler Bestandteil von vielen Vorhaben in The new trends in 2010-2015. Journal of Development Effectiveness, 10(3): 291-304. basis bei.
KONTROLL- INTERVENTIONS-
der internationalen Zusammenarbeit. So gibt es in der 2 Quelle: Royal Swedish Academy of Sciences (2019). https://www.nobelprize.org/ GRUPPE GRUPPE
Weltbank beispielsweise eine Einheit für Wirkungsevalu- prizes/economic-sciences/2019/press-release/. Evaluierung ist insbesondere im Kontext der globalen EZ
ierungen (Development Impact Evaluation - DIME). Das wichtig: Zum einen müssen sich Projekte in der EZ keinem
CONTROL INTERVENTION
World Food Programme – Friedensnobelpreisträger 2020 Wettbewerb stellen wie private Unternehmen. Klassische
>
>
– verfolgt seit 2019 die WFP Impact Evaluation Strategy, marktwirtschaftliche Mechanismen, wie Konkurs bei
während die International Initiative for Impact Evaluation schlechter Firmenführung oder Verdrängung durch bessere Cash Transfer für Haushalte in der Interventions-
(3ie) seit 2008 die rigorose Evidenz von Entwicklungs- Produkte, gibt es nicht. Zum anderen stehen begrenzte gruppe, wenn Kinder zur Schule gehen
vorhaben fördert und synthetisiert. Im Ergebnis führte Finanzmittel einer Vielzahl an dringend erforderlichen
dies zu einem massiven Anstieg in der absoluten Anzahl Investitionen gegenüber. Ein solides Wirksamkeitsver-
durchgeführter RIEs in der EZ. Während bis zum Jahr ständnis ist also von höchster Bedeutung.
2000 weltweit nur insgesamt etwa 50 RIEs von Vorhaben
oder Politiken in Ländern des Globalen Südens veröffent- RIEs sind nur eine von mehreren Methoden des Evaluie-
licht wurden, erlebten die 15 Folgejahre einen Boom mit rens oder Monitorings. So nutzt die KfW Entwicklungs-
über 4.000 RIEs.1 bank beispielsweise seit 1990 erfolgreich Ex-post-Eva-
luierungen, um Vorhaben in der Breite und über die Zeit
Der Zuwachs an RIEs wurde befördert durch das Zu- hinweg systematisch zu betrachten und zu bewerten.
>
>
sammentreffen zweier Strömungen. Auf der einen Seite Wer jedoch insbesondere Effekte auf der Impact-Ebene
messen möchte, ermittelt diese – wie der Name vermuten Vergleich der Gruppen misst den Effekt von
verfolgten politische Akteure seit der Jahrhundertwende
Auszahlung eines Cash Transfers in Cash Transfers auf Bildungserfolg
lässt – anhand von RIEs am rigorosesten.
Malawi – Die FZ unterstützt seit 2006 die
12 I 13 I B EG L EI T EN ärmsten Familien in Malawi im Rahmen der
Social-Cash-Transfer-Programme.
Was genau sind rigorose
Wirkungsevaluierungen?
RIEs beschreiben eine Toolbox an experimentellen und Wenn eine rein experimentelle (zufällige) Zuordnung Ein Wasserprojekt in Pristina, Kosovo, zeigt, dass sich neben den RIEs ziehen auch Kritik auf sich – und Debatten über
quasi-experimentellen Methoden, deren Gemeinsamkeit nicht vertretbar oder realisierbar ist, stellen quasi-ex- klassischen Impact-Evaluierungsfragen auch die Evaluierung ver- die Vor- und Nachteile werden seit Jahren leiden- Erfahrungen mit experimenteller Evaluierung
die kausale Messung von Wirkungen in einem Vorhaben perimentelle Methoden häufig eine sinnvolle Alternative haltensökonomischer Fragestellungen lohnen kann. Das Projekt schaftlich geführt. Einige Kritikpunkte sind: RIE in der KfW Entwicklungsbank in der Entwicklungsbank
ist. Die Betonung liegt auf Kausalität: Also darauf, jene dar. Vergleichsgruppen können beispielsweise entlang diente dem Aufbau leistungsfähiger Strukturen für die Wasser- und
Effekte zu ermitteln, die ausschließlich dem Vorhaben zu- von Grenzwerten bestimmter Auswahlkriterien definiert Abwasserversorgung. Ziel war es, die Trinkwasserversorgung und – Ethische Vorbehalte: Die Teilnahme an Vorhaben ist Die Evaluierungsabteilung der KfW Entwicklungsbank un- „Seit 2005 soll das multisektorale „Reintegrations- und Wieder-
geschrieben werden können – und diese von zeitgleichen werden (Regression Discontinuity Design, RDD). Richtet damit die Lebensbedingungen zu verbessern. Zur Untersuchung des zufällig und nicht bedarfsorientiert. Dieser Kritikpunkt terstützt mit institutionellem und methodischem Wissen aufbauprogramm“ der KfW die Lebensbedingungen in Liberia
Entwicklungen oder anderweitigen Zusammenhängen sich ein Vorhaben zu einem bestimmten Zeitpunkt an Kin- Zahlungsverhaltens der Kunden wurden sogenannte „Nudges“, also ist valide und wichtig. Eine Teilnahme am Vorhaben auch zunehmend bei der Umsetzung von RIEs. Eindrücke verbessern und einen Beitrag zur Konsolidierung des laufenden
zwischen Vorhaben und Zielindikatoren zu isolieren, und der unter zwei Jahren, können fast zweijährige Teilneh- Impulse zur Verhaltensänderung, angewandt und auf ihre Wirkung muss immer sinnvollen und fairen Vergabekriterien von Evaluierungsdesigns der KfW Entwicklungsbank Friedensprozesses leisten. Das Programm findet in Zusammen-
so die Zuordnungslücke zu schließen. Neben der Messung menden mit knapp über zwei Jahre alten Teilnehmenden überprüft. Solche Impulse sind zum Beispiel das Anbringen der folgen. Dies ist jedoch auch in RCTs unter klarer finden sich in diesem Bericht auf den folgenden Seiten. arbeit mit der Deutschen Welthungerhilfe und weiteren Nicht-
konkreter Wirkungen auf die Zielgruppen von Vorhaben verglichen werden, wie das Beispiel aus Burkina Faso auf Rechnung an der Haustür (anstelle der Ablage im Briefkasten) oder Beachtung ethischer Maßstäbe möglich, zum Beispiel, Die Nutzung von RIEs passt die Evaluierungsabteilung regierungsorganisationen (NRO) statt.
analysieren RIEs auch Effekte auf Teilgruppen oder unter- den folgenden Seiten zeigt. schriftliche Appelle an das Verantwortungsbewusstsein der Kundin- wenn räumliche, budgetäre oder zeitliche Grenzen – unter Berücksichtigung methodischer Möglichkeiten
liegende Wirkungsmechanismen. So kann es zum Beispiel nen und Kunden. Die verschiedenen Impulse wurden randomisiert clever genutzt werden. und Grenzen im Sinne von form follows function – ganz Während der Vorbereitungen der fünften Programmphase nutzte
sein, dass ein Gesundheitsvorhaben für Frauen deut- RCTs und RDDs sind nur zwei Beispiele aus der IE Tool- zugeteilt. Je nach Art des Impulses und der Formulierung der Bot- an die relevante inhaltliche Frage, den Kontext sowie die unser Team die Chance, eine rigorose Wirkungsevaluierung in Form
lich größere Effekte aufweist als für Männer, oder dass box. Je nach Art des Vorhabens, Stand der Umsetzung schaft konnte die Zahlungsmoral um bis zu 62 % erhöht werden. Die – Ergebnisse von RIEs sind schwierig für andere Bedürfnisse und Kapazitäten seiner Projektpartner an. eines Randomized Controlled Trials (RCT) anzustoßen. Unser Ziel
produktive Effekte neuer Stromanschlüsse sich nur in und Kriterien zur Auswahl von Begünstigten, bietet die Ansätze werden nach Aussage des zuständigen Wasserversorgers Kontexte, Bevölkerungsgruppen oder Zeitfenster Je nach Bedarf können sowohl Haushalte befragt oder war es, angenommene Wirkungslogiken zu untersuchen, kausale
Gegenden materialisieren, die Zugang zu Märkten haben. Toolbox eine Bandbreite an methodischen Möglichkeiten. auch über den ursprünglich geplanten, zweimonatigen Zeitraum generalisierbar: Diese Kritik trifft zu, wie auch bei Analysen mit Hilfe von Satelliten- oder anderen Sekun- Zusammenhänge zu verstehen und den tatsächlichen Impact des
Fest steht jedoch: Je früher eine Wirkungsevaluierung in hinaus fortgeführt. Dieses Projektbeispiel zeigt, wie sich auch ohne anderen Evaluierungsmethoden von Einzelmaß- därdaten durchgeführt werden. Im Idealfall werden RIEs Vorhabens zu messen. Zusätzlich wollten wir besser verstehen, wel-
Die rigoroseste Methode der IE Toolbox, der sogenann- die Umsetzung eines Vorhabens integriert wird, desto hö- große Kosten- und Zeitaufwände gute Ergebnisse erzielen lassen nahmen. Möglichkeiten zur Erhöhung von Generali- in Zusammenarbeit mit anderen Entwicklungsbanken wie che Rolle konkrete Aspekte der Implementierung spielen, um dies
te „Gold Standard“, sind experimentelle Methoden wie her ist die Wahrscheinlichkeit, belastbare Aussagen über und sich das Testen neuer und kreativer Ansätze mithilfe randomi- sierbarkeit müssen dementsprechend in der der Weltbank oder der französischen Entwicklungsbank in der Konzeption von Folgevorhaben zu beachten und letztendlich
„Randomized Controlled Trials“ (RCTs). Bei RCTs wird ein Wirkungen treffen zu können. In ähnlichen Vorhaben kön- sierter Methoden lohnen kann. Umsetzung von RIEs ausgeschöpft werden und Agence française de développement sowie lokalen oder eine höhere Wirksamkeit zu erreichen.
Vorhaben - oder auch Teilmaßnahmen des Vorhabens - nen Maßnahmen angepasst und damit die Wirksamkeit die Übertragbarkeit auf andere Vorhaben muss im akademischen Partnerinnen und Partnern umgesetzt.
per Zufallsprinzip einer Gruppe von Individuen, Schulen, erhöht werden. Die Durchführung einer Datenerhebung Einzelfall hinterfragt werden. Übrigens: Eine stei- So können Synergieeffekte im Lernen, sowohl zwischen Das RCT wird von externen Wissenschaftlerinnen und Wissen-
Gemeinden oder Anderem zugeordnet („Interventions- vor Beginn des Vorhabens (Baseline) kann Evaluierungen gende Anzahl an Meta-Evaluierungen und Systematic den Entwicklungsbanken als auch zwischen den Partnern schaftlern in Kooperation mit den implementierenden NRO durch-
gruppe“). Die zweite Gruppe erhält das Vorhaben später beispielsweise immens stärken. Reviews von RIEs versucht diese Hürde zu verringern. gestärkt werden. geführt. Die ersten Zwischenergebnisse des RCT bieten bereits
wie in dem Beispiel Jemen auf Seite 18 oder – wie bei spannende Ansatzpunkte für die effektive Fortgestaltung des
einem Placebo – gar nicht (Kontrollgruppe). Das (kont- – RIEs eignen sich nicht für alle Vorhaben: Auch, wenn Vorhabens. Zum Beispiel ist dank des RCTs deutlich geworden,
rollierte) Zufallsprinzip stellt, ähnlich wie in der medizini- Ein Video zeigt online die Einschätz- prinzipiell bei jedem Vorhaben eine RIE durchgeführt dass trotz einer starken Rolle von NRO in der Implementierung des
schen Forschung, die Vergleichbarkeit der zwei Gruppen ungen des Wissenschaftlers Sebastian werden kann, ist sie nicht immer die zielführendste Vorhabens, das Vertrauen in den Staat gestärkt werden kann. Wir
sicher: Je nach Maßnahme sind sie zum Beispiel im Durch- Tonke sowie einen Erfahrungsbericht Methode. Es ist deshalb wichtig, die Vor- und Nach-
des Wasserversorgers in Pristina. lernen zudem schon jetzt viel über die Wirkungen unseres Vorha-
schnitt gleich alt, gesund, ambitioniert, vulnerabel oder teile verschiedener Evaluierungsmethoden im
bens auf die soziale, gesundheitliche und wirtschaftliche Situation
wohlhabend. Dementsprechend sind alle Unterschiede Einzelfall abzuwägen.
der Programmteilnehmenden. Unsere bisherigen Erfahrungen
zwischen den Gruppen dem Vorhaben selbst zuschreibbar.
ermutigen mich also, auch in Zukunft – wenn möglich – Wirkungs-
Ein bekanntes Beispiel sind Cash Transfers, die dann an
evaluierungen durchzuführen.“
die Haushalte der Zielgruppe ausgezahlt werden, wenn
ihre Kinder die Schule besuchen.
Alina Sennewald
Portfoliomanagerin „Governance“ in der Region Westafrika
14 I 15 I B EG L EI T EN
Burkina Faso – Was haben die Frauen über Ernährungssicherheit und
-praktiken gelernt und wie wirkt sich das auf ihr Verhal-
ten aus? Hat die Teilnahme am Vorhaben die physische,
Jahren diese Leistungen nicht gezahlt werden. Dieses
klare Targeting-Kriterium kann zur Identifizierung der
Wirkungen genutzt werden. Es wird angenommen, dass
Die ersten 1.000 Tage zählen ein Leben lang aber auch psychische Gesundheit der Frauen und Kinder
verbessert – konnten beispielsweise Wachstumsstörun-
Mütter und deren Kinder im Alter von eineinhalb bis zwei
Jahren vergleichbar sind zu Kindern im Alter von zwei bis
gen unter Kindern abgewandt werden? Wie wurde das zweieinhalb Jahren. Um erste Informationen zu diesen
Viele Kinder in Burkina Faso leiden Das Vorhaben soll die Ernährungssicherheit von bis Vorhaben in der Gemeinde und innerhalb der Familien Kindern und den Haushalten zu bekommen, werden die
schon in den ersten Lebensjahren zu 15.000 (werdenden) Müttern und deren 18.000 aufgenommen und wie spiegelt sich dies in der Verminde- Haushalte vor Projektbeginn befragt.
an Mangelernährung. Dabei ist die Kleinkindern in der Provinz Ioba im Südwesten rung häuslicher Gewalt und nachbarschaftlicher Konflikte
richtige Ernährung nie so wichtig Burkina Fasos verbessern wider? Gab es negative Auswirkungen – zum Beispiel auf Nach Ende des Projektes sind die Kinder drei Jahre älter.
wie zu Beginn des Lebens. In die Nahrungsmittelpreise – durch veränderte Nachfrage- Somit werden Mütter und deren Kinder im Alter von vier-
diesem Projekt in der Provinz Ioba Drei Jahre lang erhalten die Frauen quartalsweise Zah- muster? Haben kurzfristig erkennbare Wirkungen auch einhalb bis fünf Jahren verglichen mit Müttern und deren
im Südwesten von Burkina Faso lungen. Teilnahmeberechtigt sind schwangere Frauen und drei Jahre nach Vorhabensbeginn noch Bestand? Kindern im Alter von fünf bis fünfeinhalb Jahren. Dazu
erhalten junge Mütter Transferzahlungen und Trai- Mütter von Kindern unter zwei Jahren. Um zuverlässige werden die Haushalte erneut befragt. Unter Berücksich-
nings. Ziel ist es, die Mangelernährung der Neu- Transfers via Mobile Money zu gewährleisten, werden Um all diese Fragen beantworten zu können, wird tigung der Ergebnisse der vorherigen Befragung kann in
geborenen und jungen Kinder zu reduzieren und so die Frauen in der Beantragung von Ausweisdokumenten ein „Regression Discontinuity Ansatz“ angewandt dem Beispiel die Wirkung der Maßnahme quantifiziert
langfristig die Weichen für eine positivere Zukunft zu unterstützt und mit einem Mobiltelefon ausgestattet. werden: Die Kalorienzufuhr der Kinder steigt in diesem
stellen. Die Evaluierung untersucht die langfristigen Diese Aspekte inkludieren Frauen finanziell und befähigen Angenommen, vor Projektbeginn liegt die durchschnitt- fiktiven Beispiel mit dem Alter und liegt bei Kindern in
Wirkungen dieser Zahlungen auf Mütter, Kinder und sie dazu, ihre wirtschaftlichen und politischen Rechte liche Kalorienzufuhr von Kindern im Alter von ein bis drei der Vergleichsgruppe bei 1.100 kcal. Bei Kindern, die
die Dorfgemeinschaft. wahrzunehmen. Zusätzlich werden die Schwangeren und Jahren bei 800 kcal (Kilokalorien). An Familien mit Kin- Teil des Projektes sind, steigt der Wert auch, jedoch auf
jungen Mütter zu Sensibilisierungskampagnen zu den dern unter zwei Jahren werden dann Transferzahlungen 1.300 kcal. Dies sind 200 kcal oder ca. 18 % mehr als bei
Burkina Faso zählt zu den ärmsten Ländern der Welt: Der Themen Ernährung, Hygiene und Gesundheit eingeladen. Kindern, die nicht Teil des Projektes sind.
geleistet, während an Familien mit Kindern über zwei
Human Development Index (HDI), der auch als Wohl- Die Kampagnen werden in lokalen Frauengruppen, aber
standsindikator bekannt ist, setzt das Land auf Platz auch durch Film- oder Theatervorführungen und über das
182 von 189 Nationen. Verstärkt durch den Klimawandel Radio an die Frau gebracht.
stellen regelmäßige Dürren und Landdegradierung die ø 1.300 kcal für Das Projekt erhöht die
kcal kcal Kinder in der Teilnah- tägliche Kalorienzufuhr
Ernährungssicherheit der wachsenden Bevölkerung vor Das Vorhaben hat primär die teilnehmenden Frauen und megruppe um 200 kcal
erhebliche Herausforderungen. Dies gilt insbesondere für ihre Kinder im Fokus, aber auch die Gemeinschaft und
den ländlichen Raum und im Speziellen für schwangere deren lokale Wirtschaft. Hauptziel der Begleitevaluierung
Frauen und Kleinkinder. Denn für Kinder ist eine bedarfs- ist es, diese Wirkungen – erwartete und unerwartete
gerechte Ernährung in den ersten 1.000 Lebenstagen – kausal zu erfassen. Dafür werden sowohl qualitative ø 800 kcal in Teilnahme ø 1.100 kcal für Kinder
entscheidend. Fehl- und Mangelernährung beeinträch- als auch quantitative Daten auf Ebene der Frauen, ihrer und Vergleichsgruppe in der Vergleichsgruppe
tigen die kognitive Entwicklung und physische Gesund- Kinder, Gemeinden, Märkten und Krankenstationen erho-
heit von Kindern nachhaltig. Nach Angaben des United ben. Die Datenerhebungen werden vor Vorhabensbeginn
Nations Development Programme (UNDP) leiden 25 % (Baseline), ein Jahr später und drei Jahre nach Vorha-
der Kinder unter fünf Jahren in Burkina Faso an Wachs- bensbeginn durchgeführt. Anhand der Analysen werden
tumsstörungen. belastbare Erkenntnisse für eine mögliche Ausweitung
Kinder, die an dem Projekt teilnehmen Kinder, die an dem Projekt teilnehmen
des Vorhabens auf andere Regionen gewonnen. Folgende Kinder, die nicht an dem Projekt teilnehmen Kinder, die nicht an dem Projekt teilnehmen
Fragen können so beantwortet werden: Kamen die Trans- Die ersten 1.000 Tage zählen – Mangelernährung
ferzahlungen bei den Frauen an und haben die Targeting- in den ersten Lebensjahren hat lebenslange
Kriterien tatsächlich funktioniert? Auswirkungen: Die RIE misst, inwieweit Cash Messung vor Projektbeginn Messung am Projektende – 3 Jahre später
16 I 17 I B EG L EI T EN Transfers in Burkina Faso helfen können.Cash-for-Work – Simiyu Climate Resilience Project in Tansania –
Eine rigorose Analyse der Wirkungen im Jemen Eine Begleitevaluierung
Das Labor Intensive Works Pro- in die Literatur einbetten und darauf aufbauend evidenz- Das vom Green Climate Fund Geplant ist, die Wasserversorgungssituation der an ria
Busega
gram ist ein vom jemenitischen basierte Schlussfolgerungen für die Zukunft generieren. kofinanzierte Simiyu Climate das System angeschlossenen Haushalte innerhalb des District
Social Fund for Development (SFD) Resilience Vorhaben fördert Korridors mit jener der Dörfer außerhalb des Korridors zu Nyashimo
durchgeführtes Programm zur Die Evaluierung versucht, auf vielfältige Fragen eine Wasserversorgung, Sanitär- vergleichen. Letztere können nicht an die Pipeline ange- Bariadi
Unterstützung der ärmsten Bevöl- Antwort zu geben: Erhöht sich das Einkommen vulnera- schlossen werden. So kann die kausale Wirkung des Vor- District
versorgung und klimaangepasste
kerungsgruppen im krisengeschüt- bler ländlicher Haushalte? Verbessert das zusätzliche Landwirtschaft. Ziel ist die Re- habens auf die Wasserversorgung und die Gesundheits- Bariadi Itilima
telten Jemen. Das Land wird seit Einkommen die Ernährungssicherheit und leistet dies silienz von insgesamt 495.000 situation der Menschen ermittelt werden. Im Rahmen der District
Jahrzehnten von bewaffneten Konflikten erschüttert. einen Beitrag zur Stärkung von Resilienz? Erhöht eine Menschen in der Simiyu-Region im Norden Begleitevaluierung ist auch geplant, die Veränderung der
Mangelnde Beschäftigungs- und Einkommensmög- gestiegene Resilienz zukünftige Jobmöglichkeiten? Tansanias hinsichtlich der Auswirkungen des Wasserversorgung bei der Bevölkerung im Zeitablauf des Lagangabilili
lichkeiten sowie eine schwache Basisinfrastruktur Tragen die Infrastrukturmaßnahmen zu einer verbessert- Klimawandels zu stärken. Doch wie können die Pipeline-Baus zu analysieren, um so Zwischenergebnisse
Maswa
verstärken die Vulnerabilität der Bevölkerung zu- en Lebensqualität bei? Veränderungen in der Bevölkerung gemessen während der Umsetzung des Vorhabens zu generieren.
sätzlich. Die Wirkungsevaluierung untersucht genau- und analysiert werden? Teilnahmedörfer Dörfer außerhalb des
innerhalb des 24 km- Korridors, die nicht an
er, ob und inwiefern das Programm zu einer erhöhten Die Analyse der Wirkungskette wird in der untenstehen-
Korridors um die die zentrale Wasserver-
Resilienz der Zielgruppe führt und so die Lebensbe- den Grafik beispielhaft für die Zielvariable „Resilienz der Das Simiyu Climate Resilience Vorhaben unterstützt Wege verkürzen – Momentan müssen vor allem Kinder
Hauptleitung sorgung angeschlossen
und Frauen noch weite Wege gehen, um Wasser aus dem
dingungen nachhaltig verbessert. Haushalte“ dargestellt: Begünstigte des Programms bauen Geld gegen Arbeit – Mit dem Cash-for-Work-Programm die tansanische Regierung in ihrem Ziel, bis 2025 90 % Hauptleitung
werden
Lake Victoria (und anderen Quellen) zu holen.
die Infrastruktur auf und erhalten dafür einen Lohn. Wenn soll im Jemen Infrastruktur aufgebaut und die Ernährungs- der Bevölkerung hinreichend mit Wasser versorgen
Dies ändert sich mit der Installation der Hauptleitung.
Das Cash-for-Work-Vorhaben beinhaltet Maßnahmen diese Zahlung auch ankommt, kann im nächsten Schritt sicherheit verbessert werden. Wie wirksam ist das? zu können. In drei Komponenten – Wasserversorgung,
zum Bau und Erhalt von Basisinfrastruktur und setzt die Auswirkung des Lohns auf die Haushaltsausgaben Sanitärversorgung, Landwirtschaft – sollen Versorgungs-
simultan an mehreren Engpässen an: Zusätzlich generier- analysiert werden. Falls der Lohn für lebensnotwendige strukturen geschaffen werden, die auch die Resilienz der
tes Einkommen soll Projektteilnehmenden den Zugang zu Güter wie Grundnahrungsmittel ausgegeben wird, kann Bevölkerung hinsichtlich der Auswirkungen des Klima-
Gütern des täglichen Bedarfs wie Nahrungsmitteln und evaluiert werden, ob die gestiegenen Ausgaben für Grund- wandels stärken. Die größte Komponente des Vorhabens
Medikamenten, aber auch Zugang zu Bildung erleichtern. nahrungsmittel sich positiv auf die Ernährungssicherheit umfasst unter anderem den Bau einer etwa 100 km
Die Infrastrukturmaßnahmen auf Gemeindeebene sollen der Empfängerinnen und Empfänger auswirken. Falls die langen Wasserpipeline vom Lake Victoria ins Landes-
unmittelbar und mittelbar die Lebensbedingungen ver- Ernährungssicherheit positiv beeinflusst wurde, kann im innere. Der Anschluss an das Versorgungssystem soll
1 Vgl. Lombardini, S., und Mager, F. (2019). Livelihoods in the Za‘atari Camp:
bessern und so Konflikte reduzieren. letzten Schritt die Wirkung des Vorhabens auf die Erhö- Impact evaluation of Oxfam’s Cash for Work activities in the Za’atari camp (Jordan), Dörfern innerhalb eines 24 km-Korridors um die Haupt-
hung der Resilienz bestimmt werden. Oxfam Policy & Practice. leitung den ganzjährigen, zuverlässigen und sicheren
Doch wirken die Maßnahmen wie angenommen? Zugang zu sauberem Wasser gewährleisten.
Es gibt nur wenige aktuelle Studien zu den Wirkungen
solcher Cash-for-Work-Maßnahmen aus dem Jemen oder
anderen Ländern im Nahen Osten.1 Die anlaufende Be-
PROGRAMM-
TEILNAHME > AUSZAHLUNG
DES LOHNS > HAUSHALTS-
AUSGABEN > ERNÄHRUNGS-
SICHERHEIT > RESILIENZ DER
HAUSHALTE Der Bau des Wasserversorgungssystems soll im Jahres-
verlauf 2022 beginnen. Der Bauplan ermöglicht der
gleitevaluierung ist daher als Wirkungsstudie (Rigorous Hilft die Targeting- Kommt die Zahlung Wofür wird der Wirkt sich der Lohn Trägt die verbesserte Begleitevaluierung in den kommenden Jahren, die Wir-
Impact Evaluation RIE) angelegt: Sie soll die Wirkungen Strategie dabei, bei den Teilnehmenden Lohn verwendet? positiv auf die Ernährungssicherheit kungen des Vorhabens auf die Bevölkerung in der Region
die Zielgruppe zu an? Ernährungssicherheit zu einer erhöhten Resili-
des Vorhabens in der aktuellen Situation messen, der Teilnehmenden aus? enz der Haushalte bei?
Simiyu methodisch stichhaltig zu messen:
identifizieren? Setzt der Lohn die ge-
wünschten Anzeize?
18 I 19 I B EG L EI T EN
Wirkungskette des Labor-Intensive Works Programm (LIWP)Den Wirkungen auf der Spur –
Mit neuen Datenquellen wichtige
Informationen für die Evaluierungs-
analysen sammeln.
BEWERTEN
Evaluierung abgeschlossener FZ-Vorhaben
20 I 21 I B E W ER T ENPerspektivwechsel – Ein Streifzug durch Sektoren und Regionen Steigende Anzahl an Vorhaben in fragilen Kontexten
Eine hohe Anzahl an weltweiten Konflikten führt zu einer zur Erhöhung der Kapazitäten von Schulen auch Bei-
Welche neuen Erkenntnisse hat es bei den Evalu-
verstärkten Umsetzung von Projekten in Konfliktlän- träge zur Verbesserung der Bildungsqualität erforderlich
ierungen 2019 / 2020 gegeben und was sind die
dern. Diese Entwicklung spiegelt sich auch zunehmend gewesen. Zukünftig empfiehlt sich zudem eine bessere
wichtigsten Lessons Learned? Im Streifzug erhalten
Neue Erfahrungen aus
in den Evaluierungen: Vor knapp zehn Jahren (Zeitraum Anpassung der Maßnahmen an die lokal variierenden
Sie einen Einblick in die Vielfalt der evaluierten Vor-
2011/2012) wurden 38 FZ-Vorhaben in fragilen Kontexten Sicherheitssituationen. Als positiv stellte sich in diesem
haben der finanziellen Zusammenarbeit (FZ) und in
die Besonderheiten einzelner Vorhaben.
evaluiert, heute sind es mit 68 fast doppelt so viele.
Diese Vorhaben werden häufig in mehreren Phasen im-
Projekt die Einbindung von Gemeinden in die Verwaltung
von Schulen heraus. Die von EQUIP II eingerichteten dem Policy Based Lending
plementiert. Innerhalb des Portfolios in fragilen Kontex- Schulkomitees kümmerten sich um die Sicherheit der
ten nimmt der Bildungssektor eine besondere Stellung Schülerinnen und Schüler und spielten eine entscheiden- Policy Based Lending gewinnt zunehmend an Bedeutung im
ein. Ein Beispiel dafür ist das mehrphasige Bildungspro- de Rolle bei der Wiedereröffnung von Schulen, die aus FZ-Portfolio: In den Kalenderjahren 2019 und 2020 sind vier
Der Finanzsektor schneidet am Vorhaben evaluiert worden. Zentrale Erkenntnisse sind, dass
jekt EQUIP II in Afghanistan: Dieses ist drei Mal verlän- Konfliktgründen geschlossen wurden. Wie wichtig starke
besten ab – Diese jordanische Unter- Ownership – also die Federführung der Partnerländer - die
gert worden und zielt über eine vermehrte Nutzung von lokale Partner für die Projektumsetzung insbesondere
nehmerin hat sich mit einem FZ-Kredit
Bildungsmöglichkeiten auf eine verbesserte Grundbildung in fragilen Kontexten sind, zeigte sich auch am Beispiel wichtigste Rolle für den Erfolg spielt. Weiterhin zeigte sich,
eine Kosmetikfirma aufgebaut.
und einen Beitrag zur Reduzierung der Armut ab. Nicht des Social Fund for Development im Jemen. Auch wegen dass Policy-Dialoge, in denen konkrete Maßnahmen und
zuletzt aufgrund der fragilen Lage in Afghanistan stellte des starken Partners wurde das Projekt regelmäßig ver- Aspekte der Reformfinanzierung geklärt und abgestimmt
Finanzsektor prominent eines Ex-post-Evaluierungsberichts (EPE) evaluiert. Im Ver-
gleich zu anderen Sektoren schneiden Projekte im Finanz-
sich bei diesem Projekt an einigen Stellen Anpassungsbe- längert und verbesserte so die Lebensbedingungen von werden, äußerst wichtig, jedoch auch sehr (zeit-)aufwändig
sind. Ausreichende Kapazitäten mit Präsenz vor Ort sind des-
darf heraus. Beispielsweise wären neben Maßnahmen Jugendlichen und Kindern im Jemen.
vertreten und überdurch- sektor besonders gut ab. Im Durchschnitt wurden Finanz- halb essenzielle Bausteine für einen glaubhaften, kontinuier-
lichen und vertrauten Dialog mit den Partnerorganisationen.
schnittlich erfolgreich
vorhaben mit der Gesamtnote 2,3 bewertet, während die
Durchschnittsnote über alle Sektoren hinweg bei 2,8 lag. Das Beispiel eines Vorhabens zur Siedlungswasserwirtschaft
in Peru zeigt, dass die Ziele des Vorhabens eher umgesetzt
Im Zeitraum 2019 / 2020 vereinte der Finanzsektor mit 36 Die Gründe für das gute Abschneiden des Finanzsektors sind werden, wenn sie in enger Zusammenarbeit mit der Regierung
von insgesamt 171 evaluierten Vorhaben (21 %) die meis- vielfältig. Zum einen müssen oft nennenswerte Hürden über- entwickelt werden. Dabei wird nicht ein finales Ziel definiert,
ten Evaluierungen auf sich. Dabei adressierten zehn der 36 sprungen werden, um diese Vorhaben zu implementieren. So sondern einzelne Reformschritte, die zu einer anteiligen Aus-
Finanzvorhaben kleinste, kleine und mittlere Unternehmen sind häufig stabile regulatorische Rahmenbedingungen eine zahlung der Mittel führen (Trigger). Die Evaluierungen ergeben,
(KKMU) als Zielgruppe, acht weitere zielten auf energieeffi- Anforderung für die Etablierung und Auszahlung eines Finanz- dass die aktuelle Flexibilität in der Ausgestaltung der Trigger
zienteres Wirtschaften ab. Die vergleichsweise große Zahl produkts. Dies ist einer der Gründe für die in der gesamten zwar bestehen bleiben sollte, aber eine präzisere Formulierung
an Evaluierungen steht dabei in engem Zusammenhang mit Stichprobe relativ geringe Anzahl an Finanzprojekten in Subsa- der Kriterien nötig ist. In Peru beispielsweise war die Zielver-
Anzahl evaluierter Projekte nach Sektoren mit der gebündelten Evaluierung mehrphasiger Vorhaben: Sobald hara-Afrika, während Projekte in politisch stabileren Regionen einbarung aufgrund einer tendenziell unpräzisen Formulierung
Durchschnittsnoten (Skala von 1 = sehr erfolgreich bis eine der Projektphasen Teil der zu evaluierenden Stichprobe wie Mittel- und Südosteuropa vermehrt durchgeführt und eher die Diskussionsgrundlage eines kontinuierlichen Politik-
6 = eher negative Effekte) des FZ-Portfolios ist, werden in der Regel mehrere Phasen evaluiert worden sind. Zum anderen stellt die Evaluierung bei dialoges als ein Instrument zur Freigabe von Auszahlungen
evaluiert. Diese Vorgehensweise ermöglicht einen umfas- Bündelung von Vorhaben häufig eine Kontinuität oder sogar durch Trigger.
senderen Blick auf die Wirksamkeit eines Gesamtvorhabens. Verbesserung der Note fest: Projekte mit einer sehr guten oder
Beispielsweise wurden sechs Phasen des regionalen Energie- guten Note in den ersten Phasen konnten eine mindestens
effizienz-Fonds in Südosteuropa und fünf Phasen des MENA- gleich gute Bewertung auch in späteren Phasen erzielen. Tendenz steigend –
Regionalfonds für die KKMU-Finanzierung innerhalb Die Anzahl von Vorhaben im fragilen
Kontext nimmt weiter zu.
22 I 23 I B E W ER T ENSie können auch lesen
