NACHHALTIGKEIT IN DER DEUTSCHEN ENTWICKLUNGS-ZUSAMMENARBEIT - Meta-Evaluierung 2018
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
NACHHALTIGKEIT IN DER DEUTSCHEN ENTWICKLUNGS- ZUSAMMENARBEIT Meta-Evaluierung 2018
Die vorliegende Meta-Evaluierung „Nachhaltigkeit in der deutschen
Entwicklungszusammenarbeit“ ist Teil des DEval-Themenschwerpunktes
Nachhaltigkeit. Die Meta-Evaluierung wird durch eine begleitende
Evaluierungssynthese ergänzt. Im Rahmen eines integrierten Evaluierungs-
designs basieren beide Berichte auf einer gemeinsamen Datengrundlage
und haben komplementäre Ziele.
Meta-Evaluierung Evaluierungssynthese
Inhalte Auseinandersetzung mit der Analyse der Einflussfaktoren auf
Evaluierungspraxis zur Nachhal- die Nachhaltigkeitsbewertung von
tigkeit von Vorhaben der deut- Vorhaben
schen Entwicklungszusammenar-
beit (EZ) Auseinandersetzung mit der
Bewertung von Nachhaltigkeit
Rekonstruktion des bisherigen deutscher EZ-Vorhaben
Verständnisses von Nachhaltigkeit
in der deutschen EZ und Abgleich Herausstellen von Ansatzpunkten
mit dem modernen Verständnis zur Erhöhung der Nachhaltigkeit
der Agenda 2030 für nachhaltige deutscher EZ-Vorhaben
Entwicklung
Unterstützung der strategischen
Unterstützung der Ausgestaltung und operativen Ausrichtung der
einer Agenda-2030-konformen deutschen EZ auf die Anforderun-
Evaluierungspraxis gen der Agenda 2030 für nachhal-
tige Entwicklung
Methoden Systematische Qualitätsanalyse Multivariate Regressionsanalysen
und quantitative Inhaltsanalyse
Datengrundlage Evaluierungsberichte von Vorhaben der deutschen EZ und
Sekundärdaten
Integriertes Die Ergebnisse der quantitativen Inhaltsanalyse der Meta-Evaluierung
Design wurden als erklärende Variablen in die Regressionsanalysen der
Evaluierungssynthese einbezogen.
Die Ergebnisse der Qualitätsanalyse der Meta-Evaluierung wurden
als Gewichtungsfaktor für die Aussagekraft der Beobachtungen in die
Regressionsanalysen der Evaluierungssynthese einbezogen.
NACHHALTIGKEIT IN DER DEUTSCHEN ENTWICKLUNGS- ZUSAMMENARBEIT Meta-Evaluierung 2018
Impressum
Herausgeber
Deutsches Evaluierungsinstitut der
Entwicklungszusammenarbeit (DEval)
Fritz-Schäffer-Straße 26
53113 Bonn, Deutschland
Tel: +49 (0)228 33 69 07-0
E-Mail: info@DEval.org
www.DEval.org
Verfasst von
Dr. Martin Noltze
Dr. Michael Euler
Ida Verspohl
Verantwortlich
Prof. Dr. Jörg Faust (bis Juni 2016)
Dr. Sven Harten (ab Juni 2016)
Gestaltung
MedienMélange: Kommunikation!, Hamburg
www.medienmelange.de
Lektorat
Silvia Richter, mediamondi, Berlin
www.mediamondi.de
Bildnachweis
Gui Yongnian/123rf.com (Cover), Olaf Speier/Alamy Stock
Foto (Kap. 1), dbimages/Alamy Stock Foto (Kap. 2 + 3),
Dzianis Apolka/Alamy Stock Foto (Kap. 4), imageBROKER/
Alamy Stock Foto (Kap. 5), Riccardo Lennart Niels Mayer/
123rf.com (Kap. 6), Oleksandr Roslyak/123rf.com (Kap. 7) Das Deutsche Evaluierungsinstitut der Entwicklungszusammen
arbeit (DEval) ist vom Bundesministerium für wirtschaftliche
Bibliografische Angabe Zusammenarbeit und Entwicklung (BMZ) mandatiert, Maß-
Noltze, M., M. Euler und I. Verspohl (2018), nahmen der deutschen Entwicklungszusammenarbeit unab-
Meta-Evaluierung von Nachhaltigkeit in der deutschen hängig und nachvollziehbar zu analysieren und zu bewerten.
Entwicklungszusammenarbeit, Deutsches Evaluierungsinstitut
der Entwicklungszusammenarbeit (DEval), Bonn. Mit seinen Evaluierungen trägt das Institut dazu bei,
die Entscheidungsgrundlage für eine wirksame Gestaltung
Druck des Politikfeldes zu verbessern und die Transparenz zu
Bonifatius, den Ergebnissen zu erhöhen.
Paderborn
Der vorliegende Bericht ist auch auf der DEval-Website als
© Deutsches Evaluierungsinstitut der pdf-Download verfügbar unter:
Entwicklungszusammenarbeit (DEval), Januar 2018 www.DEval.org/de/evaluierungsberichte.html
ISBN 978-3-96126-067-6 (gebundene Ausgabe) Anfragen nach einer gebundenen Ausgabe richten Sie bitte an:
ISBN 978-3-96126-068-3 (PDF) info@DEval.org
Danksagung
Das Evaluierungsteam wurde bei seiner Arbeit von zahlreichen Dr. Kerstin Guffler und Solveig Gleser sowie unserem Instituts-
Personen und Organisationen unterstützt. Für die wertvolle leiter Prof. Dr. Jörg Faust für ihre vielen Anregungen und Kom-
Unterstützung möchten wir uns an dieser Stelle recht herzlich mentare. Zudem danken wir Thomas Wencker für seine kriti-
bedanken. sche Perspektive und die konstruktiven Vorschläge. Darüber
hinaus bedanken wir uns bei Cornelia Michaels-Lampo und
Zentral für das Gelingen der vorliegenden Meta-Evaluierung unserer Verwaltung für die administrative Unterstützung der
und der begleitenden Evaluierungssynthese war zunächst die Evaluierungstätigkeit. Besonderer Dank gilt auch der Öffent-
Unterstützung der Referenzgruppe. Besonderer Dank gilt hier- lichkeitsarbeit des DEval sowie der Lektorin dieses Berichts.
bei den beteiligten Referaten des Bundesministeriums für
wirtschaftliche Zusammenarbeit und Entwicklung (BMZ), dem Ferner bedanken wir uns bei Jana Preiß, die uns im Rahmen
Referat 105 (Michaela Zintl, Katrin von der Mosel und Berthold einer assoziierten Masterarbeit bei der Durchführung der
Hoffman) und dem Referat 300 (Gottfried von Gemmingen- Kontextstudie der Meta-Evaluierung unterstützt hat.
Guttenberg, Dr. Ingolf Dietrich, Dr. Maya Schmaljohann, Cor-
mac Ebken und Ruben Werchan), der Deutschen Gesellschaft Weiterer Dank gebührt unseren Praktikantinnen und studie-
für Internationale Zusammenarbeit (GIZ; Dr. Ricardo Gómez, renden Beschäftigten Helena Heberer, Niklas Witzig, Grisel
Dorothea Giesen-Thole, Valentin Dyckerhoff, Katrin Ladwig Orozco, Sarah Stahlmann und Lea Smidt, deren Unterstützung
und Cornelia Skokov) und der KfW Entwicklungsbank (KfW; für den Erfolg der Evaluierung von hohem Wert war. Wir be-
Prof. Dr. Eva Terberger, Martin Dorschel, Thomas Gietzen und danken uns herzlich für das große Engagement und den per-
Christian Schönhofen). Bedanken möchten wir uns dabei ins- sönlichen Einsatz.
besondere für die vielen Anregungen und Kommentare im
Rahmen der offenen und kritischen Diskussion. Besonderer Ein besonderer Dank gilt weiterhin unserem externen Gutach-
Dank gilt der GIZ und der KfW für ihre tatkräftige Unterstüt- ter Prof. Dr. Sebastian Vollmer. Seine zahlreichen inhaltlichen
zung im Rahmen der Datenerhebung – ohne die Übermittlung und methodischen Anregungen haben entscheidend zur Quali-
umfangreicher Daten und Dokumente wäre die Evaluierungs- tät der vorliegenden Evaluierungsberichte beigetragen.
arbeit nicht möglich gewesen.
Abschließend möchten wir uns noch bei unseren Kolleginnen
Weiterhin bedanken möchten wir uns bei unseren Kolleginnen und Kollegen des Kompetenzzentrums Methoden bedanken,
und Kollegen am DEval, die den Evaluierungsprozess aufmun- die uns über den gesamten Prozess der Evaluierungsarbeit mit
ternd und kritisch begleitet haben. Unser Dank gilt dabei kritischen Fragen und methodischen Anregungen zur Seite
insbesondere unseren DEval-internen Gutachterinnen standen.
Zusammenfassung vii
ZUSAMMENFASSUNG
Hintergrund, Ziele und Evaluierungsgegenstand schen Gesellschaft für Internationale Zusammenarbeit (GIZ).
Die Agenda 2030 für nachhaltige Entwicklung betont die glo- Beide DO bewerten die Nachhaltigkeit von Vorhaben entlang
bale Bedeutung des Prinzips der Nachhaltigkeit. Mit ihr defi- der internationalen Evaluierungskriterien des Entwicklungs-
niert sich Nachhaltigkeit nunmehr entlang von Kernprinzipien ausschusses der Organisation für wirtschaftliche Zusammen-
nachhaltiger Entwicklung: Ein universaler Geltungsanspruch, arbeit und Entwicklung (OECD-DAC). Auf der Grundlage einer
gemeinsame Verantwortung und Rechenschaftspflicht, das Orientierungshilfe des Bundesministeriums für wirtschaftliche
Zusammenspiel von sozialer, wirtschaftlicher und ökologischer Zusammenarbeit und Entwicklung (BMZ) aus dem Jahr 2006
Entwicklung und Inklusivität bilden die Prinzipien des moder- bildet der Aspekt der Dauerhaftigkeit von Wirkungen über die
nen Nachhaltigkeitsverständnisses für Entwicklung. Zeit den Kern des Evaluierungskriteriums Nachhaltigkeit. Zu
Beginn der Meta-Evaluierung wurde ferner angenommen, dass
Die deutsche Entwicklungszusammenarbeit (EZ) hat sich zu sich hinter dem Wirkungsbegriff und im Zusammenspiel mit
den Prinzipien der Agenda 2030 bekannt und zu ihrer Umset- den anderen Evaluierungskriterien – Relevanz, Effektivität,
zung verpflichtet. In der deutschen EZ ist der Begriff der Nach- Effizienz und übergeordnete entwicklungspolitische Wirkun-
haltigkeit bereits seit geraumer Zeit fester Bestandteil der gen (Impact) – auch der Aspekt der nachhaltigen Entwicklung
entwicklungspolitischen Debatte. Prinzipiell wird dabei zwi- verbirgt.
schen den Aspekten „nachhaltige Entwicklung“ und „Dauer
haftigkeit von Wirkungen“ unterschieden. Inwieweit sich diese Methodisches Vorgehen
beiden Aspekte nun in dem modernen Verständnis von Nach- Bei der vorliegenden Untersuchung handelt es sich um eine
haltigkeit nach der Agenda 2030 wiederfinden bzw. diesem thematische Meta-Evaluierung. Dabei wurde das klassische
entsprechen, ist bislang eine offene Frage. Weder das Ver- Meta-Evaluierungsdesign einer reinen Qualitätsbewertung um
ständnis von noch der praktische Umgang mit Nachhaltigkeit die systematische Auseinandersetzung mit dem inhaltlichen
in der deutschen EZ wurden bis heute einer systematischen Bewertungskriterium der Nachhaltigkeit von EZ-Vorhaben
Analyse unterzogen. Die aktuelle Entwicklungsagenda gibt erweitert. Die Datengrundlage der Meta-Evaluierung bildet
nun Anlass für eine umfassende Auseinandersetzung mit dem eine repräsentative Stichprobe von 513 Evaluierungsberichten
langjährigen Leitprinzip der deutschen EZ. von Vorhaben der deutschen technischen und finanziellen EZ.
Die Ergebnisse der Meta-Evaluierung fließen im Rahmen eines
Ziel der vorliegenden Meta-Evaluierung ist eine erste umfas- integrierten Forschungsdesigns zudem auch in die begleitende
sende und systematische empirische Auseinandersetzung mit Evaluierungssynthese ein, die sich mit den Einflussfaktoren der
der Evaluierungs- und Bewertungspraxis von Nachhaltigkeit in Nachhaltigkeit auseinandersetzt.
der deutschen EZ im Sinne einer Bestandsaufnahme. Die empi-
rische Betrachtung der bisherigen Praxis dient der Rekonstruk- Zentrale Ergebnisse, Schlussfolgerungen und Empfehlun-
tion des bislang schwer greifbaren Verständnisses von Nach- gen zur Bewertung von Nachhaltigkeit in der deutschen EZ
haltigkeit in der deutschen EZ als Voraussetzung für einen Die Ergebnisse der vorliegenden Meta-Evaluierung bestätigen
Abgleich mit dem modernen Verständnis von Nachhaltigkeit die Vorabannahme, dass sich in den Evaluierungskriterien
nach den Prinzipien der Agenda 2030. Zweck der Meta-Evalu- neben dem Aspekt der Dauerhaftigkeit auch der Aspekt der
ierung ist es somit, die Ausgestaltung einer Agenda-2030-kon- nachhaltigen Entwicklung verbirgt; damit belegen sie erstmals
formen Evaluierungs- und Bewertungspraxis zu unterstützen. empirisch, dass Nachhaltigkeit in der deutschen EZ-Evaluie-
rungspraxis bereits umfassend verstanden, evaluiert und be-
Den Gegenstand der Meta-Evaluierung bildet die Evaluie- wertet wird. Gleichzeitig besteht eine deutliche Abweichung
rungs- und Bewertungspraxis der Nachhaltigkeit von Vorhaben von den Ansprüchen der Agenda 2030. Wesentliche Prinzipien
der deutschen EZ, dargestellt in den Evaluierungsberichten der der Agenda 2030, etwa das Zusammenspiel der Dimensionen
beiden großen deutschen staatlichen Durchführungsorganisa- der Nachhaltigkeit, sind noch kein systematischer Bestandteil
tionen (DO), der KfW Entwicklungsbank (KfW) und der Deut- der Bewertungspraxis. Somit widerlegen die Ergebnisse zwar
viii Zusammenfassung
die mögliche Annahme, in den DAC-Evaluierungskriterien sei Empfehlungen zur Weiterentwicklung der
ausschließlich ein enges Nachhaltigkeitsverständnis im Sinne Evaluierungspraxis:
der Dauerhaftigkeit von Wirkungen angelegt; sie weisen je-
doch auf deutliche Diskrepanzen zum modernen Nachhaltig- Dem BMZ und den DO wird empfohlen, die Nachhaltigkeit
keitsverständnis im Sinne der Agenda 2030 hin. von Vorhaben im Sinne der Prinzipien der Agenda 2030 für
nachhaltige Entwicklung künftig im Rahmen eines zusätzli-
Die Ergebnisse zeigen auch, dass die Evaluierung und Bewer- chen Bewertungskriteriums zu evaluieren.
tung von Nachhaltigkeit in der Praxis aufgrund eines fehlen-
den konzeptionellen Rahmens für ein umfassendes Nachhal- Einhergehend mit dem Einbeziehen von Nachhaltigkeit im
tigkeitsverständnis bislang unsystematisch und uneinheitlich Sinne der Agenda 2030 als zusätzliches Bewertungskriteri-
erfolgt. Auch die seit 2006 vorgeschlagenen Prüffragen der um werden dem BMZ die konzeptionelle Schärfung der
Orientierungshilfe des BMZ werden bislang nicht systematisch DAC-Kriterien und eine höhere Verbindlichkeit der BMZ-
berücksichtigt. In der Gesamtschau zeigt sich, dass die derzei- Orientierungshilfe für den Umgang mit den DAC-Kriterien
tige Konzeption der DAC-Kriterien die Evaluierung von Nach- empfohlen.
haltigkeit im umfassenden Sinne zwar zulässt, jedoch keines-
falls systematisch und verbindlich vorgibt. Für die aggregierte Im Rahmen der Reform der Evaluierungskriterien für die
Betrachtung der Nachhaltigkeitsnote über verschiedene Vor- Erfolgsbewertung von EZ-Vorhaben wird dem BMZ empfoh-
haben hinweg bedeutet dies – aufgrund der fehlenden Syste- len, das bisherige Evaluierungskriterium der Nachhaltigkeit
matik – eine eingeschränkte Vergleichbarkeit, die dem strate- nach OECD-DAC im Sinne der Dauerhaftigkeit von Wirkun-
gischen Lernen aus Evaluierungen entgegensteht. Eine rigorose gen zu erhalten und die entsprechenden Prüffragen auf
vergleichende Perspektive auf die Nachhaltigkeit von Vorha- diesen Aspekt auszurichten.
ben ist derzeit nur unter erheblichem Aufwand – wie mit der
vorliegenden erweiterten Meta-Evaluierung und der begleiten- Mit Blick auf die Prinzipien der Agenda 2030 sollten GIZ
den Evaluierungssynthese verbunden – möglich. und KfW untersuchen, wie in Evaluierungen künftig die
nicht intendierten Wirkungen eines Vorhabens und die
Der zukünftige Umgang mit der Agenda 2030 und der Nach- Wechselwirkungen zwischen den Dimensionen der Nach-
haltigkeit von EZ-Vorhaben in Evaluierungen ist eine globale haltigkeit identifiziert und geprüft werden können.
Aufgabe. Mit Blick auf die deutsche EZ hat die vorliegende
Meta-Evaluierung konkreten Handlungsbedarf identifiziert.
Die Schlussfolgerungen rufen nach einer Reform der bisheri- Die Umsetzung und konzeptionelle Ausgestaltung der Empfeh-
gen Evaluierungs- und Bewertungspraxis. Neben dem Harmo- lungen zur Evaluierungspraxis sollten in Deutschland auf der
nisierungs- und Koordinierungsgedanken der Erklärung von Grundlage eines gemeinsamen Prozesses unter Federführung
Paris zur Effektivität der EZ und dem Aktionsplan von Accra des BMZ und unter Beteiligung der DO und des DEval erfol-
verlangt der universelle Charakter der Agenda 2030 dabei gen. Es wird empfohlen, diesen Prozess inklusive einer Pilot-
auch nach Austausch und Abstimmung auf internationaler phase bis Ende 2018 abzuschließen, um eine Agenda-
Ebene. Die nun folgenden Empfehlungen zielen darauf ab, die 2030-konforme Evaluierungs- und Bewertungspraxis der
laufenden Reformprozesse auf Ebene der deutschen EZ zu deutschen EZ ab 2019 zu gewährleisten. Gleichzeitig sollten
unterstützen und die Diskussionen auf internationaler Ebene die laufenden Reformbemühungen innerhalb der deutschen EZ
zu bereichern. Zunächst werden die wesentlichen Empfehlun- auf internationale Anschlussfähigkeit geprüft und in die ent-
gen zur Weiterentwicklung der Evaluierungspraxis dargestellt. sprechenden Foren eingebracht werden.
Anschließend folgen die grundlegenden Empfehlungen zur
Weiterentwicklung des Evaluierungssystems.Zusammenfassung ix
Empfehlungen zur Weiterentwicklung des stehenden Ressourcen auf den Zweck einer Evaluierung auszu-
Evaluierungssystems richten. Bei den dezentralen Evaluierungen umfasste das Er-
kenntnisinteresse bisher neben der Evaluierung selbst auch
Dem BMZ wird empfohlen, eine übergeordnete Evaluie- den Aspekt der Prüfung. Ein belastbarer Wirkungs- und Nach-
rungsstrategie zu entwickeln, die sich über die Zeit thema haltigkeitsnachweis lässt sich ferner durch die geeignete Wahl
tische Schwerpunkte setzt. des Evaluierungszeitpunktes erreichen: Im Rahmen von Ex-
Post-Evaluierungen besteht die Möglichkeit, Wirkungen und
In der Evaluierungsstrategie sollte das BMZ definieren, deren Nachhaltigkeit in gewissem zeitlichem Abstand zum
welche Anforderungen sich aus den Fragestellungen um die Ende der Vorhaben tatsächlich zu beobachten. Bei den dezent-
Agenda 2030 für die jeweiligen Evaluierungen – also auf ralen Evaluierungen, die im Verlauf eines Vorhabens durchge-
Ebene der Module, der Programme und der Länderstrate führt werden, erfolgt der Nachhaltigkeitsnachweis hingegen
gien – ergeben. auf einer reinen Zukunftseinschätzung. Vor dem Hintergrund
eingeschränkter Datenverfügbarkeit im Kontext der EZ bieten
Monitoringdaten eine relevante Datenquelle. Deren Potenzial
Zentrale Ergebnisse, Schlussfolgerungen und Empfehlun- für einen belastbaren Wirkungs- und Nachhaltigkeitsnachweis
gen zur Qualität der Evaluierungspraxis wird allerdings bislang nicht ausgeschöpft.
Im Rahmen der Meta-Evaluierung wurde die Auseinanderset-
zung mit der Bewertung von Nachhaltigkeit in der deutschen Die Ergebnisse der Meta-Evaluierung haben darüber hinaus
EZ von der Analyse der Evaluierungsqualität begleitet. Dabei einen interessanten Zusammenhang zwischen evaluatorischer
geben die Ergebnisse der Qualitätsbewertung Hinweise auf die Qualität und inhaltlichem Erkenntnisgewinn aufgedeckt: Mit
Belastbarkeit der Ergebnisse und der Schlussfolgerungen der zunehmender Qualität der Evaluierungen erhöht sich die Zahl
Evaluierungen hinsichtlich der Nachhaltigkeit deutscher der für die Nachhaltigkeitsbewertung hinzugezogenen Kriteri-
EZ-Vorhaben. en. Anspruchsvollere Evaluierungen stellen die Bewertung von
Nachhaltigkeit auf eine breitere Basis und sind zudem auch
Die Ergebnisse zeigen, dass GIZ und KfW die aus Modulevalu- der Belastbarkeit der Aussagen zuträglich. Ein direkter Zusam-
ierungen hervorgehenden Ergebnisse und Schlussfolgerungen menhang zwischen der Evaluierungsqualität und der Einzelbe-
auf eine dem Umfang dieser Evaluierungen angemessene wertung eines Kriteriums oder der Gesamtbewertung der
evaluatorische Grundlage stellen. Neben der Gegenstandsbe- Nachhaltigkeit eines Vorhabens besteht nicht.
schreibung enthält die Mehrheit der Evaluierungsberichte eine
nachvollziehbare Darstellung der zu überprüfenden Wirkungs- Aufgrund des Zusammenhangs zwischen der Qualität und der
zusammenhänge und der methodischen Vorgehensweise. Die Ausführlichkeit, mit der das Thema Nachhaltigkeit in Evaluie-
deutsche EZ zeichnet sich zudem durch einen hohen De- rungen behandelt wird, sowie des engen Zusammenhangs von
ckungsgrad in der Evaluierung aus: Die GIZ unterzieht nahezu Wirkungs- und Nachhaltigkeitsnachweis ergeben sich eine
alle Module einer systematischen Erfolgsbewertung, die KfW Reihe von Empfehlungen, die sich auf die Qualität von Evaluie-
arbeitet mit einer repräsentativen Stichprobe. rungen und das zugrunde liegende Evaluierungssystem bezie-
hen. Auch hier werden zunächst Empfehlungen zur Weiterent-
Es hat sich jedoch auch gezeigt, dass die Evaluierungsqualität wicklung der Evaluierungspraxis dargestellt. Anschließend
auf Modulebene verbessert werden kann. Dabei sollten durch folgen die Empfehlungen zur Weiterentwicklung des
systematische Analyse- und Triangulationsverfahren vor allem Evaluierungssystems.
die Anstrengungen zur Aufdeckung von Ursache-Wirkungs-
Beziehungen erhöht werden. Dasselbe gilt für die Nachvoll-
ziehbarkeit von Ergebnissen und Schlussfolgerungen in den
Evaluierungsberichten. Dabei gilt es auch, die zur Verfügungx | Zusammenfassung
Empfehlungen zur Weiterentwicklung der achten, die Steuerungsrelevanz sicherzustellen. Dies kann
Evaluierungspraxis: beispielsweise durch thematische Fokussierung oder durch
die geeignete Wahl des Evaluierungszeitpunktes erfolgen.
Vor dem Hintergrund zunehmender Anforderungen an die
Evaluierung als Instrument für Lernen und Rechenschaftsle-
gung sollten GIZ und KfW Maßnahmen entwickeln, die Empfehlungen zur Weiterentwicklung des
sicherstellen, dass weitere Potenziale zur Erhöhung der Evaluierungssystems:
Evaluierungsqualität, insbesondere im Bereich des Wir-
kungs- und Nachhaltigkeitsnachweises, ausgeschöpft Im Sinne des gemeinsamen Lernens und der Rechenschafts-
werden. legung wird dem BMZ empfohlen, die Evaluierungspraxis
von GIZ und KfW auf der Grundlage der Gemeinsamen
Aufgrund der anhaltend geringen Bedeutung, die Monito- Verfahrensreform (GVR) und der Leitlinien für die bilaterale
ringdaten in Modulevaluierungen beigemessen wird, sollten finanzielle und technische Zusammenarbeit zu harmonisie-
die DO systematisch untersuchen, welche Hindernisse hier ren. Dabei sollte das BMZ verbindliche Vorgaben zu Zeit-
bestehen und wie diese überwunden werden können. Dabei punkt, Umfang und Benotungssystem schaffen, um die
sollten sie prüfen, inwieweit sich die Monitoringsysteme Evaluierungstypen für Modulevaluierungen zu
der Vorhaben über die Zielsysteme der Vorhaben mit dem vereinheitlichen.
Zielsystem der nachhaltigen Entwicklungsziele (SDGs)
verknüpfen lassen. Dem BMZ wird empfohlen, durch die Festlegung einheitli-
cher Mindeststandards das Ausschöpfen von Potenzialen
Im Sinne der Transparenz und als Anreiz für eine nachvoll- zur Erhöhung der Evaluierungsqualität in Modulevaluierun-
ziehbare Berichtslegung sollten GIZ und KfW unter Abwä- gen zu unterstützen.
gung der Chancen und Risiken die Möglichkeit prüfen, die
Evaluierungsberichte – gegebenenfalls zunächst in einer Das BMZ sollte die DO dazu anhalten, die Evaluierungsbe-
Pilotphase – vollständig zu veröffentlichen und das BMZ richte in sich nachvollziehbar zu gestalten, sodass sie für
über die Erfahrungen hierzu in Kenntnis setzen. sich stehen können. Je nach Ausgang einer entsprechenden
Prüfung sollte das BMZ die DO zu einer vollständigen Veröf-
Um die Evaluierungsqualität zu steigern, wird der GIZ emp- fentlichung der Evaluierungsberichte anhalten.
fohlen, die Funktion der Qualitätssicherung langfristig in
der Stabsstelle Evaluierung zu verankern. Alle Modulevalu- Das BMZ sollte dafür sorgen, dass neben der Qualitätssi-
ierungen sollten künftig durch die Stabsstelle gesteuert cherung der Modulevaluierungen durch die Evaluierungs-
werden. einheiten von GIZ und KfW regelmäßig eine externe, orga-
nisationsübergreifende Meta-Evaluierung zu einer
Die Erhöhung der Qualität von Evaluierungen sollte in der Stichprobe von Evaluierungen stattfindet.
GIZ durch eine Trennung zwischen Prüfung und Evaluierung
unterstützt werden.
Im Hinblick auf den geeigneten Zeitpunkt für einen aussa-
gekräftigen Wirkungs- und Nachhaltigkeitsnachweis sollte
das Format von Ex-post-Evaluierungen in der GIZ erneut an
Bedeutung gewinnen. Bei der Durchführung von Ex-post-
Evaluierungen sollten sowohl GIZ als auch KfW daraufINHALT
Danksagungv
Zusammenfassungvii
4. Ergebnisse 22
Abkürzungen und Akronyme 2 4.1 Qualität der Evaluierungsberichte 23
4.2 Die Bewertung von Nachhaltigkeit in
1.
Evaluierungen der GIZ und KfW 27
4.2.1 Übergreifende Erkenntnisse 28
Einleitung 3 4.2.2 Kontext 32
4.2.3 Implementierung 35
1.1 Hintergrund 4 4.2.4 Outcome 36
1.2 Ziel der Meta-Evaluierung 5 4.2.5 Kapazitäten vor Ort 38
1.3 Gegenstand 6 4.2.6 Impact 39
1.4 Evaluierungsfragen 6 4.2.7 Absehbarkeit von Wirkungen 40
1.5 Aufbau des Evaluierungsberichtes 6 4.2.8 Zusammenspiel der Dimensionen
der Nachhaltigkeit 41
2.
4.3 Zusammenhang zwischen Qualität und der
Bewertung von Nachhaltigkeit 42
Evaluierung von Nachhaltigkeit in der 4.4 Evaluierung und Bewertung von
deutschen EZ 8 Nachhaltigkeit im internationalen Vergleich 42
5.
2.1 Nachhaltigkeit in der Wirksamkeitsdebatte
der deutschen EZ 9
2.2 Der konzeptionelle Rahmen der Schlussfolgerungen
Meta-Evaluierung im Hinblick auf die und Empfehlungen 45
Bewertung der Nachhaltigkeit 10
2.3 Die Evaluierungspraxis in der 5.1 Die Qualität der deutschen
deutschen finanziellen und technischen Evaluierungspraxis 46
Zusammenarbeit 11 5.2 Die Bewertung von Nachhaltigkeit
in der deutschen EZ 48
3. Methodische Vorgehensweise 14
6. Literatur 52
3.1 Datengrundlage 15
7.
3.2 Evaluierungspraxis 16
3.3 Bewertungspraxis 17
3.4 Kontextstudie 20 Anhang 56
3.5 Limitationen 21
7.1 Abbildungen 57
7.2 Tabellen 74
7.3 Evaluierungsteam und Mitwirkende 80
7.4 Zeitplan 81Abbildungen Abbildung 15 Relativer Anteil Evaluierungsberichte
mit Bezug zu differenzierten
Abbildung 1 Anzahl Evaluierungsberichte nach Nachhaltigkeitskriterien und Einfluss
Anzahl erfüllter Qualitätskriterien 24 auf Nachhaltigkeitsbewertung nach
Abbildung 2 Anteil Evaluierungsberichte nach Durchführungsorganisation 61
erfüllten Qualitätsbereichen 25 Abbildung 16 Relativer Anteil Evaluierungsberichte
Abbildung 3 Anteil Evaluierungsberichte mit Bezug zu Nachhaltigkeitskriterien und
nach verwendeten Einfluss auf Nachhaltigkeitsbewertung
Datenerhebungsmethoden 27 nach Durchführungsorganisation 62
Abbildung 4 Anteil Evaluierungsberichte nach Abbildung 17 Relativer Anteil Evaluierungsberichte
erfüllten Qualitätskriterien 28 mit Bezug zu differenzierten
Abbildung 5 Qualitäts-Index nach Evaluierungstyp 29 Nachhaltigkeitskriterien und Einfluss
Abbildung 6 Anteil Evaluierungsberichte mit Bezug auf Nachhaltigkeitsbewertung nach
zu Bewertungskriterien und -bereichen 31 Evaluierungstyp 63
Abbildung 7 Einfluss der Nachhaltigkeitskriterien Abbildung 18 Relativer Anteil Evaluierungsberichte mit
und -bereiche auf die Bezug zu Nachhaltigkeitskriterien und
Nachhaltigkeitsbewertung 33 Einfluss auf Nachhaltigkeitsbewertung
Abbildung 8 Relativer Anteil Evaluierungsberichte nach Evaluierungstyp 64
nach differenzierten Abbildung 19 Relativer Anteil
Nachhaltigkeitskriterien und Einfluss Ex-post-Evaluierungsberichte mit
auf Nachhaltigkeitsbewertung 34 Bezug zu differenzierten
Abbildung 9 Anteil Evaluierungsberichte nach Nachhaltigkeitskriterien und Einfluss
angestrebten und erreichten Oberzielen auf Nachhaltigkeitsbewertung nach
und Dimensionen der Nachhaltigkeit 41 Durchführungsorganisation 65
Abbildung 10 Qualitätsindex nach Anzahl Abbildung 20 Relativer Anteil Ex-post-Evaluierungen
differenzierter Nachhaltigkeitskriterien mit Bezug zu Nachhaltigkeitskriterien
und nach aggregiertem Einfluss auf die und Einfluss auf Nachhaltigkeitsbewertung
Nachhaltigkeitsbewertung 43 nach Durchführungsorganisation 66
Abbildung 11 Anteil Evaluierungsberichte Abbildung 21 Relativer Anteil Evaluierungsberichte
mit Bezug zu differenzierten mit Bezug zu Nachhaltigkeitskriterien und
Nachhaltigkeitskriterien 57 Einfluss auf Nachhaltigkeitsbewertung
Abbildung 12 Relativer Anteil Evaluierungsberichte nach Sektor 67
nach Nachhaltigkeitsbereich und Einfluss Abbildung 22 Relativer Anteil Evaluierungsberichte mit
auf Nachhaltigkeitsbewertung 58 Bezug zu Nachhaltigkeitsbereichen und
Abbildung 13 Anteil Evaluierungsberichte mit Bezug Einfluss auf Nachhaltigkeitsbewertung
zu Nachhaltigkeitskriterien nach nach Sektor 68
Durchführungsorganisation 59 Abbildung 23 Relativer Anteil Evaluierungsberichte mit
Abbildung 14 Anteil Evaluierungsberichte mit Bezug zu Nachhaltigkeitskriterien und
Bezug zu differenzierten Einfluss auf Nachhaltigkeitsbewertung
Nachhaltigkeitskriterien nach nach Region 69
Durchführungsorganisation 60Abbildung 24 Relativer Anteil Evaluierungsberichte mit Tabellen
Bezug zu Nachhaltigkeitsbereichen und
Einfluss auf Nachhaltigkeitsbewertung Tabelle 1 Vorstellung der Datengrundlage 15
nach Region 70 Tabelle 2 Übersicht der Qualitätskriterien 17
Abbildung 25 Anteil Evaluierungsberichte nach Tabelle 3 Übersicht der Nachhaltigkeitskriterien 18
angestrebten und erreichten Oberzielen Tabelle 4 Analyseraster der Qualitätsbewertung 74
nach Durchführungsorganisation 71 Tabelle 5 Analyseraster der Nachhaltigkeitsbewertung 76
Abbildung 26 Anteil Evaluierungsberichte nach
angestrebtem und erreichtem Oberziel,
Evaluierungstyp und
Nachhaltigkeitsdimension 72
Abbildung 27 Anteil Evaluierungsberichte nach
angestrebtem und erreichtem Oberziel,
Sektor und Nachhaltigkeitsdimension 732 |
ABKÜRZUNGEN UND
AKRONYME
BMZ OECD
Bundesministerium für Organisation für wirtschaftliche
wirtschaftliche Zusammenarbeit Zusammenarbeit und Entwicklung
und Entwicklung (Organisation for Economic
Co-operation and Development)
DAC
Entwicklungsausschuss OZ
(Development Assistance Oberziel
Committee) der OECD
PEV
DO Projektevaluierung
Durchführungsorganisation
PFK
EZ Projektfortschrittskontrolle
Entwicklungszusammenarbeit
SDGs
FZ Nachhaltige Entwicklungsziele
Finanzielle Zusammenarbeit (Sustainable Development Goals)
GIZ TZ
Deutsche Gesellschaft für Technische Zusammenarbeit
Internationale Zusammenarbeit
UE
GVR Unabhängige Evaluierungen
Gemeinsame Verfahrensreform der GIZ
KfW
KfW EntwicklungsbankEinleitung | 1. 3 1. EINLEITUNG
4 1. | Einleitung
Bei der vorliegenden rigorosen Meta-Evaluierung handelt es Nachhaltigkeit messen und bewerten? Wie belastbar ist bereits
sich um eine erste umfassende und systematische empirische vorhandenes Wissen? Diese Fragen lassen sich nicht allein
Auseinandersetzung mit der Evaluierungs- und Bewertungs- theoretisch beantworten, sondern erfordern zudem eine fun-
praxis der Nachhaltigkeit von Vorhaben der deutschen bilate- dierte empirische Auseinandersetzung mit einem langjährigen
ralen Entwicklungszusammenarbeit. Grundlage der Betrach- Leitprinzip der EZ. Mit dem Ziel einer möglichst offenen Her-
tung bilden Evaluierungen von Vorhaben der Deutschen angehensweise an dieses Thema nimmt die vorliegende Meta-
Gesellschaft für Internationale Zusammenarbeit (GIZ) und der Evaluierung einen umfassenden und unvoreingenommenen
KfW Entwicklungsbank (KfW), die durch öffentliche Mittel des Blick auf die Nachhaltigkeit ein, welcher – wenn notwendig
Bundesministeriums für wirtschaftliche Zusammenarbeit und – eine nach den Aspekten einer nachhaltigen Entwicklung und
Entwicklung (BMZ) finanziert werden. der Dauerhaftigkeit entwicklungspolitischer Wirkungen diffe-
renzierte Betrachtung erlaubt. Der Hintergrund dieser beiden
1.1 Aspekte von Nachhaltigkeit wird im Folgenden kurz vorgestellt
Hintergrund und später an verschiedenen Stellen des Berichts diskutiert.
Mit der Agenda 2030 für nachhaltige Entwicklung erlangt das In der internationalen Debatte hat der Aspekt der „nachhalti-
Prinzip der Nachhaltigkeit globale Bedeutung. Die prominente gen Entwicklung“ als Teil des Prinzips Nachhaltigkeit eine
Herausstellung des Begriffs „Nachhaltigkeit“ ist dabei Konse- lange Geschichte. Bereits im 17. Jahrhundert wurde Nachhaltig-
quenz der langjährigen Diskussion in der internationalen Ent- keit in der Forstwirtschaft als handlungsleitendes Prinzip der
wicklungsdebatte, die in den 1980er-Jahren von den Vereinten Ressourcennutzung herausgestellt: Demnach sollten immer
Nationen angestoßen und anschließend über verschiedene nur so viele Bäume abgeholzt werden, wie unter dem Einsatz
Weltentwicklungskonferenzen weitergeführt wurde. In der verfügbarer Ressourcen auch wieder nachwachsen können. In
jüngsten Vergangenheit gipfelte diese Debatte in der Einfüh- der jüngeren Geschichte wurde dieses Grundprinzip in den
rung der Agenda 2030 für nachhaltige Entwicklung. Die anhal- 1970er-Jahren in die Diskussion um die „Grenzen des [ökonomi-
tende Diskussion um die Nachhaltigkeit steht dabei stellvertre- schen] Wachstums“ (Meadows et al., 1972) aufgenommen. In
tend für nichts weniger als für die existenzielle Frage nach der den 1980er-Jahren entwickelte sich daraufhin ein (mehr)dimen-
Zukunftsfähigkeit der Entwicklung von Mensch und Umwelt. sionales Konzept der sozialen, wirtschaftlichen und ökologi-
Doch so entscheidend, wie das Prinzip Nachhaltigkeit allseits schen Nachhaltigkeit (Grunwald und Kopfmüller, 2006). Seit
für Entwicklung hervorgehoben wird, so umfassend und vielfäl- dem „Brundtland-Bericht“ von 1987 steht zudem die Sicherung
tig sind die ihm zugrunde liegenden Konzepte. der Bedürfnisse zukünftiger Generationen im Zentrum des
Nachhaltigkeitsgedankens (World Commission on Environment
Die Mehrdimensionalität des Nachhaltigkeitsbegriffs kommt and Development, 1987); sie ist seit der UN-Konferenz für Um-
auch in der Entwicklungszusammenarbeit (EZ) zum Ausdruck: welt und Entwicklung in Rio de Janeiro 1992 international ak-
Hier wird sprachlich gemeinhin zwischen den Aspekten einer zeptiert. Heute ist die Agenda 2030 für nachhaltige Entwick-
„nachhaltigen Entwicklung“ und der „Dauerhaftigkeit von Wir- lung die logische Konsequenz eines zunehmend integrierten
kungen“ unterschieden. Eine konzeptionelle Klärung des Be- und komplexer werdenden Nachhaltigkeitsverständnisses: Ein
griffs „Nachhaltigkeit“ ergibt sich aus dieser Differenzierung universaler Geltungsanspruch, gemeinsame Verantwortung
jedoch nicht. Letztlich bleibt unklar, wie Nachhaltigkeit im und Rechenschaftspflicht, Inklusivität sowie das synergetische
Politikfeld der EZ in der Praxis tatsächlich verstanden wird. Mit Zusammenspiel sozialer, wirtschaftlicher und ökologischer
dem Bedeutungszuwachs des Prinzips der Nachhaltigkeit Entwicklung gehören zu den Grundprinzipien der Agenda 2030
durch die Agenda 2030 kann eine solche Unschärfe allerdings (UN, 2015). Zudem bilden 17 globale Nachhaltigkeitsziele (die
nicht mehr akzeptiert werden. Eine umfassende Auseinander- Sustainable Development Goals, SDGs) mit 169 Unterzielen
setzung mit dem Nachhaltigkeitsverständnis ist dringend er- das begleitende Zielsystem. Die Relevanz und der Einfluss der
forderlich. Wie wird Nachhaltigkeit verstanden? Wie lässt sich internationalen Debatte auf das konzeptionelle VerständnisEinleitung | 1. 5 von Nachhaltigkeit als Leitprinzip der EZ in Deutschland sind Aufgrund des konzeptionellen Zusammenhangs zwischen den unbestritten (König und Thema, 2011). Unklar bleibt jedoch, Aspekten der nachhaltigen Entwicklung und der Dauerhaftig- inwieweit es der EZ in der Praxis gelungen ist, dem zuneh- keit von Wirkungen wird in der vorliegenden Meta-Evaluierung mend komplexer werdenden Verständnis von Nachhaltigkeit angenommen, dass Nachhaltigkeit in der Praxis bereits umfas- zu entsprechen bzw. ob dies überhaupt möglich ist. Skeptiker sender verstanden wird, als die vorhandenen Vorgaben und vermuten, dass der Grad an Komplexität die Kapazitäten der Leitlinien von BMZ, GIZ und KfW zunächst vermuten lassen. EZ übersteigt und daher die Wahrscheinlichkeit, die damit Somit wird davon ausgegangen, dass sich ein umfassendes einhergehenden Ziele zu erreichen, stetig abnimmt (Klasen, Verständnis von Nachhaltigkeit bereits in der Evaluierungs- 2015; Nuscheler, 2007). Dieses Risiko erscheint hinsichtlich der und Bewertungspraxis niederschlägt und umgekehrt auch Komplexität der Agenda 2030 relevanter denn je. Der Umgang anhand dieser nachvollziehbar ist. Allerdings wird erwartet, mit Nachhaltigkeit in der EZ steht somit stellvertretend auch dass die Komplexität des Nachhaltigkeitsverständnisses und für die Tendenz, dass die EZ auf komplexe Herausforderungen fehlende Vorgaben in der Vergangenheit dazu geführt haben, gerne mit komplexen Lösungen reagiert, die dann in den Kon- dass Nachhaltigkeit in Evaluierungen sehr uneinheitlich ver- texten vor Ort schwer umsetzbar sind. standen und bewertet wurde. Auch der zweite Aspekt des Nachhaltigkeitsbegriffs – „Dauer- 1.2 haftigkeit von Wirkungen“ – ist seit langer Zeit mit der EZ Ziel der Meta-Evaluierung verbunden. Dieser Aspekt wurde 1991 durch den Entwicklungs- ausschuss (DAC) der Organisation für wirtschaftliche Zusam- Die vorliegende rigorose Meta-Evaluierung ist die erste umfas- menarbeit und Entwicklung (OECD) für die Erfolgsbewertung sende und systematische empirische Auseinandersetzung mit von Vorhaben der EZ herausgestellt (OECD, 1991). 2006 nahm der Evaluierungs- und Bewertungspraxis von Nachhaltigkeit in das Bundesministerium für wirtschaftliche Zusammenarbeit der deutschen EZ. Den Anlass hierfür bildet die Agenda 2030, und Entwicklung (BMZ) das OECD-DAC Verständnis in die durch die das Prinzip der Nachhaltigkeit für Entwicklung an „Evaluierungskriterien für die deutsche bilaterale Entwick- Bedeutung gewinnt. Das erklärte Ziel der Meta-Evaluierung lungszusammenarbeit. Eine Orientierung für Evaluierungen liegt dabei in einer Bestandsaufnahme der bisherigen Evaluie- des BMZ und der Durchführungsorganisationen“ (BMZ, 2006) rungs- und Bewertungspraxis von Nachhaltigkeit in der EZ. auf. Seither wird in Evaluierungen und Prüfungen neben Rele- Die empirische Auseinandersetzung mit der bisherigen Praxis vanz, Effektivität, Effizienz und entwicklungspolitischen Wir- erlaubt somit, das bislang schwer greifbare Verständnis von kungen (Impact) immer auch die Nachhaltigkeit bewertet. Nachhaltigkeit in Evaluierungen der deutschen EZ zu konkreti- Dabei erfolgt die Nachhaltigkeitsbewertung entlang von drei sieren und dieses schließlich mit dem modernen Verständnis zentralen Prüfaspekten: Erstens wird die Dauerhaftigkeit der von Nachhaltigkeit nach der Agenda 2030 abzugleichen. Dem- entwicklungspolitischen Wirkungen bewertet, zweitens die entsprechend umfasst der zentrale Beitrag dieser Meta-Evalu- Stabilität des Umfelds im Hinblick auf soziale Gerechtigkeit, ierung zwei Aspekte: Erstens wird die oftmals rein theoretisch wirtschaftliche Leistungsfähigkeit, politische Stabilität und geführte Diskussion um Nachhaltigkeit auf eine breite empiri- ökologisches Gleichgewicht geprüft, und drittens werden die sche Basis gestellt; zweitens wird auf der Basis der Ergebnisse vorhandenen Risiken und Potenziale für die (fortdauernde) ein Vorschlag dafür erarbeitet, wie Nachhaltigkeit zukünftig Wirksamkeit des Vorhabens abgeschätzt. Anhand dieser drei evaluiert und bewertet werden sollte. Zweck der Meta-Evaluie- Aspekte wird jedoch deutlich, dass sich das Nachhaltigkeits- rung ist schließlich, die Ausgestaltung einer Agenda-2030-kon- verständnis nach OECD-DAC keinesfalls rein auf die Dauerhaf- formen Evaluierungs- und Bewertungspraxis zu unterstützen. tigkeit beschränkt, sondern über den Wirkungsbezug eng mit dem Aspekt der nachhaltigen Entwicklung verbunden ist.
6 1. | Einleitung
1.3 1.4
Gegenstand Evaluierungsfragen
Den unmittelbaren Gegenstand der Meta-Evaluierung bildet Die Evaluierungsziele werden durch fünf Evaluierungsfragen
die Evaluierungs- und Bewertungspraxis der Nachhaltigkeit operationalisiert:
von Vorhaben in der deutschen EZ, dargestellt in den Evaluie-
rungsberichten der Durchführungsorganisationen (DO). Den Evaluierungsfrage 1: Anhand welcher Kriterien wird Nachhal-
mittelbaren Gegenstand bildet die Nachhaltigkeit von Vorha- tigkeit im Rahmen von Evaluierungen bewertet?
ben der deutschen finanziellen und technischen Entwicklungs-
zusammenarbeit. Die Bearbeitung des Evaluierungsgegenstan- Evaluierungsfrage 2: Inwieweit ist die Evaluierungspraxis der
des dient der fundierten Auseinandersetzung mit dem deutschen EZ angemessen, um Nachhaltigkeit zu bewerten?
Nachhaltigkeitsverständnis der deutschen EZ.
Evaluierungsfrage 3: Inwieweit deckt sich die Evaluierungspra-
Da der Evaluierungsgegenstand möglichst umfassend bearbei- xis zu Nachhaltigkeit in der deutschen EZ mit internationalen
tet werden soll, beschränkt er sich weder auf bestimmte Sek- Standards und heutigen Anforderungen?
toren noch auf bestimmte Regionen oder Typen von Vorhaben.
Neben rein bilateralen Vorhaben in bestimmten Ländern sind Evaluierungsfrage 4: Wie ist die methodische Qualität der
auch Regional-, Sektor- und Globalvorhaben Teil der Untersu- Evaluierungen?
chung. Um dennoch die Durchführbarkeit dieser ersten rigoro-
sen thematischen Meta-Evaluierung zu gewährleisten, wurde Evaluierungsfrage 5: Inwieweit und in welchem Maße beein-
der Evaluierungsgegenstand folgendermaßen eingegrenzt: flusst die methodische Qualität der Evaluierungen die
Nachhaltigkeitsbewertung?
Erstens beschränkt sich die Untersuchung auf die Evaluie-
rungs- und Bewertungspraxis der beiden großen staatlichen 1.5
Durchführungsorganisationen KfW und GIZ.1 Diese beiden DO Aufbau des Evaluierungsberichtes
setzen jährlich einen wesentlichen Anteil der öffentlichen
Entwicklungsfinanzierung um und verfügen jeweils über ein Der Bericht der Meta-Evaluierung gliedert sich wie folgt:
hoch diversifiziertes Portfolio von Vorhaben über alle Sektoren
und Regionen der deutschen EZ hinweg. Gleichzeitig weisen Kapitel 2 beginnt mit der Darstellung der Nachhaltigkeit als
die beiden DO einen hohen Deckungsgrad an Evaluierungen Erfolgskriterium in der Wirksamkeitsdebatte der deutschen EZ
von Einzelvorhaben (den heutigen Modulen) auf. Bei allen (Kapitel 2.1). Darauf aufbauend wird der konzeptionelle Rah-
Evaluierungen wurde stets auch die Nachhaltigkeit bewertet. men der Meta-Evaluierung beschrieben (Kapitel 2.2). Das Kapi-
tel schließt mit einem Einblick in die Evaluierungspraxis der
Zweites erfolgt eine zeitliche Eingrenzung: Die systematische deutschen technischen und finanziellen Zusammenarbeit ab
und weitestgehend einheitliche Bewertung von Nachhaltigkeit (Kapitel 2.3).
als eines der Erfolgskriterien der deutschen EZ begann 2006
mit der Verabschiedung der BMZ-Orientierungshilfe zum Um- Die methodische Vorgehensweise der Meta-Evaluierung wird
gang mit den DAC-Kriterien. Deshalb werden nur Evaluierun- in Kapitel 3 dargelegt. Das Kapitel beginnt mit der Beschrei-
gen berücksichtigt, die zwischen Juli 2006 und dem Zeitpunkt bung der Datengrundlage (Kapitel 3.1). Anschließend wird die
der Datenerhebung im Oktober 2017 durchgeführt und abge- methodische Vorgehensweise der Meta-Evaluierung hinsicht-
schlossen wurden. lich der Analyse der Evaluierungsqualität (Kapitel 3.2) und der
Bewertungspraxis (Kapitel 3.3) vorgestellt. Die methodische
Vorgehensweise der Kontextstudie findet sich in Kapitel 3.4.
1 Andere staatliche DO, wie die Bundesanstalt für Geowissenschaften und Rohstoffe (BGR) und die Physikalisch-Technische Bundesanstalt (PTB), sind nicht Teil der Betrachtung.Einleitung | 1. 7 Abschließend folgt eine Diskussion zu den Limitationen der Meta-Evaluierung (Kapitel 3.5). Die Ergebnisse der Untersuchung werden in Kapitel 4 vorge- stellt. Das Kapitel beginnt mit den Ergebnissen zur Qualität der Evaluierungen (Kapitel 4.1) und widmet sich anschließend den Ergebnissen der Nachhaltigkeitsbewertung (Kapitel 4.2), welche entlang des konzeptionellen Rahmens der Meta-Evalu- ierung diskutiert werden. Abschließend werden in Kapitel 4.3 die Ergebnisse zu möglichen Zusammenhängen zwischen der Qualität von Evaluierungen und der Bewertungspraxis sowie in Kapitel 4.4 die Ergebnisse der Kontextstudie dargestellt. Die Schlussfolgerungen und Empfehlungen der Meta-Evaluie- rung finden sich in Kapitel 5.
8 2. | Evaluierung von Nachhaltigkeit in der deutschen EZ 2. EVALUIERUNG VON NACHHALTIGKEIT IN DER DEUTSCHEN EZ
Evaluierung von Nachhaltigkeit in der deutschen EZ | 2. 9
2.1 Aufgrund dieser Ergebnisse und vor dem Hintergrund der Emp-
Nachhaltigkeit in der Wirksamkeitsdebatte der fehlungen des OECD-DAC, die Evaluierungssysteme der Mit-
deutschen EZ gliedsstaaten zu harmonisieren, widmete sich daraufhin eine
Arbeitsgruppe unter Federführung des BMZ und Beteiligung
Wegweisend für die Entwicklung des Nachhaltigkeitsverständ- der Durchführungsorganisationen dem Thema „Evaluierung
nisses in der deutschen EZ war der internationale Diskurs um aus einem Guss“. Ziel war es, Evaluierungen in der bilateralen
das Prinzip der Nachhaltigkeit seit den 1970er-Jahren (siehe deutschen EZ stärker zu vereinheitlichen und an internationa-
Kapitel 1.1). Die Umsetzung der Diskussion in eine Auseinan- len Standards zu orientieren. Die Arbeit dieser Gruppe führte
dersetzung mit der Nachhaltigkeit von EZ-Vorhaben erfolgte in schließlich zur verbindlichen Festlegung der OECD-DAC-
der Praxis jedoch deutlich zeitversetzt. So rückte Nachhaltig- Evaluierungskriterien als Orientierungsrahmen für die Erfolgs-
keit als Evaluierungskriterium erst ab Ende der 1980er-Jahre in bewertung der deutschen EZ (OECD, 1991). Neben den Kriterien
den Fokus der deutschen Wirksamkeitsdebatte (Stockmann Relevanz, Effektivität, Effizienz und übergeordnete entwick-
und Gaebe, 1993). Zu dieser Zeit bewegte sich das Nachhaltig- lungspolitische Wirkungen gehört seither auch die Nachhaltig-
keitsverständnis zwischen den Aspekten der nachhaltigen keit zu den verbindlichen Evaluierungskriterien. Im Rahmen
Entwicklung einerseits und dem Aspekt der Dauerhaftigkeit des Leitfadens wurde das Evaluierungskriterium Nachhaltigkeit
von Entwicklungserfolgen über die Zeit andererseits. durch drei zentrale Prüffragen operationalisiert (BMZ, 2006):
Den Anstoß, Nachhaltigkeit als Erfolgskriterium in Projekteva- •• Inwieweit sind die positiven Veränderungen durch die Ent-
luierungen aufzunehmen, gab es 1986 durch eine Empfehlung wicklungsmaßnahme und ihre Wirkungen mit Blick auf die
des OECD-DAC, auf deren Grundlage später auch das BMZ entwicklungspolitischen Zielsetzungen (summarisch) als
Nachhaltigkeit als relevanten Maßstab für die Erfolgsbewer- dauerhaft einzuschätzen?
tung der deutschen EZ ausrief. Einzug in die Evaluierungspra- •• Wie stabil ist die Situation im Umfeld der Entwicklungsmaß-
xis der staatlichen EZ hielt das Kriterium Nachhaltigkeit Ende nahme bezüglich der Faktoren „soziale Gerechtigkeit“,
der 1980er-Jahre zunächst über die Ex-post-Evaluierungen der „wirtschaftliche Leistungsfähigkeit“, „politische Stabilität“
KfW (Stockmann und Gaebe, 1993). Später wurde Nachhaltig- und „ökologisches Gleichgewicht“?
keit zunehmend auch in Evaluierungen der GIZ berücksichtigt. •• Welche Risiken und Potenziale zeichnen sich für die nach-
haltige Wirksamkeit der Entwicklungsmaßnahme ab, und
Den Auslöser für die systematische Auseinandersetzung mit wie wahrscheinlich ist das Eintreten dieser Faktoren?
Nachhaltigkeit als Erfolgskriterium der EZ bildete schließlich
eine 1998/99 durch das BMZ in Auftrag gegebene Wirkungsun- Wie in Kapitel 1.1 bereits herausgestellt, beinhaltet das zugrun-
tersuchung. In der Studie wurde in 32 ausgewählten Ex-post- de liegende Nachhaltigkeitsverständnis dabei sowohl den
Evaluierungen der deutschen staatlichen technischen und Aspekt der Dauerhaftigkeit als auch – über den Wirkungsbe-
finanziellen Zusammenarbeit (TZ und FZ) auch die langfristige griff – den Aspekt der nachhaltigen Entwicklung. Insofern
Wirksamkeit untersucht. Neben der Aggregation der inhaltli- handelt es sich bei dem Evaluierungsverständnis von Nachhal-
chen Ergebnisse stand anschließend die Evaluierungs- und tigkeit in der deutschen EZ seit 2006 um ein umfassendes und
Bewertungspraxis im Fokus einer begleitenden Querschnitts- vielfältiges Konzept (siehe Kapitel 2.2). In der Evaluierungspra-
auswertung durch Caspari (2004). Die damit einhergehende xis ermöglicht erst die Gesamtbetrachtung der Ergebnisse zu
Debatte machte deutlich, dass Nachhaltigkeit zu diesem Zeit- den fünf Evaluierungskriterien Relevanz, Effektivität, Effizienz,
punkt in der deutschen EZ sehr heterogen verstanden und entwicklungspolitische Wirkungen und Nachhaltigkeit dem-
bewertet wurde, was die Möglichkeiten einer inhaltlichen nach eine abschließende Diskussion und Bewertung der Nach-
Querschnittsauswertung deutlich einschränkte. haltigkeit mit den Aspekten nachhaltiger Entwicklung und
Dauerhaftigkeit.10 2. | Evaluierung von Nachhaltigkeit in der deutschen EZ
Mit der Festlegung der zentralen Prüffragen im BMZ-Leitfaden kunftsfähiger Wirksamkeit und andererseits auf dem Aspekt
von 2006 wurde schließlich im Rahmen einer Vereinbarung der Dauerhaftigkeit der Wirkungen basiert (siehe Kapitel 1.1
zwischen GIZ und KfW auch eine Bewertungsskala festgelegt. und 2.1). Ein solch umfassendes Nachhaltigkeitsverständnis in
Seither wird Nachhaltigkeit entlang von vier Nachhaltigkeits- der Evaluierungs- und Bewertungspraxis wird demnach erst in
noten2 bewertet, welche in jedem Evaluierungsbericht darge- der Gesamtschau aller DAC-Kriterien nachvollziehbar, da sich
stellt werden: Note 1 wird vergeben, wenn die (bisher positive) wesentliche Teile erst über den Nachweis entwicklungspoliti-
entwicklungspolitische Wirksamkeit des Vorhabens mit hoher scher Wirksamkeit ergeben. Der konzeptionelle Rahmen für
Wahrscheinlichkeit unverändert fortbestehen oder zunehmen die empirische Auseinandersetzung mit der Nachhaltigkeit im
wird. Ein Vorhaben erhält die Note 2, wenn dessen (bisher umfassenden Sinne muss somit nachhaltigkeitsbezogene
positive) entwicklungspolitische Wirksamkeit mit hoher Wahr- Aspekte aus allen fünf Bereichen der Erfolgsbewertung (den
scheinlichkeit nur geringfügig zurückgehen wird. Die Note 3 fünf Evaluierungskriterien nach OECD-DAC) einbeziehen. In
bedeutet, dass die (bisher positive) entwicklungspolitische der Gesamtschau der Prüffragen aller DAC-Kriterien konnten
Wirksamkeit mit hoher Wahrscheinlichkeit deutlich zurückge- insgesamt sieben (abgrenzbare) Bereiche mit konkretem
hen, aber positiv bleiben wird, oder aber, dass sie zum Evaluie- Nachhaltigkeitsbezug identifiziert werden, die auch in der
rungszeitpunkt als nicht ausreichend eingeschätzt, sich aber Literatur immer wieder mit Nachhaltigkeit in Zusammenhang
mit hoher Wahrscheinlichkeit positiv entwickeln wird. Die gebracht werden. Die Bereiche werden im Folgenden einzeln
Note 4 wird vergeben, wenn die entwicklungspolitische Wirk- vorgestellt.
samkeit zum Evaluierungszeitpunkt als nicht ausreichend
eingeschätzt und sich mit hoher Wahrscheinlichkeit auch nicht Laut dem BMZ-Leitfaden soll bei der Bewertung des Evaluie-
verbessern wird. Bei der abschließenden Betrachtung der rungskriteriums „Nachhaltigkeit“ nach OECD-DAC die Stabili-
Nachhaltigkeit eines Vorhabens beschreiben die Noten 1 bis 3 tät des Umfelds einer Entwicklungsmaßnahme berücksichtigt
ein Vorhaben als „nachhaltig“, die Note 4 als „nicht nachhaltig“. werden (BMZ, 2006). Die Analyse des 1) Kontextes einer
Gleichzeitig wird Nachhaltigkeit bei der Gesamtbewertung Entwicklungsmaßnahme soll dabei anhand der Faktoren
eines Vorhabens ein vergleichsweise hohes Gewicht beigemes- „soziale Gerechtigkeit“, „wirtschaftliche Leistungsfähigkeit“,
sen: So kann ein Vorhaben insgesamt nur als „erfolgreich“ „politische Stabilität“ und „ökologisches Gleichgewicht“ erfol-
(Note 1 bis 3 von 6) bewertet werden, wenn auch das Kriterium gen. Die Untersuchung von Kontextfaktoren ermöglicht
Nachhaltigkeit als „erfolgreich“ eingestuft wurde. Nur den schließlich die fundierte Auseinandersetzung mit den externen
Kriterien „Effektivität“ und „entwicklungspolitische Wirkun- Risiken und Potenzialen im Hinblick auf die Dauerhaftigkeit
gen“ kommt ebenfalls ein solches Gewicht zu. der positiven Wirkungen über die Zeit.
2.2 Nach der Logik der DAC-Kriterien sind weiterhin Kriterien aus
Der konzeptionelle Rahmen der Meta-Evaluierung dem Bereich der 2) Implementierung von Maßnahmen für
im Hinblick auf die Bewertung der Nachhaltigkeit die Einschätzung nachhaltiger Entwicklungserfolge von Bedeu-
tung, beispielsweise die Partizipation der Partner und Ziel-
Aufgrund der breit geführten Debatte zum Prinzip der Nach- gruppen an den Umsetzungsprozessen oder der Grad der
haltigkeit in der EZ und zur systematischen Erfolgsbewertung Anpassung an die Prioritäten des Partnerlandes. Solche Aspek-
von Vorhaben der deutschen EZ entlang der DAC-Kriterien te der internationalen Wirksamkeitsagenda der EZ sind we-
wird bei der vorliegenden Meta-Evaluierung davon ausgegan- sentliche Bestandteile des Relevanz- bzw. des Effektivitätskri-
gen, dass Nachhaltigkeit bereits seit einiger Zeit umfassend teriums (BMZ, 2006).
und vielschichtig verstanden wird. Ferner wird davon ausge-
gangen, dass das Nachhaltigkeitsverständnis dabei einerseits Des Weiteren sind auch Ergebnisse der 3) Outcomes, d. h. der
auf dem Aspekt der nachhaltigen Entwicklung im Sinne zu- kurz- und mittelfristigen Wirkungen einer Entwicklungsmaß-
2 Die anderen vier DAC-Kriterien werden durch eine Notenskala von 1 bis 6 bewertet. Seit 2014 bewertet die GIZ die Nachhaltigkeit anhand einer sechsstufigen Skala entlang eines Punktesystems:
„sehr erfolgreich“ (14–16 Punkte), „erfolgreich“ (12–13 Punkte), „eher erfolgreich“ (10–11 Punkte), „eher unbefriedigend“ (8–9 Punkte), „unbefriedigend“ (6–7 Punkte) und „sehr unbefriedigend“ (4–5
Punkte).Evaluierung von Nachhaltigkeit in der deutschen EZ | 2. 11
nahme, für die Analyse nachhaltiger Entwicklung von Relevanz Ferner bildet die 6) Absehbarkeit von Wirkungen einen
(Ashoff, 2015). Neben der Quantität und Qualität von Maßnah- zentralen Aspekte des Nachhaltigkeitsverständnisses in der
men gehören dazu auch die angestoßenen Veränderungen, deutschen EZ (Caspari, 2004; OECD, 1991; Stockmann und
etwa im Hinblick auf Eigenverantwortung, Bewusstsein oder Gaebe, 1993; Stockmann und Silvestrini, 2012). Laut der Orien-
Resilienz der Akteure vor Ort oder auch die dadurch erzielte tierungshilfe des BMZ soll dabei abgeschätzt werden, inwie-
Breitenwirksamkeit eines Vorhabens (Boone, 1995). Die Diskus- weit die positiven Wirkungen der Entwicklungsmaßnahme
sion der Outcomes erfolgt im BMZ-Leitfaden vornehmlich über das Ende der Unterstützung hinaus fortbestehen (BMZ,
über das Effektivitätskriterium, teilweise aber auch bereits 2006). Die Absehbarkeit von Wirkungen ist der zentrale As-
über das Impact-Kriterium. pekt des Nachhaltigkeitskriteriums nach OECD-DAC.
Unter dem Nachhaltigkeitskriterium wird hinsichtlich der Schließlich umfasst eine Auseinandersetzung mit den Wirkun-
Prüffrage zu den Risiken und Potenzialen auch empfohlen, die gen (unter Impact) neben den Nachhaltigkeits-Dimensionen
4) Kapazitäten vor Ort zu berücksichtigen. Dies gibt Hinwei- soziale Gerechtigkeit, wirtschaftliche Leistungsfähigkeit,
se darauf, inwieweit es den lokalen Partnern, Trägern und politische Stabilität und ökologisches Gleichgewicht auch die
Zielgruppen gelingt, die Leistungen und Wirkungen auch ohne Betrachtung potenzieller Synergien und/oder Konflikte zwi-
externe Unterstützung aufrechtzuerhalten. Während der schen den Dimensionen (BMZ, 2006). Es wird davon ausgegan-
direkte Einfluss der Leistungen von Vorhaben der deutschen gen, dass sich durch die Berücksichtigung aller Dimensionen
EZ über die Zeit abnimmt und schließlich mit dem Auslaufen Synergien erreichen und somit nachhaltigere Wirkungen
der Förderung endet, gewinnen die Kapazitäten vor Ort dabei erzielen lassen (OECD, 2016a). In der Nachhaltigkeitsdebatte
im Zeitverlauf an relativer Bedeutung (van Tulder und Pfiste- geht es dabei um das 7) Zusammenspiel der Dimensionen
rer, 2008). Die Kapazitäten vor Ort werden bislang vornehm- der Nachhaltigkeit, die folglich auch in Evaluierungen der EZ
lich unter dem Evaluierungskriterium „Nachhaltigkeit“ Berücksichtigung finden sollten (Cutter, 2014; Dietz und Hane-
diskutiert. maaijer, 2012; Islam und Clarke, 2005). Aufgrund der Bedeu-
tung für die Nachhaltigkeit wurde das Zusammenspiel der
Entlang der Wirkungszusammenhänge bilden die Beiträge Dimensionen auch in die Kernprinzipien der Agenda 2030
einer Maßnahme zu den übergeordneten beabsichtigten aufgenommen (UN, 2015).
entwicklungspolitischen Wirkungen – dem 5) Impact – einen
weiteren integralen Bestandteil des Nachhaltigkeitsverständ- 2.3
nisses. Dazu gehören die positiven und negativen, primären Die Evaluierungspraxis in der deutschen
und sekundären Langzeiteffekte, die direkt oder indirekt, finanziellen und technischen Zusammenarbeit
beabsichtigt oder unbeabsichtigt durch ein Vorhaben hervor-
gerufen werden. Die intendierten Wirkungen werden in der Ziel der Evaluierung von Entwicklungsmaßnahmen ist es, die
Regel bewertet, indem die geplanten und erreichten Wirkun- nachhaltige entwicklungspolitische Wirksamkeit der EZ zu
gen eines Vorhabens im Hinblick auf formulierte Oberziele beurteilen. Laut den „Leitlinien für die bilaterale finanzielle
(OZ) sowie auf globale Agenden (etwa Armutsbekämpfung) und technische Zusammenarbeit mit Kooperationspartnern
miteinander verglichen werden. Auch die nicht intendierten der deutschen Entwicklungszusammenarbeit“ führen die DO
Wirkungen fließen in die Bewertung ein. Der BMZ-Leitfaden eigenverantwortlich Evaluierungen für eine aussagekräftige
verweist hier zur Einschätzung von Nachhaltigkeit auf die Stichprobe von abgeschlossenen und gegebenenfalls laufen-
Feststellung „übergeordneter entwicklungspolitischer Wirkun- den Entwicklungsmaßnahmen durch. Dies erfolgt „in Abstim-
gen“, hebt also explizit auf die Impact-Ebene ab. Impact bildet mung mit von der Bundesregierung festgelegten Verfahren
nach OECD-DAC ein eigenes Evaluierungskriterium. und in Anlehnung an die OECD-DAC-Kriterien und -Standards
für unabhängige Evaluierung“ (BMZ, 2008).Sie können auch lesen
