Referenzrahmen für die Meta-Evaluierung der durch Partnerorganisationen direkt beauftragten Projektevaluierungen aus den Jahren 2016-2020 - Misereor
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Referenzrahmen für die Meta-Evaluierung der durch
Partnerorganisationen direkt beauftragten Projektevaluierungen
aus den Jahren 2016-2020
I. Einleitung
MISEREOR ist das bischöfliche katholische Hilfswerk für Entwicklungszusammenarbeit. MISEREOR
ist keine Durchführungsorganisation, sondern unterstützt unabhängige Partnerorganisationen
sowohl technisch als auch finanziell bei der Umsetzung von Projekten. Gemeinsam mit
Partnerorganisationen vor Ort (in Afrika, im Nahen Osten, in Asien, Ozeanien und in Lateinamerika)
leistet MISEREOR somit Hilfe zur Selbsthilfe.
Die Projekte der Partnerorganisationen unterstützen weltweit Menschen unabhängig von Glauben,
Kultur oder Hautfarbe. Hauptziel der Arbeit mit den Partnern ist es, die Lebensbedingungen der
Menschen nachhaltig zu verbessern. Die Förderung von vorrangig armenorientierten Projekten
und Prozessen trägt zu nachhaltiger Entwicklung bei, etwa, Rechte zu bewahren, Hunger zu
bekämpfen oder Gesundheit aufrechtzuerhalten. Die Projekte werden mit finanziellen Mitteln
unterstützt, die Spenderinnen und Spender sowie das Bundesministerium für wirtschaftliche
Zusammenarbeit und Entwicklung (BMZ) zur Verfügung stellen.
Mit dem BMZ wurden 2009 „Leitlinien zur ziel- und wirkungsorientierten Erfolgskontrolle“
vereinbart. Ein Element dieser Erfolgsüberprüfung sind Evaluierungen von Einzelvorhaben, die von
MISEREOR selbst oder von seinen Partnern initiiert und verantwortet werden. Diese sollen
prinzipiell den Qualitätskriterien des OECD/DAC (Organisation for Economic Co-operation and
Development / Development Assistance Committee) sowie den DeGEval-Standards (Gesellschaft
für Evaluation e. V.) entsprechen. Dazu gehören Unabhängigkeit und Überparteilichkeit,
Glaubwürdigkeit, Nützlichkeit und Beteiligung bzw. Partnerschaftlichkeit. Die Evaluierungen
untersuchen Konzeption, Umsetzung und Wirkung von Maßnahmen und bewerten gemäß den
DAC-Kriterien im Hinblick auf Relevanz, Kohärenz1, Effektivität, Effizienz, Wirkung und
Nachhaltigkeit und geben konkrete Empfehlungen.
Im Verständnis von MISEREOR dienen Evaluierungen nicht nur der Erfolgskontrolle, sondern auch
dem gemeinsamen Lernen. Um das Lernen aller Beteiligten sicherzustellen, ist es notwendig, dass
die am Projekt Beteiligten aktiv in die Evaluierung einbezogen werden. Eine Evaluierung wertet
nicht nur Projekte und die mit ihnen erreichten Veränderungen aus, sondern soll selbst einen
Beitrag zur fortlaufenden Verbesserung zukünftiger Projektplanung leisten und das Lernen aus
Erfahrungen unterstützen, sowohl bei den Partnern als auch bei MISEREOR selbst.2
II. Vorstellung des Evaluierungssystems bei MISEREOR
Für die Evaluierung von Einzelvorhaben nutzt MISEREOR zwei verschiedene Verfahren: entweder
beauftragt der Projektträger selbst Gutachter/-innen mit der Durchführung einer externen
1 Wurde seit Dezember 2019 als neues Kriterium hinzugefügt
2
Vgl. “Guide for Misereor partner organisations on commissioning external evaluations locally”
1Evaluierung („externe, lokal beauftragte Evaluierung – ELBE“), oder MISEREOR und die
Partnerorganisation beauftragen gemeinsam eine Evaluierung, die auf Seiten MISEREORs vom
Team Evaluierung und Beratung3 (Team EB) aus der Abteilung QIZ (Qualitätssicherung
Internationale Zusammenarbeit) betreut wird. Im Rahmen dieses Evaluierungssystems werden pro
Jahr mindestens 10 % der Förderfälle aus öffentlichen Mitteln und der Bewilligungen über
€ 100.000 aus Spendenmitteln evaluiert. Gemeinsam beauftragte Evaluierungen werden in der
Regel durch ein internationales Gutachter(innen)-Team umgesetzt. Im Fall von ELBE ist hingegen
die Regel, dass die Gutachter/-innen im Partnerland selbst, oft sogar in der unmittelbaren Region,
ansässig sind. Häufig werden ELBE durch eine Person alleine durchgeführt. Für die Evaluierungen
werden in den Projektbudgets der Partnerorganisationen stets Kostenpunkte eingeplant. Diese
sind durch Z-Mittel kofinanziert.
III. Ziel und Evaluierungsgegenstand
a) Ziel
Durch diese Meta-Evaluierung soll die Qualität der ELBEs bezüglich der wesentlichen DAC-
Standards und-Prinzipien überprüft werden. Die Überprüfung soll weitere Themenbereiche wie die
Einbeziehung und die Differenzierung der Zielgruppe abdecken. Außerdem soll die Verwendung
der ELBE-Handreichung sowie das „Ownership“ der Partnerorganisation zur Umsetzung der ELBE
geprüft werden. Die Ergebnisse der Meta-Evaluierung könnten bei Bedarf zu anderen Formen der
Unterstützung oder zusätzlichen Anforderungen im Bereich der Qualitätssicherung führen. Diese
betreffen auch das Evaluierungssystem und Instrumente und darin enthaltenen
Evaluierungsstandards und Verfahren/Vorgaben sowie Formen der Unterstützung für die Partner
von MISEREOR.
b) Gegenstand und Fokus der Evaluierung
Der Evaluierungsgegenstand der Meta-Evaluierung 2021 sind alle ELBE-Berichte von Vorhaben,
die in den Jahren 2016 bis 2020 abgeschlossen wurden. Die Partnerorganisation ist der
Hauptverantwortliche für die Durchführung dieser Evaluierungen. D.h., die Partnerorganisationen
entwickeln die Terms of Reference (ToR) der Evaluierungen, wählen die Gutachter/-innen selbst
aus, nehmen sie unter Vertrag und steuern den Gesamtprozess der Evaluierungen. Am Ende
nehmen sie die Evaluierungsberichte ab und leiten diese an die MISEREOR-Länder- und/oder
Fachreferent(inn)en von MISEREOR weiter. Das Team EB ist i. d. R. nicht bzw. nur auf Anfrage und
in beschränktem Umfang involviert (siehe ELBE-Handreichung).
Das Verfahren wurde 2010 bei MISEREOR eingeführt. Die Ziele dieser Evaluierungen sind vor allem
das Lernen und die Rechenschaftslegung. In den ersten dreieinhalb Jahren (01.01.2010 bis
31.08.2013) wurden insgesamt 93 ELBE durchgeführt. Danach stieg die Zahl auf 100 ELBE in 2014
und 84 ELBE in 2015. Im Jahr 2016 wurde eine Meta-Evaluierung durchgeführt, die sowohl ELBE
als auch über das Team EB (damals: Arbeitsbereich Evaluierung und Qualitätssicherung EQM)
beauftragte Evaluierungen umfasste. Daher soll die nun geplante Meta-Evaluierung sich auf den
Zeitraum ab 2016 bis 2020 beziehen.
3 Ehemals Arbeitsbereich Evaluierung und Qualitätssicherung EQM
2Die Grundgesamtheit für die in diesem Referenzrahmen beschriebenen Evaluierungen ist nach
Kontinenten wie folgt aufgeteilt:
ELBE 2016 2017 2018 2019 2020 Gesamt
(ohne EB-Eval.)
Afrika/Naher 23 11 11 19 10 74
Osten
Asien 20 14 16 17 15 82
Lateinamerika 29 32 28 23 11 123
Gesamt 72 57 55 59 36 279
Aus dieser Grundgesamtheit von 279 Evaluierungsberichten sollen 60-70 ELBE-Berichte
(anteilsmäßig auf die Kontinente verteilt) untersucht werden. Die Berichte werden per
Zufallsauswahl bestimmt. Wegen der Besonderheiten bei der Durchführung der ELBEs und der
Spezifizität jedes Kontinents, werden Kontinent übergreifende Evaluierungen nicht in die
Stichprobe einbezogen.
Die Ergebnisse bzw. Empfehlungen werden zum einen nach Kontinenten getrennt aufgeführt,
zum anderen sollen aber auch übergeordnete relevante Schlussfolgerungen und Empfehlungen
dargestellt werden.
IV. Evaluierungsfragen
Die ELBE-Handreichung wird als Grundlage für diese Meta-Evaluierung genutzt. Deshalb werden
die Evaluierungsfragen nach den dort formulierten „Qualitätskriterien für eine angemessene
Evaluierungsmethodik“ ausgerichtet. Diese umfassen: Allgemeine Fragen, Partizipation,
Unabhängigkeit und Unparteilichkeit, Genauigkeit und Glaubwürdigkeit, Wirkungserfassung
sowie die Umsetzung der DAC-Kriterien in der Evaluierung. Zusätzlich werden Kriterien wie
Erfüllung formaler Kriterien, Nützlichkeit der Evaluierung, Konsistenz der ToR sowie spezifische
Fragen zu Ownership der Partnerorganisation aufgenommen.
a) Allgemeine Fragen
➢ Wie nützlich ist die ELBE-Handreichung für die ELBE? Welchen Mehrwert hat diese?
➢ Wurden die Mindestanforderungen an Evaluierungsberichte bei den ELBE eingehalten?
➢ Sind die Schlussfolgerungen aus den ELBE-Ergebnissen klar nachvollziehbar und führen sie
zu nachvollziehbaren, praxisnahen Empfehlungen?
➢ Inwiefern hat sich die Qualität der ELBE in dem zu betrachtenden Zeitraum entwickelt?
➢ Wie kann/sollte MISEREOR in Zusammenarbeit mit den Partnerorganisationen und weiteren
Beteiligten das System der ELBE verbessern?
3b) Partizipation/Beteiligung der Zielgruppen
Inwieweit wurde die Partizipation von Partnerorganisationen und die Beteiligung von Zielgruppen
in den Evaluierungen berücksichtigt? Zur Annäherung an diese Fragestellung können die
folgenden Fragen betrachtet werden. Diese sind in einen allgemeinen Fragenteil und in spezifische
Teile mit Fragen jeweils für die Partnerorganisationen und die Zielgruppen aufgeteilt.
Allgemein:
➢ Welche Methoden wurden eingesetzt, um die Beteiligung der Stakeholder zu ermöglichen?
Wie partizipativ waren die Evaluierungsmethoden?
➢ Sind die bei MISEREOR etablierten Verfahren geeignet, um sicherzustellen, dass partizipative
Evaluierungsprozesse stattfinden?
➢ Werden während des Evaluierungsprozesses die Sicherheit, die Rechte und ggf. die
besonderen Bedürfnisse der einbezogenen Personen beachtet?
Partnerorganisationen:
➢ Ist ersichtlich, dass die Partnerorganisationen aktiv an der Planung und Durchführung des
Evaluierungsprozesses beteiligt waren?
➢ Wie wurden der Evaluierungsprozess und die Methodik mit den Partnerorganisationen
abgestimmt?
➢ Wurden die Evaluierungsergebnisse bzw. die Empfehlungen zusammen mit der
Partnerorganisation diskutiert?
Zielgruppen:
➢ Ist ersichtlich, dass die Zielgruppen aktiv an der Planung und Durchführung des
Evaluierungsprozesses beteiligt waren?
➢ Wurden die Perspektiven der Zielgruppen durch Interviews oder Erhebungsmethoden in die
Evaluierungen aufgenommen?
➢ Wurden die Zielgruppen (nach Ethnien, Geschlecht, Alter, soziale Schichten) differenziert?
➢ Werden die Zielgruppen so differenziert, dass man Gruppen mit mehrfacher Benachteiligung
identifizieren kann? Inwiefern werden diese mehrfach benachteiligten Zielgruppen
besonders einbezogen?
➢ Wurde die Teilnahme der Zielgruppen transparent dokumentiert?
➢ Wurden die Evaluierungsergebnisse zusammen mit den Zielgruppen diskutiert?
c) Unabhängigkeit und Unparteilichkeit
Inwieweit waren die Evaluierungen unabhängig bzw. unparteilich? Dabei können folgende Fragen
betrachtet werden:
➢ Ist das Evaluierungsteam von der Programmanagement-Struktur unabhängig oder
unparteilich?
➢ Sind Stärken und Schwächen des Projekts im Bericht ausgewogen dargestellt?
➢ Sind Interviews der Zielgruppen teilweise oder gänzlich ohne Vertreter(innen) der
Partnerorganisation durchgeführt worden?
➢ Gibt es Hinweise zu der Unabhängigkeit der genutzten Informationsquellen?
4➢ Wurde das Verfahren von MISEREOR (gemäß der ELBE-Handreichung) über Unabhängigkeit
und Unparteilichkeit angewendet und reicht dies aus, um Unabhängigkeit und
Unparteilichkeit sicherzustellen?
d) Genauigkeit und Glaubwürdigkeit
Wie genau und wie glaubwürdig sind die Evaluierungen durchgeführt worden? Zur Orientierung für
die Beantwortung dieser Frage dienen die folgenden Detailfragen:
➢ Sind die Beurteilungskriterien (zur Beantwortung der Evaluierungsfragen) klar definiert?
➢ Waren der Kontext und der Evaluierungsgegenstand genau beschrieben und dokumentiert?
➢ Basieren die Schlussfolgerungen nachvollziehbar auf den erhobenen Daten? Sind die
erhobenen Daten zuverlässig und beziehen sie sich auf die Evaluierungsfragen?
➢ Lassen sich die Empfehlungen klar aus den Schlussfolgerungen herleiten?
➢ Spiegelt der Bericht die verschiedenen Interessen und Perspektiven der Zielgruppen wider?
➢ Gibt es ein Methodenkapitel und, wenn ja, stellt es die verwendeten Methoden klar und
hinreichend dar?
➢ Sind die angewandten Evaluierungsmethoden und -instrumente angemessen, um die in den
ToR gestellten Evaluierungsfragen zu beantworten?
➢ Waren die Stichprobengrößen aussagekräftig?
➢ Wurden die Methoden systematisch zur Beantwortung der Evaluierungsfragen eingesetzt und
wird auf sie Bezug genommen?
➢ Sind die Ergebnisse von Fokusgruppen, Befragungen und/oder anderen
Erhebungsmethoden/Instrumenten gut nachvollziehbar dokumentiert?
➢ Inwieweit wurden die Daten durch die Nutzung verschiedener Quellen und Anwendung
verschiedener Methoden trianguliert?
➢ Sind die Informationsquellen genau dokumentiert?
e) Wirkungserfassung
Für die Wirkungserfassung bedarf es einer besonderen Methodenkenntnis, sie ist daher oftmals
eine Herausforderung und laut ELBE-Handreichung ein wichtiger Aspekt. Dementsprechend soll
hier die Frage beantwortet werden, inwiefern Wirkungen der Projekte erfasst und plausibel
dargestellt werden. Dazu können folgende Fragen berücksichtigt und aufgegriffen werden:
➢ Sind die Wirkungen in den Projekten erfasst worden und gut dokumentiert?
➢ Lassen sich beobachtete Veränderungen (Wirkungen) plausibel auf die Einwirkung des
Projekts zurückführen (Attribution/Kontribution)? Wurde die kontrafaktische Situation
mitgedacht?
➢ Wurden die beobachteten Wirkungen nach Heterogenität der Zielgruppen (Alter, Ethnien,
Geschlecht...) differenziert?
➢ Inwiefern werden die Wirkungen auf verschiedene Faktoren ausdifferenziert (bspw. Umwelt,
Politik, Soziales etc.)?
➢ Stellt der Bericht die im Projekt genutzte Theorie des Wandels bzw. Wirkungslogik dar oder
rekonstruiert diese?
5f) Erfüllung formaler Kriterien aus der ELBE-Handreichung
Werden die formalen Qualitätskriterien, die in der ELBE-Handreichung benannt werden,
angewandt? Die unten aufgeführten Kriterien wurden der Handreichung entnommen. Weitere
sind dort zu finden.
➢ Vorhandensein einer Executive Summary
➢ Verfügbarkeit der Terms of Reference (ToR) in gemeinsamer Arbeitssprache oder Übersetzung
im Annex
➢ Programm/Ablaufplan der Feldphase
➢ Auflistung der besuchten Orte, Organisationen, befragten Personen etc.
➢ Dokumentation der Fokusgruppen, Befragungen und Workshops im Annex
➢ Dokumentation des Auswertungsworkshops im Annex
➢ Verwendung von Visualisierungen, Graphiken und/oder Boxen
➢ Sind Form und Umfang des Evaluierungsberichts angemessen?
➢ Ist der Bericht klar untergliedert in einen beschreibenden und einen bewertenden Teil?
➢ Sind Empfehlungsraster vorhanden?
➢ Wurde die Mustergliederung für den Referenzrahmen verwendet? Falls ja, wurden die Fragen
auf den jeweiligen Projektkontext angepasst?
g) Nützlichkeit der Evaluierung
Wie nützlich sind die ELBE? Lernen die Partnerorganisationen durch diese Evaluierungen?
Folgende Fragen können zur Beantwortung herangezogen werden:
➢ Beantwortet der Evaluierungsbericht die in den ToR gestellten Evaluierungsfragen?
➢ An wen richten sich die Empfehlungen hauptsächlich? Sind die Adressaten der Empfehlungen
bestimmt (Beteiligte, Projektpartner, MISEREOR)?
➢ Sind die Empfehlungen pragmatisch und operationalisierbar?
➢ Wie nützlich waren die Evaluierungen für Partnerorganisationen, für Zielgruppen sowie für
MISEREOR?
➢ Wie nützlich waren die Evaluierungen für die Rechenschaftslegung sowie für das Lernen?
➢ Inwiefern wurden die Empfehlungen umgesetzt?
h) Erfüllung der DAC-Kriterien
Werden die DAC-Kriterien angewendet und genutzt? Hier finden Sie die detaillierte Fragestellung
zu diesem Thema:
➢ Sind die Fragestellungen der Evaluierungen an den DAC-Kriterien orientiert?
➢ Wurden alle Evaluierungskriterien (DAC-Kriterien) ausreichend abgedeckt? Falls nicht, welche
Kriterien wurden genauer betrachtet und welche entweder fallengelassen oder nur
oberflächlich behandelt? Entsprach diese Fokussierung der Schwerpunktsetzung in den ToR?
➢ Wurden einzelne DAC-Kriterien priorisiert? Wenn ja, welche und wie wurde dies begründet?
➢ Wurde das Kriterium Wirkung besonders beachtet und dokumentiert?
➢ Ist der Bericht sinnvoll gegliedert, z. B. nach DAC-Kriterien und/oder spezifischen
Evaluierungsfragen?
6i) Spezifische Fragen/Prüfung des „Ownership“ der Partnerorganisation
Inwiefern dient das ELBE-System dem Ownership der Partner an der Evaluierung und dem daraus
folgendem Prozess des Qualitätsmanagements? Folgende Fragen sollten zur Beantwortung dieser
Fragestellung betrachtet werden:
➢ Ist das ELBE-Verfahren MISEREORs für die Partnerorganisation nachvollziehbar und
verständlich? Gibt es Verbesserungsbedarf? Wenn ja, wo?
➢ Können Partnerorganisationen die Vorgehensweisen an ihre spezifischen Bedürfnisse
anpassen?
➢ Inwiefern nimmt MISEREOR Einfluss auf das ELBE-Verfahren? Gibt es gerechtfertigte/nicht-
gerechtfertigte Einflussnahme? Wenn ja, wie sieht die aus?
➢ Verstehen die Partnerorganisationen die Evaluierung als Lerninstrument für sich selbst oder
als Pflichtaufgabe für MISEREOR? Wenn als Pflichtaufgabe: Wie kann man die Bedeutung/das
Verständnis der Evaluierung als Lerninstrument stärken?
V. Organisation und Vorgehensweise
Der Evaluierungsauftrag umfasst:
o Eine systematische Untersuchung (Deskstudie) von Evaluierungen (Berichten), die in den
Jahren 2016-2020 abgeschlossen wurden.
o Durchführung einer oder mehrerer Online-Umfrage(n) mit den Partnerorganisationen,
MISEREOR und Gutachter(inne)n.
o Eine Darstellung und Analyse von Best-Practice-Beispielen zum methodischen Vorgehen
aus den ELBE (Kontext, methodisches Vorgehen und Diskussion der Übertragbarkeit auf
andere Evaluierungen).
o Workshops mit dem Team Evaluierung und Beratung (EB) und ggf. weiteren Mitarbeitenden
der Abteilung Qualitätssicherung Internationale Zusammenarbeit von MISEREOR,
Partnerorganisationen und Gutachter(inne)n zum Austausch über die vorläufigen
Ergebnisse und Empfehlungen für das weitere Vorgehen in der Qualitätssicherung.
o Eine Abschlusspräsentation und Diskussion mit EB und ggf. den Abteilungsleitungen der
internationalen Zusammenarbeit von MISEREOR sowie mit anderen relevanten Akteuren.
In der Durchführung wird dabei wie folgt vorgegangen:
Phase 1: INCEPTION PHASE
Innerhalb von vier Wochen nach Vertragsunterzeichnung erstellt das Evaluierungsteam einen
Inception Report, der Folgendes beinhaltet:
➢ Deskriptiver Teil
o Darstellung des Verständnisses des Auftrags
o Allgemeiner Hintergrund und Informationen der zu untersuchenden Evaluierungen
o Das Ergebnis der ersten Durchsicht der Dokumente (Sind alle erforderlichen
Dokumente vorhanden? Welche Dokumente fehlen noch und müssen ggf. noch
zugänglich gemacht werden?)
7➢ Methodenteil
o Vorschlag eines Analyserasters, das für die Deskstudie verwendet werden soll
o Identifikation von weiteren Schlüsselakteuren, insbesondere Partnerorganisationen,
die interviewt werden sollten bzw. an den Workshops teilnehmen sollten
o Leitfäden für Umfragen (für verschiedene Schlüsselakteursgruppen) sollen erstellt
werden
o Vorschläge für die Form der Darstellung der Best-Practice Beispiele
o Vorläufiger Zeitplan mit geplanten Workshops, Interviews, sodass die Deadlines der
folgenden Schritte eingehalten werden können.
Phase 2: ASSESSMENT PHASE
Innerhalb von drei Monaten nach Abnahme des Inception Reports erstellt das Evaluierungsteam
den Entwurf eines Evaluierungsberichts, der Folgendes beinhaltet:
➢ Die Ergebnisse der Deskstudie, die alle Fakten der geschlossenen Fragen
zusammenfasst, die Synthese der Beantwortung der offenen Fragen und die
wesentlichen Erkenntnisse der Meta-Evaluierung.
➢ Die Beispiele guter Praxis und die wichtigsten Lernerfahrungen, die daraus abgeleitet
werden können.
➢ Die vorläufigen Schlussfolgerungen und die daraus abgeleiteten, vorläufigen
Empfehlungen in Form einer pptx-Präsentation oder einer Handreichung für die geplanten
Workshops.
Phase 3: AUSWERTUNGSPHASE (WORKSHOPS)
Das Evaluierungsteam moderiert die o. g. Workshops und dokumentiert in einem Endbericht
Beobachtungen, Anmerkungen und insbesondere die überarbeitete Version der
Schlussfolgerungen und Empfehlungen, die das Ergebnis des Austausches sind.
Vorläufiger Zeitplan:
Was Wann
Ausschreibung Bis 05.08.2021
Einreichung Angebote Bis zum 05.09.2021
Entscheidung Gutachter(innen)-Team Bis zum 10.09.2021
Auftragsklärungsgespräch Ca. am 15.09.2021
Inception Report 6.10.2021
Untersuchungsphase/Berichtsentwurf 14.01.2022
Auswertungsworkshop Ca. 01.02.2022
Auswertung auf Abteilungsleitungsebene Ca. 15.02.2022
Endbericht 31.03.2022
VI. Bericht
Der Bericht umfasst ca. 50 Seiten (ohne Anhänge). Dem ausführlichen Bericht wird eine knappe
3-5-seitige Zusammenfassung vorangestellt (Executive Summary).
Der Bericht untergliedert sich in einen beschreibenden und einen bewertenden Teil, aus dem sich
die Schlussfolgerungen und Empfehlungen herleiten.
8In einem Methodenkapitel wird der Evaluierungsauftrag präzise dargestellt und die Wahl der
angewandten Methodik in Relation zu diesem Auftrag beschrieben und begründet.
Ausgewählte Gute Praktiken („best practices“) aus der Durchführung von Evaluierungen werden
in einem separaten Teil aufgezeigt und bieten Anregungen für weitere Qualitätsverbesserungen in
der ELBE-Evaluierungspraxis.
Der Bericht soll die folgenden formalen Aspekte aufweisen:
• Deckblatt mit Evaluierungsnummer
• Nummeriertes Inhaltsverzeichnis und Seitenzahlen
• Abkürzungsverzeichnis
• Anlagen, u.a.:
o Referenzrahmen
o Chronologischer Verlauf des Einsatzes
o Liste der Gesprächspartner/-innen
o (falls zutreffend:) Liste der zugrunde gelegten Dokumente
o (falls sinnvoll:) erläuternde Hintergrunddokumente (Tabellen, Texte,
benutzte Instrumente wie Fragebogen...)
In den Anhängen werden die detaillierten Ergebnisse der Analyse/des Fragebogens und der
Workshops dokumentiert.
VII. Profil der Gutachter/-innen
Wegen der Vielfältigkeit/Heterogenität des Evaluierungsgegenstandes wird ein Gutachter(innen)-
Team gesucht. Dieses Team sollte zwei Gutachter/-innen umfassen und sich sowohl in ihren
Kenntnissen und Erfahrungen als auch in der Sprachkenntnis (Deutsch, Englisch, Französisch,
Spanisch, wenn möglich auch Portugiesisch) ergänzen. Das Team sollte gemeinsam folgende
Anforderungen erfüllen:
a) Erfahrung bei der Durchführung von Evaluierungen bzw. von Meta-Evaluierungen im
Kontext von Projekten der Entwicklungszusammenarbeit möglichst in allen drei
Kontinentalkontexten von MISEREOR
b) Umfangreiche Erfahrungen mit der Durchführung komplexer Evaluierungsvorhaben
c) Kenntnisse in empirischer Feldforschung und partizipativen Methoden.
d) Praxisorientiertes wissenschaftliches Arbeiten, umfangreiche Methodenkompetenz
(quantitativ und qualitativ)
e) Erfahrung mit Online-Umfragen und virtuellen Workshops
f) Sehr gute Analysekompetenzen
g) Sehr gute und verhandlungssichere Deutsch-, Englisch-, Spanisch- und
Französischkenntnisse sowie, wenn möglich, auch Abdeckung des
Portugiesischen.
9VIII. Angebot
Ein Angebot soll bei MISEREOR [Abteilung Qualitätssicherung Internationale Zusammenarbeit/
Team Evaluierung und Beratung (evaluation@misereor.de)] bis spätestens 05.09.2021vorliegen.
Wir bitten Sie, sich als Team auf diese Ausschreibung zu bewerben. Das Angebot sollte bestehen
aus:
• dem jeweiligen aussagekräftigen Lebenslauf mit Referenzen von beiden
Gutachter(inne)n;
• einem inhaltlichen Angebot mit einer knappen und präzisen Darstellung des
konzeptionellen und methodischen Vorgehens, aus der hervorgeht, wie die Ziele der
Meta-Evaluierung erreicht und die Fragestellungen bearbeitet werden sollen, sowie
einem Arbeits- und Zeitplan (maximal fünf Seiten);
• einem finanziellen Angebot unter Angabe des Honorars (aufgesplittet zwischen den
Team-Mitgliedern). Alle Kosten müssen im Angebot inklusive Umsatzsteuer angegeben
sein.
Wir freuen uns auf Bewerbungen von gemischten Teams mit verschiedenen Hintergründen.
Für eventuelle Rückfragen steht Ihnen Herr Saidou Ouédraogo telefonisch unter 0241/442-371
zur Verfügung oder Sie wenden sich an evaluation@misereor.de.
Aachen, 04.08.2021
10Sie können auch lesen
