PRIME - PROGRAMM-INTEGRIERTES PLANUNGS-, MONITORING- UND EVALUIERUNGSSYSTEM VON INWENT KURZINFORMATION
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
PriME -
Programm-integriertes Planungs-, Monitoring-
und Evaluierungssystem von InWEnt
Kurzinformation
On behalf of
Inhalt PriME - das PM+E System bei InWEnt 3 Die PM+E-Qualitätsschleife 4 Wirkungsorientierung 5 Wirkungsebenen und Wirkungszusammenhänge 6 Format für Planung: die PM+E-Übersicht 7 Format für Monitoring: der M+E-Report 7 Evaluierungsformate 8 Institutionelles Lernen bei InWEnt 9
PriME – das Planungs-, Monitoring und
Evaluierungs-System bei InWEnt
Als Organisation für Internationale Zusammen- Das System basiert auf dem im InWEnt-
arbeit stellt InWEnt hohe Ansprüche an die Konzept für Capacity Building festge-
Qualität ihrer Bildungs-, Austausch- und Dia- schriebenen Mehrebenenansatz (Individuum,
logprogramme. Der Erfolg der InWEnt-Pro- Organisation, System). Es fördert Qualität
gramme im In- und Ausland wird gemessen an durch Standardisierung und Systematisierung
den Wirkungen, die sie erzielen. Um den von Planungs-, Monitoring- und Evaluierungs-
internationalen Herausforderungen an Wir- aktivitäten. PriME leistet damit einen wichtigen
kungsorientierung und -erfassung gerecht zu Beitrag zur Qualitätssicherung aller Pro-
werden, wurde das InWEnt-eigene Programm- gramme von InWEnt und bietet Steuerungs-
integrierte Planungs-, Monitoring- und Eva- instrumente für die gesamte Qualitätsschleife.
luierungssystem PriME entwickelt. Durch institutionelles Lernen werden schließ-
lich kontinuierliche Verbesserungsprozesse
PriME orientiert sich an nationalen und eingeleitet.
internationalen Standards der Evaluation wie
sie von der DeGEval – Gesellschaft für PriME ist darauf ausgerichtet, vielfältigen
Evaluation und der Organisation für wirt- Ansprüchen zu genügen: denen von Auftrag-
schaftliche Zusammenarbeit und Entwicklung gebern nach Rechenschaft, denen von
(OECD) aufgestellt wurden. Mitarbeitern/innen und Leitung nach
Qualitätsicherung und Standardisierung als
Im Mittelpunkt von PriME stehen die Erfassung auch denen der Partner und Teilnehmer nach
und der Nachweis der erreichten Ziele und Erfolg und Partizipation. Die Instrumente und
Wirkungen von InWEnt-Programmen. Damit ist Verfahren von PriME sind so konzipiert, dass
PriME auch ein Instrument zur Schaffung von sie an die jeweiligen externen Anforderungen
Transparenz und zur Stärkung der Legiti- angepasst werden können. PriME ist daher für
mation gegenüber Auftraggebern und Öffent- die verschiedenen Geschäftsfelder und -be-
lichkeit. reiche von InWEnt einsetzbar.
3
Die PM+E-Qualitätsschleife
Das Programmmanagement bei InWEnt Die einheitliche PM+E-Qualitätsschleife mit
basiert auf einer einheitlichen Qualitäts- den einzelnen Arbeitsschritten im Rahmen des
schleife. Sie besteht aus den Phasen Planung, Programmmanagements ist nachfolgend dar-
Durchführung und Abschluss der Programme. gestellt. Sie bezieht sich auf die gesamte
Daran schließt sich die Auswertung und Programmlaufzeit und stellt keinen jährlichen
Umsetzung von Lessons learned an. Für jede Programmzyklus dar.
der Phasen werden die relevanten Arbeits- Im PriME-Handbuch werden die Arbeitsschritte
schritte beschrieben, in denen standardisierte und die standardisierten Instrumente ausführ-
PriME-Instrumente zur Anwendung kommen. lich erläutert und durch Beispiele ergänzt.
4Wirkungsorientierung
Wirkungen sind Veränderungen des Ist- Was haben unsere Programme bewirkt?
Zustandes, die den Ergebnissen einer Aktivität
direkt oder indirekt über nachvollziehbare Für die Messung des Erfolgs von InWEnt-Pro-
Plausibilitäten zugeordnet werden können. Im grammen sind drei Wirkungsebenen mit
Bereich der internationalen Zusammenarbeit Zwischenstufen zu unterscheiden:
ist die Orientierung auf Wirkungen in den
letzten Jahren stark in den Vordergrund Output: die Ergebnisse, die durch die
gerückt. Jede Organisation in der inter- einzelnen Maßnahmen (InWEnt-Leistungen)
nationalen Zusammenarbeit, die erfolgreich erzielt werden
sein will, muss mit ihren Programmen nach-
weisen, welche Wirkungen erzielt wurden. Das Outcome: unterteilt in 2 Stufen
gilt nicht nur im entwicklungspolitischen Kon-
text. Der Nachweis von Wirkungen im Sinne a) die Nutzung der Leistung und der
des Erfolgs der Programme und der Zufrieden- Transfer dieser Nutzung
heit der Kunden (Teilnehmer/innen ebenso wie
Auftraggeber) ist für alle Geschäftsbereiche b) die direkten, mittelfristigen Wirkungen, die
von InWEnt – also auch in der Zusammen- daraus resultieren
arbeit mit Industrie- und Transformations-
ländern oder der entwicklungsbezogenen Impact: längerfristige, übergeordnete Wir-
Bildung – relevant, um markt- und wett- kungen, zu denen die InWEnt-Leistungen bei-
bewerbsfähig zu bleiben. Die Orientierung auf getragen haben
Wirkungen verbindet alle bei InWEnt vor-
handenen Geschäftsfelder. Um signifikante politische, wirtschaftliche und
gesellschaftliche Wirkungen zu erzielen, setzt
Wirkungsorientierung bedeutet, dass bereits InWEnt gemäß dem Capacity Building Konzept
bei der Planung von Anfang an die Wirkungen auf den drei Ebenen Individuum, Organisation
definiert werden, die durch ein Programm und System an, die möglichst systematisch in
erzielt werden sollen. Zentrale Fragestellung den Programmen miteinander verknüpft
für die Planung der Programme ist somit: werden.
Was wollen wir mit unseren Programmen Die Darstellung der Wirkungen orientiert sich
bewirken? an den in der Entwicklungszusammenarbeit
bewährten und auch für andere Sektoren
Diese Frage wird in der Programmplanung hilfreichen Kriterien Relevanz, -Effektivität,
konkretisiert. Die beabsichtigten positiven Effizienz, übergeordnete Wirkungen, Nach-
Wirkungen werden in den Zielen der Pro- haltigkeit sowie Kohärenz, Komplementarität
gramme als angestrebter Soll-Zustand fest- und Koordination.
gelegt. Für die Ziele werden Indikatoren ent-
wickelt, anhand derer der Zielerreichungsgrad
ermittelt wird. Die Indikatoren bilden somit die
Grundlage für Monitoring und Evaluierung. Die
festgelegten Ziele und Indikatoren werden
während des Programmverlaufs beobachtet
und nach Abschluss des Programms einer
Bewertung unterzogen. Dann wird gefragt:
5Wirkungsebenen und Wirkungszusammenhänge
Längerfristige, übergeordnete entwicklungs-politische Wirkungen
positiv oder negativ, intendiert oder nicht intendiert (indirekte Wirkung)
Weitergehende, indirekte Wirkungen beschreiben Veränderungen auf
Systemebene, zu denen die InWEnt-Programme einen Beitrag geleis-
tet haben, z.B. Rolle/Einfluss von Organisationen/Institutionen im poli-
tischen, gesellschaftlichen oder wirtschaftlichen Umfeld.
Kurz- und mittelfristige Wirkungen
intendierte positive Veränderungen in Folge der Nutzung der Leis- Ebene des InWEnt-
tung (direkte Wirkung) z.B. Stärkung der Kapazitäten von Organisa- Programmziels
tionen, Netzwerken, Strukturen, Initiierung von Veränderungspro-
zessen in Institutionen/Unternehmen (Versorgung mit Gütern und
Dienstleistungen, nachhaltige und effiziente Produktion).
Nutzung der Leistung und Transfer
Beteiligte wenden die erworbenen Kompetenzen in ihrem Umfeld an, Ebene der InWEnt-
z.B. führen neue Verfahren ein, beraten oder führen Trainings durch, Maßnahmenziele
nutzen die erstellten Produkte, Dienstleistungen, Regelwerke...
Leistungen/Ergebnisse
Dienstleistungen, Produkte, Institutionen, Regelwerke, Kompeten-
zen, die durch die Maßnahmen erstellt/entwickelt wurden. Auf der
Output-Ebene werden die Ergebnisse der Maßnahmen erfasst.
Maßnahmen
Gesamtheit von Aktionen, die durchgeführt werden
(Trainings, Dialogveranstaltungen, E-Learning).
Ressourcen
Finanzielle, personelle, materielle Beiträge und Mittel, die
bereitgestellt werden.
6Format für Planung: die PM+E-Übersicht
Schon bei der konzeptionellen Erarbeitung von werden. Auf diese Weise können die Pro-
Programmen erfolgt die Bearbeitung der gramme anhand der Wirkungsebenen syste-
PM+E-Übersicht, in der das Programmziel, matisch und plausibel strukturiert werden.
Maßnahmenziele sowie Indikatoren festgelegt
PM+E-Übersicht für die interne Programmsteuerung
Programmziel
Schlüsselfragen (op- Was muss ich wissen, um Ergebnisse und Indikatoren Welche Informationen und Daten
tional) Wirkungen feststellen und einschätzen zu (relevant für Abschlussevaluierung) brauche ich zur Beantwortung der
können? Schlüsselfragen?
Maßnahmenziel 1
Schlüsselfragen (op- Indikatoren
tional) (bezogen auf Outcome-Ebene)
Maßnahmen Methoden der Informationsbeschaffung
(ergänzend zur Maßnahmenevaluierung)
Maßnahmenziel 2
Schlüsselfragen (op- Indikatoren
tional) (bezogen auf Outcome-Ebene)
Maßnahmen Methoden der Informationsbeschaffung
(ergänzend zur Maßnahmenevaluierung
Format für Monitoring: der M+E-Report
Das Outcome-Monitoring erfolgt in regel- angestrebten Ziele auf der Outcome-Ebene
mäßigen Abständen und dient der Qualitäts- überprüft. Die Ergebnisse werden im M+E-
sicherung und Steuerung der Programme. Der Report dokumentiert, der als Grundlage für die
aktuelle Programmstand wird mit Blick auf die externe Berichterstattung dient.
M+E-Report
Programmziel Bewertung des derzeitigen Stands der Umsetzung auf Programmzielebene: Schlussfolgerungen für die weitere
Outcome-Ebene Welchen direkten Beitrag zur Stärkung der Kapazitäten leistet InWEnt? Programmsteuerung
Welche Informationen bezogen auf die Indikatoren liegen hierzu vor?
(mittelfristige
Inwieweit tragen die Maßnahmenziele zur Erreichung de Programmziels bei?
Wirkung) Befindet sich das Programm im „Zielkorridor“?
Programmziel
Maßnahmenziele Wesentliche Informationen aus der Durch- Bewertung des derzeitigen Stands der Schlussfolgerungen für die weitere
Outcome-Ebene führung der Maßnahmen, der Fachpartner- Umsetzung auf der Maßnahmenziel- Programmsteuerung
einschätzung sowie Auswertung weiterer ebene anhand der Indikatoren
(Nutzung und
Informationen (s.a. PM+E-Übersicht, Metho-
Transfer) den der Informationsbeschaffung)
Maßnahmenziel 1
Maßnahmenziel 2
7Evaluierungsformate
Wesentliches Element von PriME sind die kungen (Outcome) konzentrieren. Zur Er-
aufeinander abgestimmten Evaluierungsinstru- fassung und Bewertung der längerfristigen,
mente: Dazu gehören zum einen die stan- übergeordneten Wirkungen (Impact) werden
dardisierten Maßnahmenevaluierungen (z.B. Ex-Post-Evaluierungen durchgeführt.
Teilnehmerbefragungen für Training- oder -
Dialogveranstaltungen/Output). Ergänzend da- In Abhängigkeit von der konkreten Zielsetzung
zu werden in jedem Programm Zwischen- und und dem Zeitpunkt des Einsatzes werden fünf
Abschlussevaluierungen durchgeführt, die sich Evaluierungsformate bei InWEnt unter-
insbesondere auf die Erfassung und Be- schieden:
wertung der kurz- und mittelfristigen Wir-
Zu ausgewählten Programmen, Themen, Instrumenten und Ex-Post-Evaluierung
in ausgewählten Ländern werden Ex-Post-Evaluierungen/
Wirkungsanalysen durchgeführt. Diese können sich auf ein
Programm beziehen oder Programme gebündelt betrachten
(nach Sektor, Region o.a.). Ein Instrument für Wirkungsana-
lysen bei InWEnt sind Verbleibsstudien (Tracer Studies).
Gesamtbewertung von Programmen 1 – 6 Monate nach Abschlussevaluierung
Ende der letzten Maßnahme des Programms. Im Rahmen
von Abschlussevaluierungen wird festgestellt, welche Ziele
und Wirkungen durch das Programm erreicht wurden (Mes-
sung auf Outcome-Ebene und Einschätzung des Beitrags
zum Impact über Plausibilitäten).
Überprüfung des aktuellen Programmstands mit Blick auf Outcome-Monitoring
die angestrebten Ziele (direkte, kurz- und mittelfristige Wir-
kungen, Nutzung der Leistungen und Transfer). Outcome-
Monitoring ist eine zentrale Steuerungsaufgabe und findet in
mehrjährigen Programmen mindestens einmal jährlich vor
der Planung der Aktivitäten des Folgejahres statt.
Wird jeweils am Ende jeder einzelnen Maßnahme durchge- Maßnahmenevaluierung
führt. Sie dient der Bewertung der Ergebnisse, d.h. der Ziel-
erreichung und der Qualität (Output) der einzelnen Maß-
nahmen (InWEnt-Leistungen).
Planung und Konzeption von Programmen. Die Ex-Ante- Ex-ante Evaluierung
Evaluierung dient zur Klärung der Ausgangssituation, des
Bedarfs, der Partnerauswahl u.a. auch Bedarfsanalyse
oder Factfinding genannt.
8Institutionelles Lernen bei InWEnt
Im InWEnt-Intranet ist eine Datenbank mit Planung neuer Programme berücksichtigt
allen Evaluierungsberichten verfügbar. Aber werden. Dies bedeutet, Evaluierungen zur
auch Öffentlichkeit, Auftraggeber und politi- kontinuierlichen Verbesserung der Qualität und
sche Entscheidungsträger sollen über die Wirkung der Programmarbeit zu nutzen.
Ergebnisse der Arbeit von InWEnt informiert
werden. Um diese Transparenz zu gewähr- Ebenso müssen Monitoring- und Evaluierungs-
leisten, werden Evaluierungsergebnisse in ergebnisse mit allen bei der Programmplanung
Form von ausgewählten Publikationen im Inter- und -durchführung Beteiligten (wie z.B. lokale
net zugänglich gemacht. Partnerorganisationen/Projektpartner oder
Fachpartner) gemeinsam analysiert und An-
Als Organisation, die Wissen vermittelt und passungen für die Weiterentwicklung laufender
kontinuierliches Lernen ermöglicht, ist InWEnt Programme bzw. Änderungen für künftige
darum bemüht, ihr Leistungsangebot fort- Programme vereinbart werden.
laufend weiter zu entwickeln. Dem Umgang mit
Evaluierungsergebnissen kommt deshalb eine Auch in der Nachhaltigkeitsstrategie von
große Bedeutung zu. Wie in der PM+E- InWEnt ist Institutionelles Lernen mit einer
Qualitätsschleife dargestellt, müssen die eigenen Dimension "Kontinuierliches Lernen"
Ergebnisse der Wirkungserfassung im Sinne verankert.
eines „lessons learned“ systematisch bei der
Das vollständige PriME-Handbuch und die englische Übersetzung sind als CD-ROM erhältlich bei:
InWEnt – Internationale Weiterbildung und Entwicklung gGmbH
Abteilung Qualität und Evaluierung
Friedrich-Ebert-Allee 40
53113 Bonn
Fon +49 228 4460-1644
Fax +49 228 4460-1578
9InWEnt – Kompetent für die Zukunft
InWEnt – Internationale Weiterbildung und Entwicklung
gGmbH ist ein weltweit tätiges Unternehmen für Personal-
entwicklung, Weiterbildung und Dialog.
Unsere Capacity Building-Programme richten sich an
Fach-
und Führungskräfte aus Politik, Verwaltung, Wirtschaft
und Zivilgesellschaft. Wir arbeiten im Auftrag der Bundes-
regierung mit an der Umsetzung der Entwicklungsziele der
Vereinten Nationen.
September 2009 • 1.04i-0002-2009
Zudem beraten wir die deutsche Wirtschaft in Public
Private Partnership Projekten. Jungen Menschen aus
Deutschland
geben wir die Chance, in einem Austausch weltweite Er-
fahrungen zu sammeln.
InWEnt – Internationale Weiterbildung
und Entwicklung gGmbH
Capacity Building International, Germany
Friedrich-Ebert-Allee 40
53113 Bonn, Germany
Fon +49 228 4460-0
Fax +49 228 4460-1766
www.inwent.orgSie können auch lesen
