Seminarunterlagen Grundlagen der Evaluation und Evaluationsinstrumente bei Organisationsreformen - Peters & Co. GmbH ...
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Grundlagen der Evaluation und Evaluationsinstrumente bei Organisationsreformen Seminarunterlagen Hamburg, am 8. Dezember 2009
1 Inhaltsverzeichnis 0. Zentrale Elemente der Bezirksverwaltungsreform 1. Grundlagen und Grundbegriffe 2. Ziele der Evaluation von Reformvorhaben 3. Phasen einer Evaluation 4. Kriterien, Indikatoren und Kennzahlen für Evaluationen 5. Instrumente zur Durchführung von Evaluationen 6. Literaturhinweise
2
0. Zentrale Elemente der Bezirksverwaltungsreform
Entsprechend den Senatsdrucksachen 18/2498 und 18/5011 beinhaltet die Bezirksverwaltungsreform
(Beschlussfassung im Juni 2005) die folgenden zentralen Elemente:
Einführung eines konsequent 2-stufigen Verwaltungsaufbaus mit ministeriell-steuernden Aufgaben in
den Fachbehörden und bürgerorientierten Durchführungsaufgaben in den Bezirksämtern oder betrieblichen
Einheiten. Ausdruck dessen sind 20 Entflechtungsvorhaben. (Wie am Beispiel der
Naturschutzreferate)
Optimierung und Standardisierung kundenorientierter Verwaltungsprozesse mit Einführung von Fall- oder
Verfahrensmanagern und Einsatz von E-Government.
Umfassender Verwaltungsstrukturreform mit einheitlicher Organisation (U.a. neue Dezernatsstruktur und
Schaffung von Dienstleistungszentren).
Anforderungsgerechte Ressourcenverteilung, größerer finanzieller Handlungsspielraum der Bezirke sowie
ein darauf aufbauendes bezirkliches Benchmarking.
Ein professionelles Controlling und eine Evaluation der Umsetzung ist gemäß dieser Drucksachen
notwendig wegen der hohen Erwartungen in Politik und Öffentlichkeit und wegen der hohen
Anfangsinvestitionen.
3
1. Grundlagen und Grundbegriffe
Insbesondere wenn Reformvorhaben mit erheblichen Investitionen ( sowohl an finanziellen als auch an
personellen Mitteln) verbunden sind, und wenn diese Mittel durch die Gemeinschaft aufgebracht wurden, ist
eine Auswertung des Erfolges dieser Vorhaben dringend erforderlich. Die Auftraggeber wollen erfahren, ob die
Mittel und die Anstrengungen zielführend waren und ob sich die Investitionen insofern „gelohnt“ haben.
Je nachdem
welche zentralen Zielsetzung die Reform verfolgt (Kostensenkung, Prozessqualität, Veränderung des
Selbstverständnisses als Dienstleister, Verlagerung von Aufgaben etc.)
um welchen Reformgegenstand es geht (Personalentwicklung , Organisationsumbau, Kostenstruktur etc.)
Welche zeitbezogenen Intentionen in der Auswertung verfolgt werden ( Zeitpunkt, Zeitraum oder ein
kontinuierlich währender Prozess etc. )
Welche Kategorien von Kriterien zur Bewertung der Ergebnisse der Reformvorhaben herangezogen werden
sollen (Kennzahlen, Indikatoren, Meinungen, Beweise, etc.)
und nicht zuletzt welchen fachlichen Hintergrund der Auftraggeber, die Durchführenden und die Betroffenen einer
Auswertungsprojektes haben, werden unterschiedliche Ansätze verfolgt und Begriffe verwendet.
Zentrale Begriffe wie Evaluation, Controlling, Monitoring und Balanced Scorecard sind zu unterscheiden.
4 1. Grundlagen und Grundbegriffe Evaluation Der Begriff stammt ursprünglich aus dem Bereich der Bewertung von Personalentwicklungsmaßnahmen – insbesondere Bildungs- und sozialer Maßnahmen und –einrichtungen sowie aus dem Feld von Folgeabschätzungen des Einsatzes sozialer oder arbeitsmarktpolitischer Instrumente. Evaluation bezeichnet die Summe systematischer Untersuchungen auf Basis empirischer Informationen, die ermöglichen, den Wert eines Evaluationsgegenstandes einzuschätzen. Die Evaluationskriterien und Maßstäbe können vielschichtig sein. Sie können sich – müssen sich aber nicht zwingend in der Bewertung von Kennzahlen ausdrücken.
5 1. Grundlagen und Grundbegriffe Controlling Der Begriff wird vor allem verwendet im Bereich der Steuerung von betriebswirtschaftlichen oder physikalischen Prozessen, die sich in Form von Kennzahlen darstellen lassen. Im Bereich des Controlling von Reorganisationsprojekten wird vorwiegend unterschieden in Wertziele ( wie Budgets, Umsätze, Kosten, Wachstum), Leistungsziele (wie Fallzahlen, Kunden, Qualitäts- oder Fehlerkennzahlen und Auslastungsgrade) und Akzeptanzziele ( Sozialplan, FoBi-Stunden, Neueinstellungen, Fluktuation). Dabei können die Ziele Abbau- Umbau oder Aufbauziele sein. Quelle: Organisationscontrolling, Prof. Dr. Axel Werder, Gabler 2006
6 1. Grundlagen und Grundbegriffe Monitoring Systematische, fortgesetzte Beobachtung und Dokumentation all dessen, was sich mit ausgewählten Bereichen verbindet. „Monitoring ist nichts Unanständiges, sondern essentieller Bestandteil eines jeglichen Wissensmanagements“. W+D Wissenschaft + Dokumentation GmbH, Gemälde von Ferdinand G. Waldmüller, "Das belauschte Liebespaar". Titelbild des Kataloges der Ausstellung der Sammlung Georg Schäfer, Schweinfurt, 1978
7
1. Grundlagen und Grundbegriffe
Balanced Scorecard BSC (nach Kaplan und Norton)
Perspektiven und Elemente
Finanzperspektive
Welche Ziel- strat. Mess- Maß- Ziel-
setzungen leiten Ziel größe nahme wert
sich aus den
finanziellen
Erwartungen
unserer Kapital-
geber ab?
Kundenperspektive Prozessperspektive
Welche Ziele sind strat. Mess- Maß- Ziel- Welche Ziele sind strat. Mess- Maß- Ziel-
hinsichtl. Struktur Ziel größe nahme wert Vision hinsichtl. unserer Ziel größe nahme wert
u. Anforderungen und Prozesse zu
unserer Kunden Strategie setzen, um die
zu setzen, um die Finanz- und Kun-
finanziellen Ziele denziele erfüllen
zu erreichen? zu können?
Welche Ziele sindPotenzialperspektive
hinsichtl. unserer strat. Mess- Maß- Ziel-
Potenziale zu Ziel größe nahme wert
setzen, um den
aktuellen u. zu-
künftigen Heraus-
forderungen ge-
wachsen zu sein8 1. Grundlagen und Grundbegriffe Balanced Scorecard (nach Kaplan und Norton) Phasen der Entwicklung einer BSC
9 2. Ziele der Evaluation von Reformvorhaben Die Ziele einer Evaluation von Reformvorhaben können sehr unterschiedlich sein. Sie können offen und präzise bis verdeckt und vage ausgedrückt sein. In der Regel verfolgen Evaluationen nicht nur ein Ziel. Die Ziele haben maßgeblichen Einfluss auf die Auswahl von Erfolgskriterien und Evaluationsinstrumenten. Ziele einer Evaluation kann es z.B. sein zu den folgenden Fragen Erkenntnisse zu gewinnen: 1. Sind bestimmte Ziele der Reform erreicht? 2. Gestaltete sich die Leistungserstellung besser als vorher oder als bei Vergleichsobjekten? 3. Sind Mittel für die Reform effizient eingesetzt? 4. Ist der Nutzen bei den Abnehmern größer geworden? 5. Sind mit der Reform bestehende Engpässe oder Probleme gelöst worden? 6. Sind Arbeits- und Verhaltensweisen Strategie-konform geändert worden? 7. Ist die Arbeitszufriedenheit größer als vorher? 8. Wie zufriedenstellend war der Reformprozess selbst? Ganz gleich welche inhaltliche Ausrichtung die Ziele haben. Sie müssen möglichst konkret und beweisbar – am besten messbar sein. Sie müssen möglichst eindeutig Ursache- Wirkungsbeziehungen abbilden.
10
3. Phasen einer Evaluation
Phasen
1. Präzisieren der Auftrags-Ziele und des Gegenstandes der Evaluation
2. Festlegen von Kriterienfeldern, Indikatoren und Kennzahlen
3. Auswahl der unterschiedlichen Erhebungsinstrumente
4. Planen und Durchführen der Erhebungen
5. Zusammenfassen der Erhebungsergebnisse
6. Bewerten der Evaluationsergebnisse
7. Erarbeiten und Abstimmen des Evaluationsberichtes11
4. Kriterien, Indikatoren und Kennzahlen für Evaluationen
▪ Die Kunst besteht darin, passend zu den Zielen der Reform
möglichst exakt zu formulieren, worin die Erfolgskriterien des
Reformvorhabens bestehen.
▪ Diese Erfolgskriterien sollten
▪ Klar und eindeutig und auch von unabhängiger Stelle nachvollziehbar
sein.
▪ Sie sollten dokumentierbar sein.
▪ Sie sollten erhebbar sein. (Mit vertretbarem Aufwand)
▪ Ursache-Wirkungszusammenhänge sollten möglichst klar und
eindeutig sein.
▪ Über die Erfolgskriterien ist möglichst vor Umsetzung des
Reformvorhabens - zwingend jedoch vor Beginn der Evaluation
Klarheit zu schaffen.12 4. Kriterien, Indikatoren und Kennzahlen (Beispiele) Nr. Reform-Ziel Erfolgskriterium 1. Leistungserstellung effizienter Stückkosten geringer 2. Klare Schnittstellen Keine Doppelarbeiten 3. Kundenfreundlicher arbeiten Wartezeiten geringer 4. Kundenfreundlicher arbeiten Durchlaufzeiten geringer 5. Freundlichere Beratung Positives Kunden-Feedback 6. Ganzheitlichere Bearbeitung Arbeitsinhalte und –zeitanteile 7. Zufriedenere Mitarbeiter Positives Mitarbeiter-Feedback
13 5. Instrumente zur Durchführung von Evaluationen Zu den Evaluationsinstrumenten gehören sowohl die Methoden der empirischen Sozialforschung als auch statistische Verfahren zur Erhebung und Auswertung von Daten und betriebswirtschaftliche Ansätze zur Kennzahlenermittlung . Es gibt eine vielseitige Menge an Analysewerkzeugen, Instrumenten und Methoden, die in Hinblick auf Ziele, Art und Umfang der Durchführung und Auswertung auf Nützlichkeit geprüft werden müssen. Die „Königsmethode“ gibt es nicht. Meist ist ein Methoden-Mix sinnvoll. Alle Vorgehensweisen haben spezifische Vor- und Nachteile, die nur vor dem Hintergrund der jeweiligen Fragestellung einander gegenübergestellt und bewertet werden können. In die Überlegungen muss mit einbezogen werden, ob der Einsatz intern erfolgen kann oder ob externe Untersuchungsleiter hinzu kommen sollen. Jedes gewählte Instrument muss auch unter Datenschutzaspekten betrachtet werden und gegebenenfalls mit den Personalvertretungen abgestimmt sein.
14 5. Instrumente zur Durchführung von Evaluation Die folgenden Gruppen von Evaluationsinstrumenten lassen sich grob unterscheiden: 1. Datenerhebungen 2. Dokumentenanalyse 3. Schriftliche oder mündliche Befragung (strukturiert) 4. Schriftliche oder mündliche Befragungen (qualitativ, offen) 5. Dialogische Rückmeldeverfahren mit Einzelpersonen (Interviews) 6. Dialogische Rückmeldeverfahren mit Gruppen 7. Neutrale Beobachtungen 8. Kreative, expressive Verfahren
15
5.1 Datenerhebungen
Volkszählung zu Bethlehem 1566
Musees Royaux des Artes, Brüssel16
5.1 Datenerhebungen
Begriffsbestimmung
Daten sind mit Hilfe vereinbarter Zeichen dargestellte Informationen. Sie
sind an bestimmte Trägermedien gebunden. (Kostendaten, Mengendaten,
Zeitdaten, Fehlerdaten etc.)
Datenerhebung als Evaluationsinstrument bedeutet, die für einen
Evaluationszweck nützlichen Daten in einem angemessenen Zeitraum zu
erheben. Dies kann prinzipiell durch automatische Auswertung des
Workflow, durch digitale oder manuelle Aufschreibungen geschehen. Die
Methoden der Erhebung können exakt (Messungen) , grob oder
qualifiziert geschätzt sein.
Beispiele
Selbstaufschreibung von Zeiten und Mengen, neutrale Zeitaufnahmen17 5.1 Datenerhebungen Einsatzmöglichkeiten Eine Datenerhebung wird eingesetzt, wenn die Erfolgskriterien in Form klassischer Kennzahlen festgelegt wurden. Je nach Genauigkeitsanforderung der Auftraggeber werden Mess- oder Schätzverfahren eingesetzt.
18
5.2 Dokumentenanalyse
Begriffsbestimmung
Die Dokumentenanalyse ist eine Erhebungstechnik, um Informationen zu
erschließen, die bereits in unterschiedlichen Informationsquellen als
Dokumente vorliegen. Dies können sämtliche Arten von Unterlagen sein.
Aus diesen Quellen werden jene Informationen entnommen, die für die
vorliegende Fragestellung von Bedeutung sind.
Beispiele
- Anforderungsprofile
- Stellenbeschreibungen
- Statistiken19 5.2 Dokumentenanalyse Einsatzmöglichkeiten Eine Dokumentenanalyse wird bevorzugt eingesetzt, um entweder eine Grundlage für weitere Datenerhebungen zu schaffen (z.B. Ausgangslagenbeschreibung, Ressourceneinsatz) oder erhobene Daten zu untermauern (z.B. erhöhtes Überstundenaufkommen/ Krankenstand). Außerdem wird sie eingesetzt um zu prüfen, inwieweit geplante Ver- Änderungen in den neuen Vorgaben, Anweisungen etc. umgesetzt sind.
20 5.3 Schriftliche oder mündliche Befragung (strukturiert) Begriffsbestimmung Unter strukturierten schriftlichen oder mündlichen Befragungen versteht man eine Datenerhebung auf der Grundlage eines Fragebogens. Die Fragen sind in der Regel geschlossene Fragen, d.h. die Antwortmöglichkeiten beschränken sich auf ja/nein oder die Auswahl einer Skalierungsmarke (z.B. triff voll zu, trifft zu, trifft nicht zu). Die Fragebögen werden einem unter Repräsentationsgesichtspunkten ausgewählten Personenkreis vorgelegt. Beispiele - elektronische Fragebögen - Fragebögen, die von einer Mittelsperson ausgefüllt werden
21 5.3 Schriftliche/mündliche Befragung (strukturiert) Einsatzmöglichkeiten Fragebögen sind gut geeignet, um sich ein Bild von Mitarbeiter- oder Kundenmeinungen zu bestimmten Themen und Prozessen zu machen. Für eine Mitarbeiterbefragung empfiehlt es sich, den Fragebogen in elektronischer Form vorzulegen, um das Auslesen der Daten zu vereinfachen. Kundenbefragungen finden hohe Akzeptanz, wenn eine Mittelsperson die Befragten durch den Fragebogen führt und diesen auch ausfüllt. Ergebnisse strukturierter Befragungen lassen sich gut vergleichen oder sogar in Kennzahlen auswertbar machen. (Beispiel: Ermitteln der durchschnittlichen Kundenzufriedenheit).
22 5.4 Schriftliche/mündliche Befragung (qualitativ, offen) Begriffsbestimmung Unter offenen schriftlichen oder mündlichen Befragungen versteht man eine Informationserhebung auf der Grundlage eines thematischen Rahmens. In der Interviewsituation ist der Interviewer frei bei der Formulierung und Reihenfolge der Fragen, und er kann – je nach Antwort des Interviewpartners – auch weiterführende, nicht vor-definierte Fragen stellen. Die Fragen sind offene Fragen, d.h. die Antwortmöglichkeiten sind nicht durch eine Skalierung vorgegeben. Auch hier gibt es die Möglichkeit, den Befragten auf Grundlage eines thematischen Rahmens um schriftliche Aussagen zu bitten. Beispiele - Interviews zur Vorbereitung von standardisierten Befragungen - Interviews zu schwierigen Themen, die sich schlecht skalieren lassen
23 5.4 Schriftliche/mündliche Befragung (qualitativ, offen) Einsatzmöglichkeiten Reine offene, nicht standardisierte Befragungen/Interviews kommen eher selten zum Einsatz, denn die Auswertung ist mühsam und zeitaufwendig. Sie sind u. U. sinnvoll, um sich einen ersten Überblick über ein komplexes Thema zu verschaffen (z.B. um einen standardisierten Fragebogen zu entwickeln) oder wenn es bei der Befragung um sehr sensible Themen geht. Häufiger werden einem standardisierten Fragebogen einige offene Fragen beigemischt, die nicht auf der Hauptziellinie liegen, aber von deren Beantwortung man sich eine gute Ergänzung, neue Aspekte oder subjektive Einschätzungen zu den evaluierten Punkten erhofft.
24 5.5 Dialogische Rückmeldeverfahren (Einzelpersonen) Begriffsbestimmung Es handelt sich hierbei um Interviewtechniken, bei denen bewusst aus der Beantwortung ausgewählter Fragen oder Wertungen ergänzende Äußerungen der interviewten Personen erbeten werden. Mit diesen Rückmeldungen wird dann im Interview gezielt weiter gearbeitet. Beispiele Problemorientierte Interviews, die zunächst den Grad der Übereinstimmung mit qualitativen Wertungen z.B. zum Thema „Qualität der Führung“ beginnen. Einsatzmöglichkeiten Interviews zu Qualität der Einbeziehung von Mitarbeitern in einen Prozess.
25 5.6 Dialogische Rückmeldeverfahren mit Gruppen Begriffsbestimmung Das dialogische Rückmeldeverfahren mit Gruppen stellt hohe Anforderungen an den Interviewer/Übungsleiter, bringt aber – bei optimaler Zusammensetzung der Gruppe bzw. des Workshops - sehr wertvolle Ergebnisse, die weit über Erkenntnisse aus Einzelinterviews hinaus gehen. Der Moderator führt das Interviews anhand von Leitfragen, die einerseits dem Gespräch ein Gerüst verleihen und sicherstellen, dass kein wichtiger Aspekt in der Hitze der Diskussion vergessen wird, andererseits aber genügend Spielraum für spontan aus der Interviewsituation heraus entstehende Fragen geben. Beispiele: - Moderierte Workshops - Interviewrunden
26
5.6 Dialogische Rückmeldeverfahren mit Gruppen
Einsatzmöglichkeiten
Dialogische Rückmeldeverfahren mit Gruppen eignen sich besonders um
Standards zu entwickeln, zur Verdeutlichung von vermutlich kontroversen
Sichtweisen oder um unterschiedliche Meinungen und Erfahrungen aus
verschiedenen Blickwinkeln zu betrachten. Die Dynamik einer Diskussion
wird hierbei ebenso genutzt wie die Gesprächsanreize durch die
Meinung/Aussage anderer.
Experteninterviews, Interviews mit Schnittstellenpartnern
oder moderierte Workshops zum Thema Schnittstellen
sind sinnvollen Einsatzmöglichkeiten, um einen
Reformprozess zu evaluieren.27 5.7 Neutrale Beobachtung Begriffsbestimmung Eine neutrale zielgerichtete Beobachtung liefert Informationen, die durch eine instruierte Person erhoben werden. Die Informationen können dabei in Form von Protokollen oder Notizen oder aber als Ton- oder Videoaufzeichnung vorliegen. Beobachter sollten geschult sein und wissen, wie sie den Einfluss ihrer eigenen Sichtweise auf die Dinge, die sie beobachten, reduzieren. Beispiele Teilnehmende bzw. nicht-teilnehmende Beobachtung (Beobachter wird aktiver Bestandteil des Geschehens bzw. „blickt“ von außen). Offene oder verdeckte Beobachtung von Arbeitsprozessen.
28 5.7 Neutrale Beobachtung Einsatzmöglichkeit Die neutrale Beobachtung kann in der Regel nur sinnvoll bei kleineren Beobachtungseinheiten eingesetzt werden, z.B. zur Erfassung von Handhabungsproblemen oder zur Erfassung von Vorgehensweisen. Sonderfall: Beobachtung von Sitzungsverläufen etc.
29 5.8 Kreative, expressive Verfahren Begriffsbestimmung Bei kreativen, expressive Verfahren nähert man sich einem Problem, indem logisch-rationale Erwägungen zur Fragestellung bewusst in den Hintergrund treten, um Raum zu schaffen für eine spielerische Näherung an das Problem/die Fragestellung. Beispiele - Rollenspiele - Systemische Aufstellungen
30 5.8 Kreative, expressive Verfahren Einsatzmöglichkeiten Kreative, expressive Verfahren eignen sich nur für den Einsatz in einer kleinen Gruppe; sie werden in der Regel im Rahmen von Seminaren oder Workshops eingesetzt, für einen „isolierten“ Einsatz sind sie eher ungeeignet. Gut geeignet sind einige dieser Verfahren, um Beziehungsgeflechte in einer Abteilung, wirkliche oder empfundene Hierarchien und Abhängigkeiten zu verdeutlichen. Ein erfahrener Übungsleiter ist von großer Bedeutung, damit die „Spielereien“ nicht solche bleiben, sondern zu dem gewünschten Erfolg führen.
31
5.9 Eignung von Instrumenten (1)
Datenerhebungen
Vorteil Nachteil Ressourcenaufwand Geeignet
Hohe Akzeptanz der Widerstand Gering, wenn Daten Bei Durchlaufzeiten,
Ergebnisse wegen Angst vor digital bereitstehen Bearbeitungszeiten,
Kontrolle Fallzahlen etc. als
möglich Erfolgskriterien
Hohe
Vergleichbarkeit der
Ergebnisse32
5.9 Eignung nach Evaluationsfragestellungen (2)
Dokumentanalyse
Vorteil Nachteil Ressourcenaufwand Geeignet
Geringer Aufwand Möglicherweise Abhängig vom Umfang Ausgangslagen-
bei der geringe zu analysierende beschreibung
Datenerhebung Aktualität Materials und der
Datenpflege im
Untersuchungsbereich
Unabhängig von Unterlagen sind Entwicklung eines Übersicht
Erreichbarkeit/ möglicherweise Auswertungsschemas Leistungsspektrum
Teilnehmen unvollständig
bestimmter oder für die
Personen Untersuchung
nicht passend
Betriebsablauf Ressourceneinsatz
bleibt ungestört33
5.9 Eignung von Instrumenten (3)
Schriftliche/mündliche Befragung (strukturiert)
Vorteil Nachteil Ressourcenaufwand Geeignet
Viele Personen Rücklauf oft Die Entwicklung der Mitarbeiterbefragung
können gleichzeitig gering, wenn „richtigen“ Fragen
befragt werden freiwillig und ohne erfordert Zeit und
Anreiz Erfahrung
Akzeptanz von Die Bedingungen, Fragebögen sind eine Kundenbefragung
schriftlichen unter denen der effiziente Methode.
Befragungen ist in Bogen ausgefüllt (Insbesondere Online-
der Regel hoch wird, sind nicht Fragebögen)
kontrollierbar
Kundenfragebogen Kundenfragebogen mit
mit Interviewer: Interviewer:
Unklarheiten Hoher Personalbedarf
können sofort für die Befrager, langer
beseitigt werden Befragungszeitraum34
5.9 Eignung von Instrumenten (4)
Schriftliche/mündliche Befragung (qualitativ, offen)
Vorteil Nachteil Ressourcenaufwand Geeignet
Keine Schlecht Erfahrener Interviewer ist Um Überblick über
vorformulierten strukturierte unverzichtbar komplexe Themen
Fragen – Interviewpartner Dokumentation über zu bekommen
Möglichkeit spontan bringen wenig Protokollant oder
zu fragen Zielführendes Bandmitschnitt
Interviewter hat das Als Basis zur
Gefühl „alles Entwicklung
sagen“ zu können. strukturierter
Hohe Motivation Interviews
Dokumentation und Bei sensiblen
Auswertung sind Themen
aufwendig35
5.9 Eignung von Instrumenten (5)
Dialogische Rückmeldeverfahren mit Einzelpersonen
Vorteil Nachteil Ressourcenaufwand Geeignet
Jede einzelne Anschließendes Dokumentationen sind Führungskräfte-
Meinung wird Feedback über die wichtig und kosten viel Interviews zur
berücksichtigt. Ergebnisse ist Zeit. Prozessqualität
nötig36
5.9 Eignung von Instrumenten (6)
Dialogische Rückmeldeverfahren mit Gruppen
Vorteil Nachteil Ressourcenaufwand Geeignet
Die Dynamik einer Bei ungünstiger Das Zusammenstellen Interviews mit
Diskussion wird Gruppenzusam- der Gruppe/n erfordert Schnittstellen-
genutzt mensetzung evtl. Zeit und Fachkenntnis partnern
Hemmungen
etwas zu äußern
Die Meinung Alle Eingeladenen Dokumentation und Interviews mit
anderer kann direkt müssen zu einem Auswertung sind internen oder
mit der eigenen gemeinsamen aufwendig externen Experten
abgeglichen Termin finden.
werden
Moderierte
Workshops37 5.9 Eignung von Instrumenten (7) Neutrale Beobachtung Vorteil Nachteil Ressourcenaufwand Geeignet Relevante Das Verhalten von Hängt von der Zahl der Erfassung von Informationen, die Beobachteten ist Beobachtungen ab Handhabungs- den Beobachteten evtl. nicht problemen nicht bewusst sind, authentisch können evtl. gewonnen werden Bewusste oder Die Subjektivität Vor- und Erfassung von unbewusste des Beobachters Nachbereitung sind Vorgehensweisen Falschinformationen ist nicht komplett aufwendig können in einigen auszuschalten Bereichen korrigiert werden
38
5.9 Eignung von Instrumenten (8)
Kreative, expressive Verfahren
Vorteil Nachteil Ressourcenaufwand Geeignet
Durch den Nicht für jeden Übungsleiter braucht Um Führungspro-
spielerischen Umgang geeignet. viel Erfahrung bleme oder
mit Problem- Teilnehmende Probleme mit der
fragestellung oft gute müssen sich auf das Leitung
Ergebnisse Verfahren einlassen aufzudecken
wollen.
Den Teilnehmenden Finden in der Regel im
werden zum Teil Rahmen von
Dinge klar, die sie Seminaren bzw.
vorher nicht so Workshops statt
gesehen haben –
nicht so sehen
konnten39
5. Instrumente zur Durchführung einer Evaluation
(am Beispiel Dienstleistungszentren)
Nr. Erhebungsinstrument Inhaltliche Schwerpunkte
1. Ausgangslagenbeschreibung Übersicht über Leistungsspektrum, Öffnungszeiten
Arbeitsteilung und Ressourceneinsatz
2. Quantitative Datenerhebung Übersicht der Kundenzahlen, Anliegen, Warte- und
(Kunden-Tool) Bearbeitungszeiten in den Eingangsbereichen
3. Direkte, strukturierte Kundenerfahrungen, Kundenzufriedenheit,
Kundenbefragung (Interviews) Wartezeiten und Erreichbarkeit
4. Qualitative Befragung externer Überblick zur Entwicklung der Kundenzufriedenheit
Experten (Repräsentanten) mit dem neuen DLZ-Konzept insgesamt
5. Schriftliche Mitarbeiter- Mitarbeiterzufriedenheit mit Arbeit und Prozessen
Befragung im Eingangsbereich im DLZ-Eingangsbereich
6. Qualitative Prozess- Indizien zur Reibungslosigkeit der Prozesse
Workshops in jedem DLZ mit zwischen Eingangsbereichen und Büro-/Back-
internen Prozess-Experten Office-Bereichen feststellen
7. Ausgewählte Erfassen der Erfahrungen und subjektiven
problemorientierte Einschätzungen von Führungskräften zu
Themenrunden in den WBZ ausgewählten Problemen40 6. Literaturhinweise J. Bortz, N. Döring, Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler, 3., überarbeitete Auflage, Heidelberg 2005 H. Holling (Hrsg.), Grundlagen und statistische Methoden der Evaluationsforschung, Göttingen 2009 K. Schedler, I. Proeller, New Public Management, 2. Auflage, Bern, Stuttgart, Wien 2003 James R. Sanders (Hrsg.) Handbuch der Evaluationsstandards DeGEval e.V., Empfehlungen für Auftraggebende von Evaluationen Organisationscontrolling, Konzepte und Praxisbeispiele, Axel v. Werder u.a. , Gabler 2006 Evaluationsbericht Dienstleistungszentren der Hamburger Bezirksverwaltung, 2009 (N/DLZ)
Sie können auch lesen
