LEITFADEN ZUR UNTERSTÜTZUNG BEI DER EVALUATION VON MASSNAHMEN ZUR STEIGERUNG DER KLIMARESILIENZ - adelphi
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
STAND MAI 2020
LEITFADEN
ZUR UNTERSTÜTZUNG BEI DER EVALUATION VON
MASSNAHMEN ZUR STEIGERUNG DER KLIMARESILIENZ
Impressum ÜBER DIESE HANDREICHUNG 5
Herausgeber
adelphi
Alt-Moabit 91
10559 Berlin 1. VORGEHEN BEI EINER EVALUATION: SCHRITT FÜR SCHRITT 7
+49 (030) 8900068-0
office@adelphi.de
www.adelphi.de
Autoren
Theresa Kaiser, Daniel Feldmeyer, 2. METHODEN ZUR DATENERHEBUNG 15
Rüdiger Goldschmidt, Daniela Wilden, Moritz Hauer,
Holger Sauter, Angela Wendnagel-Beck,
Katharina Küpfer und Christian Kind
Gestaltung
Marina Piselli, STUDIO GRAFICO
3. KONTEXT DER EVALUATION 35
Bildnachweise
Abbildung 5: Projekt Grüne Lunge
Zitiervorschlag 4. NÜTZLICHE DOKUMENTE, LINKS UND LITERATURVERZEICHNIS 39
Kaiser, T., Feldmeyer, D., Goldschmidt, R., Wilden, D., Hauer,
M., Sauter, H., Wendnagel-Beck, A., Küpfer, K., Kind, C.
(2020): Leitfaden zur Unterstützung bei der Evaluation von
Maßnahmen zur Steigerung der Klimaresilienz, Berlin.
Danksagung
Vielen Dank an die Zukunftsstadt-Projekte im
Förderschwerpunkt „Klimaresilienz durch Handeln in Stadt
und Region“ für die gute Zusammenarbeit in zahlreichen
Workshops und den gewinnbringenden Austausch. Ein
besonderer Dank geht an die Projektbearbeiter*innen von
GoingVis, Grüne Lunge, Grüne Finger und RESI-extrem,
mit denen wir verschiedene Methoden erproben und die
gemachten Erfahrungen in diesem Handbuch festhalten
durften.
VORGEHEN BEI EINER EVALUATION: SCHRITT FÜR SCHRITT
ÜBER DIESE HANDREICHUNG
Im Projekt MONARES werden Kriterien und Methoden entwickelt, mit denen Klimaresi-
lienz in Städten erfasst und Anpassungsmaßnahmen bewertet werden können. Diese
Handreichung ist eine Hilfestellung, um Maßnahmen zur Steigerung der Klimaresilienz zu
evaluieren; sie richtet sich vor allem an die Vertreter*innen der Projekte im Förderschwer-
punkt „Klimaresilienz durch Handeln in Stadt und Region“.
Das vorliegende Dokument ist modular aufgebaut, ähnlich einem Werkzeugkasten. Sie können die Kapi-
tel also in Gänze, aber auch einzeln lesen. Die Handreichung besteht aus vier Teilen:
• Der erste Teil zeigt Schritt für Schritt, wie Sie
bei der Evaluation einer Maßnahme zur Klima-
anpassung und/oder Steigerung der Klimare-
silienz vorgehen können.
• Im zweiten Teil werden Methoden zur Daten-
erhebung vorgestellt. Aus diesem Methoden-
pool können Sie die Werkzeuge herausgrei-
fen, die für die Evaluation Ihrer Maßnahmen
geeignet sind. In den gelben Kästen unter
den jeweiligen Methodenbeschreibungen fin-
den Sie außerdem konkrete Fallbeispiele und
nützliche Praxistipps. Beides ist aus den Erfah-
rungen erwachsen, die bei den Evaluationen
von Klimaresilienzmaßnahmen im Förder-
schwerpunkt „Klimaresilienz durch Handeln in
Stadt und Region“ gemacht wurden.
• Im dritten Teil wird auf spezielle Rahmen-
bedingungen einer Evaluation eingegangen,
z.B. bei der Evaluation von Reallaboren.
• Im vierten Teil folgen dann nützliche Doku-
mente und Links für eine Evaluation.
4 EVALUATION VON MASSNAHMEN ZUR STEIGERUNG VON KLIMARESILIENZ VORGEHEN BEI EINER EVALUATION:
ÜBER DIESE
SCHRITT
HANDREICHUNG
FÜR SCHRITT 5
1. VORGEHEN BEI EINER EVALUATION:
SCHRITT FÜR SCHRITT
In diesem Kapitel zeigen wir Schritt für Schritt, wie Sie bei der Evaluation einer Maßnahme
zur Stärkung der Klimaresilienz vorgehen können. Diese Anleitung stellt einen idealtypi-
schen Ablauf dar, der natürlich angepasst und auf die jeweilige Maßnahme zugeschnit-
ten werden muss. Als Evaluator*in müssen Sie hier selbstverantwortlich handeln. Wenn
möglich, sollten Sie die Evaluation von erfahrenen Sachverständigen durchführen lassen,
die nicht direkt an der Umsetzung des Projektes beteiligt sind bzw. die hier keine ande-
ren Aufgaben neben der Evaluation haben – das reduziert Rollenkonflikte. Eine solche
Evaluation erhöht die Chance auf aussagekräftige Ergebnisse und fundierte Rückmel-
dungen. Häufig verfügen Projekte jedoch nur über begrenzte personelle und finanzielle
Kapazitäten. Trotzdem sollten Sie versuchen, eine möglichst aussagekräftige Bewertung
der Projektprozesse, -ergebnisse und -wirkungen durchzuführen. Die nachfolgend auf-
geführten Schritte skizzieren das Grundschema für eine Evaluation:
Rahmen festlegen
Kommunikation von Wirkmodell
(Zwischen) aufstellen
Ergebnissen
Ableiten von Evaluations-
Schluss- fragen
folgerungen ableiten
Daten- Datenerhe-
auswertung bungskonzept
erstellen
Datenerhebung
Abbildung 1: Schritte bei der Maßnahmenevaluation
6 EVALUATION VON MASSNAHMEN ZUR STEIGERUNG VON KLIMARESILIENZ VORGEHEN BEI EINER EVALUATION: SCHRITT FÜR SCHRITT 7
SCHRITT 1: me geflossen sind, zusätzlich legitimieren. dem möglichen Aufwand abschrecken: Wenn die
DEN RAHMEN DER Zentral für Evaluationen sind häufig die Lern- Methoden passen, lassen sich oft schon mit ge-
und Erkenntnisfunktion. Gerade im noch relativ ringen Ressourcen wertvolle Einblicke gewinnen.
EVALUATION FESTLEGEN
jungen Feld der Klimaanpassung ist es wichtig Hier gilt: Selbst eine kleine Evaluation ist besser
Vor Beginn einer Evaluation ist es wichtig, dass zu lernen, welche Maßnahmen gut und welche als gar keine.
Sie zusammen mit den beteiligten Akteur*innen vielleicht nicht so gut funktionieren und diese
den Rahmen für die Evaluation festlegen. Welche Erkenntnisse und Erfahrungen dann mit anderen
Funktion soll die Evaluation erfüllen? Wird die Personen zu teilen. SCHRITT 2:
Evaluation intern durchgeführt oder an ein exter- Idealerweise schreibt man einer Evaluation nur EIN WIRKMODELL
nes Evaluationsteam vergeben? Welche Ressour- eine Funktion zu; in der Praxis soll sie jedoch
AUFSTELLEN
cen (Zeit und Personal) stehen zur Verfügung und häufig mehrere Funktionen erfüllen.
bis wann sollen Ergebnisse vorliegen? All dies Eine der Kernfragen bei der Evaluation einer
sollten Sie abstimmen. Interne oder externe Evaluation? Maßnahme ist meistens, welche Wirkung mit die-
Bevor Sie mit der Evaluation starten, sollten Sie ser Maßnahme erzielt werden konnte. Manchmal
Eine Evaluation kann verschiedene natürlich auch entscheiden, ob die Evaluation sind Wirkzusammenhänge relativ klar, in vielen
Funktionen erfüllen. intern, also von den Personen, die auch für die Fällen jedoch kann eine einzelne Maßnahme
(angelehnt an Stockmann, 2002) Umsetzung der Maßnahme verantwortlich waren, mehrere Ergebnisse und Wirkungen haben. Ein
durchgeführt wird oder ob Sie ein externes Eva- Wirkmodell kann helfen, diese Zusammenhänge
• Kontrollfunktion: Eine Evaluation dient oft der luationsteam – z. B. ein Beratungsbüro oder eine aufzuzeigen und zu systematisieren. Im Idealfall
Kontrolle, ob (Zwischen-)Ziele und Meilenstei- andere Abteilung in Ihrer Organisation – damit wurde ein solches Wirkmodell bereits bei der
nen bei der Umsetzung erreicht wurden. betrauen wollen. Beide Varianten bieten Vor- und Konzeption der Maßnahme erstellt. Vereinfacht
• Erkenntnisfunktion: Evaluationen können Nachteile, und auch eine Kombination beider besteht ein Wirkmodell aus vier Stufen:
dazu beitragen, Erkenntnisse über den Formen ist möglich. Wenn Sie ein externes Eva-
Evaluationsgegenstand – in diesem Fall luationsteam beauftragen, besteht die Gefahr, • Input und Umsetzung: Welche Ressourcen –
die Anpassungsmaßnahme – zu gewinnen. dass die externen Partner nicht genügend in das Zeit, Geld, Material, Personal – werden für die
Funktioniert die Umsetzung reibungslos? Wird Projekt eingebunden sind und dadurch Fehlurtei- Umsetzung der Maßnahme gebraucht? Wie
die Zielgruppe mit der Maßnahme erreicht? le fällen. Eine interne Evaluation hingegen birgt verläuft der Prozess der Umsetzung?
Haben sich Rahmenbedingungen verändert, das Risiko, dass Dinge weniger neutral, sondern • Ergebnisse: Was sind konkrete Ergebnisse
die es erschweren, die Maßnahme umzuset- eher subjektiv bewertet und analysiert werden. oder Produkte, die aus dieser Maßnahme
zen? Auf Basis dieser Erkenntnisse können Insgesamt sollte die Evaluation also möglichst gut heraus entstehen?
Sie Anpassungsmöglichkeiten überdenken in das Projekt eingebunden sein und gleichzeitig • Kurz- und mittelfristige Wirkungen: Welche
Abbildung 2: Wirkmodell
und informierte und kompetente Entscheidun- möglichst frei und unabhängig erfolgen. kurz und mittelfristigen Wirkungen, etwa Ver-
gen treffen. haltensänderungen, konnten bei der Zielgrup-
• Lernfunktion: Eine Evaluation hilft Ihnen, Welche Ressourcen stehen zur pe erreicht werden? Abbildung 2 zeigt, dass eine Maßnahme ver-
Erfolgsfaktoren und Herausforderungen zu Verfügung? • Langfristige Wirkungen: Welche langfristi- schiedene Ergebnisse und verschiedene Wirkun-
erkennen. Sie kann Transparenz schaffen Evaluationen können kurz oder langfristig und gen Wirkungen konnten auf Systemebene gen entfalten kann. Denken Sie aber auch daran,
für einen gemeinsamen Lernprozess aller günstig oder aufwändig aufgebaut sein. Des- – im Stadtviertel oder in der Stadt – erreicht dass eine Maßnahme zu nicht vorhergesehenen
Akteur*innen, die an der Umsetzung der Maß- halb sollten Sie schon vor der Konzeption einer werden? und nicht beabsichtigten, womöglich auch ne-
nahme beteiligt sind. Evaluation klären, welche Ressourcen Ihnen zur gativen Wirkungen führen kann. Wenn möglich,
• Legitimationsfunktion: Das Aufzeigen von Verfügung stehen. Wägen Sie mit Bedacht ab, Eine Vorlage für ein einfaches Wirkmodell, gestalten Sie die Evaluation so, dass auch die
Erfolgen, aber auch der kompetente Umgang wie umfassend und differenziert die Ergebnisse die Sie für Ihre eigene Maßnahme anpassen nicht beabsichtigten Wirkungen erfasst werden
mit Verbesserungspotenzialen kann die Ver- sein sollen, damit die Evaluation ihre Funktion können, finden Sie auf der MONARES-Web- können, z. B. durch offene Fragen in Interviews
wendung von Ressourcen, die in die Maßnah- erfüllen kann. Lassen Sie sich aber nicht von seite https://monares.de mit Akteur*innen.
8 EVALUATION VON MASSNAHMEN ZUR STEIGERUNG VON KLIMARESILIENZ VORGEHEN BEI EINER EVALUATION: SCHRITT FÜR SCHRITT 9SCHRITT 3: Teilfragen gliedern (siehe Abbildung 3). SCHRITT 4: Projektkontext? Wer sollte z. B. befragt oder be-
EVALUATIONSFRAGEN EIN DATENERHEBUNGS obachtet werden? Was sollte gemessen werden?
So kann die Frage „Wurden Ressourcen effizient Hierfür bietet es sich an, ein Analyseraster zu
ABLEITEN KONZEPT ERSTELLEN
eingesetzt?“ nochmal unterteilt werden in „Wurde erstellen, in dem Sie für jede Teilfrage festhalten,
Ausgehend vom Wirkmodell können Sie im das Personal entsprechend seiner Fähigkeiten Nun haben Sie bereits Ihre Haupt- und Teil- welche Daten Sie brauchen, welche Quellen es
nächsten Schritt zentrale Evaluationsfragen ablei- zielgenau für die Umsetzung der Maßnahme fragen formuliert. Im nächsten Schritt geht es gibt und wie Sie diese Daten erheben. Eine be-
ten. Hier bietet es sich an, für jede Wirkungsstufe eingesetzt?“ und „Wurden die zur Verfügung darum, sich Gedanken darüber zu machen, wie arbeitbare Vorlage für ein Analyseraster steht auf
mindestens eine zentrale Frage zu formulieren. stehenden finanziellen Ressourcen effizient ein- Sie diese Fragen beantworten können. Welche der MONARES-Webseite bereit. Eine Übersicht
Je nachdem, worauf Sie den Schwerpunkt der gesetzt?“. Art von Informationen und Daten brauchen Sie? über Datenerhebungsmethoden finden Sie in
Evaluation legen wollen, können Sie die entspre- Aus welchen Quellen lassen sich diese gewin- Kapitel 3.
chenden Fragen mehr oder weniger detailliert Insbesondere bei knappen Ressourcen empfeh- nen? Welche Erhebungsmethoden passen zum
ausgestalten. Soll es in der Evaluation zum Bei- len wir, dass Sie sich bei der Formulierung der
spiel vor allem um die Legitimation von Ressour- Hauptfragen auf die essenziellen Fragestellun-
cen gehen, ist es sicherlich sinnvoll, dieser ersten gen beschränken. Es sollten nicht zu viele Haupt-
Stufe im Wirkmodell mehr Beachtung zu schen- fragen formuliert werden, da die Evaluation sonst Hauptfrage Teilfrage Daten Quelle Datenerhebungsmethode
ken. Gerade bei komplexen Maßnahmen bietet schnell sehr umfangreich wird.
es sich an, dass Sie die Hauptfragen nochmals in
Abbildung 3: Analyseraster bzw. Datenerhebungskonzept
Ziehen Sie möglichst mehrere Quellen und Methoden (siehe Kapitel 2) zur Beantwortung einer
Frage heran (Triangulation). So können Schwächen einzelner Methoden oder Datenquellen ausge-
glichen werden und die Ergebnisse sind insgesamt aussagekräftiger.
Abbildung 3: Haupt- und Teilfragen
10 EVALUATION VON MASSNAHMEN ZUR STEIGERUNG VON KLIMARESILIENZ VORGEHEN BEI EINER EVALUATION: SCHRITT FÜR SCHRITT 11SCHRITT 5: aus einer repräsentativen Umfrage oder auch die Akteure, die an der Umsetzung der Maßnah-
DATEN qualitative Daten, z. B. in Form von Interview- me beteiligt sind, frühzeitig über Zwischenergeb-
Transkripten. nisse informieren. Gerade wenn die Evaluation
ERHEBEN
Quantitative Daten wie Befragungsergebnisse noch während der Umsetzung der Maßnahme
Die Datenerhebung ist oft ein großer und zeit- können Sie beispielsweise mit Microsoft Excel durchgeführt wird und die Möglichkeit zur Nach-
intensiver Bestandteil einer Evaluation. Dem- aufbereiten, Alternativen sind R oder SPSS. Bei steuerung besteht, sollten Erkenntnisse aus der
entsprechend sollten Sie sie gut planen und qualitativen Interviews helfen Softwares wie Evaluation zeitnah in den Prozess eingespeist
ausreichend Ressourcen dafür bereitstellen. Ein MAXQDA oder die kostenlose Alternative FreeQ- werden. Falls möglich, können Sie auch beteilig-
vorab erstellter Zeitplan hilft, im Blick zu behalten, DA, die Informationen aus den Interviews zu te Stakeholdergruppen bei der Auswertung und
welche Daten bis zu welchem Zeitpunkt erhoben sortieren und zu klassifizieren. Deutung der Evaluationsergebnisse einbeziehen.
werden müssen. Das erhöht zwar den Aufwand für die Evaluation,
Um die Evaluationsfragen zu beantworten gehen die jetzt im Grunde als Governance-Prozess
Ein wichtiger Punkt, den Sie immer bedenken Sie am besten „rückwärts“ vor. Nehmen Sie dazu organisiert werden muss, verbreitert jedoch auch
sollten, wenn Daten erhoben werden, ist der das Analyseraster zu Hilfe und tragen Sie zu- die Grundlage, auf der Urteile gefällt werden und
Datenschutz. In Deutschland gilt die Datenschutz- nächst alle Daten zusammen, die Sie zur Beant- stärkt die Offenheit der Zielgruppen.
grundverordnung. Danach müssen Sie z. B. wortung einer Teilfrage benötigen. Die Ergebnis-
immer vor der Durchführung einer Befragung die se zu den einzelnen Teilfragen ergeben dann die Wenn Sie Ihre Ergebnisse kommunizieren wollen,
Einwilligung der befragten Personen einholen. Antwort auf die jeweilige Hauptfrage. sollten Sie sie zuvor zielgruppengerecht auf-
Die Anforderungen sind mittlerweile sehr diffe- bereiten. Ihre Zielgruppen sollten nachvollziehen
renziert. Lassen Sie sich deshalb, wenn möglich, können, wie die Ergebnisse zustande kamen.
fachkundig beraten. Wichtig ist auch, zwischen Ergebnissen der Eva-
SCHRITT 7: luation und den Schlussfolgerungen daraus zu
Meist wird für eine Evaluation ein Methodenmix SCHLUSSFOLGERUNGEN unterscheiden.
angewandt, es kommen also unterschiedliche
ABLEITEN
Methoden zum Einsatz. Es empfiehlt sich, diese
Methoden vor dem Start der Datenerhebung zu Sie haben jetzt Ihre Evaluationsfragen beantwor-
testen, damit Probleme frühzeitig ausgeräumt tet. Doch was bedeuten die Ergebnisse? Wie sind
werden können. Bevor Sie also einen Fragebo- sie einzuordnen? Welche Schlussfolgerungen
gen anwenden, testen Sie ihn am besten mit eini- ergeben sich daraus für die Maßnahme? Sind Sie
gen Personen. So können Sie schnell feststellen, auf dem richtigen Weg? Muss gegebenenfalls
ob Ihre Fragen in die richtige Richtung gehen, nachgesteuert werden? All dies sind wichtige Fra-
missverstanden werden oder wie lange die Test- gen, die Sie in diesem Schritt diskutieren sollten.
personen für die Beantwortung brauchen.
SCHRITT 8:
SCHRITT 6: DATEN (ZWISCHEN)ERGEBNISSE
AUSWERTEN UND KOMMUNIZIEREN
ZUSAMMENFASSEN
Auch wenn dieser Schritt hier am Ende steht, ist
Jetzt haben Sie die Datenerhebung abgeschlos- Kommunikation bereits während der Durchfüh-
sen und eine Menge Daten in unterschiedlichen rung der Evaluation wichtig. Je nachdem, welche
Formaten vorliegen – etwa quantitative Daten Art von Evaluation Sie durchführen, sollten Sie
12 EVALUATION VON MASSNAHMEN ZUR STEIGERUNG VON KLIMARESILIENZ VORGEHEN BEI EINER EVALUATION: SCHRITT FÜR SCHRITT 132. METHODEN ZUR DATENERHEBUNG
In diesem Kapitel stellen wir Ihnen gängige Datenerhebungsmethoden vor, die nach bis-
herigen Erfahrungen bei einer Maßnahmenevaluation von Nutzen sein können. Beson-
ders wenn Sie noch wenig Erfahrung mit Evaluationen haben, empfehlen wir Ihnen, sich
mit der Grundlagen-Literatur der empirischen Sozialforschung vertraut zu machen. Nütz-
liche Links und Quellen finden Sie in Kapitel 4.
Bei einer Evaluation empfiehlt sich eine standar-
Doch auch für erfahrene Forscher*innen disierte Befragung deshalb immer dann, wenn
lohnt es sich, sich bei der Datenerhebung eine größere Zielgruppe befragt werden soll. So
beraten zu lassen. Empfehlenswert ist hier können beispielsweise Fragen auf mittel- oder
die Methodenberatung der GESIS langfristiger Wirkungsebene beantwortet wer-
https://www.gesis.org/angebot/ den: Wurde die Zielgruppe mit der Maßnahme
erreicht? Hat die Zielgruppe ihr Verhalten geän-
dert? Kommt eine Veränderung bei den Bür-
Folgende Methoden zur Datenerhebung möch- ger*innen im Stadtteil an?
ten wir Ihnen hier vorstellen:
Befragungen können sowohl mündlich als auch
• Befragung (quantitativ) schriftlich durchgeführt werden (Kelle et al., 2017).
• Interviews (qualitativ) Vorteile einer schriftlichen Befragung sind, dass
• Fokusgruppe keine Interviewkosten entstehen und Interview-
• Experiment fehler vermieden werden können. Außerdem
• Beobachtung steigt bei schriftlichen Befragungen die Wahr-
• Monitoring (insbesondere Webseiten) scheinlichkeit, dass die Interviewten wahrheits-
• Dokumenten- und Inhaltsanalysen gemäß antworten, da die Befragung anonym
stattfindet und so weniger Druck zu sozial er-
wünschten Antworten besteht. Dem gegenüber
BEFRAGUNG stehen eine oft hohe Ausfallquote, wenig sponta-
ne Antworten sowie fehlende Möglichkeiten für
Eine gängige Methode zur Erhebung standardi- die Befragten, unverständliche Fragen zu klären,
sierter Daten ist die Befragung. Ziel ist oft die was sich wiederum in den Ergebnissen nieder-
Gewinnung von Informationen zu Meinungen, schlägt.
Verhalten oder Werthaltungen bestimmter Ziel-
gruppen, z. B. der Zielgruppe Ihrer Maßnahme Es lassen sich mehre Typen von Befragungen
(vgl. DeLeeuw, Hox & Dillman, 2008). Die quanti- unterscheiden (Bryman, 2008):
tative Befragung ist besonders gut geeignet, um
Befragungsdaten von einer Vielzahl von Perso- • Beaufsichtigt
nen zu erheben. • Postalisch
• Online (per Mail oder Web)
14 EVALUATION VON MASSNAHMEN ZUR STEIGERUNG VON KLIMARESILIENZ VORGEHEN BEI EINER EVALUATION:
METHODEN ZUR
SCHRITT
DATENERHEBUNG
FÜR SCHRITT 15Die beaufsichtigte Variante bietet sich bei- stellen Sie ein verkleinertes Bild der Grundge- wenn ein gewisses Vertrauen aufgebaut wurde. • Ist bei den offenen Fragen genügend Platz für
spielsweise dann an, wenn Sie im Rahmen eines samtheit her. Die Schneeballmethode können Einige wichtige Faustregeln bei der Fragenfor- die Antwort vorgesehen?
Projektes eine Veranstaltung, etwa einen Work- Sie anwenden, wenn Sie spezielle Gruppen mulierung sind (in Anlehnung an Schnell et. al., • Fühlen die Befragten sich bei einzelnen Fra-
shop, durchführen, an der die Zielgruppe der befragen wollen, die Sie nur schwer erreichen. (1999: 306f)): gen in eine bestimmte Richtung gedrängt?
Befragung teilnimmt. In diesem Fall können Sie Hierbei verteilen Sie den Fragebogen an einige • Ist bei (unvermeidlichen) Verzweigungen klar,
Synergien nutzen und den Fragebogen direkt Personen, die ihn dann innerhalb der Zielgruppe • Formulieren Sie einfache Fragen ohne Fremd- wo es weitergeht?
verteilen. Den Teilnehmenden muss dann ausrei- weiter verteilen, um so schwer erreichbare Per- wörter. • Wie lange hat die Bearbeitung gedauert?
chend Zeit eingeräumt werden, um den Frage- sonen befragen zu können (weiterführende Infos • Halten Sie die Fragen kurz.
bogen ungestört zu beantworten. So können zur Stichprobe in: Diekmann, 2005). • Stellen Sie konkrete Fragen. Die Anregungen aus diesem Testdurchlauf soll-
Sie eine hohe Antwortquote erreichen. Bei einer • Ihre Fragen sollten keine bestimmte Antwort ten auf jeden Fall in den Fragebogen eingearbei-
postalischen Befragung können Sie die Ausfall- Ein häufig auftretendes Problem bei der Befra- provozieren; vermeiden Sie Suggestivfragen. tet werden – planen Sie dafür Zeit ein (RaabStei-
quote reduzieren, indem Sie einen bereits fran- gung von Bürger*innen, das sich auch bei der • Formulieren Sie Ihre Fragen neutral. ner, 2012).
kierten Antwortumschlag beifügen; so bleiben Maßnahmenevaluation immer wieder stellt, ist, • Verwenden Sie keine hypothetischen Fragen Wenn Sie die Befragung erfolgreich versendet
der Aufwand und die Kosten für die Befragten dass bestimmte Gruppen kaum erreicht werden. (Wenn…, dann…). haben und die Antworten eingegangen sind,
überschaubar. Handschriftliche Antworten kön- Als Gründe für das Nicht-Erreichen werden in der • Jede Frage sollte sich nur auf einen Sachver- geht es an die Auswertung. Hierfür müssen die
nen, wenn kein automatisiertes Einlesen mög- Literatur genannt (Neurauter, 2018): halt beziehen. Antworten in Zahlen übersetzt werden. Die Aus-
lich ist, bei der Erfassung und Auswertung einen • Vermeiden Sie doppelte Negationen. wertung geschlossener Fragen ist einfacher;
hohen Aufwand verursachen. Demgegenüber ist • 25 % „stichprobenneutrale“ Ausfälle: unzu- • Ihre Fragen sollten die Befragten nicht über- viele UmfrageTools bieten bereits eine Basis-
eine OnlineBefragung weniger aufwändig; sie ist stellbar, verzogen, verstorben fordern. auswertung der Ergebnisse an, z. B. Limesurvey.
jedoch auch störanfälliger. • Personen mit Sprachbarrieren • Ihre Fragen sollten formal „balanciert“ sein, es Offene Fragen müssen Sie in Kategorien zusam-
• Jüngere (unter 30 Jahre) sollten positive wie negative Antworten mög- menfassen; falls Sie bereits Kategoriensysteme
Vorgehen bei der Auswahl der Stichprobe • Ältere (ab ca. 80 Jahre) lich sein. entwickelt haben, vereinfacht das diesen Schritt.
Wie groß soll Ihre Stichprobe sein und wie • Dauerhaft gesundheitlich eingeschränkte Hierfür erstellen Sie einen Codierungsbogen,
wollen Sie sie auswählen? Am einfachsten ist es, Personen Wir empfehlen, vor einer Befragung eine Pilot- z. B. mithilfe spezieller Software wie MaxQDA.
wenn Sie nur die Personen befragen, für die die • Stadträumliche Unterschiede in der Aus- erhebung, also eine Art Probedurchgang an Einige statistische Auswertungen können auch
Ergebnisse der Erhebung gelten sollen. Eine so schöpfung einigen Personen der Zielgruppe durchzuführen. in Excel erstellt werden. Für komplexere Ana-
genannte Vollbefragung ist allerdings in vielen Um ein umfassendes Feedback zu erhalten, lysen benötigen Sie Statistiksoftware wie SPSS
Fällen nicht möglich. Alternativen dazu sind: Was ist bei der Erstellung eines sollten Sie dafür möglichst unterschiedliche Per- oder die Open-Source-Lösung RStudio. Häufig
Fragebogens zu beachten? sonen auswählen. Informieren Sie die Befragten werden „Rating-Skalen“ verwendet, bei denen zu
• Die Zufallsstichprobe Im Folgenden stellen wir zuerst grundsätzliche darüber, dass es sich um einen Probedurchgang berücksichtigen ist, dass die Abstände zwischen
• Die Quotenauswahl Überlegungen zur Fragebogenstruktur an und handelt und dass sie ihren Eindruck vom Frage- den Punkten immer als gleich groß wahrgenom-
• Die Schneeballstichprobe geben anschließend einige Tipps zur Formu- bogen im Nachgang beschreiben sollten. Bei men werden. Diese “Intervallskalierung” ist eine
lierung der Fragen. Ein klares Layout und eine dem Feedback sind folgende Aspekte wichtig Voraussetzung, um Aussagen zum Mittelwert zu
Bei der einfachen Stichprobe können anhand der gute Strukturierung helfen den Befragten, sich (AschemannPilshofer, 2001): treffen, höhere Signifikanz-Tests oder andere
Auswahl Aussagen über die Population getroffen angesprochen zu fühlen und sich auf die Be- höhere statistische Analysen durchzuführen.
werden. Dies ermöglicht auch das Abschätzen antwortung der Fragen zu konzentrieren. Bei der • Sind alle Fragen verständlich?
von Fehlerintervallen. Eine zufällige Ziehung ei- Anordnung der Fragen sollten Sie mit solchen • Sind alle Antworten in den vorgesehenen
ner Stichprobe ist dann möglich, wenn eine Liste Fragen starten, die das Interesse der befragten Antwortkategorien eindeutig unterzubringen?
der Grundgesamtheit existiert, z. B. das Gewer- Person wecken. Fragen, die eine hohe Konzen- Fehlt eine Antwortmöglichkeit oder ist die Zu- Instrument: Fragebogen
beregister. Die Quotenauswahl ist im Vergleich tration verlangen, sollten im mittleren Drittel ste- ordnung unklar? Typen der Befragung: beaufsichtigt, posta-
dazu eine bewusst ausgewählte Stichprobe. hen, da hier die Aufmerksamkeit am höchsten ist. • Wird das Layout als übersichtlich empfunden? lisch, online (per E-Mail oder als Web-Ver-
Hierbei müssen die Befragten gewisse Merkmale Fragen, die eher persönlicher Natur sind, sollten • Wirkt der Fragebogen insgesamt zu lang oder sion)
wie Geschlecht, Alter oder Beruf aufweisen. So gegen Ende des Fragebogens gestellt werden, in bestimmten Bereichen ermüdend?
16 EVALUATION VON MASSNAHMEN ZUR STEIGERUNG VON KLIMARESILIENZ VORGEHEN BEI EINER EVALUATION:
METHODEN ZUR
SCHRITT
DATENERHEBUNG
FÜR SCHRITT 17PRAXISBEISPIEL TIPPS FÜR ONLINEBEFRAGUNGEN MIT VERBREITUNGÜBER SOCIAL MEDIA
• Gestalten Sie den ersten (Facebook-)Post • Da nicht alle Bevölkerungsgruppen bei
RAHMEN FÜR DIE ONLINE mit dem Aufruf zur Umfrage handlungsmo- einer Umfrage erreicht werden können,
BEFRAGUNG tivierend, z. B. durch eine Kombination aus die über SocialMediaKanäle gestreut wird,
Bild/Video, Text und Link. Für den Face- ist es besonders wichtig, dass Sie die
Der Fragebogen wurde mit dem Online-Be- bookPost zur GoingVis-Online-Befragung Stichprobendaten und die Verteilung der
fragungstool Limesurvey erstellt und über die konnte eine Videoansprache des Bürger- Befragten mit den statistischen Bevölke-
Boizenburger Facebook-Gruppe verbreitet. meisters von Boizenburg genutzt werden – rungsdaten der untersuchten Kommune
Es wurde angenommen, dass aufgrund der sicherlich ein Grund für das große Interesse abgleichen und die ggf. nicht repräsentati-
hohen Anzahl an Mitgliedern in der Facebook- an der Umfrage und für die hohe Rücklauf- ven Ergebnisse dementsprechend ein-
Gruppe (5.000 Mitglieder bei einer Einwoh- quote. ordnen. Denkbar sind auch nachträgliche
FACEBOOKBEFRAGUNG VON nerzahl von ca. 10.000) ein möglichst direkter • Um die Abbruchquote so gering wie möglich Gewichtungen, diese sollten Sie jedoch
BÜRGER*INNEN IM PROJEKT Kontakt zu einer Vielzahl von Boizenburger*in- zu halten, sollten Sie die Umfrage niedrig- mit Bedacht wählen.
nen hergestellt werden kann. schwellig halten: Mit Blick auf das hohe • Je nach Verlauf der Online-Befragung
GoingVis
Tempo in den sozialen Medien sollte sie empfiehlt es sich, nach Abschluss eine
rasch ausfüllbar und die Fragen einfach zu schnelle Rückmeldung zu ersten Ergebnis-
beantworten sein – auch wenn Sie dafür Ab- sen der Befragung zu verbreiten. Hierfür
striche bei der Komplexität und der Anzahl sollten Sie dieselben Kanäle nutzen, auf
der Fragen machen müssen. denen Sie auch die Befragung durchge-
HINTERGRUND • Regelmäßige Erinnerungen erhöhen die führt haben. Wählen Sie Ergebnisse aus,
Anzahl der Antworten. Im Fall GoingVis war die sich gut kommunizieren lassen und die
Das Projekt „GoingVis – Mit kühlem Kopf in heiße Zeiten“ zielt darauf ab, in deutschen Kleinstädten ge- nach jeder der drei Erinnerungen ein deut- handlungsmotivierend sind (Beispiel: „Wir
meinsam mit und durch Bürger*innen Zukunftsbilder und Ideen für Anpassungsstrategien an die zuneh- licher Anstieg der Antworten zu erkennen. sehen, es gibt ein Problem; viele von euch
mende Hitze zu entwickeln und auszuprobieren. Am Ende des ersten Projektjahres wurde mittels einer Einige Tage vor Schließung der OnlineBefra- wollen etwas verändern; unser Projekt
Online-Befragung ein Stimmungsbild zum Thema „Klimawandel“ in der Kleinstadt Boizenburg erhoben. gung ist eine abschließende Erinnerung mit hilft euch dabei“). Unterstreichen Sie die
Die Befragung diente zugleich als Ausgangspunkt für zukünftige Vergleichsmessungen in der Stadt Hinweis auf das Befragungsende ratsam. Ergebnisse mit Kernaussagen und plakati-
(„Nullmessung“). Mehr Infos zum Projekt: www.goingvis.de ven, nicht zu komplizierten Grafiken.
18 EVALUATION VON MASSNAHMEN ZUR STEIGERUNG VON KLIMARESILIENZ VORGEHEN BEI EINER EVALUATION:
METHODEN ZUR
SCHRITT
DATENERHEBUNG
FÜR SCHRITT 19PRAXISBEISPIEL
RAHMEN FÜR DIE POSTER-
BEFRAGUNG
Die Posterbefragungen wurden während meh- • Gestalten Sie das Plakat so, dass alle Be-
DIE POSTERBEFRAGUNG rerer Veranstaltungen der Kampagne „Natur- fragten stets freie Antwortmöglichkeit ha-
nah Gärtnern“ in Rheinstetten durchgeführt. ben; die Felder für die Antworten müssen
Die Startveranstaltung sollte in entspannter At- beispielsweise groß genug sein. So verhin-
mosphäre das Thema einem breiten Publikum dern Sie sogenannten Messartefakte.
vorstellen und erste Kontakte zu Bürger*innen • Die Posterbefragung eignet sich für klei-
herstellen, um sie als aktive Gärtner*innen für nere und mittelgroße Gruppen. Wenn Sie
HINTERGRUND das Vorhaben zu gewinnen. Die Befragung sehr viele Teilnehmende erwarten, sollten
zielte darauf ab, Rückmeldungen der Besu- Sie eine andere Methode wählen.
Das Projekt „Inter und transdisziplinäre Ent- cher*innen zu erheben, ohne die wissenschaft-
wicklung von Strategien zur Erhöhung der liche Begleitforschung in den Vordergrund zu Gestalten Sie das Setting für die Befragung
Resilienz von Bäumen in wachsenden Städ- stellen. Die Befragung wurde auf Postern an aktiv. Achten Sie dabei auf folgende Aspekte:
ten und urbanen Regionen (GrüneLunge)“ Stellwänden präsentiert. Die Besucher*innen
untersuchte den Zustand und die Entwick- konnten ihre Antworten mittels Klebepunkten • Hängen oder stellen Sie die Poster an gut
lung von Bäumen in Städten und Gemein- in die Antwortfelder setzen. Neben den Ant- zugänglichen und gut sichtbaren Stellen
den. Gleichzeitig wurde danach gefragt, wortmöglichkeiten Ja/Nein oder Zustimmung/ auf, die zum Verweilen einladen oder als
welche Bedeutung die Begrünung für Stadt- Ablehnung erlaubten Formen wie Dreiecke Warteräume dienen, z. B. in der Nähe von
klima, Lebensqualität und Gesundheit hat. auch mehrdimensionale Abfragen (vgl. Ab- Essensständen.
Um die Bevölkerung darüber zu informieren, bildung 5 aus Goldschmidt et al., 2019). Ähn- • Die Poster sollten durch Mitarbeiter*innen
für das Thema zu sensibilisieren und zum lich wie eine quantitative Befragung kann die betreut werden, die die Besucher*innen
Mitmachen zu motivieren, wurden Dialogver- PosterBefragung relativ zügig die Rückmeldun- aktiv zum Ausfüllen auffordern, bei Un-
anstaltungen und Kommunikationsaktivitäten gen der Befragten festhalten. Zudem können klarheiten weiterhelfen und darauf achten,
durchgeführt. Eine Kampagne fokussierte Sie sie flexibel an die Situation anpassen, und dass jede/r nur einmal teilnimmt. Das er-
Abbildung 5: Ausgefüllte Posterbefragung (Foto: Projekt Grüne
auf das Thema „Naturnah Gärtnern – Für das Kleben der Punkte macht vielen Befragten Lunge) höht die Qualität der Antworten.
Mensch, Tier & Klima“. Spaß. Zur Auswertung können Sie einfache • Bei geschlossenen Veranstaltungen
Mehr Infos zum Projekt: statistische Verfahren wie Häufigkeitsauszäh- können die Posterbefragung auch in der
www.projekt-gruenelunge.de lungen nutzen. • Gestalten Sie das Poster farbig, damit es Gruppe ausgefüllt werden, z. B. in der Ab-
auffällt. schluss und Feedbackphase.
• Fokussieren Sie sich nur auf die wirklich • Verschiedenfarbige Klebepunkte können
wichtigen Fragen. genutzt werden, um bestimmte Kontras- (Goldschmidt R., Fricke, A. und Trenks, H.)
• Ihre Fragen sollten einfach und kurz sowie tierungen vorzunehmen, z. B. Frauen versus
konkret und präzise formuliert sein. Männer, zwei Befragungszeitpunkte usw.
20 EVALUATION VON MASSNAHMEN ZUR STEIGERUNG VON KLIMARESILIENZ VORGEHEN BEI EINER EVALUATION:
METHODEN ZUR
SCHRITT
DATENERHEBUNG
FÜR SCHRITT 21TIPPS FÜR ONLINE-BEFRAGUN- PRAXISBEISPIEL
GEN MIT VERBREITUNG ÜBER
EINE PROJEKTHOMEPAGE: INTERVIEW Leitfadeninterviews
• GoogleForms bietet verschiedene Im Vergleich zu Befragungen sind qualitative Nicht nur Experteninterviews, auch andere Inter-
Vorteile: Es ist kostenfrei, die Frage- Interviews häufig weniger standardisiert. views können mithilfe eines Leitfadens durch-
bögen sind einfach zu erstellen und in Wichtig ist, dass Interviews hier als Kommunika- geführt werden. Der Leitfaden dient als eine Art
die Homepage einzubinden, die Daten tionsprozess verstanden werden. Zwar besteht Gedächtnisstütze und verhindert gleichzeitig,
können direkt als CSV-Datei ausgelesen eine feste Rollenverteilung zwischen dem/der dass Sie Fragen unbewusst umformulieren. Das
werden. Fragenden und dem/der Antwortenden, doch ist ist wichtig, da sich mit einer veränderten Frage-
• Doch GoogleForms hält auch einige es möglich und wünschenswert, die Fragen an stellung auch die Antworten ändern. Dennoch
Nachteile bereit: Die Umfragen können den Gesprächsverlauf anzupassen. können Sie die Reihenfolge der Fragen im Ge-
nicht gestaltet werden, und zudem wer- ONLINE-BEFRAGUNG VON spräch durchaus verändern.
den die Daten von Google gespeichert. BÜRGER*INNEN IM PROJEKT Es gibt eine Vielzahl von unterschiedlichen
• Sobald Sie Ihre Umfrage freigeschaltet Interviewformen. Im Folgenden gehen wir auf Bei der Entwicklung des Leitfadens ist es wichtig,
„PRODUKTIV. NACHHALTIG.
haben, sollten Sie sie in allen verfüg- Experten- und Leitfadeninterviews ein, da diese dass Sie bei jeder Frage Folgendes bedenken:
baren Medien bewerben, etwa in einem
LEBENDIG. GRÜNE FINGER FÜR häufig für eine Evaluation genutzt werden.
Newsletter, auf Veranstaltungen oder in EINE KLIMARESILIENTE STADT“ • Warum wird die Frage gestellt?
einem Zeitungsartikel. Experteninterviews • Wonach wird gefragt? Was wird erfragt?
• Um die Abbruchquote so gering wie Letztlich können Sie jede Person, die über ein • Warum ist die Frage so und nicht anders
möglich zu halten, sollte die Umfrage besonderes, spezifisches Wissen bezüglich Ihrer formuliert?
kurz und relativ niedrigschwellig sein. RAHMEN FÜR DIE ONLINE Fragestellung verfügt, als Expert*in ansehen und • Warum steht die Frage/der Frageblock an
• Die Komplexität kann jedoch etwas BEFRAGUNG interviewen. Bei der Auswahl des/der Interview- dieser Stelle?
höher sein als bei einer Social-Media- partner*in sollten Sie sich im Vorfeld fragen,
Befragung. Der Fragebogen wurde mit GoogleForms welches Wissen Sie genau benötigen. Haben Sie Es gibt einige Anforderungen, die Sie bei der
• Regelmäßige Erinnerungen auf Veran- erstellt und auf der Homepage des Projek- dann potenzielle Interviewpartner*innen gefun- Formulierung von Fragen beachten sollten:
staltungen und in den Medien erhöhen tes eingebunden. Auf jeder der Veranstal- den, von denen Sie sich einen Erkenntnisgewinn
die Anzahl der Antworten. tungen wird auf den Fragebogen und die erhoffen, können Sie schriftlich oder telefonisch Arbeiten Sie vom Allgemeinen zum Besonderen
• Je nach Verlauf der Befragung sollte Sie Homepage hingewiesen. Außerdem wird in Kontakt zu ihnen aufnehmen. Erläutern Sie bei (nur in Ausnahmefällen auch anders herum).
die Ergebnisse auf der Homepage veröf- einem Newsletter über die Umfrage infor- diesem Gespräch Ihr Anliegen und – falls Ihr/e • Stellen Sie keine zweideutigen oder missver-
fentlichen, um die Bevölkerung weiter zu miert; die Bürger*innen sollen so motiviert Gesprächspartner*in einem Interview zustimmt – ständlichen Fragen.
informieren und zu motivieren. werden, an dieser teilzunehmen. vereinbaren Sie einen Termin. • Eine Frage sollte sich immer nur auf einen
Sachverhalt beziehen.
Für das Interview selbst sollten Sie nun entschei- • Verzichten Sie im Interview auf empathische
den, ob Sie es alleine oder mit einem/einer ande- Kommentare; Bejahungen können allerdings
ren Interviewer*in durchführen wollen. Zu zweit dazu beitragen, das Gespräch aufrecht zu
HINTERGRUND können Sie mehr Informationen aufnehmen; erhalten.
jedoch hat die zweite Person auch einen star- • Machen Sie keine Andeutungen darüber,
In dem Projekt „Grüne Finger“ werden Konzepte erarbeitet, die dazu beitragen, Osnabrück besser auf ken Einfluss auf das Gespräch. In jedem Fall hat welche Antworten Sie erwarten.
künftige Klimaveränderungen vorzubereiten und die Stadt durch die Grünen Finger klimaresilienter zu es sich bewährt, das Gespräch aufzuzeichnen. • Stellen Sie keine Fragen, die Scham oder
gestalten. Um dieses Ziel zu erreichen wird mit informativen, partizipativen und kreativen Methoden Kündigen Sie vor Beginn des Interviews an, dass Schuldgefühle auslösen könnten.
gearbeitet. Die Befragung sollte erfassen, wie sich Bewusstsein und Wissen über die Grünen Finger Sie das Gespräch gerne aufzeichnen möchten, • Tabuthemen sollten Sie vorsichtig und eher
im Laufe des Projektes verändert haben. Das Projekt besteht aus sehr vielen Veranstaltungen an ver- und bitten sie den/die Befragte/n um ein Einver- am Ende des Interviews behandeln.
schiedenen Terminen; es handelt sich somit um einen fortlaufenden Prozess. Auch die Evaluation be- ständnis.
zieht sich auf diesen Prozess, den sie begleitet und bewertet. Folglich wird die Befragung erst am
Ende der Veranstaltungsreihe geschlossen. Mehr Infos zum Projekt: www.gruene-finger.de.
22 EVALUATION VON MASSNAHMEN ZUR STEIGERUNG VON KLIMARESILIENZ VORGEHEN BEI EINER EVALUATION:
METHODEN ZUR
SCHRITT
DATENERHEBUNG
FÜR SCHRITT 23PRAXISBEISPIEL
Achten Sie bei der Durchführung des Interviews
auch auf folgende Punkte: RAHMEN DER EXPERTENINTERVIEWS:
• Nutzen Sie Anknüpfungspunkte im Gespräch. Das Experteninterview wurde in zwei Schritten durchgeführt. Anhand der Ergebnisse der vorab duchge-
• Passen Sie den Leitfaden an den/die Befrag- führten Zielabfrage konnten die qualitativen Interviews im zweiten Durchlauf kategorisiert und im Detail
te/n an. verfeinert werden. Die Zielabfrage im ersten Schritt wurde mit vier Expert*innen mittels geschlossener
• Achten Sie auf die Länge des Interviews. und halboffener Fragen geführt. Hier sollten die wichtigsten Wirkungskategorien für Schwäbisch-Gmünd
• Wenn Ihnen Themen von Ihrer/Ihrem Ge- ermittelt werden. Diese dienten dann der Kategorienbildung – sowohl für den Leitfaden als auch für die
sprächspartner*in angeboten werden, nutzen qualitative Inhaltsanalyse in der zweiten Runde der Experteninterviews. Insgesamt waren die Fragen so
Sie diese. gestaltet, dass sie zu verschiedenen Zeiten wiederholbar und somit Veränderungen messbar waren. Die
• Lösen Sie offene Fragen oder Unklarheiten EXPERTENINTERVIEWS IM Wahl der Expert*innen war davon abhängig, welches fachspezifische Wissen jeweils benötigt wurde. Ins-
während des Interviews auf. PROJEKT „RESIextrem“ gesamt wurden sechs Personen befragt, die einen fachlichen Querschnitt bildeten. Sie kamen aus den
• Vermeiden Sie es, Ihre/n Interviewpartner*in Ämtern für Stadtplanung, Stadtentwicklung, Gebäudewirtschaft und Tiefbau. Durch einen Projektmitarbei-
in eine bestimmte Richtung zu lenken. ter und den Baubürgermeister wurde das inhaltliche Wissen erweitert.
Das Projektteam erstellte im Vorfeld qualitative Leitfäden für die Interviewpartner*innen. Diese waren
FOKUSGRUPPE inhaltlich an die jeweilige Expertise angepasst. Lediglich die drei Anfangsfragen und die Schlussfrage
HINTERGRUND waren identisch, um eine Vergleichbarkeit zu schaffen. Die Auswertung der Interviews erfolgte durch
Eine Fokusgruppe ermöglicht es Ihnen, gleich- eine qualitative Inhaltsanalyse nach Mayring. Zuerst wurden die Interviews transkribiert, anschließend
zeitig sowohl die Perspektiven und Einstellungen Das Projekt „RESIextrem“ hat zum Ziel, in Kategorien gebildet und die einzelnen Textpassagen codiert. Die Auswertung wurde dann entlang
von mehreren Einzelpersonen als auch die Pers- den Partnerstädten Schwäbisch Gmünd und der Hauptkategorien durchgeführt.
pektiven einer Gruppe von Personen zu erheben. Olfen Ansätze zu erarbeiten, mit denen die
Die Methode selbst ist effizient; allerdings kann Resilienz gegenüber Extremwetterereignis-
die Terminabsprache mit den Teilnehmenden sen gefördert werden kann. Ein für Stadt-
durchaus aufwändig sein. Das Verfahren nutzt die entwicklungskonzepte relevantes Produkt
Gruppendynamik. Es erlaubt den Teilnehmenden, ist die Starkregengefahrenkarte (SRGK) als
Perspektiven und Argumente im interaktiven Dis- bewertbare Anpassungsmaßnahme. An- TIPPS ZUR DURCHFÜHRUNG VON
kurs von Rede und Gegenrede bzw. Bestätigung hand von Experteninterviews soll evaluiert EXPERTENINTERVIEWS:
gemeinsam zu erkunden und zu bewerten. Sie werden, wie sich die Integration der SRGK in
können mithilfe der Methode Argumente und die Planungsprozesse und Maßnahmen ausge- • Bitte beachten Sie die generellen Hinweise für
Prozesse der Meinungsbildung detailliert unter- wirkt hat. Mehr Infos zum Projekt: die Erstellung, Durchführung und Auswertung von
suchen. Dies ist der wichtigste Unterschied zu www.project.uni-stuttgart.de/resi-extrem Experteninterviews.
Interviews mit Einzelpersonen, bei denen Ab- • Hilfreich bei der Durchführung ist es, einen roten
wägungen zwischen Perspektiven zwar möglich Faden beizubehalten und trotzdem flexibel zu
sind – etwa durch Expert*innen, die die Argu- sein, falls spontan Inhalte dazukommen.
mente verschiedener Richtungen innerhalb eines • Verlieren Sie den Zweck der Frage nicht aus dem
Forschungsfeldes erläutern. Bei einem Grup- Blick.
pendiskurs werden die Unterschiede zwischen • Lassen Sie Ihre/n Interviewpartner*in lieber zu viel
den Perspektiven jedoch deutlicher. Über die als zu wenig reden und unterbrechen Sie
Gruppendynamik können Sie Diskussionsthemen nur, wenn es unbedingt nötig ist.
tiefgreifend erkunden. So regt die Diskussion die
Teilnehmenden häufig dazu an, über das Thema
nachzudenken, sodass differenzierte Ergebnisse
24 EVALUATION VON MASSNAHMEN ZUR STEIGERUNG VON KLIMARESILIENZ VORGEHEN BEI EINER EVALUATION:
METHODEN ZUR
SCHRITT
DATENERHEBUNG
FÜR SCHRITT 25PRAXISBEISPIEL
entwickelt werden können. Bei Einzelinterviews
kann lediglich der/die Interviewer*in durch Nach-
fragen Impulse für eine Vertiefung liefern. In den
interaktiven Diskussionen der Fokusgruppe kann
HINTERGRUND außerdem direkt eine gemeinsame Schlussfol-
gerung als Ergebnis entwickelt werden. Deshalb
siehe Projektbeschreibung „Inter und trans- TIPPS ZUR AUSGESTALTUNG ist die Fokusgruppe Teil der Dialog und Beteili-
disziplinäre Entwicklung von Strategien DER JOURNALMETHODE: gungsverfahren.
zur Erhöhung der Resilienz von Bäumen in
wachsenden Städten und urbanen • Bitte beachten Sie die allgemeinen Emp- Fokusgruppen gehören zu den qualitativ explo-
DIE JOURNALMETHODE Regionen (GrüneLunge)“ fehlungen zur Gestaltung von Interviews rierenden Verfahren, obwohl auch quantitative
bzw. Fragebögen. Daten erhoben oder diskutiert werden können.
• Vorab sollten Sie darüber nachdenken, Insofern erzeugt die Methode eher Hypothesen,
wie Sie die Daten auswerten wollen: als dass sie Annahmen prüft.
qualitativ oder quantitativ? Mit welchen
Daten sollen welche Fragen beantwortet In der Regel liegt einer Fokusgruppe ein Leitfa-
RAHMEN DER JOURNALMETHODE: werden? den zugrunde, der das Thema eingrenzt und die
• Ein klares Messkonzept ist bei der Aus- Diskussion auf bestimmte Schwerpunkte lenkt –
Die Kampagne des Projektes zielte darauf ab, das Thema „Naturnahes Gärtnern“ einem breiten Publi- gestaltung der Erhebung hilfreich. ähnlich wie bei einem fokussierten Interview. Sie
kum vorzustellen und eine Gruppe von interessierten Bürger*innen zu motivieren, ihren eigenen Garten • Neben „Sachfragen“ sollten Sie auch zielt also darauf ab, dass die Teilnehmenden zum
naturnah zu gestalten. Das im Projekt „GrüneLunge“ eingesetzte Gartenjournal bestand aus einem Teil Fragen zum Erleben stellen. Im „Garten- Thema Stellung beziehen. Lange Erzählanteile
mit Informationen zum Projekt und zu wichtigen Terminen wie Dialogveranstaltungen sowie aus einem journal“ wurde z. B. offen erfragt, was die wie bei einem narrativen Interview sind nicht be-
Erhebungsteil, der eine Mischform zwischen schriftlicher Befragung und Interview darstellte. Die Ant- Gärtner*innen in der jeweiligen Jahres- absichtigt.
worten sollten im Projekt qualitativ ausgewertet werden. Den Hauptteil des Journals bildete somit ein zeit im Garten beobachten, fühlen, rie-
Leitfaden aus halbstandardisierten Fragen. Hier konnten die aktiv beteiligten Gärter*innen ihre Meinun- chen und sehen. Diese Fragen sprechen Als Moderator*in einer Fokusgruppe tragen Sie
gen und Erfahrungen während ihrer Teilnahme festhalten – ähnlich einem Tagebuch. Diese Methode die Gefühle an; Sie können sie z. B. in eine große Verantwortung, da Sie direkt in der
ist auch schon in anderen Untersuchungen eingesetzt worden (Goldschmidt et al., 2019), wobei das Dialogveranstaltungen als Startpunkte Gruppe Ergebnisse ableiten können. Sie unter-
Journal in „GrüneLunge“ neben der Datenerhebung auch noch andere Ziele verfolgte. Es umfasste ca. für gemeinsame Reflexionen über die stützen die Teilnehmenden mit Ihrem Modera-
50 Seiten, die thematisch passend und grafisch ansprechend gestaltet waren. Die „Bestandsaufnahme“ Wirkung des Projektes und der Aktivitä- tionsstil im Diskussionsprozess und bei der
erfasste zu Beginn, welche Maßnahmen des naturnahen Gärtnerns schon im eigenen Garten ausge- ten nutzen. Entwicklung der Ergebnisse, ohne die Antworten
führt oder geplant bzw. möglich sind (Erfassung realistischer Zielsetzungen). Mittels einer offenen Frage • Sie können die Journalmethode mit zu verfälschen. Zudem sorgen Sie durch ein
sollte zudem der Traumgarten beschrieben werden (visionäre Ziele). Für jede Jahreszeit (vierteljährliche anderen Methoden wie der Befragung entsprechendes Gesprächsklima dafür, dass sich
Wiederholung der Erhebung, chronologische Abfrage) wurden dann Fragen zu Aktivitäten der Gärt- oder der Beobachtung kombinieren und alle Teilnehmenden in die Gruppendiskussion
ner*innen und zu den Ergebnissen gestellt. Die Gärtner*innen konnten außerdem Erwartungen an oder so die Aussagekraft Ihrer Evaluation er- einbringen können (Goldschmidt, 2014: 191).
Fragen für bevorstehende Dialogveranstaltungen notieren. Zudem sollten die Wirkungen des Projektes höhen (Multi-Method-Design). So wurde
bzw. der Kampagne eingeschätzt werden. die Beschreibung des Gartens im Jour- Die Auswahl der Teilnehmenden einer Fokus-
nal durch entsprechende Angaben aus gruppen beeinflusst in der Regel die Qualität
(Goldschmidt R., Fricke, A. und Trenks, H.) einem Fragebogen ergänzt, der auf den der Diskussionsergebnisse. Haben die Teilneh-
Dialogveranstaltungen verteilt wurde. menden etwa unterschiedliche soziale Hinter-
• Ein ansprechendes Design unter- gründe, sind die Gruppendiskussion und die
stützt die Wirkung des Journals. Ergebnisse wahrscheinlich stärker durch diese
unterschiedlichen Perspektiven geprägt. Werden
Teilnehmende mit gleichem sozialen Hintergrund
26 EVALUATION VON MASSNAHMEN ZUR STEIGERUNG VON KLIMARESILIENZ VORGEHEN BEI EINER EVALUATION:
METHODEN ZUR
SCHRITT
DATENERHEBUNG
FÜR SCHRITT 27eingeladen, z. B. Personen gleicher beruflicher Qualitativ ausgerichtete Experimente (Lamnek, auf unterschiedliche Arten gestalten: die Versuchsbedingungen und können so auch
Ausbildung, Erfahrung oder Sozialisation, herr- 2005: 641653; 417f) erforschen soziale Struk- klarere Schlussfolgerungen darüber ableiten, wie
schen in der Diskussion eher einhellige Sicht- turen nach wissenschaftlichen Regeln. Welche Anzahl von Messungen und Messwiederho- die Faktoren zusammenspielen. Doch gerade
weisen vor. Diese können Sie dann tiefer und typischen Eigenschaften hat der Untersuchungs- lung: Gegenüber einmaligen Messungen, z. B. diese „Künstlichkeit“ des Settings wird an Labor-
differenzierter erschließen. gegenstand? Und wie verändern sich die sozia- nach dem „treatment“, zeigt eine mehrmalige experimenten auch kritisiert. Feldexperimente
len Strukturen durch den Eingriff? Diesen Fragen Messung, etwa vor und nach dem „treatment“, haben in der Form der sogenannten Reallabore
Bei der Rekrutierung für Fokusgruppen können gehen Sie bei einem qualitativen Experiment besser, ob Veränderungen im Versuchsaufbau in den letzten Jahren einen Aufwärtstrend erlebt.
Sie außerdem zwischen natürlichen Gruppen wie nach. Diese Methode, mit der Sie Hypothesen überhaupt zu Effekten bei den abhängigen Fak- Gerade anwendungsbezogenes Wissen kann
Familien, Arbeitsteams oder Vereinsmitgliedern erzeugen können, findet sich in der Praxis aber toren geführt haben (siehe Beschreibung oben). etwa durch die Erprobung neuer Techniken in
und künstlichen Gruppen, die Sie nur für die eher selten. Alltagskontexten gewonnen werden. Bei dieser
Durchführung der Interviews bilden, unterschei- Mit einem quantitativen Experiment können Eine wichtige Frage ist, ob ein Experiment mit Art von Forschung – und gerade in Alltagskon-
den. Sie unter kontrollierten Bedingungen prüfen, einer Kontrollgruppe durchgeführt wird oder texten – beeinflusst eine Vielzahl von Faktoren
welchen Einfluss unabhängige Faktoren auf nicht. Im Gegensatz zu einer „Treatmentgruppe“ die Ergebnisse des Experimentes. Werden diese
Zur Dokumentation der Fokusgruppe können Sie eine oder mehrere abhängige Faktoren haben. findet bei der Kontrollgruppe keine Veränderung Faktoren nicht systematisch variiert, erhoben und
wie bei den Einzelinterviews mit Sprach- oder Zu Beginn stellen Sie etwa Annahmen über das der Versuchsbedingungen statt. Mittels einer ausgewertet, stellt sich die Frage, wie sicher die
Videoaufnahmen arbeiten, die Sie anschlie- Verhältnis der Faktoren auf, die zusammen ein Kontrollgruppe lässt sich besser herausfinden, ob Erkenntnisse und Schlussfolgerungen aus dem
ßend transkribieren. Bei Tonaufnahmen kann es sogenanntes Modell ergeben. Legen Sie das eine Wirkung allein durch das „treatment“ verur- Feldexperiment sind.
schwierig sein, die Redebeiträge den einzelnen Konzept und die Messung der unabhängigen sacht wurde.
Teilnehmenden eindeutig zuzuweisen. Wenn Sie und abhängigen Faktoren zusammen mit dem Wenn Sie aussagekräftige Ergebnisse erhalten
aber zu Beginn der Fokusgruppe eine kurze Vor- Versuchsaufbau vorab fest, auch mithilfe von Auswahl von Versuchspersonen: Wichtig für das wollen, ist die Methode des Experiments sehr
stellungsrunde durchführen, können Sie diese Formeln. Quantitative Experimente sind nicht nur Experiment ist die Entscheidung, wie die Ver- aufwändig. Besonders bei Feldexperimenten
Aufnahme bei der Transkription nutzen, um die stark standardisiert; sie bringen auch bei Wie- suchspersonen für das Experiment ausgewählt müssen Sie die Projektorganisation und -pla-
Teilnehmenden zu unterscheiden. So müssen derholungen – auch durch andere Forscher*in- und ggf. der Treatment- bzw. Kontrollgruppe nung auf das Untersuchungsdesign ausrichten.
diese nicht vor jedem Beitrag ihren Namen wie- nen – immer vergleichbare Ergebnisse. Auf der zugeordnet werden (vgl. hierzu Diekmann, 2005: Doch gerade für das Thema „Klimaresilienz“ sind
derholen. Grundlage des Modellentwurfes entwickeln Sie 289-309). Experimente eine geeignete Methode, da Sie mit
einen sogenannten Versuchsaufbau. In diesem ihnen zum Beispiel die Wirkungen von Maßnah-
Versuchsaufbau geht es darum, wie Sie wichti- Offenes vs. verdecktes Experiment: Sie können men in verschiedenen Gemeinden systematisch
EXPERIMENT ge Einflussbedingungen auf das Messergebnis den Teilnehmenden Informationen über das Ex- vergleichen können.
kontrollieren oder zumindest die Einflussfaktoren periment – beispielsweise, ob sie zur Treatment-
Experimente können sich im Aufbau und in der erheben können. Typischerweise halten Sie im oder zur Kontrollgruppe gehören – mitteilen oder
Zielsetzung stark unterscheiden, was eine kurze Versuchsaufbau zunächst den Zustand zu Beginn verschweigen. Ein verdecktes Vorgehen macht BEOBACHTUNG
Beschreibung dieser Methode erschwert. Im Un- des Experimentes durch eine erste Messung fest. besonders dann Sinn, wenn das Wissen über das
terschied etwa zur Beobachtung wird bei einem Dann erfolgt die sogenannte Manipulation des Experiment die Messergebnisse verändern wür- Einige Dinge können Sie weder direkt erfragen
Experiment ein aktiver Eingriff in die Situation ge- Versuchsaufbaus, d. h. die gezielte Veränderung de. Ethisch ist der Einsatz verdeckter Messungen noch testen. Dann empfiehlt sich vielleicht eine
plant und vorgenommen, um die Wirkungen des eines oder mehrerer Faktoren. Nach diesem jedoch kritisch zu reflektieren. systematische Beobachtung zur Datenerhebung.
Eingriffs dann nach wissenschaftlich-systemati- „treatment“ wird ein zweites Mal gemessen. Aus Eine wissenschaftliche Beobachtung zeichnet
schen Regeln zu untersuchen. Bei Experimenten der Differenz der Werte aus beiden Messzeit- Auch zwischen Labor- und Feldexperiment lässt sich durch ein geplantes Vorgehen aus. Je nach
handelt es sich um komplexe Untersuchungsde- punkten lässt sich ermitteln, ob und wie stark sich ein Unterschied festmachen (Bortz & Döring, Art der Evaluation wählen Sie vorher bestimmte
signs, die auf mehreren anderen Methoden wie das „treatment“ einen Effekt im Versuchsaufbau 2005: 299). Da das Labor von der Außenwelt Aspekte aus, die Sie durch die Beobachtung
Befragungen, Tests, Interviews oder Beobach- erzeugt hat. Anhand der Auswertung der Mess- abgeschnitten ist, bietet es bessere Möglich- genauer untersuchen wollen. So können Sie
tungen basieren können. Experimente können ergebnisse können Sie das anfangs aufgestellte keiten als ein Feldexperiment, Modellannahmen zum Beispiel evaluieren, ob die Begrünung und
qualitativ oder quantitativ ausgerichtet sein. Modell über seine einzelnen Hypothesen bestä- ohne Störfaktoren zu untersuchen. Als For- Beschattung eines öffentlichen Platzes dazu ge-
tigen oder verwerfen. Sie können ein Experiment scher*in haben Sie im Labor mehr Kontrolle über führt hat, dass sich dort mehr Menschen auch an
28 EVALUATION VON MASSNAHMEN ZUR STEIGERUNG VON KLIMARESILIENZ VORGEHEN BEI EINER EVALUATION: SCHRITT FÜR SCHRITT 29Sie können auch lesen
