Wirkung messen Handbuch zur Evaluation von MINT-Projekten für Schülerinnen - Prof. Dr. Elke Wolf Stefanie Brenning
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Wirkung
messen
Handbuch zur
Evaluation von MINT-
Projekten für p-
S te e p
Schülerinnen ze
st
by- hritten
c
hn S enen
In eig
zur uation
l
Prof. Dr. Elke Wolf Eva
Stefanie Brenning
Vorwort
Evaluationsmethoden aus dem Lehrbuch können leider
nicht so einfach auf die Praxis übertragen werden.
Wie evaluiert man also ein Projekt, deren langfristige Wirkung
sich vielleicht erst mehrere Jahre später offenbart?
Nahezu alle Hochschulen oder Universitäten bieten luationskonzept entwickelt, das kurzfristig und prag-
heutzutage Projekte zur Steigerung des Frauenanteils matisch umsetzbar ist. Das Verfahren ist wissen-
in MINT-Studiengängen an. Hierzu zählen Projekte, die schaftlich fundiert und mehrfach erprobt. Dank gilt
durch die Darstellung von MINT-Studiengängen oder hierbei den Projektverantwortlichen, deren Schüle-
durch die aktive Beteiligung von Schülerinnen an For- rinnen-Projekte wir beforschen durften. Auch der
schungsaufgaben das Interesse und das Selbstver- regelmäßige Austausch mit Dr. Andrea Löther (Kom-
trauen für die Aufnahme eines MINT-Studiengangs petenzzentrum Frauen in Wissenschaft und Forschung
steigern sollen. Angesichts persistenter Stereotype CEWS), Dr. Dagmar Höppel (Universität Stuttgart) und
und deren Effekte auf die Berufswahl können MINT- Dr. Jenny Roth (University of Limerick) hat uns immer
Projekte einen wichtigen Beitrag dazu leisten, Frauen wieder wertvolle Impulse geliefert. In diesem Hand-
in MINT-Berufen noch präsenter und erfolgreicher zu buch stellen wir unser Evaluationskonzept vor und
machen. Die kontinuierlich steigende Zahl von MINT- leiten Sie step-by-step durch den gesamten Prozess.
Studentinnen kann als Erfolg dieser vielfältigen Bemü- Durch zahlreiche Praxistipps versuchen wir all unsere
hungen interpretiert werden. Gleichwohl existieren nur Erfahrungen an Sie weiterzugeben. Auch wenn somit
sehr wenige Evaluationen von Einzelmaßnahmen, aus schon viel Vorarbeit geleistet ist, erfordert die Umset-
denen belastbare Informationen über die Wirkung zung zeitliche Ressourcen, die Sie fest einplanen
abgeleitet werden können. Dies ist auch nicht verwun- müssen.
derlich, da die Ressourcen für die Organisation dieser
Projekte oft sehr knapp sind und die Fragestellung Wir hoffen, dass Sie dieses Handbuch zur Evaluierung
durchaus sehr komplex ist. Evaluationsmethoden aus Ihres MINT-Projekts motiviert und Sie bestmöglich
dem Lehrbuch können leider nicht so einfach auf die bei der Evaluation begleitet, so dass langfristig mehr
Praxis übertragen werden. Wie evaluiert man also ein Wissen über die Wirkung und die Erfolgsfaktoren von
Projekt, deren langfristige Wirkung sich vielleicht erst MINT-Projekten für Schülerinnen entsteht. Wenn Sie
mehrere Jahre später offenbart? darüber hinaus ein Mentoring-Programm evaluieren
wollen, empfehlen wir Ihnen unser Handbuch zur Eva-
Wir haben uns deshalb im Rahmen des BMBF-geför- luation von Mentoring-Programmen, das ebenfalls
derten Projekts „MINT-Strategien 4.0“ intensiv mit im Rahmen unseres Projekts „MINT-Strategien 4.0“
dieser Fragestellung auseinandergesetzt und ein Eva- entwickelt wurde.
Prof. Dr. Elke Wolf,
Projektleiterin
Stefanie Brenning,
Wissenschaftliche Mitarbeiterin
1Inhalt 1. In zehn Schritten zur eigenen Evaluation 3 2. Grundlagen der Evaluation 4 3. Erfolgsindikatoren 6 4. Evaluationsdesign 8 4.1 Wie erhebe ich meine Daten? 8 4.2 Wie befrage ich die Schülerinnen? 9 4.3 Messung kausaler Effekte 10 5. Evaluationsfragen 13 5.1 Fragetypen und Antwortkategorien 13 5.2 Fragen zur Messung der Erfolgsindikatoren 14 6. Fragebogengestaltung 18 6.1 Fragebogenaufbau 18 6.2 Pretests 21 6.3 Datenschutz und Anonymisierung 21 7. Datenauswertung und Interpretation der Ergebnisse 22 7.1 Anleitung für einfache statistische Auswertungen 22 7.2 Interpretationen der statistischen Auswertungen 24 Weitere Leseempfehlungen 26 Literaturverzeichnis 27 Impressum 28 2
1. In zehn Schritten zur
eigenen Evaluation
Diese Anleitung hilft Ihnen dabei, die Wirkungen Ihres MINT-Schülerinnen-Projekts
mit Hilfe von quantitativen Methoden zu beschreiben. Natürlich haben Sie die
Möglichkeit, auf die für Ihr Angebot besonders relevanten Ziele zu fokussieren, so dass
Sie Ihr Projekt an den projekteigenen Zielsetzungen evaluieren können.
Dieses Handbuch richtet sich an Verantwortliche von Nach einigen allgemeinen Informationen zur Erstellung
Schülerinnen-Projekten im MINT-Bereich, die die einer aussagekräftigen Evaluation (Kapitel 2), stellen
Wirksamkeit ihres Projekts empirisch messen möch- wir Ihnen die Erfolgsindikatoren vor, mit denen Sie Ihre
ten. Zwar sind diese Projekte zur Studien- und Berufs- Projektziele beschreiben und später auch messen
orientierung im MINT-Bereich vielfältig und unter- können (Kapitel 3). Im Anschluss daran, stellen wir das
schiedlich, dennoch verfolgen die MINT-Projekte für von uns entwickelte Evaluationskonzept vor und
Schülerinnen alle das Ziel, die Teilnehmerinnen mit- begleiten Sie durch jeden einzelnen Verfahrensschritt
hilfe von ein- oder mehrtägigen Veranstaltungen an (Kapitel 4). Zur Vorbereitung der schriftlichen Befra-
MINT-Fragestellungen heranzuführen und letztendlich gung finden Sie eine umfangreiche Sammlung von
für eine Studien- und Berufswahl im MINT-Bereich zu Fragen, die Sie in Abhängigkeit Ihrer Ziele auswählen
begeistern. Die Schülerinnen nehmen dafür an Work- können (Kapitel 5) und konkrete Hinweise zur Frage-
shops, Vorlesungen und Informationsveranstaltungen bogengestaltung (Kapitel 6). Auch für die Datenaus-
teil oder führen Gespräche mit Studierenden, Lehren- wertung haben wir einige Vorschläge erarbeitet und
den, Hochschulmitarbeiterinnen und Hochschulmitar- Hilfestellungen zur Interpretation der Ergebnisse for-
beitern oder Frauen, die im MINT-Bereich arbeiten. muliert (Kapitel 7). Die einzelnen Schritte zur Erstel-
lung einer Evaluation sind in den step-by-step-Boxen
Diese Anleitung hilft Ihnen dabei, die Wirkungen Ihres chronologisch dargestellt und im Text praxisnah
MINT-Schülerinnen-Projekts mit Hilfe von quantitati- beschreiben. Sowohl die Vorgehensweise als auch
ven Methoden zu beschreiben. Natürlich haben Sie die unsere Empfehlungen zur praktischen Umsetzung sind
Möglichkeit, auf die für Ihr Angebot besonders rele- evidenzbasiert und mehrfach erprobt. Die Anwendung
vanten Ziele zu fokussieren, so dass Sie Ihr Projekt an des Handbuchs setzt keine methodischen Vorkennt-
den projekteigenen Zielsetzungen evaluieren können. nisse voraus. Wenn Sie sich noch intensiver mit der
Aufgrund dieser Flexibilität kann unser Evaluations- Evaluation von Bildungsmaßnahmen auseinander-
konzept auf sehr unterschiedliche Arten von MINT- setzen wollen, empfehlen wir Ihnen schließlich noch
Projekten zur Unterstützung von Schülerinnen ange- weiterführende Literatur am Ende des Handbuchs.
wendet werden.
32. Grundlagen der Evaluation
Vor Beginn der Evaluation sollten Sie sich Gedanken über das übergeordnete
Ziel und die damit verbundene Funktion der Evaluation machen.
Daraus leiten sich dann der Evaluationstyp und die Bewertungskriterien ab.
Eine Evaluation bedient sich sozialwissenschaftlicher Anspruchsgruppen
Methoden, um den Gegenstand der Evaluation, z.B.
eine Maßnahme zur Mädchen- und Frauenförderung,
Anspruchsgruppen sind „direkt oder indirekt von der
unter Berücksichtigung unterschiedlicher Anspruchs-
Nutzung und Wirkung des Evaluationsgegenstandes
gruppen anhand vorgegebener Kriterien zu bewerten
Betroffene (…) sowie alle an der Entwicklung, Umset-
(Döring/Bortz 2016: 981). Die Erkenntnisse können
zung und Optimierung des Evaluationsgegenstandes
dabei sehr vielfältige Funktionen erfüllen. Vor Beginn
Beteiligten.“ (Döring/Bortz 2016: 980 - 983). Die wich-
der Evaluation sollten Sie sich daher Gedanken über
tigsten Anspruchsgruppen sind zumeist die Projekt-
das übergeordnete Ziel und die damit verbundene
verantwortlichen, die Projektbeteiligten (z.B. Lehrende
Funktion der Evaluation machen. Diese Entscheidung
oder Studienberater*innen an der das Projekt durch-
hat wiederum Implikationen für die Wahl des Evaluati-
führenden Hochschule), die Auftraggeber der Evalua-
onstyps, die Definition der eigenen Rolle im Kontext
tion sowie die Zielgruppe und zugleich Befragten der
der Evaluation sowie die Identifikation der relevanten
Maßnahme, hier also die Schülerinnen. Die Vielfältig-
Anspruchsgruppen. Diese Grundlagen der Evaluation
keit dieser Gruppen macht offensichtlich, dass die
beschreiben wir nachfolgend und gehen dabei auf die
verschiedenen Stakeholder ganz unterschiedliche
Besonderheiten einer Evaluation von Schülerinnen-
Perspektiven auf die Evaluation haben, auf die bei der
Projekten im MINT-Bereich ein.
Planung, Umsetzung und dem Reporting Rücksicht
genommen und die gegebenenfalls in den For-
schungsprozess einbezogen werden sollten.
Evaluationsfunktionen
Weiterhin können z.B. die Hochschule oder eine exter-
ne Organisation als Auftraggeber und/oder Entschei-
Nach Döring/Bortz (2016) lassen sich fünf Funktionen
dungsträger des MINT-Projekts eine bedeutende Rolle
einer Evaluation unterscheiden:
einnehmen, insbesondere da sie häufig an der Verwer-
• Erkenntnisfunktion: Evaluationen können dazu bei-
tung der Ergebnisse interessiert sind und gegebenen-
tragen, die Bedarfe der Zielgruppe, den Grad der
falls anhand der Evaluationsergebnisse auch über
Zielerreichung und die Wirkungsmechanismen der
die Veränderung oder Abschaffung eines Projekts ent-
Schülerinnen-Projekte zu erkennen und das Wissen
schieden wird.
der Projektverantwortlichen, der Geldgeber, der
Hochschule, teils auch der Schülerinnen oder sogar
Der Grad der Einbeziehung der relevanten Anspruchs-
der breiten Öffentlichkeit über die Funktionen,
gruppen muss individuell entschieden werden und
Ziele und Wirkungen dieser Projekte, zu steigern.
hängt letztlich von der konkreten Zielsetzung der Eva-
• Lern- und Dialogfunktion: Evaluationen von MINT-
luation ab. Grundsätzlich sollten immer möglichst viele
Projekten können auf Basis der neu gewonnenen
Sichtweisen und Interessen berücksichtigt werden,
Erkenntnisse auch dazu beitragen, Lernprozesse
da Sie so die Effekte der Maßnahme umfassender ver-
unter den Projektverantwortlichen, –mitarbeiter*in-
stehen und gleichzeitig Verständnis und Mitwirkung
nen und -beteiligten, den Schülerinnen, der Hoch-
bei allen Beteiligten und Betroffenen schaffen können
schule und anderen Anspruchsgruppen sowie den
(Döring/Bortz 2016: 981 f.). Mangelnde Transparenz
Dialog zwischen diesen Anspruchsgruppen anzu-
über die Ziele und Vorgehensweise im Rahmen einer
regen.
Evaluation kann Vorbehalte und Ablehnung bei den
• Optimierungsfunktion: Evaluationen decken kon-
beteiligten Personengruppen erzeugen, was den Funk-
krete Verbesserungsmöglichkeiten auf, die von
tionen einer Evaluation zuwiderläuft.
den Verantwortlichen zur Optimierung des Projekts
genutzt werden.
• Entscheidungsfunktion: Die Ergebnisse einer Eva-
luation dienen als Entscheidungshilfe, wenn über
die Implementierung neuer Projekte oder die Fort-
setzung eines bestehenden MINT-Projekts be-
funden werden soll und tragen so zur effizienten
Nutzung knapper Ressourcen bei.
• Legitimationsfunktion: Durchführung und Ergeb-
nisse einer Evaluation können auch zur Kontrolle
und Legitimation eines Projekts dienen.Evaluationstypen Evaluationsstandards
Evaluationen lassen sich u. a. nach organisatorischen Im Rahmen einer Evaluation sollten die Evaluations-
Kennzeichen klassifizieren (Döring/Bortz 2016: 989, standards der Gesellschaft für Evaluation e. V.
995). Die Typen der Evaluationsstudien unterscheiden (DeGEval) zur Sicherstellung der Qualität der Evalu-
nach intern oder extern durchgeführten Evaluatio- ation eingehalten werden. Sie gliedern sich in die
nen, je nach Verhältnis zwischen Evaluierten, Evalu- Eigenschaften Nützlichkeit, Durchführbarkeit, Fair-
ierenden und Institutionszugehörigkeit. ness und Genauigkeit, die wiederum mithilfe von
insgesamt 25 Punkten genauer beschrieben sind. Nä-
Externe Evaluationen werden von Personen umge- here Erläuterungen der Standards sowie eine Check-
setzt, die nicht am untersuchten Programm beteiligt liste zur Einhaltung der Standards im Rahmen Ihrer
sind und weder für die durchführende Organisation Evaluation finden Sie auf der Webseite der DeGEval1.
noch für den Fördermittelgeber tätig sind. Als Fach-
leute bringen sie ihre methodischen Kenntnisse und
Erfahrungen sowie eine unabhängige Perspektive in Bewertungskriterien
die Evaluation ein, die den Ergebnissen zusätzliche
Legitimität verleihen kann (Stockmann 2016: 45).
Zur Bewertung eines MINT-Projekts für Schülerinnen
müssen klar definierte und messbare Kriterien entwi-
Eine interne Evaluation hingegen wird von der Organi-
ckelt werden, die sich mithilfe von geeigneten Fragen
sation durchgeführt, die auch die Maßnahme durch-
empirisch messen lassen. Diese Bewertungskriterien
führt. Eine interne Fremdevaluation könnte z.B. von
können sowohl die Erfolgsindikatoren als auch die
einer Einrichtung der eigenen Hochschule durchge-
nicht-intendierten negativen Nebeneffekte umfassen.
führt werden, bei einer Selbstevaluation setzen die
Verantwortlichen oder Mitarbeiter*innen eines Pro-
Weiterhin sollte vor der Datenerhebung definiert wer-
gramms die Evaluation eigens um. Die Vorteile der
den, wann die Antworten der Schülerinnen als posi-
internen Evaluation liegen in der schnellen Umsetzbar-
tives, neutrales oder negatives Ergebnis angesehen
keit, der großen Sachkenntnis der Verantwortlichen
werden (siehe hierzu auch Kapitel 7). Zur Interpreta-
sowie der direkten Verwertbarkeit aufgrund des engen
tion und Bewertung der quantitativen Befragungs-
Praxisbezugs. Gleichzeitig kann die Nähe zum Evalua-
ergebnisse ist es unerlässlich, bereits vor der Daten-
tionsgegenstand auch die Wahrung neutraler Distanz
erhebung einen Benchmark festzulegen. Dies könnte
zum Forschungsprozess erschweren (Stockmann
zum Beispiel eine Befragung vor dem Start des Pro-
2016: 44 f.; Döring/Bortz 2016: 989). In diesem Fall
jekts oder eine Kontrollgruppe sein, z.B. Schülerinnen
sollte, unabhängig von eigenen Erwartungen oder den
im gleichen oder ähnlichen Alter, die nicht am Projekt
Erwartungen von Auftraggebern und anderen An-
teilgenommen haben (normorientierter Bewertungs-
spruchsgruppen, bei der Planung, der Datenerhebung
maßstab). Auf Basis eines solchen Vergleichs könnte
und der Interpretation der Ergebnisse eine möglichst
beispielsweise gezeigt werden, wie sich die Absicht,
neutrale Perspektive eingenommen werden und der
im Karriereverlauf als Führungskraft tätig zu sein, im
potenzielle Einfluss der eigenen Position reflektiert
Vorher-Nachher-Vergleich verändert hat. Kriteriums-
werden.
orientierte Maßstäbe hingegen vergleichen Ergeb-
nisse mit einem absoluten Wert. So müsste beispiels-
weise der Indikator zur Messung der Absicht, im
Praxistipp Karriereverlauf als Führungskraft tätig zu sein, nach
Abschluss des Projekts einen bestimmten Wert über-
Ob eine Evaluation intern durchgeführt oder extern schreiten, um als positives Ergebnis betrachtet zu
vergeben wird, sollte demnach je nach finanziellen werden (Döring/Bortz 2016: 983).
und personellen Ressourcen, methodischen Kennt-
nissen, persönlichen Abhängigkeiten und Interessen
individuell abgewogen werden. Zweckmäßig
erscheint uns eine Kombination aus regelmäßigen
internen Evaluationen oder Selbstevaluationen und
einer Fremdevaluation in größeren Zeitabständen. 1
https://www.degeval.org/degeval-standards/standards-fuer-evaluation/
(Letzter Abruf am 18.11.2020) 53. Erfolgsindikatoren
Wir stellen nachfolgend ein logisches Modell vor, das die gewünschten
Wirkungen der MINT-Projekte bei den Schülerinnen darstellt. Diese
intendierten Effekte dienen gleichzeitig als Kriterien zur Bewertung des
Erfolgs eines Projekts.
So sehr sich Angebote zur Studien- und Berufsorien- fassende Bewertung einer Maßnahme sollte eine
tierung inhaltlich unterscheiden, so gibt es doch ein Evaluation immer die Wirkungen auf allen drei Ebenen
zentrales Ziel: das MINT-Interesse der Schülerinnen unseres Logic Charts erfassen.
soll in erster Linie durch eigene Aktivitäten geweckt
und ihnen Einblicke in das Studium an HAW und an- Abbildung 1 beschreibt die Wirkungsweisen von MINT-
gewandte Forschungsfragen gewährt werden. Der Projekten für Schülerinnen. Die unmittelbaren Ergeb-
potenzielle Wirkungsmechanismus der Projekte ist nisse erfassen die Akzeptanz der Maßnahme bei den
daher sehr ähnlich. Wir stellen nachfolgend ein logi- Schülerinnen (1. Output). Diese umfassen die Bewer-
sches Modell vor, das die gewünschten Wirkungen der tung der Veranstaltungen, der Inhalte und des gesam-
MINT-Projekte bei den Schülerinnen darstellt. Diese ten Projekts (1.1) sowie der Organisator*innen, Beteilig-
intendierten Effekte dienen gleichzeitig als Kriterien ten (z.B. Lehrende) und Referentinnen und Referenten
zur Bewertung des Erfolgs eines Projekts. (1.2). Inwieweit die Teilnehmerinnen das Projekt wei-
terempfehlen und/oder wieder am Projekt teilnehmen
Das Konzept des logischen Modells geht auf die W.K. würden, stellt eine weitere Dimension des Outputs dar
Kellogg Foundation zurück, die das logische Modell als (1.3). Die kurzfristigen Wirkungen bestehen aus der
Evaluierungswerkzeug entwickelt hat, um Maßnahmen Stärkung der Studien- und Berufswahl (2. Outcome).
effektiv zu planen, zu implementieren und zu evalu- Darunter fallen die potenzielle Steigerung des Inter-
ieren (vgl. W.K. Kellogg Foundation, 2004). Die Akti- esses der Schülerinnen am MINT-Bereich (2.1), die
vitäten im Rahmen eines MINT-Projekts (d.h. dem Unterstützung bei der Studien- und Berufsfindung
Evaluationsgegenstand) erzeugen in diesem Modell (2.2), die Erhöhung der Selbstwirksamkeit und Selbst
bestimmte unmittelbar messbare Ergebnisse (Output), einschätzung (2.3) sowie die Reduktion von Ge-
kurzfristige (Outcome) sowie langfristige Wirkungen schlechterstereotypen (2.4). Die langfristigen Folgen
(Impact) (Döring/Bortz 2016: 984). Wir begrenzen (3. Impact) einer Maßnahme sind die spezifischen Ver-
unser Logic Chart auf diese Ergebnisse und intendier- haltensänderungen, die jedoch zumeist nicht anhand
ten Wirkungen der Maßnahmen (Output, Outcome des tatsächlichen Verhaltens ermittelt werden können
und Impact), da der Fokus des Handbuchs auf der (siehe hierzu auch Kapitel 4.3). Alternativ kann der Im-
Anleitung zur Wirkungsmessung liegt. Für eine um- pact der MINT-Schülerinnen-Projekte anhand der In-
Step-by-step zu den eigenen Erfolgsindikatoren
Schritt 1 : Was sind die zentralen Ziele Ihres MINT-
Projekts?
Reflektieren Sie hierfür die grundlegende Intention
des MINT-Projekts. Idealerweise beziehen sich Ihre
Ziele auf die verschiedenen Wirkungsebenen.
Schritt 2: Welche Indikatoren des Logic Charts bilden
diese Ziele ab?
Konzentrieren Sie sich insbesondere auf die verschie-
denen Outcome- und Impact-Indikatoren. Vielleicht
stellen Sie auch fest, dass Ihr Projekt auf all diese Erfolgs-
indikatoren abzielt.
Fehlen aus Ihrer Sicht wichtige Indikatoren?
Falls Sie den Eindruck haben, dass die Ziele Ihres Projekts
nicht zu den vorgegebenen Indikatoren passen, dann
prüfen Sie bitte noch einmal den Logic Chart sowie dessen
Beschreibung – eventuell findet sich doch ein passender
Erfolgsindikator. Falls nicht, ergänzen Sie Ihren Indikator
in Abbildung 1. Darüber hinaus können Sie auf der Out-
come- und Impact-Ebene auch nicht-intendierte Effekte
mit in Ihre Analyse aufnehmen.tention, ein MINT-Studium (3.1) oder einen MINT-Beruf Neben der empirischen Analyse beabsichtigter Wir-
(3.2) aufzunehmen, angenähert werden.1 Während kungen gemäß den Zielen des Projekts sollte auch auf
Sie mithilfe der Indikatoren auf der Output-Ebene unbeabsichtigte negative oder positive Wirkungen
wertvolle Informationen zur Qualität und Passung Ihres geachtet werden. Zur Aufdeckung dieser Nebenwir-
Projekts erhalten, dienen die verschiedenen Indikato- kungen eignen sich insbesondere qualitative Datener-
ren auf der Outcome- und Impact-Ebene der Wirkungs- hebungsmethoden (siehe 4.1 „Wie erhebe ich meine
analyse eines Projekts. Evaluationen, die sich nur auf Daten?“), z.B. Interviews oder Gruppendiskussionen
den Impact konzentrieren, können jedoch keine Er- mit den verschiedenen Anspruchsgruppen (Döring/
kenntnisse über die Wirkungsweise der untersuchten Bortz 2016).
Maßnahmen generieren.
Abbildung 1: Logic Chart – Darstellung der Wirkungsweisen von MINT-Projekten für Schülerinnen
1. Output: Akzeptanz
1.1 1.2 1.3
Bewertung einzelner Bewertung von Weiterempfehlung an
Veranstaltungen der Betreuer*innen, Freundinnen, Bekannte u.s.w.
Inhalte oder des Organisator*innen & Bereitschaft zu
Gesamtprogramms u.s.w. wiederholter Teilnahme
2. Outcome: Einstellungs- und Bewertungsänderungen
2.1 2.2 2.3 2.4
Steigerung Unterstützung Steigerung von Verringerung
des Interesses am bei der Studien- Selbstwirksamkeit und von Geschlechter-
MINT-Bereich und Berufsfindung Selbsteinschätzung stereotypen
3. Impact: Verhaltensänderungen
3.1 3.2
Absicht: Absicht:
MINT-Studium MINT-Berufswahl
MINT- MINT-
Studium Berufswahl
1
Weiterführende Erläuterungen zu den aufgeführten Indikatoren finden Sie
in Brenning/Wolf 2020. 74. Evaluationsdesign
Für die Aussagekraft Ihrer Evaluation ist es von entscheidender Bedeutung,
wann Sie wem welche Fragen stellen und wie Sie die Antworten erfassen.
Aus einer einzelnen Nachher-Befragung, die weder mit einer Vergleichs-
gruppe noch mit einer Vorher-Befragung verglichen werden kann, sind keine
Rückschlüsse auf die Wirkungen des Mentoring-Programms möglich.
Im folgenden Kapitel geben wir Ihnen einen Überblick Praxistipp
über diverse Datenerhebungs- und Befragungsme-
thoden und stellen Ihnen verschiedene Untersu-
chungsdesigns zur Messung der kausalen Effekte vor. Wir empfehlen grundsätzlich standardisierte, quanti-
tative Erhebungsformen zur Evaluation Ihres Ange-
bots. Da allen Befragten die gleichen Fragen in der
4.1 Wie erhebe ich meine Daten? gleichen Reihenfolge gestellt und die Antwortkatego-
rien oftmals vorgegeben werden, steigt die Vergleich-
barkeit zwischen den Befragten, was insbesondere
Zur Evaluation von sozialplanerischen Maßnahmen beim Vorher-/Nachher-Vergleich, beim Vergleich mit
existieren in der empirischen Sozialforschung ver- Kontrollgruppen oder beim Vergleich mit früheren teil-
schiedene Methoden und Instrumente, wie die Befra- nehmenden Schülerinnen oder anderen MINT-Ange-
gung mittels Fragebogen oder die Durchführung per- boten vorteilhaft ist. Diese hohe Standardisierung
sönlicher Interviews. Alle Methoden und Erhebungs- steigert außerdem die Objektivität der Befragung, d.h.
instrumente haben Vor- und Nachteile, so dass sie das Ausmaß der Unabhängigkeit von Durchführung
immer ausgehend von der konkreten Fragestellung und Auswertung von der Person, die das MINT-Projekt
und dem Evaluationsziel gewählt werden sollten. umsetzt. Zudem sind diese Befragungen zumeist von
kürzerer Dauer.
Die empirische Sozialforschung unterscheidet zwi-
schen quantitativen und qualitativen Erhebungsme-
thoden. Qualitative Sozialforschung dient der Explora-
Darüber hinaus sind die Planung, Durchführung und
tion neuer Themengebiete, der Generierung von
Auswertung von weniger standardisierten, qualitativen
Hypothesen und versucht mit Hilfe von Beobach-
Interviews sehr anspruchsvoll und mit hohem Zeitauf-
tungen, Interviews (z.B. Expert*innen- oder Leitfaden-
wand verbunden. Dennoch lassen sich z.B. mithilfe von
Interviews) und Textanalysen den Forschungsgegen-
Interviews wertvolle Informationen und Erkenntnisse
stand zu beschreiben (Diekmann 2012: 532). Diese
über Schülerinnen und das Projekt sammeln, die stan-
Methoden ermöglichen eine tiefe Exploration von Ant-
dardisierte Fragebögen kaum erfassen können. Falls
worten der Befragten und erlauben die Gewinnung
Sie beispielsweise nicht intendierte Nebeneffekte iden-
von Informationen außerhalb der Bandbreite der vor-
tifizieren wollen, empfehlen wir eine externe qualitative
gegebenen Antwortkategorien. Die quantitative So-
Befragung, die von Personen mit methodischen Kom-
zialforschung hingegen bildet z.B. die mithilfe von Fra-
petenzen in qualitativer Sozialforschung realisiert wird.
gebögen erhobenen Daten numerisch ab und widmet
sich vorwiegend der Prüfung von Hypothesen mithilfe
statistischer Methoden. Die qualitativen und quantita-
tiven Methoden können sich in der Praxis auch gegen-
seitig ergänzen, indem z.B. Interviews und schriftliche
Befragungen in einem Methodenmix aufeinander auf-
bauen.
8Abbildung 2: Vor- und Nachteile von Präsenz- und Online-Befragungen
Befragungs- Vorteile Nachteile
form
• Interviewer*in hat Kontrolle über die • Abwesende Teilnehmerinnen können
Erhebungssituation und kann z. B. nicht erfasst werden
auf Verständnisprobleme eingehen
Papier-
Befragung • Befragte können in Ruhe über Fragen
(im Rahmen nachdenken
einer Präsenz- • geringer zeitlicher Aufwand
veranstaltung) (insb. bei vielen Teilnehmerinnen)
• kostengünstig
• hoher Rücklauf
• Befragte können den Fragebogen in • tendenziell geringerer Rücklauf als
Online- ihrem Tempo ausfüllen bei schriftliche Befragung in Präsenz-
Befragung • alle Befragten können ortsunabhängig veranstaltung
(oder Papier- an der Befragung teilnehmen • Interviewer*in hat wenig Kontrolle
befragung • kostengünstig (v. a. online) über die Erhebungssituation
per Post) • Hilfestellung durch Interviewer*in
kaum möglich
4.2 Wie befrage ich die • Falls in den Veranstaltungen wenige Schülerinnen
anwesend sind, lässt sich der Papier-Fragebogen
Schülerinnen? durch eine Online-Befragung ersetzen oder ergän-
zen. Dafür sollten Sie sich vergewissern, dass einer-
seits alle Schülerinnen die technischen Vorausset-
Grundsätzlich stehen Ihnen für die Befragung ver- zungen haben, um an der Online-Befragung per
schiedene Befragungsformen zur Verfügung, die sich Laptop oder Smartphone teilzunehmen, und ande-
hinsichtlich ihrer Kosten, dem Zeitaufwand, der Qua- rerseits die Darstellung des Fragebogens auch zur
lität der erhobenen Daten sowie des zu erwartenden Anzeige am Mobiltelefon optimiert ist. Da Online-
Rücklaufs unterscheiden. Die Vor- und Nachteile der Befragungen weniger verbindlich sind und der
für unsere Zwecke der Wirksamkeitsmessung am Rücklauf geringer ausfallen kann, sollten die Schüle-
besten geeigneten Formen, Papier- und Online-Be- rinnen jedoch an die Befragung erinnert werden.
fragungen, sind in Abbildung 2 dargestellt.
• Monetäre und nicht-monetäre Anreize steigern die
Auch wenn alle Aspekte der Befragungsformen im Ein- Teilnahmebereitschaft und Motivation zur koopera-
zelfall relevant sein können, ist die Sicherung eines tiven Teilnahme (siehe z.B. Pforr, 2015). Daher kann
hohen Rücklaufs von besonderer Bedeutung. Denn es sich bereits lohnen, dem Fragebogen eine Auf-
ohne eine angemessene Beteiligung der Schülerinnen merksamkeit wie eine kleine Tüte Gummibärchen
an der Befragung können keine aussagekräftigen beizulegen. Befragte neigen dann dazu, diese Wert-
Schlussfolgerungen gezogen werden. Um eine mög- schätzung zu erwidern (Stadtmüller/Martin/Zabal,
lichst hohe Beteiligung bei den Befragungen sicherzu- 2019, 10). Außerdem könnte beispielsweise das
stellen, sollten die Hürden für die Befragten so niedrig Ausfüllen des Fragebogens an die Ausgabe eines
wie möglich sein und kein Erwartungsdruck aufgebaut Teilnahmezertifikats geknüpft werden, sofern dies
werden. vorab klar kommuniziert wurde.
Zur Sicherung eines hohen Fragebogen-Rücklaufs
sollten Sie folgende Punkte beachten:
Praxistipp
• Die Durchführung einer Befragung sollte rechtzeitig
angekündigt werden. Vor der Befragung sollte auch Bei unserer Evaluation konnten wir den höchsten
eine Aufklärung der Befragten über Evaluations- Rücklauf erzielen, wenn die Schülerinnen zum Beginn
und Befragungsziele und den Evaluationsnutzen er- der Auftaktveranstaltung sowie zum Ende der Ab-
folgen sowie Informationen zur Dauer der Befragung schlussveranstaltung mithilfe eines Papier-Fragebo-
gegeben werden. Dabei sollten sowohl der Frage- gens befragt wurden. Nicht anwesenden Schülerin-
bogen selbst wie auch die Atmosphäre der Befra- nen könnten in Ihrer Evaluation auch die Möglichkeit
gungssituation sicherstellen, dass eine anonyme gegeben werden, online zu antworten. Wenn Sie aus
Befragung gewährleistet wird (weitere Informatio- eigener Erfahrung absehen können, dass nur wenige
nen zur Anonymisierung siehe Abschnitt 6.3). Schülerinnen an der Präsenzveranstaltung teilneh-
men werden, sollte die jeweilige Befragung komplett
online durchgeführt werden.
94.3 Messung kausaler Effekte
Wie in Abschnitt 3 dargestellt, kann der Erfolg eines hang in der Realität nachweisen? Zur Überwindung
Projekts anhand von veränderten Determinanten der dieser Problematik lassen sich verschiedene Evalua-
Studien- und Berufswahl und einer stärkeren Intention, tionsdesigns nutzen, die sich unterschiedlich gut zur
ein Studium im MINT-Bereich aufzunehmen oder einen Kausalitätsanalyse eignen und jeweils Vor- und Nach-
MINT-Beruf zu ergreifen, gemessen werden. teile in Planung, Durchführung, Auswertung und Aus-
sagekraft mit sich bringen.
Ob die erwünschte Wirkung eines MINT-Projekts er-
reicht wird, lässt sich idealerweise mithilfe einer Unter- Die folgende Abbildung beschreibt in Anlehnung an
suchung der späteren Studien- und Berufswahl er- Caspari/Barbu (2008) die verschiedenen Untersu-
mitteln. Die methodische Umsetzung ist jedoch in chungsdesigns hinsichtlich ihrer Eignung zur Kausali-
der Praxis aufgrund fehlender Ressourcen und der tätsmessung. Die am besten zur Kausalitätsmessung
Schwierigkeit, die Teilnehmerinnen nach Schulab- geeigneten Untersuchungsdesigns finden sich im
schluss zu befragen, kaum realisierbar. In Anbetracht oberen Bereich der Abbildung: Mit der experimentellen
der vielfältigen Einflussfaktoren der Studien- und Versuchsanordnung als Design, das der „idealtypi-
Berufsentscheidungen wäre damit auch nicht geklärt, schen Messung“ zur Identifikation kausaler Effekte am
ob die Teilnahme am Projekt tatsächlich für eine ähnlichsten ist, bis hin zu vorexperimentellen Untersu-
spätere Studien- und Berufswahl im MINT-Bereich chungsdesigns im untersten Bereich der Abbildung,
verantwortlich war und nicht andere Faktoren aus- die die geringste Aussagekraft zur Kausalitätsanalyse
schlaggebend waren. Somit stellt sich die Frage: aufweisen.
Wie lässt sich ein Ursache-Wirkungs-Zusammen-
Abbildung 3: Übersicht der Untersuchungsdesigns zur Wirksamkeitsmessung
Vorher- Teilnahme an Nachher-
Untersuchungsdesign
Daten t =1 einer Maßnahme Daten t= 2
Experimentelles Design
Vorher-/Nachherbefragung mit UG 1 ja UG 2
Kontrollgruppen-Design KG 1 nein KG 2
Quasi-experimentelle Designs
Qualität
Vorher-/Nachherbefragung mit UG 1 ja UG 2
Vergleichsgruppen-Design VG 1 nein VG 2
Nachherbefragung mit ja UG 2
Vergleichsgruppen-Design nein VG 2
Vorexperimentelle Designs
Vorher-/Nachherbefragung UG1 ja UG2
Nachherbefragung ja UG2
UG: Untersuchungsgruppe (Teilnehmerinnen), KG: randomisierte Kontrollgruppe, VG: nichtrandomisierte
Vergleichsgruppe, t: Zeitpunkt
10Experimentelle Untersuchungsdesigns
Das experimentelle Untersuchungsdesign ist metho- gen in den erhobenen Antworten miteinander vergli-
disch das beste Design zur Ursache-Wirkungs-Mes- chen. Dadurch lässt sich der Einfluss von Faktoren
sung. Da die Auswahl der Teilnehmerinnen an einem eliminieren, die nicht durch das Projekt ausgelöst wer-
MINT-Projekt bei diesem Forschungsansatz zufällig den. Dieses Untersichtungsdesign kann in der Praxis
erfolgt, können Unterschiede zwischen den Gruppen realisiert werden, indem die Bewerberinnen für ein
sehr wahrscheinlich dem Projekt zugeschrieben Projekt per Zufall für die Teilnahmen ausgelost werden.
werden. Hierzu werden vor und nach dem Projekt Allerdings besteht dabei die Möglichkeit, dass die
jeweils die Teilnehmerinnen (Untersuchungsgruppe Ergebnisse dennoch z.B. durch kleine Stichproben-
UG) sowie Personen, die nicht am Projekt teilnehmen größen verzerrt sind.
(Kontrollgruppe KG), befragt und deren Veränderun-
Quasi-experimentelle Designs
Quasi-experimentelle Designs folgen der Logik eines fahren und/oder dem Matching der Teilnehmerinnen
Experiments, nehmen jedoch bei der Auswahl der der Untersuchungs- und Vergleichsgruppe mildern.
Untersuchungs- und Vergleichsgruppe keine Rando- Schülerinnen, die aufgrund einer begrenzten Teilneh-
misierung vor. Aufgrund dessen unterscheiden sich merinnenzahl nicht an dem Programm teilnehmen
die beiden Gruppen möglicherweise in wesentlichen können und auf einer Warteliste stehen, unterliegen
Eigenschaften, was die Ergebnisse verzerren kann. jedoch nicht diesem Selektionseffekt und stellen so-
Die Selbstselektion von besonders motivierten und/ mit eine sehr geeignete Vergleichsgruppe dar. Gleich-
oder MINT-affinen Schülerinnen in die Untersuchungs- wohl kann das Risiko der Verzerrung der geschätzten
gruppe würde in diesem Fall den Effekt einer Maß- Effekte des Projekts durch nicht gemessene Einfluss-
nahme überschätzen. Allerdings lassen sich die Aus- faktoren nicht komplett eliminiert werden (vgl. Diek-
wirkungen der fehlenden Zufallsaufteilung bei großen mann 2012: 359 f.).
Stichproben mithilfe multivariater statistischer Ver-
Vorexperimentelle Designs
Vorexperimentelle Designs verzichten auf den Ver- Ergebnisse zwar verzerren, da die gemessenen Verän-
gleich der Teilnehmerinnen-Gruppe mit einer Ver- derungen ggf. nicht auf die Teilnahme am Projekt,
gleichsgruppe und befragen die Teilnehmerinnen ent- sondern auf externe Faktoren zurückgeführt werden
weder vor und nach dem Projekt oder nur nach dem können. Bei kürzeren Projekten lassen sich mithilfe der
Projekt (vgl. Diekmann 2012: 330 ff.). Gravierende Ver- in Abschnitt 3 vorgestellten Determinanten zur Berufs-
änderungen der persönlichen Einflussfaktoren (u. a. wahl und des Karriereerfolgs dennoch die kurzfristigen
Reifungseffekte) oder personenunabhängige Verände- Effekte des Projekts auf diese Determinanten identifi-
rungen, die nicht durch die Teilnahme an dem Projekt zieren und somit Erfolge eines Projekts messen.
ausgelöst wurden (Diekmann 2012: 357), könnten die
11Im Fall der MINT-Projekte für Schülerinnen lässt sich Daher lassen sich auch vorexperimentelle Untersu-
eine Zufallsaufteilung aufgrund einer Verletzung der chungsdesigns zur Untersuchung der Wirkungen
Chancengleichheit kaum umsetzen, so dass ein expe- eines MINT-Projekts einsetzen.
rimentelles Design zur Evaluation von MINT-Projekten
in der Praxis schwierig zu realisieren ist. Auch die Um-
setzung eines quasi-experimentellen Designs gestal- Praxistipp
tet sich bei der Evaluation von MINT-Projekten für
Schülerinnen oft schwierig, da bei der Nachher-Befra-
gung mit Vergleichsgruppe multivariate Verfahren zur Zur einfachen Wirksamkeitsmessung in der Praxis
Herstellung der Vergleichbarkeit angewendet werden empfehlen wir mindestens ein vorexperimentelles
müssen und die Projekte oftmals keine oder nur eine Design, das die Veränderungen in der Gruppe der
sehr kurze Warteliste haben, die als Vergleichsgruppe Teilnehmerinnen mittels Vorher- und Nachher-Befra-
dienen könnte. gungen misst. Dieser Ansatz lässt sich in der Praxis
zum einen auch ohne tiefer-gehende methodische
Da die Schülerinnen-Projekte zumeist von kurzer Kenntnisse und mit wenig Aufwand mithilfe unserer
Dauer sind, schätzen wir gleichzeitig die Verzerrung Beispielfragen für Vorher- und Nachher-Fragebögen
der Evaluationsergebnisse durch Reifungseffekte bei umsetzen. Aus einer einzelnen Nachher-Befragung,
den Schülerinnen oder durch aktuelle gesellschaftli- die weder mit einer Vergleichsgruppe noch mit einer
che Diskurse als unwahrscheinlich ein, so dass eine Vorher-Befragung verglichen werden kann, sind keine
randomisierte Kontrollgruppe oder nicht-randomisier- Rückschlüsse auf die Wirkungen des Mentoring-Pro-
te Vergleichsgruppe nicht zwingend notwendig ist. gramms möglich.
p-
S te e p
st
by- hritten
c
ze hn S enen
In eig
zur uation
l
Eva
Step-by-step zum eigenen Evaluationsdesign
Schritt 3: Welche(s) der o. g. Erhebungsinstrumente ist/
sind zur Untersuchung Ihrer spezifischen Projektziele
geeignet?
Zur Messung der Wirksamkeit sind vor allem Papier- und
Online-Befragungen geeignet.
Schritt 4: Wen muss ich befragen, um das Ziel meiner
Evaluation zu erreichen?
Um den Effekt der Maßnahme auf die Schülerinnen abzu-
schätzen, sollten diese in jedem Fall befragt werden.5. Evaluationsfragen
Aussagekräftige Antworten erhalten Sie nur auf klare Fragen.
Bei der Frage nach Einstellungen ist das aber gar nicht so einfach.
Wir stellen Ihnen hierzu verschiedene Fragetypen mit den
dazugehörigen Antwortkategorien vor und geben Ihnen zahlreiche
Beispiele für Fragen zur Messung der Erfolgsindikatoren.
5.1 Fragetypen und lierten Antworten aber nicht mit eigenen Kategorien
Antwortkategorien ausweiten wollen, können Sie eine offene Antwortka-
tegorie (z.B. „Sonstiges:“) ergänzen.
Zur Erhebung Ihrer Evaluationsdaten können Sie ver-
schiedene Fragen- und Antworttypen nutzen. Die
Fragen zur Messung von Einstellungen
geeignetsten Fragetypen und Antwortkategorien zur
Evaluation von Schülerinnen-Projekten im MINT-
Zur Messung von Einstellungen werden in den Sozial-
Bereich stellen wir Ihnen nachfolgend zunächst im
wissenschaften verschiedene Skalen verwendet, häu-
Allgemeinen und schließlich in Anwendung auf Ihre
fig sogenannte Likert-Skalen, mit denen die Befragten
Evaluation mithilfe ausgewählter Fragen vor.
ihre Zustimmung zu einer Aussage zum Ausdruck
bringen. Diese Antwortskala wird häufig zur Bewer-
tung von Item-Batterien, d. h. einem Block aus meh-
Geschlossene Fragen reren Aussagen zur Beschreibung einer Einstellung,
Haltung oder Meinung verwendet (Porst 2009: 93).
Fragen lassen sich nach Inhalt und Form in geschlos-
sene und offene Fragen unterscheiden. Die geschlos- Auf einer fünfstufigen Antwortskala zu einer Aussage
senen Fragen werden in quantitativen Befragungen zur Einstellungsmessung gestaltet sich die Abfolge der
am häufigsten verwendet und geben den Befragten verbalisierten Antwortkategorien folgendermaßen:
eine begrenzte Anzahl an Antwortkategorien vor. Die
Antwortkategorien sollten daher so vielfältig sein,
dass jede Befragte sich in einer für sie passenden Ant- Stimme gar Stimme Teils/ Stimme Stimme voll
wort wiederfindet. Sie müssen des Weiteren klar nicht zu eher nicht teils eher zu und ganz zu
unterscheidbar sein und dürfen sich nicht überschnei- zu
den. Dieser Fragentyp erlaubt eine schnelle Beant-
wortung sowie eine vergleichsweise einfache Auswer- ☐ ☐ ☐ ☐ ☐
tung und ist sinnvoll, wenn die möglichen Antworten
für Sie gut voraussehbar und begrenzt sind. Falls sich
Befragte jedoch nicht vollständig in den Kategorien Zur Orientierung der Befragten verbalisieren Sie ent-
wiederfinden, besteht die Gefahr, dass diese Frage weder alle Skalenpunkte oder benennen nur die beiden
nicht beantwortet oder willkürlich angekreuzt wird. Endpunkte. Je mehr Punkte die Skala besitzt, desto
Sofern Sie sich grundsätzlich weitere Antwortmög- mehr empfiehlt es sich auch eine mittlere Antwortkate-
lichkeiten vorstellen können, die Liste der vorformu- gorie „Teils/teils“ zu benennen.
13und Zeit, was zum Überspringen der Frage oder im
Praxistipp
Extremfall zum kompletten Abbruch der Fragebogen-
bearbeitung führen kann. Außerdem gestaltet sich
Wir empfehlen mindestens fünf und maximal sieben die Auswertung offener Fragen als aufwendiger und sie
Skalenpunkte: weniger als fünf Punkte erlauben sind schwerer vergleichbar. Wir empfehlen daher,
wenig Differenzierung, so dass sich einige Befragte offene Fragen nur sehr gezielt einzusetzen, z. B. um im
nicht in diesen Antwortkategorien wiederfinden und Abschlussfragebogen zu erheben, ob die Schülerinnen
im Vorher-/Nachher-Vergleich nur große Verände- konkrete Vorschläge zur Verbesserung des Projekts
rungen sichtbar gemacht werden können. Wenn haben.
Sie hingegen mehr als sieben Kategorien anbieten,
werden diese kaum noch zur Differenzierung der
Zustimmung genutzt (Porst 2009: 92). Insbeson- 5.2 Fragen zur Messung der
dere jüngere Schülerinnen oder Schülerinnen mit
sprachlichen Schwierigkeiten könnten Schwierig-
Erfolgsindikatoren
keiten mit einer größeren Anzahl an Antwortkate-
gorien und einer dafür notwendigen semantischen Sobald Sie die Erfolgsindikatoren für Ihr Projekt defi-
Differenzierung der Zustimmungsskala haben. Un- niert haben, wählen Sie die dazu passenden Fragen
gerade Skalen geben Ihnen des Weiteren die Mög- aus. Achten Sie bei der Zusammenstellung der Fragen
lichkeit, eine neutrale Mittelkategorie anzukreuzen auch darauf, dass alle drei Wirkungsebenen des Logic
und zwingt Befragte nicht, eine Kategorie auszu- Chart berücksichtigt werden. In der folgenden Tabelle
wählen, die gegebenenfalls nicht ihrem „wahren“ finden Sie eine Übersicht der Fragen, die zur Messung
Zustimmungswert entspricht. der Erfolgsindikatoren in Auftakt- und Abschluss-Fra-
gebögen geeignet sind. Die Tabelle gliedert sich nach
den drei Wirkungsebenen Output, Outcome sowie Im-
pact und enthält auch Informationen zu geeigneten
Grundsätzlich sollten die Anzahl und Form der Ant- Antwortskalen. Sofern einzelne Antwortoptionen nicht
wortkategorien der Fragen und Aussagen sowie die zu den Inhalten und der Ausrichtung Ihres Angebots
Beschriftung der Antwortskalen möglichst einheitlich passen, lassen Sie diese weg oder passen Sie an Ihre
gehalten werden. Gleiches gilt auch für den Frage- Gegebenheiten an. Wenn Ihr Angebot z. B. nicht vor-
modus, also die Formulierung der Fragen. Zum einen sieht, den Schülerinnen einen Einblick in den Berufs-
erleichtert dies den Befragten das Ausfüllen des Frage- alltag einer Fachfrau/eines Fachmanns zu ermögli-
bogens, zum anderen erhöht dies die Vergleichbarkeit chen, entfernen Sie diese Antwort aus der Liste der
der Daten. Antwortoptionen der Aussage „Von der Teilnahme am
Projekt erhoffe ich mir, dass ich…“. Sie können dafür
aber auch weitere Aussagen ergänzen. Theoretisch
Offene Fragen könnten Sie auch den Wortlaut einzelner Fragen an-
passen. Es sei aber darauf hingewiesen, dass dadurch
Neben den geschlossenen Fragen besteht auch die die Verständlichkeit und die Aussagekraft der Ergeb-
Möglichkeit, offene Fragen ohne vorgegebene Ant- nisse beeinträchtigt werden kann. Dies gilt insbeson-
wortkategorien zu stellen. Diese erlauben den dere für die bereits getesteten Fragen und dazugehö-
Befragten mehr Freiheit bei der Beantwortung einer rigen Aussagen und Antworten der wissenschaftlich
Frage und somit auch die Erhebung von Informationen, fundierten Konstrukte des fachbezogenen Fähigkeits-
Sichtweisen und Kenntnissen, die ggf. nicht mithilfe selbstkonzepts, der Selbstwirksamkeitserwartung
von festen Antwortkategorien erfassbar wären. Gleich- und der Neigung zum Studienabbruch. Um Intentionen
zeitig sind offene Fragen für die Befragten oft schwie- zu erfassen, sollten diese Fragen mit den Worten „Ich
riger zu beantworten und erfordern mehr Anstrengung denke ernsthaft daran…“ beginnen.
p-
S te e p
st
by- hritten
c
ze hn S enen
In eig
zur uation
l
Eva
Step-by-step zu den eigenen Fragen
Schritt 5: Welche Fragen zu den unter Schritt 2 ausge-
wählten Indikatoren möchten Sie in Ihre Fragebögen
zur Auftakt- und Abschlussbefragung der Schülerinnen
aufnehmen?
Zu den ausgewählten Erfolgsindikatoren stehen Ihnen eine
Vielzahl von Fragen und Aussagen zur Messung dieser Indi-
katoren sowie möglichen Antwortkategorien zur Verfügung.Tabelle 1: Fragen zur Erfassung der Erfolgsindikatoren
Fragen Antwortmöglichkeit
1.1 Bewertung einzelner Veranstaltungen, der Inhalte oder des Gesamt-
projekts
Hast Du bereits an einem Projekt zur Studien- oder Berufsorientierung im Ja/Nein/Weiß nicht
MINT-Bereich* teilgenommen (z.B. Girls‘ Day)?
(*„MINT“ bezeichnet die Fächer- und Berufsgruppen Mathematik, Informatik,
Naturwissenschaft und Technik)
Wie wurdest Du auf das Projekt aufmerksam? Liste der Medien,
über die das Projekt
beworben wurde
sowie Freundin/
Freund, Familie und
Kategorie „Sonstige“
Hat Dir eine Veranstaltung zu einem bestimmten Thema gefehlt? Offen
Wenn ja, dann nenne uns bitte das Thema/die Themen, zu dem/denen Du
gerne mehr erfahren hättest:
Wie zufrieden warst Du in Bezug auf die folgenden organisatorischen Zufriedenheitsskala
Aspekte?
• Informationen zum Projekt
• Anmeldung zum Projekt
• Organisation des Projekts
1. OUTput
Hast Du Verbesserungsvorschläge zu diesen Aspekten des Projekts? Offen
Inwieweit stimmst Du den folgenden Aussagen zu: Zustimmungsskala
• Die vorgestellten Themengebiete waren interessant.
• Ich hätte lieber andere Themen aus dem MINT-Bereich kennengelernt.
• Die Studienberatung hat zu meiner Studienorientierung beigetragen.
• Über den Tagesablauf war ich immer gut informiert.
1.2 Bewertung von Betreuer*innen, Organisator*innen u.s.w.
Wie zufrieden warst Du in Bezug auf die folgenden Aspekte? Zufriedenheitsskala
• Kommunikation mit der/dem Projektverantwortlichen
• Betreuung durch den/die Projektverantwortliche/n
Hast Du Verbesserungsvorschläge zu diesen Aspekten des Projekts? Offen
Bitte vervollständige den folgenden Satz: Der/die Lehrende der Vorlesung/ Zustimmungsskala
der Übung XYZ…
• konnte die Bedeutung der Thematik deutlich machen
• konnte Kompliziertes verständlich machen
• ging angemessen auf Fragen ein
• konnte mein Interesse für sein/ihr Themengebiet steigern
1.3 Weiterempfehlung an Freundinnen, Bekannte u.s.w. & Bereitschaft zu
wiederholter Teilnahme
Würdest Du das MINT-Projekt XY an Freundinnen weiterempfehlen? Ja/Nein/Weiß nicht
Würdest Du wieder an einem MINT-Projekt für Schülerinnen an der Hoch- Ja/Nein/Weiß nicht
schule / Universität XY teilnehmen?
15Fragen Antwortmöglichkeit
2.1 Steigerung des Interesses am MINT-Bereich
Bitte gebe bei jeder Aussage an, inwieweit Du zustimmst. Mehrfach-
• Im Allgemeinen macht es mir Spaß, mich mit technischen Themen nennungen
zu befassen. möglich
• Ich lese gerne etwas über Technik.
• Ich beschäftige mich gerne mit technischen Problemen.
• Ich eigne mir gerne neues Wissen im Bereich Technik an.
Quelle: PISA-Konsortium (2009)
Ich finde ein Studium im MINT-Bereich interessant. Zustimmungsskala
Ich finde einen Beruf im MINT-Bereich interessant. Zustimmungsskala
Ich interessiere mich für Technik. Zustimmungsskala
► Tipp: je nach thematischem Schwerpunkt Ihres Projekts können Sie
die Aussagen spezifizieren, z. B. in Informatik, Mathematik, Physik.
2.2 Unterstützung bei der Studien- und Berufsfindung
Bitte vervollständige den folgenden Satz und beziehe Deine Antworten dabei Mehrfachnennun-
auf alle Aspekte des Projekts. gen möglich
Von der Teilnahme am Projekt XYZ erhoffe ich mir, dass ich… (im Auftakt-
fragebogen)
2. OUTcome
Die Teilnahme am Projekt XYZ hat dazu beigetragen, dass ich… (im Ab-
schlussfragebogen)
• … herausfinde, ob ein Studium das Richtige ist.
• … mehr darüber lerne, was ich studieren könnte.
• … herausfinde, ob ein Studium im MINT-Bereich das Richtige ist.
• … MINT-Studiengänge kennenlerne.
• … die Hochschule/Universität XYZ kennenlerne.
• … Informationen über mögliche Tätigkeiten im MINT-Bereich erhalte.
• … besser einschätzen kann, ob ich für einen Beruf im MINT-Bereich
geeignet bin.
• … mehr über Berufsaussichten im MINT-Bereich erfahre.
Wie gut bist Du über mögliche Berufe informiert, die Du nach einem Sehr wenig –
Studium im MINT-Bereich aufnehmen könntest? Sehr viel
Wie gut bist Du über die folgenden Themen informiert? Skala:
• Studiengänge, die an der Hochschule/Universität XYZ angeboten werden. gar nicht gut
• Studiengänge in den Bereichen Mathematik, Informatik, Naturwissen- informiert
schaften oder Technik an der Hochschule/Universität XYZ. –
• Studiengänge, die mit MINT zu tun haben. sehr gut informiert
• Berufe, die mit MINT zu tun haben.
• Wo ich Informationen über Berufe finde, die mit MINT zu tun haben.
• Arbeitgeber oder Firmen, die Personen für MINT-Tätigkeiten einstellen.
Wenn ich eine Tätigkeit in meinem Berufsfeld ergreife, dann… Zustimmungsskala
• … kann ich zur Lösung wichtiger gesellschaftlicher Probleme beitragen.
• … kann ich zahlreiche unterschiedliche Fähigkeiten zum Einsatz bringen.
• … wird von mir erwartet, dass ich gut mit anderen Menschen umgehen
kann.
• … kann ich den Beruf mit meiner eigenen Familie vereinbaren.
• … arbeite ich viel im Team.
• … habe ich gute Aufstiegschancen.
• … stehen mir viele Entwicklungsmöglichkeiten offen.
• … verdiene ich viel.
16Fragen Antwortmöglichkeit
Bitte vervollständige den folgenden Satz und beziehe Deine Antworten dabei Zustimmungsskala
auf alle Aspekte des Projekts. oder Mehrfach-
nennungen möglich
Von der Teilnahme am Projekt XYZ erhoffe ich mir, dass ich… (im Auftakt-
fragebogen)
Die Teilnahme am Projekt XYZ hat dazu beigetragen, dass ich… (im Ab-
schlussfragebogen)
• … Vorbilder kennengelernt habe
• ... Einblicke in den Berufsalltag einer Fachfrau/eines Fachmanns bekommen
konnte
• … einen leichteren Berufseinstieg erhalten habe
• … bessere Vorstellungen darüber bekommen konnte, in welchem Unter-
nehmen ich später arbeiten will
• … bessere Vorstellungen darüber bekommen habe, in welchem Berufsfeld ich
später arbeiten will
• … Verständnis für Karrierehindernisse von Frauen erhalten habe
• ... mehr zur Vereinbarkeit von Beruf und Familie erfahren konnte
2.3 Steigerung der Selbstwirksamkeit und Selbsteinschätzung
Selbstwirksamkeit
2. OUTcome
Im Folgenden findest Du einige Aussagen. Bitte kreuze bei jeder Aussage Zustimmungsskala
an, wie sehr diese für Dich zutrifft.
• Schwierigkeiten sehe ich gelassen entgegen, weil ich mich immer auf meine
Fähigkeiten verlassen kann.
• Ich fühle mich den Anforderungen eines Studiums gewachsen.
• Ich fühle mich den Anforderungen eines MINT-Studiums gewachsen.
• Was auch immer im Studium passiert, ich werde schon klarkommen.
• Durch meine vergangenen schulischen Erfahrungen bin ich gut auf ein
Studium vorbereitet.
• Wenn ich im Studium mit einem Problem konfrontiert werde, habe ich
bestimmt mehrere Ideen, wie ich damit fertig werde.
Quelle: Mohrenweiser/Pfeiffer (2016)
Selbsteinschätzung
Im Folgenden findest Du einige Aussagen. Bitte kreuze bei jeder Aussage Zustimmungsskala
an, wie sehr diese für Dich zutrifft.
• Ich weiß gut über Technik Bescheid.
• Ich weiß gut über Informatik Bescheid.
• Ich traue mir ein Studium im MINT-Bereich zu.
• Ich traue mir einen Beruf im MINT-Bereich zu.
2.4 Verringerung von Geschlechterstereotypen
Im Folgenden findest Du einige Aussagen. Bitte kreuze bei jeder Aussage Zustimmungsskala
an, wie sehr Du dieser Aussage zustimmst.
• Die meisten Mädchen wissen gut über Technik Bescheid.
• Die meisten Jungs wissen gut über Technik Bescheid.
• Die meisten Mädchen wissen gut über Informatik Bescheid.
• Die meisten Jungs wissen gut über Informatik Bescheid.
3.1 Absicht: (MINT-)Studium
Ich werde eine Ausbildung oder ein Studium im MINT-Bereich aufnehmen. Zustimmungsskala
Ich werde einen der folgenden Studiengänge im MINT-Bereich aufnehmen: Zustimmungsskala
• Mathematik
3. impact
• Elektrotechnik
• Umwelt- und Verfahrenstechnik
• Informatik
► Tipp: Nennen Sie in den Antwortoptionen den Studiengang/die Studien-
gänge, die Sie den Schülerinnen in Ihrem Projekt näherbringen möchten.
Ich werde an der Hochschule/Universität XYZ studieren. Zustimmungsskala
3.2 Absicht: (MINT-)Berufswahl
Ich werde einen Beruf im MINT-Bereich aufnehmen. Zustimmungsskala
176. Fragebogengestaltung
Eine gute Fragebogengestaltung erleichtert den Befragten das Verständnis
der Fragen und erhöht die Wahrscheinlichkeit, dass die Antworten
die „wahre“ Haltung der Schülerinnen widerspiegeln und der Fragebogen
vollständig ausgefüllt wird.
Durch jeden nicht ausgefüllten Fragebogen entgehen Beispielhaftes Anschreiben für den Fragebogen
Ihnen wertvolle Informationen über Ihr Projekt. Was
Sie beim Aufbau eines Fragebogens und zum Thema
Datenschutz und Anonymisierung im Rahmen der Liebe Teilnehmerin,
Befragung(en) beachten müssen, haben wir im Fol- mit diesem Fragebogen möchten wir Deine Meinung
genden zusammengefasst. zu naturwissenschaftlich-technischen Themen und
Studien- und Berufsfragen einholen (im Abschluss-
6.1 Fragebogenaufbau fragebogen: „…sowie Dein Feedback zum Projekt ein-
holen“). Dein Feedback hilft uns, das *Ihr Projektname*
Fragebögen sollten immer einer bestimmten Drama- weiter zu verbessern und auch zukünftig auf die
turgie folgen und die Befragten zielstrebig durch die Bedürfnisse der teilnehmenden Schülerinnen abzu-
Befragung führen. Ein gelungener Einstieg und eine stimmen.
zweckmäßige Reihenfolge der Fragen spielen hierbei
eine wichtige Rolle.
Wir bitten Dich daher sehr herzlich, die folgenden
Einleitende Worte und Informationen schaffen Ver- Fragen sorgfältig zu beantworten und den Fragebogen
bindlichkeit und Vertrauen. Auf der ersten Seite wer- vollständig auszufüllen. Dies wird ungefähr 10 bis 15
den den Schülerinnen daher Informationen zur Be- Minuten dauern. Deine Teilnahme an der Befragung ist
fragung mitgeteilt, die knapp und präzise gehalten
werden und die Bereitschaft und Motivation zur freiwillig und kann jederzeit abgebrochen werden, bei
Teilnahme an der Befragung steigern sollen. Hierzu Nichtteilnahme entstehen Dir keinerlei Nachteile.
gehören:
Deine Angaben werden außerdem vertraulich be-
• der Titel der Umfrage, die durchführende Institu-
tion sowie ein/e Ansprechpartner*in (inklusive handelt. Alle Mitarbeitenden am Projekt sind zur
Kontaktdaten) für die Befragung (für eventuelle Einhaltung der strengen Datenschutzvorschriften
Rückfragen). verpflichtet.
• ein kurzes Anschreiben, das auf die Inhalte des
Fragebogens eingeht und die Schülerinnen dabei Die Erhebung der Forschungsdaten erfolgt vollständig
über den Zweck der Befragung aufklärt (siehe Info- anonymisiert, d.h. an keiner Stelle wird Dein Name
box „Anschreiben für den Fragebogen“). Dabei ist erfragt. Deine Antworten und Ergebnisse werden mit
jedoch zu bedenken, dass die Kenntnis des Zwecks
bereits Einfluss auf die Teilnahmebereitschaft einem Zahlencode gespeichert, der unabhängig von
sowie auf das Antwortverhalten haben können und Deinem Namen erstellt wird. Es ist somit niemandem
daher eher allgemein gehalten sein sollten (Diek- möglich, Deine Angaben im Fragebogen mit Deinem
mann 2012: 486; Porst 2009: 34). So sollte z.B. Namen in Verbindung zu bringen. Des Weiteren wird
nicht der Eindruck entstehen, dass das Projekt
oder Sie als Projektverantwortliche bewertet oder die Veröffentlichung der Ergebnisse der Befragung in
benotet werden sollen. Vielmehr sollten Sie allge- anonymisierter Form erfolgen, d.h. ohne dass Deine
meine Fragestellungen in den Fokus rücken, wie Angaben Deiner Person zugeordnet werden können.
z.B. das Interesse an den Einstellungen der Schü-
lerinnen zum Studium und zur Berufswahl, und
auf die Ermöglichung der Weiterentwicklung des Vielen Dank für Deine Mithilfe!
Projekts für zukünftige Teilnehmerinnen hinweisen.
Um die Anreize zur Befragungsteilnahme zu er-
höhen, empfiehlt es sich, im Anschreiben auch
explizit die Notwendigkeit und Relevanz des Feed-
backs jeder einzelnen Schülerin zu betonen.
18Sie können auch lesen
