Das Bremer Lehrenden-Delphi: Studiendesign
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Das Bremer Lehrenden-Delphi: Studiendesign
Manuela Pötschke
Qualität universitärer Lehre: eine Frage ohne Antwort
Die Qualität universitärer Lehre ist zunehmend in der Diskussion und Kritik. Dabei spielen
insbesondere Fragen unterschiedlicher Rollenauffassungen, didaktischer Fähigkeiten und
Möglichkeiten der Qualitätsmessung eine Rolle.
In der Regel dienen Befragungen unter Studierenden zur Einschätzung dieser Frage, zumeist
mit der Intention, über die Ergebnisse solcher Erhebungen in einen Dialog zu treten und ge-
meinsam Lehrkriterien festzusetzen und Qualität zu beschreiben. Befragungen von Lehrenden
darüber, welche Vorstellungen sie mit guter Lehre verbinden und welche Wege und Ideen es
gibt, diese umzusetzen, aber auch welche Hemmnisse immer wieder zu überwinden sind,
werden dagegen sehr selten beobachtet. Das ist insofern verwunderlich, als in der fehlenden
Übereinstimmung der Ansprüche an die Lehre möglicherweise bereits ein erstes Unzufrie-
denheitspotential auf beiden Seiten existiert.
Neben der Unzufriedenheit mit Lehrsituationen sind aber auch vielfältige Aktivitäten und
Initiativen zur Lehrverbesserung zu beobachten. Dazu zählt beispielsweise die gewachsene
Bereitschaft zu hochschuldidaktischer Weiterbildung (vgl. Pötschke 2003b) oder die Imple-
mentierung von Initiativen wie des Hospitationszirkels. Hierbei scheint die Kommunikation
über Fachbereichs- oder Fächergrenzen hinweg äußerst schwierig. Dieser Austausch könnte
dabei zwei Funktionen erfüllen: zum einen ermöglicht er die Übernahme von bestehenden
Konzepten in andere Lehrinhalte, ohne dass die Konzepte mehrmals entwickelt werden müs-
sen. Zum anderen zeigen sich fachspezifische Schwierigkeiten, die durch die kommunikative
Situation eher gelöst werden können.
Den Fragen nach dem Bedeutungsgehalt guter Lehre, Initiativen zur Lehrverbesserung und
bestehenden Problemfeldern war ein Befragungsvorhaben gewidmet, dass in der Logik einer
Delphierhebung an der Universität Bremen im Frühjahr und Sommer 2003 durchgeführt wur-
de.
Die Teilnehmer für diese Delphi wurden über eine standardisierte Mitarbeiterbefragung ge-
wonnen, die im Wintersemester 2002/ 2003 stattfand. Darin wurden alle Lehrenden der Uni-
versität Bremen aufgefordert, über ihre Arbeitssituation und Arbeitszufriedenheit zu berich-
ten. Inhaltliches Ziel dieser Befragung war die Eruierung der dreifachen Belastungen durch
Lehre, Forschung und Selbstverwaltungsaufgaben. Am Ende der Befragung konnten die Teil-
1nehmer angeben, ob sie an dem Delphi zu Lehrfragen teilnehmen würden und wie sie gegebe-
nenfalls angesprochen werden möchten: per E-Mail oder postalisch.
Potentiale eines Delphi
Delphi werden immer dann eingesetzt, wenn Experten eine Bewertung und Strukturierung
über zunächst unsichere Sachverhalte vornehmen sollen. Häder (2002) unterscheidet vier
Formen nach der jeweiligen Zielstellung des Delphi (vgl. Abbildung 1).
Abbildung 1: Strukturierung von Delphi nach ihrer Zielstellung
Merkmal Typ 1 Typ 2 Typ 3 Typ 4
Inhalt Ideenaggregation Bestimmung Ermittlung von Beurteilungskonsens
eines Sachver- Expertenmeinungen
haltes
Ziel Sammlung von Prognosen Ermittlung und Herstellung der Ü-
Vorschlägen zur Bewertung von bereinstimmung der
Problemlösung Expertenurteilen Teilnehmer
Auswahl der Aufgrund Exper- Hypothesen Totalerhebung oder Aufgrund bestimm-
Experten tise zur Auffin- bewusste Auswahl baren Rahmens
dung notwen-
dig
Fragen Offene Fragen Offene und Offene und ge- Standardisierte Fra-
geschlossene schlossene Fragen gen
Fragen
Verhältnis Herausgehobene Gleich große Gleich große Be- Herausgehobene
Teilnehmer/ Rolle der Teil- Bedeutung deutung Bedeutung des For-
Forscherteam nehmer scherteams
Quelle: eigene Darstellung in Anlehnung an Häder (2002: 36).
Beim Bremer Lehrendendelphi handelte es sich nach dieser Klassifikation um eine Ideen-
aggregation, bei der sowohl standardisiert wie offen vorgegangen wurde. Die Kristallisation
des Ergebnisses erfolgt dabei iterativ in mehreren aufeinanderfolgenden Befragungs- oder
Diskussionsrunden. Häder (2002) beschreibt die folgenden zentralen Schritte bei der Durch-
führung einer Delphistudie:
Operationalisierung der Fragestellung
Auswahl der Experten
Festlegung der Anzahl und der Standardisierung der Befragungsrunden
Pretest
Erste Befragung
2Feedback
Weitere Befragungsrunden und jeweilige Feedbacks
Verfassen des Berichts
Die Art der Operationalisierung der Fragestellung hängt davon ab, welches Wissen über den
Sachverhalt bereits vorliegt. Zur Frage der Lehrqualität gibt es zahlreiche empirische Eviden-
zen, Problemfelder sind vielfältig dargestellt und auch Lösungsmöglichkeiten werden in der
Literatur ausführlich besprochen. Trotzdem scheint es immer wieder einen Bedarf nach Re-
flektion der Bedeutung von „guter universitärer Lehre“ zu geben. Es ist deshalb sinnvoll, den
Untersuchungsgegenstand mit standardisierten Instrumenten zu erfassen und gleichzeitig eine
eher unstrukturierte Auseinandersetzung mit möglichen Inhalten und Zielen der Lehre zuzu-
lassen. Diese unterschiedlichen Instrumente wurden den ausgewählten Experten in insgesamt
drei Befragungsrunden vorgelegt.
In der Literatur wird darauf verwiesen, dass die Expertise der ausgewählten Befragten vor der
Befragung oder parallel dazu eingeschätzt werden soll, so dass Bewertungsgewichtungen vor-
genommen werden können (Murry /Hammons 1995: 428). Duffield (1993: 228) weist darauf
hin, dass die gefundenen Experten auch über den Einfluss verfügen sollten, die Ergebnisse des
Delphi umzusetzen. Die notwendige, aber auch die maximale Größe der Expertengruppe ist
dabei in der Literatur nicht unumstritten. Einerseits soll die Gruppe nicht zu klein sein, damit
vielfältige Ideen Eingang in die Diskussionen finden können. Woudenberg (1991) schätzt eine
Gruppengröße von drei Teilnehmern als zu klein, Parenté/ Anderson-Parenté (1987) geben 10
Teilnehmer als Mindestgröße an. Andererseits reduziert ein größeres Delphi den Fehler der
Schätzungen (Cochran 1983), ist aber gleichzeitig in der Diskussion schwieriger zu moderie-
ren, es sei denn die Bewertungen erfolgen stark standardisiert.1 Im hier vorgestellten Projekt
steht die Sammlung möglichst vielfältiger Ideen im Mittelpunkt des Interesses. Deshalb
scheint eine größere Zahl von Experten um so besser zu sein. Solange die Argumente Für und
Wider konkreter Initiativen übersichtlich darstellbar bleiben, muss also keine künstliche Re-
duktion der Expertengruppe in Betracht gezogen werden.
Die notwendige Anzahl der tatsächlichen Befragungsrunden bleibt ähnlich der Gruppengröße
in der Literatur uneindeutig (vgl. Häder/ Häder 2000: 18). Einigkeit herrscht lediglich dar-
über, dass mindestens zwei Befragungsrunden mit einem Feedback integriert sein müssen, um
von einem Delphi sprechen zu können. Empirische Studien haben nun gezeigt, dass nach der
dritten Befragungsrunde keine wesentlichen Annäherungen und Meinungsverschiebungen
1
Die starke Standardisierung der „Studie zur globalen Entwicklung von Wissenschaft und Forschung“ des
BMBF ermöglichte den Einbezug von über 2000 Experten. Diese Gruppengröße ist jedoch im Feld der Delphi-
studien eine Ausnahme.
3mehr auftreten. Die Schlussfolgerung daraus, dass ein Delphi in der Regel drei Runden um-
fassen sollte, muss jedoch vor dem Hintergrund bewertet werden, dass das Veränderungspo-
tential von den einbezogenen Experten aber auch vom jeweiligen Thema abhängen wird. Geht
es darum, bestimmte Alternativen auszuwählen und andere zu verwerfen, sind auch
längerfristige Austausche unterschiedlicher Argumente denkbar. Ganz generell sollte deshalb
im Vorfeld zwar ein Kriterium entwickelt werden, dass die Beendigung des Delphi
kennzeichnet, die konkrete Vorgabe von Befragungsrunden, die dann strikt einzuhalten sind,
ist dagegen nicht immer sinnvoll (vgl. die Argumentation in Häder/ Häder 2000: 16, zu
empirischen Ergebnissen vgl. Linstone/Turoff 1975: 229, Kaynak et al. 1994, Murry/
Hammons 1995, Lanford 1972, Häder/ Häder 1994, Häder/ Häder/ Zielger 1995). In einem
Ideenaggregationsdelphi, das vor allem von den Berichten der Teilnehmer über positive und
negative Erfahrungen mit selbst organisierten Initiativen bestimmt wird, scheint eine eher
geringer anzunehmende Zahl von Befragungsrunden angemessen.
Das Feedback zwischen den Befragungsrunden kann gleichermaßen aus der Aufbereitung von
Streuungsinformationen und mittleren Schätzungen der Expertenbeurteilungen bestehen wie
auch aus verbalen Kommentaren (Richey et al. 1985: 142, Ono/ Wedemeyer 1994: 293). Die
Annahme ist nun, dass die Experten Ihre eigene Haltung im Fokus der allgemeinen Diskussi-
on überdenken oder sich bestärkt fühlen und so sukzessive Annäherungsprozesse zu beobach-
ten sind (Häder 2000).
Studiendesign des Bremer Lehrendendelphi
Im Bremer Lehrendendelphi wurden alle diejenigen, die an der Befragung zur Arbeitssituati-
on und Arbeitszufriedenheit teilnahmen als Experten für Fragen der Lehrqualität definiert.
Die vermutete Expertise resultierte dabei aus dem Kriterium, im Wintersemester 2002/ 2003
mindestens eine Lehrveranstaltung durchgeführt zu haben.
Die Erfahrungen waren deshalb recht unterschiedlich. In der Population waren sowohl gerade
erst diplomierte Lehrende mit ihrer ersten Veranstaltung, wie auch gestandene Hochschulleh-
rer, die vielfältige Versuche, die Lehrqualität zu verbessern, miterlebt haben.
Angesprochen wurden die Experten am Ende der Befragung. Auf einem separaten Informati-
onsblatt wurden sie über die geplante Durchführung des Delphi in Kenntnis gesetzt und gebe-
ten, ihre Teilnahmebereitschaft zu signalisieren.
4Diejenigen, die sich auf diesen Aufruf hin meldeten, konnten dann in einem ersten Schritt
einen Fragebogen beantworten, in dessen Kern es darum ging, was die Befragten unter guter
Lehre verstanden und wo einerseits Potentiale der Lehrverbesserung liegen, andererseits die
größten Probleme zu finden sind. Dieser Fragebogen war teilweise standardisiert, teilweise
offen. Aus den Antworten wurde ein Tableau entwickelt, dass die wesentlichen Probleme in
der Lehre und gleichzeitig die in den Fragebögen vorgeschlagenen Maßnahmen zur Verbesse-
rung der Lehre beschrieb. Diese Zusammenstellung wurde den Befragten als Feedback mit
der Maßgabe zurück gemeldet, sich zu drei inhaltlichen Schwerpunkten erneut zu äußeren:
1. Sind die vorgeschlagenen Maßnahmen geeignet, die Probleme in der Lehre zu lö-
sen?
2. Wie werden die konkreten Projekte zur Verbesserung der Lehre beurteilt?
3. Für welche der Projekte können die Befragten sich eine Umsetzung im eigenen
Arbeitsbereich vorstellen?
Das daraus resultierende Feedback sollte in einer abschließende Runde diskutiert werden.
Hier ging es dann vor allem um Vor- und Nachteile unterschiedlicher Projekte und mögliche
Übertragungen. Der Studienverlauf kann folgendermaßen zusammengefasst werden (vgl. Ab-
bildung 2).
Abbildung 2: Studienverlauf
1. Delphirunde 1. Feedback 2. Delphirunde 2. Feedback 3. Delphirunde
Mai 2003 Anfang Juni 2003 Juni 2003 Anfang Juli 2003 Juli 2003
Teilstandardisier- Offene Befragung Offene Befragung
ter Fragebogen zu drei Themen- zur generellen
schwerpunkten Bewertung
Verbale Zusam- Verbale Zusammen-
menfassung und fassung
Häufigkeiten
In der zweiten und dritten Runde des Delphi wurden zwei Merkmale der Erhebung variiert
und auf ihre Wirkung hin getestet: es handelt sich dabei um die Frage nach der Anonymität
der Delphiteilnehmer und die Art der Kommunikation des Feedbacks. Daraus ergab sich das
in Abbildung 3 dargestellte Schema. Die Unterscheidung nach der Form der Anonymität be-
zieht sich dabei darauf, ob die Experten in ihrer Gruppe für die anderen Delphiteilnehmer
jeweils ohne persönliche Kennzeichnung auftraten oder aberpersönlich identifizierbar waren.
5Durch die verbreitete Kommunikation per E-Mail mit der Forscherin, waren für sie die Teil-
nehmer natürlich nicht anonym.
Die Differenzierung nach Schriftlich und Online bezog sich auf die Präsentation des Feed-
backs durch die Forscherin. Die Onlinevariante ist hier ganz konkret der Versand per E-Mail,
die schriftliche per Hauspost. In weiteren Untersuchungen muss der Frage nachgegangen
werden, ob die webbasierte Präsentation beispielsweise auf einer Lernplattform zu anderen
Ergebnissen führt. Ein Unterschied zum hier vorgestellten Design wird dort auf jeden Fall
darin bestehen, dass eine zeitunabhängige direkte Kommunikation zwischen den Delphiteil-
nehmern hergestellt werden kann. Die Differenzierung nach unterschiedlichen Feedbackfor-
men erfolgte vor dem Hintergrund der wachsenden Bedeutung von Onlinekommunikation.
Diese hat in aller Regel den Vorteil, der zeitlichen und örtlichen Unabhängigkeit der Befrag-
ten, wobei gleichzeitig die Kosten für den Forscher relativ gering gehalten werden können.
Abbildung 3: Systematisierung der Delphigruppen
Online Schriftlich
Anonym Gruppe A (N=8) Gruppe B (N=6)
Nicht anonym Gruppe C (N=7) Gruppe D (N=6)
Die Befragten selber konnten Präferenzen für die Zusendung des Feedbacks angeben, die bei
der Gruppenzuweisung beachtet wurden. Die Verteilung auf die anonymen vs. nicht anony-
men Gruppen erfolgte zufällig. Dabei wurde eine gleichmäßige Verteilung unterschiedlicher
Statusgruppen auf die Delphigruppen angestrebt.
Eine der zentralen methodischen Fragestellungen in diesem Zusammenhang bezeiht sich nun
darauf, ob sich die Datengüte zwischen schriftlichen und computergestützten Befragungen
unterscheidet. Auch für das Delphi macht es Sinn, dieser Frage genauer nachzugehen. Auf der
einen Seite ist die Kommunikation per E-Mail sehr viel direkter und schneller als mit der
Post. Andererseits ist eine angehangene Datei auch schneller verloren, während ein Brief dem
Befragten auch nach einiger Zeit wieder in die Hände fallen kann. Hier bleibt zu untersuchen,
ob die Feedbackgestaltung einen Einfluss auf die Teilnahme hat. Für die Rückantworten aller
Befragten standen sowohl E-Mail wie auch die Hauspost zur freien Verfügung. Die meisten
der Befragten wählten die elektronische Variante.
6Rücklauf in den Delphigruppen
Von den insgesamt 347 Teilnehmern der ersten Befragung zur Arbeitssituation und Arbeitszu-
friedenheit baten 107 darum, den Delphifragebogen zur „Qualität der Lehre“ zu erhalten. Da-
von schickten insgesamt 27 Befragte den ausgefüllten Fragebogen zurück und wurden dann
auf die Delphigruppen verteilt, um anschließend zur zweiten und dritten Befragungsrunde
eingeladen zu werden.
Der Rücklauf in den einzelnen Gruppen war dann sehr unterschiedlich (vgl. Abbildung 4).
Offensichtlich ist die nicht anonymisierte Form eine Möglichkeit, die Teilnahmebereitschaft
zu erhöhen, wenn die Befragung per E-Mail realisiert werden kann. In dieser Gruppe haben 6
der 7 Mitglieder ein Statement in der zweiten Runde zurückgeschickt. In der dritten Runde
glich sich die Rücklaufquote eher aus. Auffällig dabei war, dass drei Befragte an der dritten
Welle teilnahmen, obwohl sie in der zweiten aussetzten. Das wird mit dem großen themati-
schen Interesse begründet werden können. Andererseits war der Rücklauf insgesamt nicht
besonders hoch. Gründe dafür können darin liegen, dass die Veränderungen zwischen zweiter
und dritter Welle nicht mehr sehr groß waren, da die Argumente großenteils ohne Gegenrede
akzeptiert wurden. Nur zum Thema der Studiengebühren gab es entgegengesetzte Ansichten,
die aber im Rahmen des Delphi auch nicht aufgelöst werden konnten. Das heißt, dass ein we-
niger heterogenes Delphi dann Teilnehmer verliert, wenn sie das Gefühl entwickeln, alles sei
gesagt.
Abbildung 4: Rücklauf in den Delphigruppen
2. Delphiwelle 3. Delphiwelle (aus 2. je teilgenommen)
Gruppe A (N=8) teilgenommen 2 1
nicht teilgenommen 6 2
Gruppe B (N=6) teilgenommen 2 2
nicht teilgenommen 4 0
Gruppe C (N=7) teilgenommen 6 3
nicht teilgenommen 1 0
Gruppe D (N=6) teilgenommen 2 2
nicht teilgenommen 4 1
Alles in allem ist der Rücklauf nur eingeschränkt zufriedenstellend. Einerseits ist eine Samm-
lung von Vorschlägen zur Verbesserung der universitären Lehrqualität geglückt. Dabei zeigte
sich wieder einmal, dass auch in diesem Bereichzahlreiche Initiativen gestartet werden und
erfolgreich umgesetzt werden konnten.
7Auf diese zentrale Zielstellung, Ideen über einen spezifischen Sachverhalt zu generieren, mag
aber andererseits auch die insgesamt geringe Rücklaufquote in der zweiten und dritten Welle
zurück zu führen sein. Einige der Befragten gewannen den Eindruck, die zentralen Gedanken
waren schon geäußert und verzichteten deshalb auf ein eigenen Statement. Für zukünftige
Delphi-Erhebungen sollte deshalb auf kontroverse Abschnitte im Feedback nicht verzichtet
werden. Wenn sie nicht aus dem empirischen Material generiert werden können, sollten auch
externe Quellen dazu herangezogen werden.
Literatur:
Cochran, S.W. 1983: The Delphi Method: Formulating and Refining Group Judgements. Journal of
Human Sciences, 2, 2, 11-117.
Duffield, Ch. 1993: The delphi technique: a comparison of results obtaining using two expert panels.
International Journal of Nursing Studies, 30, 3, 227-237.
Häder, Michael 2000: Und wie kommen Sie darauf? Probings zu den kognitiven Prozessen bei der
Beantwortung von Prognosefragen in einer Delphi-Studie. In: Häder, Michael/ Häder, Sabine
(Hg.): Die Delphi-Technik in den Sozialwissenschaften. Wiesbaden: Westdeutscher Verlag,
179- 193
Häder, Michael, 2002: Delphi-Befragungen. Ein Arbeitsbuch. Wiesbaden: Westdeutscher Verlag
Häder, Michael/ Häder, Sabine 2000: Die Delphi-Methode als Gegenstand methodischer Forschungen.
In: Häder, Michael/ Häder, Sabine (Hg.): Die Delphi-Technik in den Sozialwissenschaften.
Wiesbaden: Westdeutscher Verlag, 11- 31.
Häder, Michael/ Häder, Sabine/ Ziegler, A. 1995: Punkt- versus Verteilungsschätzung: Ergebnisse
eines Tests zur Validierung der Delphi-Methode, ZUMA-Arbeitsbericht 95/05, Mannheim.
Linstone, H.A./ Turoff, M (Hrsg.) 1975: The Delphi Method: Techniques and Applications. Reading:
Addison-Wesley.
Murry, J.W. Jr./ Hammons, J.O., 1995: A Versatile Methodology for Conducting Qualitative Re-
search. The Review of Higher Education, 18, 4, 424-436.
Parenté, F.J./ Anderson-Parenté, J.K. 1987 : Delphi Inquiry Systems. In : Wright, G./ Ayton, P. (Hrsg.)
1987: Judgmental Forecasting. New York: John Wiley & Sons.
Pötschke, Manuela 2003b: Akzeptanz hochschuldidaktischer Weiterbildung. Online Paper:
www.sozialforschung.uni-bremen.de/paper.html
Woudenberg, F. 1991: An Evaluation of Delphi. Technological Forecasting and Social Change, 40,
131-150.
8Sie können auch lesen
