Handreichung für Klausuren mit Aufgaben nach dem Antwort-Wahl-Verfahren (Single-Choice/Multiple-Choice)
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
SERVICECENTER LEHRE
Handreichung für Klausuren mit Aufgaben nach dem
Antwort-Wahl-Verfahren (Single-Choice/Multiple-Choice)
Jede Prüfung gilt grundsätzlich als Eingriff in die grundgesetzlich garantierte Berufswahlfreiheit
(Art. 12 Abs. 1 Grundgesetz) und muss daher entsprechend geregelt sein. Nach der
Rechtsprechung des Bundesverfassungsgerichtes und weiterer Gerichte sind besondere Maßstäbe
an die Prüfungsform der Aufgabe nach dem Antwort-Wahl-Verfahren anzulegen, da – anders als
bei offenen Fragen oder einer mündlichen Prüfung – bei Aufgaben nach dem Antwort-Wahl-
Verfahren nur eine rechnerische Auswertung stattfindet (richtig oder falsch) und kein
Beurteilungsspielraum des Prüfers bleibt.
Das vorliegende Dokument dient der Konkretisierung der in § 11 Abs. 2 der Allgemeinen
Bestimmungen für Fachprüfungsordnungen mit den Abschlüssen Bachelor und Master an der
Universität Kassel (AB Bachelor/Master) vom 17. Juli 2013 getroffenen Regelungen und
unterstützt Sie bei der rechtssicheren Durchführung und der qualitätsorientierten Entwicklung
von Aufgaben nach dem Antwort-Wahl-Verfahren.
Wortlaut § 11 Abs. 2:
„Ist die Prüfungsform des Antwort-Wahl-Verfahrens vorgesehen, bedarf dies einer Festlegung
in den Fachprüfungsordnungen. Bei der Konzeption der Prüfung nach dem Antwort-Wahl-
Verfahren sind die anerkannten Mindeststandards für diese Prüfungsform zu beachten.
Insbesondere sind vorzusehen:
eine absolute und eine relative Bestehensgrenze,
eine Umrechnung der erreichten Punktzahl in Notenstufen,
eine Regelung zum Umgang mit vom Prüfer fehlerhaft formulierten Aufgaben
(Fehlereliminierung).
Eine Prüfungsaufgabe darf nicht schlechter als mit 0 Punkten bewertet werden, es dürfen also
keine Minus- oder Maluspunkte über Prüfungsaufgaben hinweg vergeben werden.“
In der vorliegenden Handreichung werden die getroffenen Regelungen erläutert, in Form einer
Checkliste operationalisiert und durch Beispiele konkretisiert. Das Dokument gliedert sich in die
folgenden Abschnitte:
1. Absolute und relative Bestehensgrenze
2. Umrechnung der erreichten Punktzahl in Notenstufen
3. Regelung zum Umgang mit vom Prüfer fehlerhaft formulierten Aufgaben
(Fehlereliminierung).
4. Umgang mit Minuspunkten in Aufgaben
5. Empfehlungen für Mindeststandards bei der Konzeption von Aufgaben nach dem
Antwort-Wahl-Verfahren
Universität Kassel, Servicecenter Lehre, Arnold-Bode-Str. 10, 34127 Kassel
E-Mail: scl@uni-kassel.de, Tel.: 0561/ 804-7145, Fax: 0561/804-7146 Seite 1 von 13SERVICECENTER LEHRE Unter Single-Choice-Aufgaben (Einfach-Wahl-Aufgaben) werden Aufgaben verstanden, bei der der Prüfling aus den vorgegebenen Antwortoptionen exakt eine richtige Antwort auswählen soll. Bei Multiple-Choice-Aufgaben (Mehrfach-Wahl-Aufgaben) können mehrere richtige Lösungen ausgewählt werden. Beide Aufgabentypen werden unter dem Begriff der Antwort-Wahl-Aufgabe zusammengefasst. Zu den Aufgaben nach dem Antwort-Wahl-Verfahren zählen zum einen auch Zuordnungs- Aufgaben, bei denen einer Liste von Elementen ein oder mehrere andere Elemente zugeordnet werden müssen, zum anderen fallen hierunter auch so genannte Matrix-Aufgaben, bei denen mehrere Single-Choice-Fragen mit denselben Antwortoptionen in einer Aufgabe kombiniert werden. Nicht zu den Antwort-Wahl-Aufgaben zählen folgende Formate: Fill-in-Blank (Text-, Formel oder Zahleneingabe), Hot-Spot-Aufgaben sowie Drag-and-Drop-Aufgaben. Sofern es sich bei einer Prüfung um eine Modulabschlussprüfung handelt, sind die Aufgaben nach dem Antwort-Wahl-Verfahren in Anlehnung an § 18 Abs. 3 des Hessischen Hochschulgesetzes von mindestens zwei prüfungsberechtigten Personen gemäß § 5 Abs. 2 AB Bachelor/Master zu erarbeiten (Vier-Augen-Prinzip). 1. Absolute und relative Bestehensgrenze Für Klausuren, die vollständig aus Aufgaben nach dem Antwort-Wahl-Verfahren bestehen, ist neben der absoluten eine relative Bestehensgrenze festzulegen. Für Mischklausuren, die neben Aufgaben nach dem Antwort-Wahl-Verfahren auch andere Aufgaben enthalten, sollte eine relative Bestehensgrenze für den Teil der Antwort-Wahl-Aufgaben angewendet werden, wenn 20% oder mehr der Punkte durch Antwort-Wahl-Aufgaben erworben werden können. Auf diese Weise wird sichergestellt, dass die Regelungen insbesondere auf solche Klausuren angewendet werden, bei denen ein wesentlicher Teil der Aufgaben aus Fragen nach dem Antwort-Wahl- Verfahren besteht. Die absolute Bestehensgrenze wird vom Lehrenden vor der Klausur unter Berücksichtigung von fachbereichsinternen Regelungen festgelegt. Wurde die absolute Bestehensgrenze z. B. bei 50% festgelegt, haben alle Studierenden mit 50% und mehr Punkten die Klausur bestanden. Die relative Bestehensgrenze ist erreicht, wenn der Anteil der von dem Prüfling erreichten Punkte nicht mehr als 20% unter dem durchschnittlichen Anteil der erreichten Punkte aller teilnehmenden Prüflinge liegt. Die relative Bestehensgrenze wird ermittelt, indem zunächst aus den Prüfungsergebnissen aller Prüfungsteilnehmer der Durchschnittswert errechnet wird. Von diesem Durchschnittswert werden 20% ermittelt und abgezogen. Das Ergebnis entspricht der relativen Bestehensgrenze. Liegt die so berechnete relative Bestehensgrenze unter der absoluten Bestehensgrenze, ist die relative Bestehensgrenze anzuwenden. Im Falle von Wiederholungsprüfungen sollten sowohl die absolute als auch die relative Bestehensgrenze aus der ersten Klausur verwendet werden, um vergleichbare Bewertungen für beide Klausuren zu gewährlisten. Universität Kassel, Servicecenter Lehre, Arnold-Bode-Str. 10, 34127 Kassel E-Mail: scl@uni-kassel.de, Tel.: 0561/ 804-7145, Fax: 0561/804-7146 Seite 2 von 13
SERVICECENTER LEHRE
Checkpunkt:
Nach der Klausur: Berechnung des Durchschnittswerts der erreichten Punkte für den Teil
der Klausur mit Antwort-Wahl-Aufgaben, davon 20% abziehen. Liegt diese relative
Bestehensgrenze unter 50% der Punkte, ist diese anzuwenden, sonst ist die absolute
Bestehensgrenze zu wählen.
Beispiele:
Beispiel 1: In einer Klausur haben die Teilnehmenden im arithmetischen Mittel 53% der
Punkte des Antwort-Wahl-Teils der Klausur erzielt. 20% davon betragen 53% x 20% =
10,6%. Somit liegt die relative Bestehensgrenze bei 53%-10,6%=42,4%. Da dies kleiner ist
als 50%, ist in diesem Fall die relative Bestehensgrenze anzuwenden.
Beispiel 2: In einer Klausur haben die Teilnehmenden im arithmetischen Mittel 65% der
Punkte des Antwort-Wahl-Teils der Klausur erzielt. 20% davon betragen 65% x 20% = 13%.
Somit liegt die relative Bestehensgrenze bei 65%-13%=52%. Da dies größer ist als 50%, ist
in diesem Fall die absoulte Bestehensgrenze (50%) anzuwenden.
Beispiel 3: Ein Prüfling hat 48% erreicht und liegt damit unterhalb der absoluten
Bestehensgrenze von 50%. Der Durchschnittswert aller Prüfungen beträgt 60%. Abzüglich
20% von 60 liegt die relative Bestehensgrenze bei 48% (60% x 20% = 12%; 60% - 12%=
48%). Damit liegt die relative Bestehensgrenze (= 48%) um 2% unter der absoluten
Bestehensgrenze (= 50%) und ist hier anzuwenden. Der Prüfling hat somit die Klausur
bestanden.
2. Umrechnung der erreichten Punktzahl in Notenstufen
Das von einem Prüfling erzielte Ergebnis einer Klausur im Antwort-Wahl-Verfahren ist gemäß dem
an den jeweiligen Fachbereichen verwendeten Notenschlüssel in eine Note umzurechnen. Liegt
eine Mischklausur vor, ist der Teil der Klausur mit Antwort-Wahl-Aufgaben entsprechend in eine
eigene Note umzurechnen. Unter Berücksichtigung der Prüfungsziele können die beiden Teilnoten
dann bei der Berechnung der Gesamtnote unterschiedlich gewichtet werden.
Checkpunkt:
Nach der Klausur: Umrechnung der Ergebnisse zu den Antwort-Wahl-Aufgaben in eine
Note auf Basis des fachbereichsinternen Notenschlüssels.
Beispiele:
Beispiel 1: Ein fiktiver fachbereichsinterner Notenschlüssel lautet
1,0 wenn mindestens 95%,
1,3 wenn mindestens 90%,
Universität Kassel, Servicecenter Lehre, Arnold-Bode-Str. 10, 34127 Kassel
E-Mail: scl@uni-kassel.de, Tel.: 0561/ 804-7145, Fax: 0561/804-7146 Seite 3 von 13SERVICECENTER LEHRE
1,7 wenn mindestens 85%,
2,0 wenn mindestens 80%,
2,3 wenn mindestens 75%,
2,7 wenn mindestens 70%,
3,0 wenn mindestens 65%,
3,3 wenn mindestens 60%,
3,7 wenn mindestens 55%,
4,0 wenn mehr als 50%
erreicht wurden.
Studierender 1 hat bei den Antwort-Wahl-Aufgaben 83,5% der Punkte dieses Teils
erreicht, damit erhält er die Note 2,0 für diesen Teil der Klausur.
Studierender 2 hat in diesem Teil 64% der Ergebnisse und damit die Note 3,3 erreicht.
Beispiel 2: Eine Klausur besteht zur Hälfte aus Single- und Multiple-Choice-Aufgaben,
durch die 30% der Punkte erreicht werden können. Die übrigen 70% der Punkte können
durch offen gestellte Aufgaben erreicht werden. Eine Studierende hat in dem Teil der
Klausur mit Aufgaben nach dem Antwort-Wahl-Verfahren die Gesamtnote 1,0 erzielt. Bei
den übrigen Aufgaben jedoch die Note 1,6. Aufgrund der Gewichtung ergibt sich die
Gesamtnote wie folgt: 1,0 * 30% + 1,6 * 70% = 0,3 + 1,12 = 1,42. Damit erhält die
Studierende die Gesamtnote 1,42.
3. Regelung zum Umgang mit vom Prüfer fehlerhaft formulierten Aufgaben
(Fehlereliminierung)
Fehler bei Aufgaben nach dem Antwort-Wahl-Verfahren können sowohl in der Aufgabenstellung
(dem Fragenstamm) als auch bei den Antwortoptionen auftreten. Dies kann insbesondere Folgen
für die Bewertung einer solchen Aufgabe nach sich ziehen.
Bei der Entwicklung von Aufgaben nach dem Antwort-Wahl-Verfahren sollte besonderes
Augenmerk sowohl auf die Qualität der Aufgabenstellung als auch der Antwortoptionen gelegt
werden (siehe dazu auch Abschnitt 5).
Wird im Nachgang einer Klausur festgestellt, dass eine fehlerhafte Formulierung verwendet
wurde, kann entweder eine Neubewertung der Klausur vorgenommen oder die Aufgabe kann
ganz aus der Bewertung genommen werden. Da dies immer einzelfallabhängig ist und nicht
generell geregelt werden kann, muss das weitere Verfahren stets mit dem Prüfungsausschuss
abgestimmt werden, um Rechtssicherheit zu erhalten. In diesem Zusammenhang muss auch
geklärt werden, ob sich dadurch aufgrund der veränderten Ergebnisse eine neue Bestehensgrenze
ergibt.
Checkpunkte:
Nach der Klausur: Im Falle einer fehlerhaft formulierten Aufgabe ist das weitere Vorgehen
mit dem Prüfungsausschuss abzustimmen und bei Nachkorrekturen die relative
Bestehensgrenze ggf. neu zu berechnen.
Universität Kassel, Servicecenter Lehre, Arnold-Bode-Str. 10, 34127 Kassel
E-Mail: scl@uni-kassel.de, Tel.: 0561/ 804-7145, Fax: 0561/804-7146 Seite 4 von 13SERVICECENTER LEHRE
Beispiel 1: Ein Dozent hat eine Aufgabe gestellt, bei der von den vorgegeben Antworten
unbeabsichtigt mehrere Antworten richtig sind. Die Prüflinge sollten jedoch nur eine
Antwort als richtig ankreuzen. Der Fehler wurde erst nach Bekanntgabe der Ergebnisse
entdeckt. In diesem Fall muss mit dem Prüfungsausschuss geklärt werden, ob die Aufgabe
ganz aus der Bewertung genommen werden muss, oder ob die irrtümlicherweise falsch
bewerteten Lösungen nachträglich als richtig bewertet werden können. In beiden Fällen
ist zudem zu klären, ob sich daraus Veränderungen in der Bestehensgrenze ergeben.
Beispiel 2: Bei der Bewertung einer Klausur fiel noch vor Bekanntgabe der Ergebnisse auf,
dass eine Fragestellung missverständlich formuliert und von einem Großteil der
Studierenden falsch verstanden wurde. Nach Rücksprache mit dem Prüfungsausschuss
wurde vereinbart, dass die Frage für alle Prüflinge aus der Bewertung genommen wurde.
Die Studierenden wurden hierüber entsprechend informiert. Die relative Bestehensgrenze
wurde ohne diese Aufgabe berechnet.
4. Umgang mit Minuspunkten in Aufgaben
Insbesondere bei der Verwendung von Multiple-Choice Aufgaben (mehrere richtige Antworten)
ist die Verwendung von Punktabzügen für fehlerhaft angekreuzte Antwortalternativen innerhalb
einer Aufgabe sinnvoll: Dadurch kann verhindert werden, dass der Prüfling z. B. durch Ankreuzen
aller Antwortalternativen stets die volle Punktzahl erhält. Die Vergabe von Minuspunkte für falsch
angekreuzte Antwortoptionen ist innerhalb einer Multiple-Choice-Aufgabe erlaubt. Es muss
allerdings sichergestellt werden, dass der Prüfling für die Aufgabe insgesamt nicht weniger als null
Punkte erhält.
Alternativ könnte ein entsprechendes Bewertungssystem umgesetzt werden, in welchem
bestimmte Kombinationen von Antworten mit positiven Punkten und alle andere Kombinationen
mit null Punkten bewertet werden (vgl. z.B. Hochschule Ludwigshafen am Rhein 2012, S. 8;
Leibnitz Universität Hannover 2009, S. 4).
Checkpunkte:
Bei Aufgaben mit mehreren richtigen Antworten ist die Verwendung von Minuspunkten
innerhalb einer Aufgabe erlaubt, allerdings darf die Aufgabe insgesamt nicht schlechter
als mit null Punkten bewertet werden.
Beispiele:
Beispiel 1: Bei einer Aufgabe mit 5 Antwortalternativen sind Antwortoptionen A und C
korrekt, die Antwortoptionen B, D und E sind falsch. Für das Ankreuzen einer korrekten
Antwort erhält der Prüfling einen Pluspunkt, für das Ankreuzen einer falschen Antwort
einen Minuspunkt.
Studierender 1 hat Antwortalternative a, b und c angekreuzt und erhält somit 2 Plus- und
einen Minuspunkt, insgesamt also 1 Punkt für diese Aufgabe.
Universität Kassel, Servicecenter Lehre, Arnold-Bode-Str. 10, 34127 Kassel
E-Mail: scl@uni-kassel.de, Tel.: 0561/ 804-7145, Fax: 0561/804-7146 Seite 5 von 13SERVICECENTER LEHRE
Studierender 2 hat alle Antwortalternativen angekreuzt, er/sie erhält 2 Plus- und 3
Minuspunkte. Insgesamt käme er/sie also auf einen Minuspunkt, da Prüfungsaufgaben
jedoch nicht schlechter als mit null Punkten bewertet werden dürfen, erhält er/sie
insgesamt null Punkte für diese Aufgabe.
Beispiel 2: Bei einer Aufgabe mit 5 Antwortalternativen sind Antwortoptionen a, b und c
korrekt, die Antwortoptionen d und e sind falsch. Für das Ankreuzen einer korrekten
Antwort erhält der Prüfling 2 Pluspunkte, für das Ankreuzen einer falschen Antwort drei
Minuspunkte.
Studierender 1 hat Antwortalternative A angekreuzt und erhält 2 Pluspunkte.
Studierender 2 hat alle Antwortalternativen angekreuzt, er/sie erhält somit 6 Plus- und 6
Minuspunkte, also insgesamt genau null Punkte.
5. Empfehlungen für Mindeststandards bei der Konzeption der Aufgaben nach
dem Antwort-Wahl-Verfahren
Single-/Multiple-Choice-Aufgaben eignen sich sehr gut, um im Hochschulbereich die meisten
kognitiven Wissensbereiche valide, objektiv und zuverlässig abzuprüfen (vgl. Brauns & Schubert
2008; Bloch et al. 1999). Nach Beaucamp und Buchholz (2010, S. 58) sind Multiple-Choice-
Klausuren anderen Prüfungsformen sogar insofern überlegen, als dass mit ihnen in gleicher Zeit
mehr Fakten und Begriffe abgefragt, bestimmte Sachverhalte wiedererkannt und Wissensinhalte
miteinander verknüpft werden können.
Von den zu prüfenden Lehr-Lernzielen ist es abhängig, welcher Aufgabentyp sinnvoll eingesetzt
wird. Multiple-Choice-Aufgaben sind dabei nach Krebs (2004, S. 7) „für Problemstellungen
geeignet, bei denen es mehrere wichtige Optionen gibt, die sich deutlich von anderen abheben.“
Mit einer ausschließlichen Verwendung von Single-Choice-Aufgaben würde demzufolge viel
prüfungsdidaktisches Potential verschenkt. Insgesamt empfiehlt sich daher ein an den zu
prüfenden Lehr-Lernzielen orientierte, zielgerichtete Verwendung von Single-Choice- und
Multiple-Choice-Aufgaben, offenen Fragen und anderen Aufgabentypen.
Sollte eine Klausur dennoch ausschließlich aus Single-Choice-Aufgaben bestehen, so wird die
Chance, durch simples „Erraten“ der Lösung die Klausur zu bestehen, verringert, indem mehr
Single-Choice-Aufgaben verwendet werden.
Für die Erstellung von beiden Typen der Antwort-Wahl-Aufgaben lassen sich in der Literatur
neben rechtlichen Vorgaben vielfältige Qualitätskriterien und Regeln für die Erstellung und
Durchführung von Prüfungen finden. Die wichtigsten sind in den folgenden Abschnitten
zusammengefasst:
a) Qualitätskriterien bzgl. der Fragestellungen
b) Anzahl an Antwortoptionen
c) Qualität der Antwortoptionen
Universität Kassel, Servicecenter Lehre, Arnold-Bode-Str. 10, 34127 Kassel
E-Mail: scl@uni-kassel.de, Tel.: 0561/ 804-7145, Fax: 0561/804-7146 Seite 6 von 13SERVICECENTER LEHRE
d) Formalia
e) Statistische Qualitätskriterien
a) Qualitätsktiterien bzgl. der Fragestellungen
Die Qualität einer Mehrfach-Wahl-Aufgabe wird nicht nur durch die Qualität der
Antwortoptionen, sondern maßgeblich auch durch die Qualität der Aufgabenstellung (sog.
„Fragenstamm“) bestimmt. Die folgenden Checkpunkte fassen hierzu zentrale Empfehlungen
zusammen:
Checkpunkte:
Die Aufgabenstellung kann mehrere zu interpretierende Informationen enthalten. Um
mehr als Faktenwissen abzufragen, müssen hier komplexere Situationen geschildert
werden.
Die Aufgabenstellung soll dabei klar und nicht zu lang sein. Anzustreben sind positive
Formulierungen. Wenn ausnahmsweise eine negative Formulierung gewählt wird (z.B.
„Die Gurke ist nicht die Ursache“), ist diese durch Unterstreichen oder Fettdruck deutlich
als solche zu kennzeichnen.
Die Aufgabenstellung sollte als Frage formuliert werden, die auch ohne Kenntnis der
Antwortoptionen beantwortet werden kann (vgl. Brauns & Schubert 2008).
Beispiele:
Beispiel 1: „Was gehört nicht zur gesetzlichen Sozialversicherung?
a) Lebensversicherung
b) Pflegeversicherung
c) Rentenversicherung
d) Krankenversicherung
e) Unfallversicherung“
Quelle: http://www.wiso-training.de/test.html
Beispiel 2: Eine speziellere Form von Mehrfach-Wahl-Aufgaben sind die so genannten
“Extended Matching Sets Questions”. Diese finden häufig Anwendung in medizinischen
Tests: Hier wird in der Aufgabenstellung zunächst ein komplexer Fall geschildert, der eine
Reihe von Symptomen einer Krankheit enthält. Der Prüfling muss dann aus einer Liste von
Antwortoptionen die korrekte Diagnose für den geschilderten Fall auswählen (vgl. Wood
2003, S. 2ff). Das Charakteristische von Extended Matching Sets Questions ist
insbesondere die Komplexität der Aufgabenstellung, die in der Schilderung eines
konkreten Falls besteht und eine Lösung durch Ausschlussverfahren erschwert.
Universität Kassel, Servicecenter Lehre, Arnold-Bode-Str. 10, 34127 Kassel
E-Mail: scl@uni-kassel.de, Tel.: 0561/ 804-7145, Fax: 0561/804-7146 Seite 7 von 13SERVICECENTER LEHRE
b) Anzahl an Antwortoptionen
Zu jeder Mehrfach-Wahl-Aufgabe gehört eine Auswahl von in der Regel 3 - 5 Antworten (eine
oder mehrere richtige, die übrigen als falsche). Falsche Antwortoptionen werden als
„Distraktoren“ bezeichnet. Bzgl. der Anzahl der zu verwendenden Antwortoptionen gibt es keine
rechtlichen Vorgaben. Auch in der Literatur lässt sich hierzu keine einheitliche Regelung finden.
Folgende Empfehlungen können zusammenfassend gegeben werden.
Checkpunkte:
Die Ratewahrscheinlichkeit einer Aufgabe verringert sich deutlich, je mehr qualitativ
hochwertige Antwortoptionen zur Verfügung stehen (siehe dazu den nächsten Abschnitt).
Unterschiedliche Studien (z.B. Baghaei & Amrahi 2011; Rodriguez 2005; Haladyna,
Downing & Rodriguez 2002) belegen, dass drei Antwortalternativen ausreichend sind, um
die richtige Beantwortung durch raten unwahrscheinlich zu machen. Je mehr plausible
falsche Antwortmöglichkeiten zu erstellen sind, umso höher ist der Aufwand der
Testkonstruktion. Aus einer Metaanalyse von Rodriguez (2005) geht hervor, dass
Aufgaben und Itemstatistiken (Trennschärfe, Reliabilität) durch mehr als drei
Antwortoptionen nicht verbessert werden. Vielmehr steige dadurch das Risiko, nicht
plausible Distraktoren zu generieren, und Kontexthinweise für andere Aufgaben zu
verraten. Die Bedrohung einer größeren Ratewahrscheinlichkeit bei Aufgaben mit drei
Antwortmöglichkeiten sei nicht gegeben.
Je nach Art der zu überprüfenden Leistung kann es sinnvoll sein, deutlich mehr als 5
Antwortoptionen zur Verfügung zu stellen. Insbesondere komplexere Aufgabenstellungen
(z.B. Aufgabe zur Erstellung einer Diagnose), bei denen ggf. auch mehrere
Antwortalternativen richtig sind, erfordern einen umfangreichen Pool an
Antwortmöglichkeiten.
Beispiel:
„Auf Ihrer Station liegt eine 73-jährige Patientin, die gestern mit der Diagnose einer
Pneumonie von zu Hause ins Krankenhaus eingeliefert wurde. Welcher der folgenden
Erreger ist vermutlich NICHT der ursächliche Keim bei diesem Patient?
a) Streptococcus pneumoniae
b) Mycoplasma pneumoniae
c) Haemophilus
d) Pseudomonas aeruginosa
e) Chlamydia pneumoniae“
Quelle:
http://www.arztakademie.at/fileadmin/template/main/facharztpdfs1/Innere_Medizin/MfragenINN1.pdf
c) Qualität der Antwortoptionen
Die Qualität der Antwortoptionen spielt eine zentrale Rolle für die Qualität einer Antwort-Wahl-
Aufgabe. Sind die Distraktoren (falschen Antworten) einfach identifizierbar, kann die Aufgabe
Universität Kassel, Servicecenter Lehre, Arnold-Bode-Str. 10, 34127 Kassel
E-Mail: scl@uni-kassel.de, Tel.: 0561/ 804-7145, Fax: 0561/804-7146 Seite 8 von 13SERVICECENTER LEHRE
durch simples Ausschlussprinzip schnell gelöst werden. Der Prüfling kann dann die Aufgabe auch
lösen, ohne über das abzuprüfende Wissen oder Kompetenz zu verfügen.
Die wichtigsten Empfehlungen für die Entwicklung qualitativ hochwertiger Antwortoptionen:
Checkpunkte:
Alternative Antworten müssen in einem inneren Zusammenhang stehen, damit bei der
Lösung die Alternativen gegeneinander abgewogen werden müssen. Zu vermeiden sind
unsinnige oder zusammenhangslose Antworten, die offensichtlich falsch sind.
Die Alternativen sollen sich wesentlich und nicht nur durch Feinheiten in der sprachlichen
Formulierung unterscheiden.
Alle Alternativen sollen von etwa gleicher Länge und in der gleichen Fachsprache
abgefasst sein. Kurze Antwortalternativen zwischen mehreren langen Antworten werden
von Prüflingen meist gemieden. Die längste und differenzierteste Antwort wird gerne
gewählt.
Fallen (vor allem Doppeldeutigkeiten, vieldeutige Begriffe) sind zu vermeiden.
Unzweckmäßig sind bei den Fragen und Antworten Ausdrücke wie „immer, niemals,
ausschließlich“ usw., weil sie oft auf falsche Lösungen hinweisen. Sie wirken
verabsolutierend und damit unrealistisch. Enthielte nur die richtige Antwort einen solchen
Universalquantoren, wäre die Gleichgewichtung der Antwortalternativen nicht gegeben.
Alle falschen Antworten (Distraktoren) müssen eine Überlegung abverlangen und in
direktem Zusammenhang mit der Aufgabenstellung stehen.
Die Antwortalternative „keine der genannten Möglichkeiten“ ist problematisch, da mit
der Entscheidung für eine richtige, positiv beschreibende, Antwort auch ein Lerneffekt
verbunden ist. Auf diesen würde verzichtet werden.
Häufige oder typische Fehler oder Missverständnisse sollten als Grundlage für die falschen
Antwortoptionen verwendet werden (vgl. Brauns & Schubert 2008).
Die Antwortoptionen sollten unabhängig voneinander sein und sich nicht überlappen (vgl.
Brauns & Schubert 2008).
Hinweise auf die richtige Antwort, wie die Wiederholung eines Wortes aus der Frage in
der richtigen Antwort sind zu vermeiden (vgl. Brauns & Schubert 2008).
Hinweise, welche die Aufmerksamkeit auf zwei bis drei Antworten einschränken, sind zu
vermeiden (vgl. Krebs 2004).
So genannte „Konvergenz Cues“ sind zu vermeiden: Die Antwort, welche die größte Zahl
von Elementen mit anderen Antworten gemeinsam hat, ist mit erhöhter
Wahrscheinlichkeit die richtige (vgl. Krebs 2004).
Gegenseitige Lösungshinweise sind zu vermeiden. Dieser Cue ist vor allem bei der
Prüfungszusammenstellung zu beachten. Seine Gefahr wird aber deutlich reduziert, wenn
in den Items möglichst keine überflüssigen Informationen gegeben werden (vgl. Krebs
2004). Je mehr Distraktoren gewählt werden, desto größer ist die Gefahr gegenseitiger
Lösungshinweise.
Beispiel:
„Lesen Sie die folgenden Interventionstechniken in Gesprächen und ordnen Sie sie den
unten genannten Situationen zu. Welche Interventionstechniken im Gespräch sind am
Universität Kassel, Servicecenter Lehre, Arnold-Bode-Str. 10, 34127 Kassel
E-Mail: scl@uni-kassel.de, Tel.: 0561/ 804-7145, Fax: 0561/804-7146 Seite 9 von 13SERVICECENTER LEHRE
angemessensten in folgenden Situationen?
1) Aktiv zuhören
2) Rapport herstellen
3) Zusammenfassen
4) Verbalisieren emotionaler Erlebnisinhalte
5) Konfrontieren mit Diskrepanzen in Klientenaussagen
Antwortoptionen:
a) Klientin berichtet ausführlich und offen über ihre Problemsituation 1) 2) 3) 4) 5)
b) Klientin wirkt im Gespräch ängstlich und scheu 1) 2) 3) 4) 5)
c) Klientin berichtet über starke Ambivalenzen 1) 2) 3) 4) 5)“
Quelle: Gruber, Simone & Avallone, Manuela (2012, S. 11)
d) Formalia
Neben den oben genannten didaktischen Qualitätskriterien lassen sich Formalia identifizieren, die
die Übersichtlichkeit der Klausur erhöhen und eine Lösung der Aufgabe nach simplem
Ausschlussverfahren erschweren.
Checkpunkte:
Über mehrere Aufgaben hinweg darf die richtige Lösung nicht immer an der gleichen
Stelle (z.B. immer b) stehen und nicht systematisch variiert werden.
Die Auswahlantworten sind mit Kleinbuchstaben zu kennzeichnen. Zahlen werden zur
Nummerierung der Aufgaben verwendet.
Wird bei der Aufgabe eine Frage gestellt, so sollte bei den Antworten mit Großbuchstaben
begonnen und am Ende eines ganzen Antwortsatzes ein Punkt gesetzt werden. Sind die
Antworten nur eine Fortsetzung der Aufgabenstellung, so ist klein zu beginnen und am
Ende der Antwort jeweils ein Punkt zu setzen. Bestehen die Antworten aus einem Begriff
oder Zahlen, so erübrigt sich der Punkt.
Alle Antworten müssen grammatikalisch zum Fragenstamm passen (vgl. Krebs 2004).
Die Antworten sollen möglichst logisch angeordnet werden. Wenn bei den Antworten
vom Inhalt her eine logische Hierarchie gegeben ist, sollen sie danach angeordnet werden
(z.B. bei Frage nach wahrscheinlichster Problemursache von klein, harmlos zu groß,
gravierend, bei Antworten mit Zahlenwerten auf- oder absteigend). Falls keine inhaltliche
Logik gegeben ist, empfiehlt sich v.a. bei Einwortantworten am ehesten eine
alphabetische Reihung (vgl. Krebs 2004).
Damit Positions-Wahltendenzen von Kandidaten keinen Einfluss gewinnen können, sollen
die richtigen Antworten über alle Items einer Prüfung möglichst ausbalanciert unter den
Antwortoptionen verteilt sein (vgl. Krebs 2004).
Universität Kassel, Servicecenter Lehre, Arnold-Bode-Str. 10, 34127 Kassel
E-Mail: scl@uni-kassel.de, Tel.: 0561/ 804-7145, Fax: 0561/804-7146 Seite 10 von 13SERVICECENTER LEHRE
e) Statistische Qualitätskriterien
Neben Qualitätskriterien, die a priori bei der Erstellung der Aufgaben zu berücksichtigen sind,
können nach der Durchführung einer Prüfung auch statistische Qualitätskriterien verwendet
werden, um die Güte einer Antwort-Wahl-Aufgabe oder eines ganzen Tests zu bestimmen. Dazu
gehört neben dem Schwierigkeitsgrad die Trennschärfe einer Aufgabe.
Der Schwierigkeitsgrad eines Items wird anhand der Häufigkeit einer richtigen Antwort ermittelt.
Beantworten 90% der Probanden das Item korrekt, so liegt z.B. ein Wert von 0,9 vor.
Mit dem Maß der Trennschärfe eines Items wird angegeben, wie dieses zwischen
leistungsstärkeren und leistungsschwächeren Prüflingen unterscheidet. Dabei wird ein Item
daraufhin untersucht, wie häufig es - bezogen auf das Gesamtergebnis - von den Prüflingen der
oberen und unteren Leistungsgruppen korrekt beantwortet wurde. Ein Item ist besonders
trennscharf, wenn es weitgehend nur von den leistungsstarken Prüflingen korrekt beantwortet
wurde.
Beide Kennwerte können entweder durch Vortests oder durch die Auswertung und
Wiederverwendung von Fragen aus vergangenen Klausuren bestimmt werden. Hier sind
insbesondere die Auswertungsmöglichkeiten elektronischer Klausursysteme hilfreich.
Folgende Empfehlungen lassen sich bzgl. der beiden Kennwerte festhalten:
Checkpunkte:
In einer Klausur sollten die Fragen der Schwierigkeit nach normalverteilt sein. D. h., es
sollte wenige leichte und wenige schwere Fragen geben.
Fragen mittlerer und hoher Trennschärfe sollten bevorzugt eingesetzt werden.
Weiterführende Informationen oder Anregungen zur Konzeption einer Prüfung erhalten Sie im
Servicecenter Lehre der Universität Kassel www.uni-kassel.de/go/scl
Universität Kassel, Servicecenter Lehre, Arnold-Bode-Str. 10, 34127 Kassel
E-Mail: scl@uni-kassel.de, Tel.: 0561/ 804-7145, Fax: 0561/804-7146 Seite 11 von 13SERVICECENTER LEHRE Literatur AZ Aktenzeichen 14 A 2154/08: Urteil des Oberverwaltungsgerichts NRW. Verfügbar unter http://www.justiz.nrw.de/nrwe/ovgs/ovg_nrw/j2008/14_A_2154_08urteil20081216.html. Letzter Zugriff: 17.06.2013. Beaucamp, Guy & Buchholz, Jan-Arndt (2010): Rechtsfragen bei der Einführung von Multiple- Choice-Prüfungen (Antwort-Wahl-Verfahren). In: Wissenschaftsrecht, 43 (2010) 1, S. 56-67. Baghaei, Purya & Amrahi, Nazila (2011). The effects of the number of options on the psychometric characteristics of multiple choice items. In: Psychological Test and Assessment Modeling, 53, 2, S. 192-211. Bloch, Ralph, Hofer, Daniel, Krebs, René, Schläppi, Peter, Weis, Stephan, Westkämper, Reinhard (1999). Kompetent prüfen: Handbuch zur Planung, Durchführung und Auswertung von Facharztprüfungen. Institut für Aus-, Weiter- und Fortbildung der Medizinischen Fakultät der Universität Bern. Bott, Oliver J., Diercks-O'Brien, Gabi & Horn, Janine (2012). E-Prüfungen nach Antwort-Wahl- Verfahren rechtssicher durchführen. Verfügbar unter http://www.hs- hannover.de/fileadmin/media/doc/els/ePruefungen/e-pru__fungsrecht.pdf. Letzter Zugriff: 17.06.2013. Brauns, Katrin & Schubert, Sebastian (2008). Qualitätssicherung von Multiple-Choice-Prüfungen. In Sigrid Dany, Birgit Szczyrba & Johannes Wildt (Hrsg.), Prüfungen auf die Agenda! Hochschuldidaktische Perspektiven auf Reformen im Hochschulwesen, S. 92-102. Bertelsmann: Bielefeld. Fachhochschule Münster (2012). Fünfte Ordnung zur Änderung des Allgemeinen Teils der Prüfungsordnung für die Bachelor- und Masterstudiengänge an der Fachhochschule Münster. Verfügbar unter https://www.fh- muenster.de/uploads/amtliche_bekanntmachungen/98_2012.pdf. Letzter Zugriff: 18.06.2013. Haladyna, Thomas M., Downing, Steven M. & Rodriguez, Michael C. (2002). A Review of Multiple- Choice Item-Writing Guidelines for Classroom Assessment. In: Applied Measurement in Education, 15, 3, S. 309-334. Gruber, Simone & Avallone, Manuela (2012). Empfehlungen zum Einsatz von Multiple-Choice- Prüfungen. Verfügbar unter http://www.lehren.tum.de/fileadmin/w00bmo/www/Downloads/Themen/Studiengaenge_gestal ten/Dokumente/MCEmpfehlungen_Stand_Oktober_2012_final.pdf. letzter Zugriff: 17.06.2013. http://www.arztakademie.at/fileadmin/template/main/facharztpdfs1/Innere_Medizin/MfragenIN N1.pdf (11.11.2013) http://www.wiso-training.de/test.html (11.11.2013) Hochschule Ludwigshafen am Rhein/ Stabsstelle Studium und Lehre (2012). Prüfungen im Multiple-Choice-Verfahren. Verfügbar unter http://web.fh- Universität Kassel, Servicecenter Lehre, Arnold-Bode-Str. 10, 34127 Kassel E-Mail: scl@uni-kassel.de, Tel.: 0561/ 804-7145, Fax: 0561/804-7146 Seite 12 von 13
SERVICECENTER LEHRE ludwigshafen.de/index.nsf/Files/C1C51DDE9B4844CFC1257A4D00429856/$FILE/Handreichung%2 0Multiple-Choice-Verfahren__HSLU082012.pdf. Letzter Zugriff: 18.06.2013. Krebs (2004). Anleitung zur Herstellung von MC-Fragen und MC-Prüfungen für die ärztliche Ausbildung. Online verfügbar unter http://www.iml.unibe.ch/dienstleistung/assessment_pruefungen/index.php?eID=tx_nawsecuredl &u=0&file=/fileadmin/iml- website/aae/pdf/MC_Anleitung.pdf&t=1371306139&hash=e505212cbe60fda774cef78edd773afb bccdeab2. Letzter Zugriff: 14.06.2013. Leibnitz Universität Hannover (2009). Erstellen und Bewerten von Multiple-Choice-Aufgaben. Verfügbar unter http://www.uni- hannover.de/imperia/md/content/elearning/practicalguides2/didaktik/elsa_handreichung_zum_ erstellen_und_bewerten_von_mc_fragen.pdf. Letzter Zugriff: 18.06.2013. Rodriguez, Michael C. (2005). Three Options Are Optimal for Multiple-Choice Items: A Meta- Analysis of 80 Years of Research. In: Educational Measurement: Issues and Practice, 24, 2, S. 3-13. Technische Universität Dresden/ Fakultät Erziehungswissenschaften (2012). Ordnung zur Durchführung und Bewertung von Prüfungsleistungen nach dem Multiple-Choice-Verfahren (MC- Ordnung). Verfügbar unter http://www.verw.tu-dresden.de/AmtBek/PDF-Dateien/2012- 03/08poMC17.06.2012.pdf. Letzter Zugriff: 18.06.2013. Universität Bremen (2010). Fachspezifische Prüfungsordnung für den Bachelorstudiengang „Betriebswirtschaftslehre“ der Universität Bremen. Verfügbar unter http://www.zpa.uni- bremen.de/Archiv_Pruefungsordnungen/Fachbereich07/Bachelor_%20Betriebswirtschaftslehre/B A_Betriebswirtschaftslehre_VF_2010-10-27.pdf. Letzter Zugriff: 18.06.2013. Wood, E. J. (2003): What are Extended Matching Sets Questions? Bioscience Education, vol.1. Universität Kassel, Servicecenter Lehre, Arnold-Bode-Str. 10, 34127 Kassel E-Mail: scl@uni-kassel.de, Tel.: 0561/ 804-7145, Fax: 0561/804-7146 Seite 13 von 13
Sie können auch lesen
