Handreichung für Klausuren mit Aufgaben nach dem Antwort-Wahl-Verfahren (Single-Choice/Multiple-Choice)

 
SERVICECENTER LEHRE

Handreichung für Klausuren mit Aufgaben nach dem
Antwort-Wahl-Verfahren (Single-Choice/Multiple-Choice)

Jede Prüfung gilt grundsätzlich als Eingriff in die grundgesetzlich garantierte Berufswahlfreiheit
(Art. 12 Abs. 1 Grundgesetz) und muss daher entsprechend geregelt sein. Nach der
Rechtsprechung des Bundesverfassungsgerichtes und weiterer Gerichte sind besondere Maßstäbe
an die Prüfungsform der Aufgabe nach dem Antwort-Wahl-Verfahren anzulegen, da – anders als
bei offenen Fragen oder einer mündlichen Prüfung – bei Aufgaben nach dem Antwort-Wahl-
Verfahren nur eine rechnerische Auswertung stattfindet (richtig oder falsch) und kein
Beurteilungsspielraum des Prüfers bleibt.

Das vorliegende Dokument dient der Konkretisierung der in § 11 Abs. 2 der Allgemeinen
Bestimmungen für Fachprüfungsordnungen mit den Abschlüssen Bachelor und Master an der
Universität Kassel (AB Bachelor/Master) vom 17. Juli 2013 getroffenen Regelungen und
unterstützt Sie bei der rechtssicheren Durchführung und der qualitätsorientierten Entwicklung
von Aufgaben nach dem Antwort-Wahl-Verfahren.

Wortlaut § 11 Abs. 2:
   „Ist die Prüfungsform des Antwort-Wahl-Verfahrens vorgesehen, bedarf dies einer Festlegung
   in den Fachprüfungsordnungen. Bei der Konzeption der Prüfung nach dem Antwort-Wahl-
   Verfahren sind die anerkannten Mindeststandards für diese Prüfungsform zu beachten.
   Insbesondere sind vorzusehen:
    eine absolute und eine relative Bestehensgrenze,
       eine Umrechnung der erreichten Punktzahl in Notenstufen,
       eine Regelung zum Umgang mit vom Prüfer fehlerhaft formulierten Aufgaben
        (Fehlereliminierung).

    Eine Prüfungsaufgabe darf nicht schlechter als mit 0 Punkten bewertet werden, es dürfen also
    keine Minus- oder Maluspunkte über Prüfungsaufgaben hinweg vergeben werden.“

In der vorliegenden Handreichung werden die getroffenen Regelungen erläutert, in Form einer
Checkliste operationalisiert und durch Beispiele konkretisiert. Das Dokument gliedert sich in die
folgenden Abschnitte:

    1. Absolute und relative Bestehensgrenze
    2. Umrechnung der erreichten Punktzahl in Notenstufen
    3. Regelung zum Umgang mit vom Prüfer fehlerhaft formulierten Aufgaben
       (Fehlereliminierung).
    4. Umgang mit Minuspunkten in Aufgaben
    5. Empfehlungen für Mindeststandards bei der Konzeption von Aufgaben nach dem
       Antwort-Wahl-Verfahren

Universität Kassel, Servicecenter Lehre, Arnold-Bode-Str. 10, 34127 Kassel
E-Mail: scl@uni-kassel.de, Tel.: 0561/ 804-7145, Fax: 0561/804-7146                    Seite 1 von 13
SERVICECENTER LEHRE

Unter Single-Choice-Aufgaben (Einfach-Wahl-Aufgaben) werden Aufgaben verstanden, bei der
der Prüfling aus den vorgegebenen Antwortoptionen exakt eine richtige Antwort auswählen soll.
Bei Multiple-Choice-Aufgaben (Mehrfach-Wahl-Aufgaben) können mehrere richtige Lösungen
ausgewählt werden. Beide Aufgabentypen werden unter dem Begriff der Antwort-Wahl-Aufgabe
zusammengefasst.

Zu den Aufgaben nach dem Antwort-Wahl-Verfahren zählen zum einen auch Zuordnungs-
Aufgaben, bei denen einer Liste von Elementen ein oder mehrere andere Elemente zugeordnet
werden müssen, zum anderen fallen hierunter auch so genannte Matrix-Aufgaben, bei denen
mehrere Single-Choice-Fragen mit denselben Antwortoptionen in einer Aufgabe kombiniert
werden. Nicht zu den Antwort-Wahl-Aufgaben zählen folgende Formate: Fill-in-Blank (Text-,
Formel oder Zahleneingabe), Hot-Spot-Aufgaben sowie Drag-and-Drop-Aufgaben.

Sofern es sich bei einer Prüfung um eine Modulabschlussprüfung handelt, sind die Aufgaben nach
dem Antwort-Wahl-Verfahren in Anlehnung an § 18 Abs. 3 des Hessischen Hochschulgesetzes von
mindestens zwei prüfungsberechtigten Personen gemäß § 5 Abs. 2 AB Bachelor/Master zu
erarbeiten (Vier-Augen-Prinzip).

1. Absolute und relative Bestehensgrenze

Für Klausuren, die vollständig aus Aufgaben nach dem Antwort-Wahl-Verfahren bestehen, ist
neben der absoluten eine relative Bestehensgrenze festzulegen. Für Mischklausuren, die neben
Aufgaben nach dem Antwort-Wahl-Verfahren auch andere Aufgaben enthalten, sollte eine
relative Bestehensgrenze für den Teil der Antwort-Wahl-Aufgaben angewendet werden, wenn
20% oder mehr der Punkte durch Antwort-Wahl-Aufgaben erworben werden können. Auf diese
Weise wird sichergestellt, dass die Regelungen insbesondere auf solche Klausuren angewendet
werden, bei denen ein wesentlicher Teil der Aufgaben aus Fragen nach dem Antwort-Wahl-
Verfahren besteht.

Die absolute Bestehensgrenze wird vom Lehrenden vor der Klausur unter Berücksichtigung von
fachbereichsinternen Regelungen festgelegt. Wurde die absolute Bestehensgrenze z. B. bei 50%
festgelegt, haben alle Studierenden mit 50% und mehr Punkten die Klausur bestanden.

Die relative Bestehensgrenze ist erreicht, wenn der Anteil der von dem Prüfling erreichten Punkte
nicht mehr als 20% unter dem durchschnittlichen Anteil der erreichten Punkte aller
teilnehmenden Prüflinge liegt. Die relative Bestehensgrenze wird ermittelt, indem zunächst aus
den Prüfungsergebnissen aller Prüfungsteilnehmer der Durchschnittswert errechnet wird. Von
diesem Durchschnittswert werden 20% ermittelt und abgezogen. Das Ergebnis entspricht der
relativen Bestehensgrenze. Liegt die so berechnete relative Bestehensgrenze unter der absoluten
Bestehensgrenze, ist die relative Bestehensgrenze anzuwenden.

Im Falle von Wiederholungsprüfungen sollten sowohl die absolute als auch die relative
Bestehensgrenze aus der ersten Klausur verwendet werden, um vergleichbare Bewertungen für
beide Klausuren zu gewährlisten.

Universität Kassel, Servicecenter Lehre, Arnold-Bode-Str. 10, 34127 Kassel
E-Mail: scl@uni-kassel.de, Tel.: 0561/ 804-7145, Fax: 0561/804-7146                   Seite 2 von 13
SERVICECENTER LEHRE

Checkpunkt:

     Nach der Klausur: Berechnung des Durchschnittswerts der erreichten Punkte für den Teil
      der Klausur mit Antwort-Wahl-Aufgaben, davon 20% abziehen. Liegt diese relative
      Bestehensgrenze unter 50% der Punkte, ist diese anzuwenden, sonst ist die absolute
      Bestehensgrenze zu wählen.

Beispiele:

     Beispiel 1: In einer Klausur haben die Teilnehmenden im arithmetischen Mittel 53% der
      Punkte des Antwort-Wahl-Teils der Klausur erzielt. 20% davon betragen 53% x 20% =
      10,6%. Somit liegt die relative Bestehensgrenze bei 53%-10,6%=42,4%. Da dies kleiner ist
      als 50%, ist in diesem Fall die relative Bestehensgrenze anzuwenden.

     Beispiel 2: In einer Klausur haben die Teilnehmenden im arithmetischen Mittel 65% der
      Punkte des Antwort-Wahl-Teils der Klausur erzielt. 20% davon betragen 65% x 20% = 13%.
      Somit liegt die relative Bestehensgrenze bei 65%-13%=52%. Da dies größer ist als 50%, ist
      in diesem Fall die absoulte Bestehensgrenze (50%) anzuwenden.

     Beispiel 3: Ein Prüfling hat 48% erreicht und liegt damit unterhalb der absoluten
      Bestehensgrenze von 50%. Der Durchschnittswert aller Prüfungen beträgt 60%. Abzüglich
      20% von 60 liegt die relative Bestehensgrenze bei 48% (60% x 20% = 12%; 60% - 12%=
      48%). Damit liegt die relative Bestehensgrenze (= 48%) um 2% unter der absoluten
      Bestehensgrenze (= 50%) und ist hier anzuwenden. Der Prüfling hat somit die Klausur
      bestanden.

2. Umrechnung der erreichten Punktzahl in Notenstufen
Das von einem Prüfling erzielte Ergebnis einer Klausur im Antwort-Wahl-Verfahren ist gemäß dem
an den jeweiligen Fachbereichen verwendeten Notenschlüssel in eine Note umzurechnen. Liegt
eine Mischklausur vor, ist der Teil der Klausur mit Antwort-Wahl-Aufgaben entsprechend in eine
eigene Note umzurechnen. Unter Berücksichtigung der Prüfungsziele können die beiden Teilnoten
dann bei der Berechnung der Gesamtnote unterschiedlich gewichtet werden.

Checkpunkt:

     Nach der Klausur: Umrechnung der Ergebnisse zu den Antwort-Wahl-Aufgaben in eine
      Note auf Basis des fachbereichsinternen Notenschlüssels.

Beispiele:

     Beispiel 1: Ein fiktiver fachbereichsinterner Notenschlüssel lautet
      1,0 wenn mindestens 95%,
      1,3 wenn mindestens 90%,

Universität Kassel, Servicecenter Lehre, Arnold-Bode-Str. 10, 34127 Kassel
E-Mail: scl@uni-kassel.de, Tel.: 0561/ 804-7145, Fax: 0561/804-7146                 Seite 3 von 13
SERVICECENTER LEHRE

       1,7 wenn mindestens 85%,
       2,0 wenn mindestens 80%,
       2,3 wenn mindestens 75%,
       2,7 wenn mindestens 70%,
       3,0 wenn mindestens 65%,
       3,3 wenn mindestens 60%,
       3,7 wenn mindestens 55%,
       4,0 wenn mehr als 50%

       erreicht wurden.

       Studierender 1 hat bei den Antwort-Wahl-Aufgaben 83,5% der Punkte dieses Teils
       erreicht, damit erhält er die Note 2,0 für diesen Teil der Klausur.
       Studierender 2 hat in diesem Teil 64% der Ergebnisse und damit die Note 3,3 erreicht.

     Beispiel 2: Eine Klausur besteht zur Hälfte aus Single- und Multiple-Choice-Aufgaben,
      durch die 30% der Punkte erreicht werden können. Die übrigen 70% der Punkte können
      durch offen gestellte Aufgaben erreicht werden. Eine Studierende hat in dem Teil der
      Klausur mit Aufgaben nach dem Antwort-Wahl-Verfahren die Gesamtnote 1,0 erzielt. Bei
      den übrigen Aufgaben jedoch die Note 1,6. Aufgrund der Gewichtung ergibt sich die
      Gesamtnote wie folgt: 1,0 * 30% + 1,6 * 70% = 0,3 + 1,12 = 1,42. Damit erhält die
      Studierende die Gesamtnote 1,42.

3. Regelung zum Umgang mit vom Prüfer fehlerhaft formulierten Aufgaben
(Fehlereliminierung)
Fehler bei Aufgaben nach dem Antwort-Wahl-Verfahren können sowohl in der Aufgabenstellung
(dem Fragenstamm) als auch bei den Antwortoptionen auftreten. Dies kann insbesondere Folgen
für die Bewertung einer solchen Aufgabe nach sich ziehen.

Bei der Entwicklung von Aufgaben nach dem Antwort-Wahl-Verfahren sollte besonderes
Augenmerk sowohl auf die Qualität der Aufgabenstellung als auch der Antwortoptionen gelegt
werden (siehe dazu auch Abschnitt 5).

Wird im Nachgang einer Klausur festgestellt, dass eine fehlerhafte Formulierung verwendet
wurde, kann entweder eine Neubewertung der Klausur vorgenommen oder die Aufgabe kann
ganz aus der Bewertung genommen werden. Da dies immer einzelfallabhängig ist und nicht
generell geregelt werden kann, muss das weitere Verfahren stets mit dem Prüfungsausschuss
abgestimmt werden, um Rechtssicherheit zu erhalten. In diesem Zusammenhang muss auch
geklärt werden, ob sich dadurch aufgrund der veränderten Ergebnisse eine neue Bestehensgrenze
ergibt.

Checkpunkte:

     Nach der Klausur: Im Falle einer fehlerhaft formulierten Aufgabe ist das weitere Vorgehen
      mit dem Prüfungsausschuss abzustimmen und bei Nachkorrekturen die relative
      Bestehensgrenze ggf. neu zu berechnen.

Universität Kassel, Servicecenter Lehre, Arnold-Bode-Str. 10, 34127 Kassel
E-Mail: scl@uni-kassel.de, Tel.: 0561/ 804-7145, Fax: 0561/804-7146                  Seite 4 von 13
SERVICECENTER LEHRE

     Beispiel 1: Ein Dozent hat eine Aufgabe gestellt, bei der von den vorgegeben Antworten
      unbeabsichtigt mehrere Antworten richtig sind. Die Prüflinge sollten jedoch nur eine
      Antwort als richtig ankreuzen. Der Fehler wurde erst nach Bekanntgabe der Ergebnisse
      entdeckt. In diesem Fall muss mit dem Prüfungsausschuss geklärt werden, ob die Aufgabe
      ganz aus der Bewertung genommen werden muss, oder ob die irrtümlicherweise falsch
      bewerteten Lösungen nachträglich als richtig bewertet werden können. In beiden Fällen
      ist zudem zu klären, ob sich daraus Veränderungen in der Bestehensgrenze ergeben.

     Beispiel 2: Bei der Bewertung einer Klausur fiel noch vor Bekanntgabe der Ergebnisse auf,
      dass eine Fragestellung missverständlich formuliert und von einem Großteil der
      Studierenden falsch verstanden wurde. Nach Rücksprache mit dem Prüfungsausschuss
      wurde vereinbart, dass die Frage für alle Prüflinge aus der Bewertung genommen wurde.
      Die Studierenden wurden hierüber entsprechend informiert. Die relative Bestehensgrenze
      wurde ohne diese Aufgabe berechnet.

4. Umgang mit Minuspunkten in Aufgaben

Insbesondere bei der Verwendung von Multiple-Choice Aufgaben (mehrere richtige Antworten)
ist die Verwendung von Punktabzügen für fehlerhaft angekreuzte Antwortalternativen innerhalb
einer Aufgabe sinnvoll: Dadurch kann verhindert werden, dass der Prüfling z. B. durch Ankreuzen
aller Antwortalternativen stets die volle Punktzahl erhält. Die Vergabe von Minuspunkte für falsch
angekreuzte Antwortoptionen ist innerhalb einer Multiple-Choice-Aufgabe erlaubt. Es muss
allerdings sichergestellt werden, dass der Prüfling für die Aufgabe insgesamt nicht weniger als null
Punkte erhält.

Alternativ könnte ein entsprechendes Bewertungssystem umgesetzt werden, in welchem
bestimmte Kombinationen von Antworten mit positiven Punkten und alle andere Kombinationen
mit null Punkten bewertet werden (vgl. z.B. Hochschule Ludwigshafen am Rhein 2012, S. 8;
Leibnitz Universität Hannover 2009, S. 4).

Checkpunkte:

     Bei Aufgaben mit mehreren richtigen Antworten ist die Verwendung von Minuspunkten
      innerhalb einer Aufgabe erlaubt, allerdings darf die Aufgabe insgesamt nicht schlechter
      als mit null Punkten bewertet werden.

Beispiele:

     Beispiel 1: Bei einer Aufgabe mit 5 Antwortalternativen sind Antwortoptionen A und C
      korrekt, die Antwortoptionen B, D und E sind falsch. Für das Ankreuzen einer korrekten
      Antwort erhält der Prüfling einen Pluspunkt, für das Ankreuzen einer falschen Antwort
      einen Minuspunkt.

        Studierender 1 hat Antwortalternative a, b und c angekreuzt und erhält somit 2 Plus- und
        einen Minuspunkt, insgesamt also 1 Punkt für diese Aufgabe.

Universität Kassel, Servicecenter Lehre, Arnold-Bode-Str. 10, 34127 Kassel
E-Mail: scl@uni-kassel.de, Tel.: 0561/ 804-7145, Fax: 0561/804-7146                     Seite 5 von 13
SERVICECENTER LEHRE

        Studierender 2 hat alle Antwortalternativen angekreuzt, er/sie erhält 2 Plus- und 3
        Minuspunkte. Insgesamt käme er/sie also auf einen Minuspunkt, da Prüfungsaufgaben
        jedoch nicht schlechter als mit null Punkten bewertet werden dürfen, erhält er/sie
        insgesamt null Punkte für diese Aufgabe.

     Beispiel 2: Bei einer Aufgabe mit 5 Antwortalternativen sind Antwortoptionen a, b und c
      korrekt, die Antwortoptionen d und e sind falsch. Für das Ankreuzen einer korrekten
      Antwort erhält der Prüfling 2 Pluspunkte, für das Ankreuzen einer falschen Antwort drei
      Minuspunkte.

        Studierender 1 hat Antwortalternative A angekreuzt und erhält 2 Pluspunkte.

        Studierender 2 hat alle Antwortalternativen angekreuzt, er/sie erhält somit 6 Plus- und 6
        Minuspunkte, also insgesamt genau null Punkte.

5. Empfehlungen für Mindeststandards bei der Konzeption der Aufgaben nach
dem Antwort-Wahl-Verfahren
Single-/Multiple-Choice-Aufgaben eignen sich sehr gut, um im Hochschulbereich die meisten
kognitiven Wissensbereiche valide, objektiv und zuverlässig abzuprüfen (vgl. Brauns & Schubert
2008; Bloch et al. 1999). Nach Beaucamp und Buchholz (2010, S. 58) sind Multiple-Choice-
Klausuren anderen Prüfungsformen sogar insofern überlegen, als dass mit ihnen in gleicher Zeit
mehr Fakten und Begriffe abgefragt, bestimmte Sachverhalte wiedererkannt und Wissensinhalte
miteinander verknüpft werden können.

Von den zu prüfenden Lehr-Lernzielen ist es abhängig, welcher Aufgabentyp sinnvoll eingesetzt
wird. Multiple-Choice-Aufgaben sind dabei nach Krebs (2004, S. 7) „für Problemstellungen
geeignet, bei denen es mehrere wichtige Optionen gibt, die sich deutlich von anderen abheben.“
Mit einer ausschließlichen Verwendung von Single-Choice-Aufgaben würde demzufolge viel
prüfungsdidaktisches Potential verschenkt. Insgesamt empfiehlt sich daher ein an den zu
prüfenden Lehr-Lernzielen orientierte, zielgerichtete Verwendung von Single-Choice- und
Multiple-Choice-Aufgaben, offenen Fragen und anderen Aufgabentypen.

Sollte eine Klausur dennoch ausschließlich aus Single-Choice-Aufgaben bestehen, so wird die
Chance, durch simples „Erraten“ der Lösung die Klausur zu bestehen, verringert, indem mehr
Single-Choice-Aufgaben verwendet werden.

Für die Erstellung von beiden Typen der Antwort-Wahl-Aufgaben lassen sich in der Literatur
neben rechtlichen Vorgaben vielfältige Qualitätskriterien und Regeln für die Erstellung und
Durchführung von Prüfungen finden. Die wichtigsten sind in den folgenden Abschnitten
zusammengefasst:

            a) Qualitätskriterien bzgl. der Fragestellungen
            b) Anzahl an Antwortoptionen
            c) Qualität der Antwortoptionen
Universität Kassel, Servicecenter Lehre, Arnold-Bode-Str. 10, 34127 Kassel
E-Mail: scl@uni-kassel.de, Tel.: 0561/ 804-7145, Fax: 0561/804-7146                    Seite 6 von 13
SERVICECENTER LEHRE

             d) Formalia
             e) Statistische Qualitätskriterien

    a) Qualitätsktiterien bzgl. der Fragestellungen

Die Qualität einer Mehrfach-Wahl-Aufgabe wird nicht nur durch die Qualität der
Antwortoptionen, sondern maßgeblich auch durch die Qualität der Aufgabenstellung (sog.
„Fragenstamm“) bestimmt. Die folgenden Checkpunkte fassen hierzu zentrale Empfehlungen
zusammen:

Checkpunkte:

     Die Aufgabenstellung kann mehrere zu interpretierende Informationen enthalten. Um
      mehr als Faktenwissen abzufragen, müssen hier komplexere Situationen geschildert
      werden.
     Die Aufgabenstellung soll dabei klar und nicht zu lang sein. Anzustreben sind positive
      Formulierungen. Wenn ausnahmsweise eine negative Formulierung gewählt wird (z.B.
      „Die Gurke ist nicht die Ursache“), ist diese durch Unterstreichen oder Fettdruck deutlich
      als solche zu kennzeichnen.
     Die Aufgabenstellung sollte als Frage formuliert werden, die auch ohne Kenntnis der
      Antwortoptionen beantwortet werden kann (vgl. Brauns & Schubert 2008).

Beispiele:

     Beispiel 1: „Was gehört nicht zur gesetzlichen Sozialversicherung?
      a) Lebensversicherung
      b) Pflegeversicherung
      c) Rentenversicherung
      d) Krankenversicherung
      e) Unfallversicherung“
        Quelle: http://www.wiso-training.de/test.html

     Beispiel 2: Eine speziellere Form von Mehrfach-Wahl-Aufgaben sind die so genannten
      “Extended Matching Sets Questions”. Diese finden häufig Anwendung in medizinischen
      Tests: Hier wird in der Aufgabenstellung zunächst ein komplexer Fall geschildert, der eine
      Reihe von Symptomen einer Krankheit enthält. Der Prüfling muss dann aus einer Liste von
      Antwortoptionen die korrekte Diagnose für den geschilderten Fall auswählen (vgl. Wood
      2003, S. 2ff). Das Charakteristische von Extended Matching Sets Questions ist
      insbesondere die Komplexität der Aufgabenstellung, die in der Schilderung eines
      konkreten Falls besteht und eine Lösung durch Ausschlussverfahren erschwert.

Universität Kassel, Servicecenter Lehre, Arnold-Bode-Str. 10, 34127 Kassel
E-Mail: scl@uni-kassel.de, Tel.: 0561/ 804-7145, Fax: 0561/804-7146                   Seite 7 von 13
SERVICECENTER LEHRE

    b) Anzahl an Antwortoptionen

Zu jeder Mehrfach-Wahl-Aufgabe gehört eine Auswahl von in der Regel 3 - 5 Antworten (eine
oder mehrere richtige, die übrigen als falsche). Falsche Antwortoptionen werden als
„Distraktoren“ bezeichnet. Bzgl. der Anzahl der zu verwendenden Antwortoptionen gibt es keine
rechtlichen Vorgaben. Auch in der Literatur lässt sich hierzu keine einheitliche Regelung finden.

Folgende Empfehlungen können zusammenfassend gegeben werden.

Checkpunkte:

     Die Ratewahrscheinlichkeit einer Aufgabe verringert sich deutlich, je mehr qualitativ
      hochwertige Antwortoptionen zur Verfügung stehen (siehe dazu den nächsten Abschnitt).
     Unterschiedliche Studien (z.B. Baghaei & Amrahi 2011; Rodriguez 2005; Haladyna,
      Downing & Rodriguez 2002) belegen, dass drei Antwortalternativen ausreichend sind, um
      die richtige Beantwortung durch raten unwahrscheinlich zu machen. Je mehr plausible
      falsche Antwortmöglichkeiten zu erstellen sind, umso höher ist der Aufwand der
      Testkonstruktion. Aus einer Metaanalyse von Rodriguez (2005) geht hervor, dass
      Aufgaben und Itemstatistiken (Trennschärfe, Reliabilität) durch mehr als drei
      Antwortoptionen nicht verbessert werden. Vielmehr steige dadurch das Risiko, nicht
      plausible Distraktoren zu generieren, und Kontexthinweise für andere Aufgaben zu
      verraten. Die Bedrohung einer größeren Ratewahrscheinlichkeit bei Aufgaben mit drei
      Antwortmöglichkeiten sei nicht gegeben.
     Je nach Art der zu überprüfenden Leistung kann es sinnvoll sein, deutlich mehr als 5
      Antwortoptionen zur Verfügung zu stellen. Insbesondere komplexere Aufgabenstellungen
      (z.B. Aufgabe zur Erstellung einer Diagnose), bei denen ggf. auch mehrere
      Antwortalternativen richtig sind, erfordern einen umfangreichen Pool an
      Antwortmöglichkeiten.

Beispiel:
     „Auf Ihrer Station liegt eine 73-jährige Patientin, die gestern mit der Diagnose einer
        Pneumonie von zu Hause ins Krankenhaus eingeliefert wurde. Welcher der folgenden
        Erreger ist vermutlich NICHT der ursächliche Keim bei diesem Patient?
        a) Streptococcus pneumoniae
        b) Mycoplasma pneumoniae
        c) Haemophilus
        d) Pseudomonas aeruginosa
        e) Chlamydia pneumoniae“
        Quelle:
        http://www.arztakademie.at/fileadmin/template/main/facharztpdfs1/Innere_Medizin/MfragenINN1.pdf

    c) Qualität der Antwortoptionen

Die Qualität der Antwortoptionen spielt eine zentrale Rolle für die Qualität einer Antwort-Wahl-
Aufgabe. Sind die Distraktoren (falschen Antworten) einfach identifizierbar, kann die Aufgabe
Universität Kassel, Servicecenter Lehre, Arnold-Bode-Str. 10, 34127 Kassel
E-Mail: scl@uni-kassel.de, Tel.: 0561/ 804-7145, Fax: 0561/804-7146                            Seite 8 von 13
SERVICECENTER LEHRE

durch simples Ausschlussprinzip schnell gelöst werden. Der Prüfling kann dann die Aufgabe auch
lösen, ohne über das abzuprüfende Wissen oder Kompetenz zu verfügen.

Die wichtigsten Empfehlungen für die Entwicklung qualitativ hochwertiger Antwortoptionen:

Checkpunkte:

     Alternative Antworten müssen in einem inneren Zusammenhang stehen, damit bei der
      Lösung die Alternativen gegeneinander abgewogen werden müssen. Zu vermeiden sind
      unsinnige oder zusammenhangslose Antworten, die offensichtlich falsch sind.
     Die Alternativen sollen sich wesentlich und nicht nur durch Feinheiten in der sprachlichen
      Formulierung unterscheiden.
     Alle Alternativen sollen von etwa gleicher Länge und in der gleichen Fachsprache
      abgefasst sein. Kurze Antwortalternativen zwischen mehreren langen Antworten werden
      von Prüflingen meist gemieden. Die längste und differenzierteste Antwort wird gerne
      gewählt.
     Fallen (vor allem Doppeldeutigkeiten, vieldeutige Begriffe) sind zu vermeiden.
      Unzweckmäßig sind bei den Fragen und Antworten Ausdrücke wie „immer, niemals,
      ausschließlich“ usw., weil sie oft auf falsche Lösungen hinweisen. Sie wirken
      verabsolutierend und damit unrealistisch. Enthielte nur die richtige Antwort einen solchen
      Universalquantoren, wäre die Gleichgewichtung der Antwortalternativen nicht gegeben.
     Alle falschen Antworten (Distraktoren) müssen eine Überlegung abverlangen und in
      direktem Zusammenhang mit der Aufgabenstellung stehen.
     Die Antwortalternative „keine der genannten Möglichkeiten“ ist problematisch, da mit
      der Entscheidung für eine richtige, positiv beschreibende, Antwort auch ein Lerneffekt
      verbunden ist. Auf diesen würde verzichtet werden.
     Häufige oder typische Fehler oder Missverständnisse sollten als Grundlage für die falschen
      Antwortoptionen verwendet werden (vgl. Brauns & Schubert 2008).
     Die Antwortoptionen sollten unabhängig voneinander sein und sich nicht überlappen (vgl.
      Brauns & Schubert 2008).
     Hinweise auf die richtige Antwort, wie die Wiederholung eines Wortes aus der Frage in
      der richtigen Antwort sind zu vermeiden (vgl. Brauns & Schubert 2008).
     Hinweise, welche die Aufmerksamkeit auf zwei bis drei Antworten einschränken, sind zu
      vermeiden (vgl. Krebs 2004).
     So genannte „Konvergenz Cues“ sind zu vermeiden: Die Antwort, welche die größte Zahl
      von Elementen mit anderen Antworten gemeinsam hat, ist mit erhöhter
      Wahrscheinlichkeit die richtige (vgl. Krebs 2004).
     Gegenseitige Lösungshinweise sind zu vermeiden. Dieser Cue ist vor allem bei der
      Prüfungszusammenstellung zu beachten. Seine Gefahr wird aber deutlich reduziert, wenn
      in den Items möglichst keine überflüssigen Informationen gegeben werden (vgl. Krebs
      2004). Je mehr Distraktoren gewählt werden, desto größer ist die Gefahr gegenseitiger
      Lösungshinweise.

Beispiel:
     „Lesen Sie die folgenden Interventionstechniken in Gesprächen und ordnen Sie sie den
        unten genannten Situationen zu. Welche Interventionstechniken im Gespräch sind am
Universität Kassel, Servicecenter Lehre, Arnold-Bode-Str. 10, 34127 Kassel
E-Mail: scl@uni-kassel.de, Tel.: 0561/ 804-7145, Fax: 0561/804-7146                  Seite 9 von 13
SERVICECENTER LEHRE

        angemessensten in folgenden Situationen?
        1) Aktiv zuhören
        2) Rapport herstellen
        3) Zusammenfassen
        4) Verbalisieren emotionaler Erlebnisinhalte
        5) Konfrontieren mit Diskrepanzen in Klientenaussagen
        Antwortoptionen:
        a) Klientin berichtet ausführlich und offen über ihre Problemsituation 1) 2) 3) 4) 5)
        b) Klientin wirkt im Gespräch ängstlich und scheu 1) 2) 3) 4) 5)
        c) Klientin berichtet über starke Ambivalenzen 1) 2) 3) 4) 5)“

        Quelle: Gruber, Simone & Avallone, Manuela (2012, S. 11)

    d) Formalia

Neben den oben genannten didaktischen Qualitätskriterien lassen sich Formalia identifizieren, die
die Übersichtlichkeit der Klausur erhöhen und eine Lösung der Aufgabe nach simplem
Ausschlussverfahren erschweren.

Checkpunkte:

     Über mehrere Aufgaben hinweg darf die richtige Lösung nicht immer an der gleichen
      Stelle (z.B. immer b) stehen und nicht systematisch variiert werden.
     Die Auswahlantworten sind mit Kleinbuchstaben zu kennzeichnen. Zahlen werden zur
      Nummerierung der Aufgaben verwendet.
     Wird bei der Aufgabe eine Frage gestellt, so sollte bei den Antworten mit Großbuchstaben
      begonnen und am Ende eines ganzen Antwortsatzes ein Punkt gesetzt werden. Sind die
      Antworten nur eine Fortsetzung der Aufgabenstellung, so ist klein zu beginnen und am
      Ende der Antwort jeweils ein Punkt zu setzen. Bestehen die Antworten aus einem Begriff
      oder Zahlen, so erübrigt sich der Punkt.
     Alle Antworten müssen grammatikalisch zum Fragenstamm passen (vgl. Krebs 2004).
     Die Antworten sollen möglichst logisch angeordnet werden. Wenn bei den Antworten
      vom Inhalt her eine logische Hierarchie gegeben ist, sollen sie danach angeordnet werden
      (z.B. bei Frage nach wahrscheinlichster Problemursache von klein, harmlos zu groß,
      gravierend, bei Antworten mit Zahlenwerten auf- oder absteigend). Falls keine inhaltliche
      Logik gegeben ist, empfiehlt sich v.a. bei Einwortantworten am ehesten eine
      alphabetische Reihung (vgl. Krebs 2004).
     Damit Positions-Wahltendenzen von Kandidaten keinen Einfluss gewinnen können, sollen
      die richtigen Antworten über alle Items einer Prüfung möglichst ausbalanciert unter den
      Antwortoptionen verteilt sein (vgl. Krebs 2004).

Universität Kassel, Servicecenter Lehre, Arnold-Bode-Str. 10, 34127 Kassel
E-Mail: scl@uni-kassel.de, Tel.: 0561/ 804-7145, Fax: 0561/804-7146                      Seite 10 von 13
SERVICECENTER LEHRE

    e) Statistische Qualitätskriterien

Neben Qualitätskriterien, die a priori bei der Erstellung der Aufgaben zu berücksichtigen sind,
können nach der Durchführung einer Prüfung auch statistische Qualitätskriterien verwendet
werden, um die Güte einer Antwort-Wahl-Aufgabe oder eines ganzen Tests zu bestimmen. Dazu
gehört neben dem Schwierigkeitsgrad die Trennschärfe einer Aufgabe.

Der Schwierigkeitsgrad eines Items wird anhand der Häufigkeit einer richtigen Antwort ermittelt.
Beantworten 90% der Probanden das Item korrekt, so liegt z.B. ein Wert von 0,9 vor.

Mit dem Maß der Trennschärfe eines Items wird angegeben, wie dieses zwischen
leistungsstärkeren und leistungsschwächeren Prüflingen unterscheidet. Dabei wird ein Item
daraufhin untersucht, wie häufig es - bezogen auf das Gesamtergebnis - von den Prüflingen der
oberen und unteren Leistungsgruppen korrekt beantwortet wurde. Ein Item ist besonders
trennscharf, wenn es weitgehend nur von den leistungsstarken Prüflingen korrekt beantwortet
wurde.

Beide Kennwerte können entweder durch Vortests oder durch die Auswertung und
Wiederverwendung von Fragen aus vergangenen Klausuren bestimmt werden. Hier sind
insbesondere die Auswertungsmöglichkeiten elektronischer Klausursysteme hilfreich.

Folgende Empfehlungen lassen sich bzgl. der beiden Kennwerte festhalten:

Checkpunkte:

     In einer Klausur sollten die Fragen der Schwierigkeit nach normalverteilt sein. D. h., es
      sollte wenige leichte und wenige schwere Fragen geben.
     Fragen mittlerer und hoher Trennschärfe sollten bevorzugt eingesetzt werden.

Weiterführende Informationen oder Anregungen zur Konzeption einer Prüfung erhalten Sie im
Servicecenter Lehre der Universität Kassel www.uni-kassel.de/go/scl

Universität Kassel, Servicecenter Lehre, Arnold-Bode-Str. 10, 34127 Kassel
E-Mail: scl@uni-kassel.de, Tel.: 0561/ 804-7145, Fax: 0561/804-7146                    Seite 11 von 13
SERVICECENTER LEHRE

Literatur
AZ Aktenzeichen 14 A 2154/08: Urteil des Oberverwaltungsgerichts NRW. Verfügbar unter
http://www.justiz.nrw.de/nrwe/ovgs/ovg_nrw/j2008/14_A_2154_08urteil20081216.html. Letzter
Zugriff: 17.06.2013.

Beaucamp, Guy & Buchholz, Jan-Arndt (2010): Rechtsfragen bei der Einführung von Multiple-
Choice-Prüfungen (Antwort-Wahl-Verfahren). In: Wissenschaftsrecht, 43 (2010) 1, S. 56-67.

Baghaei, Purya & Amrahi, Nazila (2011). The effects of the number of options on the psychometric
characteristics of multiple choice items. In: Psychological Test and Assessment Modeling, 53, 2, S.
192-211.

Bloch, Ralph, Hofer, Daniel, Krebs, René, Schläppi, Peter, Weis, Stephan, Westkämper, Reinhard
(1999). Kompetent prüfen: Handbuch zur Planung, Durchführung und Auswertung von
Facharztprüfungen. Institut für Aus-, Weiter- und Fortbildung der Medizinischen Fakultät der
Universität Bern.

Bott, Oliver J., Diercks-O'Brien, Gabi & Horn, Janine (2012). E-Prüfungen nach Antwort-Wahl-
Verfahren rechtssicher durchführen. Verfügbar unter http://www.hs-
hannover.de/fileadmin/media/doc/els/ePruefungen/e-pru__fungsrecht.pdf. Letzter Zugriff:
17.06.2013.

Brauns, Katrin & Schubert, Sebastian (2008). Qualitätssicherung von Multiple-Choice-Prüfungen.
In Sigrid Dany, Birgit Szczyrba & Johannes Wildt (Hrsg.), Prüfungen auf die Agenda!
Hochschuldidaktische Perspektiven auf Reformen im Hochschulwesen, S. 92-102. Bertelsmann:
Bielefeld.

Fachhochschule Münster (2012). Fünfte Ordnung zur Änderung des Allgemeinen Teils der
Prüfungsordnung für die Bachelor- und Masterstudiengänge an der Fachhochschule Münster.
Verfügbar unter https://www.fh-
muenster.de/uploads/amtliche_bekanntmachungen/98_2012.pdf. Letzter Zugriff: 18.06.2013.

Haladyna, Thomas M., Downing, Steven M. & Rodriguez, Michael C. (2002). A Review of Multiple-
Choice Item-Writing Guidelines for Classroom Assessment. In: Applied Measurement in Education,
15, 3, S. 309-334.

Gruber, Simone & Avallone, Manuela (2012). Empfehlungen zum Einsatz von Multiple-Choice-
Prüfungen. Verfügbar unter
http://www.lehren.tum.de/fileadmin/w00bmo/www/Downloads/Themen/Studiengaenge_gestal
ten/Dokumente/MCEmpfehlungen_Stand_Oktober_2012_final.pdf. letzter Zugriff: 17.06.2013.

http://www.arztakademie.at/fileadmin/template/main/facharztpdfs1/Innere_Medizin/MfragenIN
N1.pdf (11.11.2013)

http://www.wiso-training.de/test.html (11.11.2013)

Hochschule Ludwigshafen am Rhein/ Stabsstelle Studium und Lehre (2012). Prüfungen im
Multiple-Choice-Verfahren. Verfügbar unter http://web.fh-
Universität Kassel, Servicecenter Lehre, Arnold-Bode-Str. 10, 34127 Kassel
E-Mail: scl@uni-kassel.de, Tel.: 0561/ 804-7145, Fax: 0561/804-7146              Seite 12 von 13
SERVICECENTER LEHRE

ludwigshafen.de/index.nsf/Files/C1C51DDE9B4844CFC1257A4D00429856/$FILE/Handreichung%2
0Multiple-Choice-Verfahren__HSLU082012.pdf. Letzter Zugriff: 18.06.2013.

Krebs (2004). Anleitung zur Herstellung von MC-Fragen und MC-Prüfungen für die ärztliche
Ausbildung. Online verfügbar unter
http://www.iml.unibe.ch/dienstleistung/assessment_pruefungen/index.php?eID=tx_nawsecuredl
&u=0&file=/fileadmin/iml-
website/aae/pdf/MC_Anleitung.pdf&t=1371306139&hash=e505212cbe60fda774cef78edd773afb
bccdeab2. Letzter Zugriff: 14.06.2013.

Leibnitz Universität Hannover (2009). Erstellen und Bewerten von Multiple-Choice-Aufgaben.
Verfügbar unter http://www.uni-
hannover.de/imperia/md/content/elearning/practicalguides2/didaktik/elsa_handreichung_zum_
erstellen_und_bewerten_von_mc_fragen.pdf. Letzter Zugriff: 18.06.2013.

Rodriguez, Michael C. (2005). Three Options Are Optimal for Multiple-Choice Items: A Meta-
Analysis of 80 Years of Research. In: Educational Measurement: Issues and Practice, 24, 2, S. 3-13.

Technische Universität Dresden/ Fakultät Erziehungswissenschaften (2012). Ordnung zur
Durchführung und Bewertung von Prüfungsleistungen nach dem Multiple-Choice-Verfahren (MC-
Ordnung). Verfügbar unter http://www.verw.tu-dresden.de/AmtBek/PDF-Dateien/2012-
03/08poMC17.06.2012.pdf. Letzter Zugriff: 18.06.2013.

Universität Bremen (2010). Fachspezifische Prüfungsordnung für den Bachelorstudiengang
„Betriebswirtschaftslehre“ der Universität Bremen. Verfügbar unter http://www.zpa.uni-
bremen.de/Archiv_Pruefungsordnungen/Fachbereich07/Bachelor_%20Betriebswirtschaftslehre/B
A_Betriebswirtschaftslehre_VF_2010-10-27.pdf. Letzter Zugriff: 18.06.2013.

Wood, E. J. (2003): What are Extended Matching Sets Questions? Bioscience Education, vol.1.

Universität Kassel, Servicecenter Lehre, Arnold-Bode-Str. 10, 34127 Kassel
E-Mail: scl@uni-kassel.de, Tel.: 0561/ 804-7145, Fax: 0561/804-7146                    Seite 13 von 13
Sie können auch lesen
NÄCHSTE FOLIEN ... Stornieren