KOMPETENZORIENTIERTE MULTIPLE-CHOICE-PRÜFUNGEN - WORKSHOP
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
KOMPETENZORIENTIERTE MULTIPLE-CHOICE-PRÜFUNGEN WORKSHOP Philipp Dorok (IT.SERVICES) & Julia Philipp (Zentrum für Wissenschaftsdidaktik), 25. November 2021
AGENDA ▪ Kurze Vorstellung ▪ Ziele des Workshops ▪ Grundlagen zu kompetenzorientierten Multiple-Choice-Prüfungen ▪ Gestaltungstipps & Beispiele ▪ Arbeitsphase ▪ Pause ▪ Kollegialer Austausch ▪ Abschluss 2
ZIELE Nach diesem Workshop können Sie: ▪ Gestaltungshinweise für die kompetenzorientierte Erstellung von MC-Fragen benennen ▪ eigene Prüfungsfragen erstellen bzw. (um)formulieren, die höhere Kompetenzstufen adressieren Dieser Workshop bietet Ihnen: ▪ kurze Impulse ▪ Raum für Erarbeitung ▪ kollegialen Austausch 3
GRUNDLAGEN DES PRÜFENS
▪ Constructive Alignment: Ziele, Prüfung und Lehre sind aufeinander abgestimmt.
Die Lehre wird vom Learning Outcome her rückwärts gedacht.
▪ Kompetenzen: „(…) kognitiven Fähigkeiten und Fertigkeiten, bestimmte Probleme
zu lösen, sowie die damit verbundenen motivationalen, volitionalen und sozialen
Bereitschaften und Fähigkeiten, die Problemlösungen in variablen Situationen
erfolgreich und verantwortungsvoll nutzen zu können.“
▪ Lernzieltaxonomie: Anderson et al. (2014) unterteilen in sechs Lernziel-Stufen:
1: erinnern 2: verstehen 3: anwenden
4: analysieren 5: evaluieren 6: kreieren
▪ Kompetenzorientierung beginnt auf Stufe 3
(Reis 2018 // Schaper 2012 // Anderson et al. 2014)
4GRUNDLAGEN VON MULTIPLE CHOICE
▪ genutzt als Sammelbegriff und Synonym für geschlossene Fragen
▪ unterschiedliche Fragetypen
▪ zur Wissensabfrage genutzt (Lernzielstufen 1 + 2)
▪ mit modifiziertem Aufgabenstamm für Lernzielstufen 3 + 4 nutzbar
(Kompetenzorientierung)
▪ bei Lernzielstufen 5 + 6 in Kombination mit offenen Fragen einsetzbar
(Krebs 2004)
5KONSTRUKTION VON MULTIPLE CHOICE-PRÜFUNGEN „Item writing has been, is, and always will be an art. However, sophisticated, technically oriented, and computer-generative techniques have been developed to assist the item writer.“ (Rodriguez 2005, 3) 6
GESTALTUNGSTIPPS ▪ Tipp 1: Szenarien beschreiben ▪ Tipp 2: Verständnis statt Wissen adressieren ▪ Tipp 3: Fragenlogik umkehren ▪ Tipp 4: Analoge Beispiele verwenden ▪ Tipp 5: Texte analysieren lassen ▪ Tipp 6: Komplexität analysieren oder recherchieren lassen ▪ Tipp 7: MC-Fragen mit offenen Fragen erweitern Beispiele zu den Tipps: https://dbs-lin.ruhr-uni-bochum.de/lehreladen/planung-durchfuehrung- kompetenzorientierter-lehre/kompetenz-pruefen/beispiele-fuer-kompetenzorientierte-mc-fragen/ 7
KOMPETENZORIENTIERUNG: BEISPIEL I ▪ Klassische Wissensabfrage: 8
KOMPETENZORIENTIERUNG: BEISPIEL I ▪ Besser, aber… 9
KOMPETENZORIENTIERUNG: BEISPIEL I ▪ Besser, aber… 10
KOMPETENZORIENTIERUNG: BEISPIEL I ▪ Lernzielstufe 4 (Analysieren) 11
KOMPETENZORIENTIERUNG: BEISPIEL II ▪ Ausgangsfrage Wodurch zeichnet sich problemorientiertes Lernen aus? (Mehrere Optionen sind richtig) a) durch Generierung von neuen Problemstellungen b) durch Orientierung an komplexen Problemstellungen c) durch selbstgesteuertes Lernen in Kleingruppen d) durch selbstgesteuertes Lernen in Einzelarbeit e) durch Betreuung durch Lernbegleiter*innen 12
KOMPETENZORIENTIERUNG: BEISPIEL II ▪ Umwandlung der Frage Die Studierenden Lena, Aynur, Maik und Tomás treffen sich zu ihrer Gruppenarbeit für das Seminar XY. Von ihrer Dozentin haben sie eine Fallbeschreibung mit Fragestellung bekommen. Ihre Aufgabe ist es, auf Basis des Materials, der Fachliteratur und eigener Recherchen zu relevanten Aspekten Empfehlungen für die Akteur*innen zu formulieren. Ihre Dozentin berät das studentische Team bei Rückfragen und gibt ihnen auf Anfrage Feedback zu ihrem Arbeitsprozess, sie tritt nicht als Vermittlerin von Wissen auf. Um welches Lehr-Lern-Setting handelt es sich? a) problemorientiertes Lernen b) kollaboratives Lernen c) projektorientiertes Lernen d) interdisziplinäres Lernen 13
DISTRAKTOREN FINDEN ▪ Empfehlung: Vorab richtige und falsche Antworten auflisten und gegenüberstellen. Welche Aussage trifft auf Bochum zu? Richtigaussagen Falschaussagen Hat ca. 400.000 Einwohner*innen. Hat ca. 600.000 Einwohner*innen. Liegt an der Ruhr. Liegt an der Emscher. Hat eine über 50 Jahre alte Universität. Hat eine über 100 Jahre alte Universität. Hat eine Privatbrauerei im Stadtgebiet. Hat eine Sektkellerei im Stadtgebiet. Ist nicht direkt mit dem Flugzeug Ist direkt mit dem Flugzeug erreichbar. erreichbar. (nach Burger 2021) 14
META-STRUKTUR VON MULTIPLE-CHOICE-FRAGEN
▪ Aufgabenstamm
- enthält den Fragetext/Aufgabentext
- kann außerdem folgende weitere Bestandteile enthalten (= langer Aufgabenstamm):
▪ Fallbeschreibungen/ Szenarien
▪ Beispiele/ Kontextinformationen, die für das Verständnis der Frage relevant sind
▪ Analyse-Materialien: (ggf. multimediale) Daten/ Inhalte/ Quellen/ Beispiele
▪ Wichtig für Antwortoptionen
▪ die möglichen einzelnen Bestandteile Fragetext/Aufgabentext, Materialien zur Bearbeitung und
Antwortoptionen,
▪ UND wie diese Teile in Beziehung zueinander gesetzt sind
▪ das Verhältnis einer Antwortoption zu den anderen Antwortoptionen
15EMPFOHLENE META-STRUKTUR VON MC-FRAGEN
▪ Langer Aufgabenstamm:
- Fragetext/Aufgabentext plus mindestens ein weiterer Bestandteil
(Fallbeschreibung, Szenario, Beispiel, Kontextinformationen, Analyse-Materialien etc.)
▪ Kurze Antwortoptionen:
- richtige Antwort(en) plus gut geeignete Distraktoren (Falschantworten)
- alle Antwortoptionen sind untereinander möglichst vergleichbar, sowohl bezogen auf die
Formulierung als auch auf die fachliche Tiefe, Breite, Komplexität und die Antwortlänge
▪ Gesamtgestaltung
- Fragetext/Aufgabentext, weitere Bestandteile und alle Antwortoptionen sind möglichst klar
und verständlich formuliert bzw. dargestellt
- Fragetext/Aufgabentext, weitere Bestandteile und alle Antwortoptionen sind deutlich aufeinander
bezogen
16EMPFEHLUNG FÜR DIE ERSTELLUNG VON PRÜFUNGEN
▪ Blueprint erstellen: „Gewichtetes Inhaltsraster der Prüfungsinhalte, nach dem alle
Prüfungen zusammengesetzt werden.“ (Krebs, 2004)
▪ Distraktoren festlegen (s. Folie), Begründung der richtigen Antwort, ggf.
Literaturangaben
▪ Review durchführen:
- Teil 1: Selbst lesen und sich vorstellen, die Frage selbst zu beantworten (Grundregeln beachtet?
Cues enthalten?)
- Teil 2: Inhalts-Kontrolle durch 1-2 Fachexpert*innen (fachliche Richtigkeit und die Zugehörigkeit
des Items zu den Lernzielen)
- Teil 3: Form-Kontrolle durch 1-2 Fachexpert*innen (formale und sprachliche Aspekte)
17EXKURS: MC-WORKSHOPS DURCHFÜHREN
▪ März 2021: Fortbildung „Kompetenzorientierte Multiple Choice-Fragen mit Moodle
erstellen“ im RUB-internen hochschuldidaktischen Programm (kurzfristig konzipiert
wegen Nachfrage), Werkstatt-Format für vorhandene Prüfungsfragen und/oder
Lernziele
▪ Zielgruppe: Lehrende mit Vorwissen/ Vorerfahrung und eigenem Material (s.o.)
▪ Input wie in diesem Workshop plus Hinweise zur Testerstellung in Moodle
▪ Moodle-Kurs mit Kursleiter*innen-Rechten für TN, hier „Bastelbereich“:
TN erarbeiten zu zweit eigene kompetenzorientierte MC-Fragen und setzen diese
direkt in Moodle um, danach kollegialer Austausch in Großgruppe
▪ 3h Dauer, im Frühjahr 2022 Wiederholung mit 4h Dauer geplant
18LITERATUR
▪ Anderson, L. et al. (2014): A taxonomy for learning, teaching and assessing: A revision of Bloom's Taxonomy of Educational Objectives.
Edinburgh: Pearson education Limited.
▪ Bandtel, Matthias et al. (2021): Digitale Prüfungen in der Hochschule. Whitepaper einer Community Working Group aus Deutschland,
Österreich und der Schweiz. Essen: Hochschulforum Digitalisierung. S. 30-42. Verfügbar unter:
https://hochschulforumdigitalisierung.de/sites/default/files/dateien/HFD_Whitepaper_Digitale_Pruefungen_Hochschule.pdf
▪ Burger, Andreas (2021): Multiple Choice-Prüfungen. Beitrag im LEHRE LADEN der Ruhr-Universität Bochum. Verfügbar unter:
https://dbs-lin.ruhr-uni-bochum.de/lehreladen/planung-durchfuehrung-kompetenzorientierter-lehre/kompetenz-pruefen/multiple-choice-
pruefungen/
▪ Hochschuldidaktik RUB (2021): Beispiele für kompetenzorientierte Multiple Choice-Fragen. Beitrag im LEHRE LADEN der Ruhr-
Universität Bochum. Verfügbar unter: https://dbs-lin.ruhr-uni-bochum.de/lehreladen/planung-durchfuehrung-kompetenzorientierter-
lehre/kompetenz-pruefen/beispiele-fuer-kompetenzorientierte-mc-fragen/
▪ Krebs, René (2004): Anleitung zur Herstellung von MC-Fragen und MC-Prüfungen für die ärztliche Ausbildung. Bern: Universität Bern.
▪ Reis, Oliver (2018): Lehre und Prüfung aufeinander ausrichten. In: Deutsche Universitätszeitung. Berlin: duz Medienhaus. S. 67-69.
▪ Schaper, Niclas (2012): Fachgutachten zur Kompetenzorientierung in Studium und Lehre. Ausgearbeitet für die HRK von Niclas Schaper
unter Mitwirkung von Oliver Reis und Johannes Wildt so wie Eva Horvath und Elena Bender. Bonn: Hochschulrektorenkonferenz.
19Kontakt Philipp Dorok Ruhr-Universität Bochum, IT.SERVICES 0234/ 3229391 philipp.dorok@rub.de it-services.rub.de/services/sl/epruefungen.html.de Julia Philipp Ruhr-Universität Bochum, ZfW 0234/ 3227489 VIELEN DANK julia.philipp@rub.de zfw.rub.de/hd FÜR IHRE AUFMERKSAMKEIT.
Sie können auch lesen
