Online-Prüfung mit OPAL, ONYX und MAXIMA Chancen und Grenzen
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Lessons Learned 1, 1&2 (2021)
Submitted: 20.05.2021
Accepted: 06.06.2021
DOI: https://doi.org/10.25369/ll.v1i1/2.8
ISSN: 2749-1293 (Print); 2749-1307 (Online)
Online-Prüfung mit OPAL, ONYX und MAXIMA
Chancen und Grenzen
E. Dohmen, A. Lange, B. Kraus, S. Sturm, S. Odenbach
Professur für Magnetofluiddynamik, Mess- und Automatisierungstechnik, Institut für Mechatronischen Maschinenbau,
Fakultät Maschinenwesen, TU Dresden
Abstract
Der Transfer klassischer Präsenzklausuren in digitale Formate ist perspektivisch wohl unum-
gänglich, um als Teil einer zeitgemäßen und qualitativ hochwertigen Ausbildung auch zielorien-
tierte sowie anspruchsvolle Leistungsüberprüfungen durchzuführen. Im Rahmen dieser Veröf-
fentlichung skizzieren wir an konkreten Beispielen die Chancen und Grenzen der Testplattform
ONYX in Zusammenspiel mit dem Computeralgebrasystem MAXIMA unter Nutzung des Lernma-
nagementsystems OPAL bei der Umsetzung zweier Online-Prüfungen mit bis zu 500 Studieren-
den. Interessant sind dabei insbesondere die beobachteten Verlagerungen der Arbeitsanteile
hinsichtlich Konzeption, Klausurbetreuung und Korrektur, die wir vorstellen und deren Auswir-
kungen wir diskutieren.
The transfer of classical classroom examinations into digital formats is probably inevitable in the
future in order to carry out goal-oriented and demanding performance examinations as part of
a modern and high-quality education. In this publication, we outline the opportunities and limi-
tations of the ONYX testing platform in conjunction with the computer algebra system MAXIMA
using the learning management system OPAL in the implementation of two online examinations
with up to 500 students. Of particular interest are the observed shifts in the proportion of work
with regard to conception, examination supervision and correction, which we present and
whose effects we discuss.
*Corresponding author: eike.dohmen@tu-dresden.de
Lessons Learned | Volume 1 (2021) | Ausgabe 1&2 1/2.8-1
E. Dohmen et al. / Online-Prüfung mit OPAL, ONYX und MAXIMA - Chancen und Grenzen
1. Einleitung und Weiterbildung zu unterstützen. Ihre Kernauf-
gabe liegt in der bestmöglichen Beförderung des
Im Sommersemester 2020 sowie im folgenden breiten Einsatzes internetgestützter Lehr-/Lern-
Wintersemester wurden an der Professur für szenarien in den Hochschulen Sachsens sowie
Magnetofluiddynamik, Mess- und Automatisie- diesen verbundenen Einrichtungen“ [3]. Der Ar-
rungstechnik im Rahmen der Lehrveranstal- beitskreis „E-Learning der Landesrektorenkon-
tung „Mess- und Automatisierungstechnik“ so- ferenz Sachsen “unterstützt die Hochschulen bei
wohl semesterbegleitende Lernstand-Selbste- der Fortführung des mit der Initiative „Bildungs-
valuationen für die Studierenden als auch die portal Sachsen“ erfolgreich eingeschlagenen We-
Semesterabschlussprüfungen erfolgreich digi- ges, ihre Potenziale auf dem Gebiet des E-Learn-
tal umgesetzt. ing zu bündeln und gemeinsam zu entwickeln
Die Vorlesungsreihe „Mess- und Automatisie- […]“ [4]. In ONYX ist das quelloffene Computer-
rungstechnik“ ist auf Sommer- und Winterse- algebrasystem MAXIMA eingebunden.
mester aufgeteilt und wird mit jeweils einer Mit Beginn der Corona Pandemie im Frühjahr
Prüfung abgeschlossen. Beide Prüfungen wa- 2020 wandelte sich die als Ergänzungsangebot
ren dabei bisher in einen Grundlagenteil mit gedachte Online-Probeklausur in eine alterna-
10 Einzelfragen sowie einen Rechenteil mit 4 tivlose Notwendigkeit für eine rein digitale Ge-
komplexen Rechenaufgaben untergliedert. Die währleistung der Lehre. Im Rahmen dieser
Teilnehmendenzahlen sinken erfahrungsge- Veröffentlichung möchten wir das Potential
mäß vom ersten zum Folgesemester bei dieser von mit OPAL, ONYX und MAXIMA umgesetz-
Veranstaltung von über 500 Studierenden auf ten Online-Prüfungen kritisch betrachten.
etwa 400. Unabhängig von der Konzeption der Hierfür geben wir Einblicke in unsere Vorge-
Prüfungen benötigte die Korrektur in jedem hensweise, stellen ausgewählte Beispiele un-
Semester für den gesamten Fragenteil ca. 1 serer Umsetzungen vor, präsentieren aufge-
Personenmonat und für jede der Rechenauf- tretene Probleme, Workarounds sowie Lösun-
gaben ca. 0,5 Personenmonate. Pro Jahr erga- gen und schätzen den Zeitaufwand ab, um mit
ben sich für die Prüfungskorrektur damit also unseren Erfahrungen schließlich eine Diskus-
in etwa 6 Personenmonate Personalaufwand. sion zu Chancen und Grenzen von Online-
Basierend auf den positiven Rückmeldungen Tests im Vergleich zu klassischen Präsenzum-
der vergangenen Jahre zu unterstützenden setzungen anzustoßen. Daraus leiten sich
asynchronen und individualisierbaren Lernan- auch weitergehende Fragestellungen ab: Wel-
geboten wie Vorlesungsaufzeichnungen, che Treffsicherheit wird in Bezug auf die über-
Skripten, Literatur und Feedbackkanälen geordneten Lehr-/Lernziele erreicht? Welche
wurde bereits 2019 mit der Planung einer er- Komplexität kann abgebildet werden? Wie
gänzenden Online-Probeklausur im Lehrma- aufwändig ist eine Online-Prüfung?
nagementsystems (LMS) OPAL [1] begonnen, Darüber hinaus werden wir auf die eingesetzte
um einerseits die Vor- und Nachteile einer On- Kommunikationsplattform Element [5] (auf Ba-
line-Prüfung zu analysieren und andererseits sis des quelloffenen Matrix-Protokolls) einge-
den Studierenden eine umfassende asyn- hen, mit der die begleitende Kommunikation
chrone Möglichkeit zur individuellen Wissens- erfolgreich umgesetzt wurde.
überprüfung sowie zur Prüfungsvorbereitung
In dieser Publikation werden wir chronologisch
bereit zu stellen.
von der Prüfungskonzeption bis zur Prüfungs-
Das verwendete LMS OPAL sowie die darin in- auswertung die oben genannten Punkte ad-
tegrierte Test-Suite ONYX [2] werden vom E- ressieren und dann ein Fazit formulieren.
Learning Dienstleister BPS Bildungsportal
Sachsen GmbH (BPS) technisch entwickelt. „Die
BPS Bildungsportal Sachsen GmbH wurde Ende 2. Konzeptentwicklung
2004 von 11 sächsischen Hochschulen gegründet, Zentrale Anforderung bei der Umsetzung ei-
um diese bei der Einführung und nachhaltigen nes Online-Prüfungskonzept auf Basis eines
Nutzung neuer Medien in der akademischen Aus- bestehenden, klassischen Präsenzprüfungs-
1/2.8-2 Lessons Learned | Volume 1 (2021) | Ausgabe 1&2
E. Dohmen et al. / Online-Prüfung mit OPAL, ONYX und MAXIMA - Chancen und Grenzen
konzeptes ist einerseits die präzise Neudefini- mit dem verwendeten LMS OPAL) sehr erfolg-
tion von Lernzielen, ggf. durch Extraktion aus reich, allerdings mussten ihre und unsere Er-
bestehenden Prüfungen, und andererseits die wartungen angepasst werden, da ohne ent-
Ableitung neuer, auf die Möglichkeiten von sprechendes Fachwissen natürlich keine
OPAL, ONYX und MAXIMA angepasster, umset- ONYX-Aufgaben selbstständig generiert und
zungsfähiger Aufgaben unter Fokussierung nur sehr eingeschränkt adaptiert werden kön-
dieser Lernziele. Hierbei scheint den Autoren nen. Dies führt dazu, dass sich die Aufgaben
neben der Kenntnis von möglichen Aufgaben- des eScouts auf Zuarbeiten in den Bereichen
typen (bspw. in der Testumgebung ONYX) für Abbildungserstellung und Einpflegen von fer-
Prüfungen in MINT-Fächern und einem fachli- tig vorbereiteten Aufgaben in ONYX auf Basis
chen Hintergrundwissen, vor allem ein profun- detaillierter Handlungsanweisungen be-
des technisches Vorwissen (im Sinne von Pro- schränkten.
grammierkenntnissen) zur Parametrierung eScouts sind daher nach den konkreten Anfor-
von ONYX-Aufgaben1 mittels Variablen und zur derungen und ihren Befähigungen auszuwäh-
Umsetzung mathematischer Fragestellungen len, wobei eine Kombination sehr verschiede-
mit dem Computeralgebrasystem MAXIMA es- ner Qualifikationen (bspw. Psychologie und
sentiell. Physik) besonders hilfreich wäre, aber real
Leider fehlte für die Konzepterstellung im wohl nur durch interdisziplinäre eScout-Teams
Sommersemester 2020 an der TU Dresden abgebildet werden könnte.
noch eine zentrale Anlaufstelle, die neben or- War die zentrale Hürde im Sommersemester
ganisatorischen Fragen auch didaktische, 2020 noch die schnelle Umsetzung eines On-
rechtliche und technische Fragen klären line-Prüfungskonzept aus dem bestehenden
konnte, bei der Erstellung der Prüfungen aktiv Präsenzkonzept und die damit verbundene
begleitete und/oder entsprechende Kontakte Einarbeitung sowie Befähigung von (Mit-)Au-
vermittelte. tor:innen, konnte im Wintersemester auf der
Mit hohem Engagement stand im folgenden erarbeiteten Basis mit sehr guten technischen
Wintersemester das Team des „Zentrum für in- Kenntnissen, bspw. bei Aufgaben-Parametrie-
terdisziplinäre Lernen und Lehren“ (ZiLL) [6] als rungen, Variablendefinitionen, Zufallswerten
zentrale Anlaufstelle für eben diese Fragen zur oder MAXIMA-Funktionen, aufgebaut werden.
Verfügung und unterstützte sogar begleitend
Im Wintersemester 2020/2021 stand uns die
bei der Erstellung von Tests. Zudem wurde an
tatkräftige Unterstützung eines eScouts durch
der Fakultät Maschinenwesen die „Task Force
das Medienzentrum der TU Dresden leider
Digitale Prüfung“ aus freiwilligen Expert:innen
nicht mehr zur Verfügung, da man möglichst
zusammengestellt, die mit umfangreichen Er-
viele Lehrstühle mit dem eScout-Programm er-
fahrungen zu ingenieurspezifischen Prüfungs-
reichen wollte. In Anbetracht der vermittelten
lösungen Kolleg:innen beraten konnten.
fachlichen und technischen Befähigung wurde
dies von uns als sehr ungünstige Konzeption
3. Autor:innen im eScout Projekt wahrgenommen, da der ef-
fektive Nutzen für unseren Lehrstuhl in
Im Zuge der Konzeptentwicklung ergibt sich
Summe sehr gering war. Aus unserer Sicht sind
auch die Frage des Autor:innenkreises zur Ge-
eScouts sehr effektive Keimzellen zur perso-
nerierung von entsprechenden Prüfungen,
nellen Unterstützung sowie Streuung von Wis-
denn fachliches Vorwissen gepaart mit dem
sen zur Umsetzung von Online-Inhalten. We-
notwendigen spezialisierten Vorwissen hat –
sentlich hierfür sind eine gute bis sehr gute Be-
im besten Fall – nur ein sehr eingeschränkter
fähigung von Studierenden zu eScouts und
Personenkreis. Uns unterstützte ein fachfrem-
aufgrund der Einarbeitungsdauer längerfris-
der eScout (eine Studentin mit Vorerfahrung
1
Fett kursiv hervorgehobene Begriffe kennzeichnen feste eine komplexe Aufgabe als ONYX-Test umgesetzt und da-
Bezeichnungen oder Fachtermini aus OPAL oder ONYX. rin jede Teilaufgabe (dieser komplexen Aufgabe) als
Die Markierung dient der Abgrenzung zu Begriffen aus ONYX-Aufgabe.
dem allgemeinen Sprachgebrauch. Beispiel: Es wurde
Lessons Learned | Volume 1 (2021) | Ausgabe 1&2 1/2.8-3
E. Dohmen et al. / Online-Prüfung mit OPAL, ONYX und MAXIMA - Chancen und Grenzen
tige Verträge der eScouts zur Sicherstellung ei- Ausdrücke interpretiert, weshalb ein identi-
nes Wissenstransfers sowie eines echten Nut- sches Vorschaubild entsteht (Abb. 1) und die
zens für die Bildungseinrichtung. Auch eine Be- Eingabe damit für die Studierenden gleichwer-
fähigung lehrstuhleigener studentischer Hilfs- tig erscheint. Da MAXIMA allerdings nur die
kräfte wäre denkbar. Schreibweise a[i] als Index interpretieren
würde, würde auch nur diese Antwort als kor-
rekt bewertet. Bei Abfrage einer Variablen
4. Klausurerstellung
kann dieses Verhalten durch Hinterlegen von
Während der Klausurerstellung sind sowohl in Alternativlösungen in ONYX abfangen werden,
MAXIMA als auch in ONYX und OPAL Beson- was jedoch bei Formelvergleichen nur aufwän-
derheiten und Bugs zum Vorschein gekom- diger zu lösen wäre. Um auch den Studieren-
men, die wir im Sinne eines Wissenstransfers den gerecht zu werden und nicht das Lehrziel
nun gemeinsam mit unseren Lösungen oder MAXIMA mit in den Lehrplan aufzunehmen,
Workarounds vorstellen möchten. können durch Schreibweisen wie ai bzw. AI
Bei der Nutzung des Algebrasystems MAXIMA auch Indizes unterbunden werden – in jedem
sind einige Besonderheiten bei der Nutzung zu Fall sollte hier aber ein durchgängiges und ein-
beachten. MAXIMA berücksichtigt bei logi- heitliches Konzept in Aufgabenstellungen und
schen Ausdrücken beispielsweise das Kommu- Lösungen verfolgt werden.
tativgesetz nicht, d. h. „a AND b“ ist nicht
zwangsläufig gleich „b AND a“ und auch „c OR
d“ ist nicht gleich „d OR c“. Bei Aufgaben zur
Booleschen Algebra und Logik ist das natürlich
durchaus ein Problem! Hier liegt allerdings Abb. 1: Vorsicht bei Indizes. Unterschiedliche Ein-
kein Bug im eigentlichen Sinne vor, denn die gaben der Studierenden führen zu scheinbar glei-
MAXIMA Bedienungsanleitung schreibt dazu chen Ergebnissen, die allerdings von ONYX und
ganz klar „AND ist nicht kommutativ, da auf- MAXIMA nicht gleich interpretiert werden.
grund von nicht ausgewerteten Operanden die
Ausdrücke a AND b und b AND a ein unter- Und wenn eine oder alle Aufgaben in ONYX
schiedliches Ergebnis haben können.“ plötzlich nicht mehr funktionieren, ist es rat-
Auch bei der Verwendung der imaginären sam zu prüfen, ob es eventuell gerade ein Ser-
Zahl i (in MAXIMA als %i definiert) ist Vorsicht ver-Update gab, bei dem die ONYX oder MA-
geboten. Der Ausdruck 1/i wird in MAXIMA XIMA Versionen aktualisiert wurden (so ge-
nicht direkt als äquivalent zu –i interpretiert, schehen in der Prüfungsphase des Sommerse-
sondern muss erst durch Nutzung der Funk- mesters 2020, wodurch einige MAXIMA Be-
tion expand(1/%i) „vereinfacht“ werden, um rechnungen funktionsunfähig wurden). Hier
äquivalent zu –i erkannt zu werden. Hier gäbe wäre es wünschenswert, allen OPAL oder
es weitere Beispiele basierend auf Besonder- ONYX Nutzern im Voraus eine automatisierte
heiten von MAXIMA. Die Leistungsfähigkeit Info über Updates zukommen zu lassen.
dieses Open Source Computeralgebrasystems Aber auch richtige Bugs führen teilweise zu
ist enorm, aber für eine effektive und zuverläs- Funktionsproblemen, bspw. funktionierten
sige Verwendung muss man sich hier erst mit Aufgaben von Typ Mehrfache Zuordnung bis
der „Technik“ vertraut machen. Juli 2020 nur mit maximal vier Zeilen, obwohl
Bei der Klausurplanung sollten auch Nomen- man mehr Zeilen einfügen konnte. Oder aber
klaturen bspw. für Indizes genau diskutiert bei Aufgaben vom Typ Grafische Zuordnung
und auf Ihre Tauglichkeit geprüft werden. Das konnte man mehrere Elemente übereinander
Formelzeichen ai würde in MAXIMA bspw. mit- ziehen oder verlor Elemente durch einen Pro-
tels a[i] eingegeben, hingegen im Textsatzsys- grammierfehler im digitalen Nirwana – hier re-
tem LaTeX als a_i. Bei numerischen Indizes, wie agierte BPS sehr schnell und konnte mit unse-
bspw. a1 wäre in MAXIMA zudem die Schreib- ren Hinweisen den Bug im Juli beheben. Be-
weise a1 zulässig. Bei der Vorschaufunktion in sonders nervenraubend ist es, wenn Aufgaben
ONYX werden sowohl MAXIMA als auch LaTeX sich plötzlich nicht mehr speichern lassen bzw.
1/2.8-4 Lessons Learned | Volume 1 (2021) | Ausgabe 1&2
E. Dohmen et al. / Online-Prüfung mit OPAL, ONYX und MAXIMA - Chancen und Grenzen
die vermeintlich gespeicherten Änderungen Bearbeitungsabfolge als linear oder nichtli-
nicht gespeichert werden (Abb. 2). near. Bei einer linearen Abfolge der Aufgaben
müssen die Studierenden die Prüfung also
schrittweise im vorgegebenen Muster durch-
laufen. Wünschenswert wäre daher eine nicht-
lineare Abfolge, die es den Studierenden er-
möglicht, entsprechend ihrer Stärken und
Schwächen eine individuelle Abfolge der Auf-
gaben zu wählen. Allerdings geht das schon
dann nicht, wenn nur eine Aufgabe auf einer
Abb. 2: Nervenraubende, weil nicht nachvollzieh- anderen aufbaut oder aber mit einer Aufgabe
bare ONYX Fehler (es waren mehrere Lücken in die Lösung zu einer vorhergehenden verraten
der Aufgabe implementiert), die nur durch Neuer-
würde. Der programmiertechnisch nicht so
stellung der Aufgabe umgangen werden können.
versierten Aufgabenersteller:in, scheint die
einfache Lösung naheliegend, innerhalb ein-
Hier hilft aus unserer Erfahrung heraus im bes- zelner Sektionen eine lineare Abfolge festzule-
ten Falle ein Kopieren der Aufgabe oder leider gen, zwischen mehreren Sektionen allerdings
häufiger nur ein vollständiges Neuerstellen. nichtlinear, frei auswählen zu können – leider
Und manchmal hilft bei ONYX nur ein Abmel- ist das derzeit nicht möglich. Um hier einen zu-
den, Schlafengehen und Anmelden, damit Auf- friedenstellenden Workaround zu schaffen,
gaben über Nacht plötzlich funktionieren. Wa- wurde die Klausur MAT2 daher innerhalb eines
rum einige dieser Probleme auftreten und auf- Kurselementes vom Typ Struktur in 12 Tests
grund welcher Umstände, konnten wir nicht aufgeteilt, von denen jeder Test eine klassische
immer klären. Laut BPS erfolgt wohl regelmä- Komplexaufgabe bzw. einen Themenblock
ßig gegen 2:00 Uhr nachts eine automatische darstellt. Zusätzlich wurde initial ein Test für
Bereinigung des Systems, was zumindest eine die Selbständigkeitserklärung eingefügt. Um
Erklärung für die teils wundersame Problemlö- die Bearbeitungszeit nicht für jeden Test starr
sung über Nacht wäre. festzulegen und damit eine individuelle Zeit-
einteilung zu erlauben, wurde der Zugang zum
Ein häufig wiederkehrender Wunsch bei unse-
Kursbaustein Struktur auf die Bearbeitungs-
rem Autorenteam war ein Offline-Tool zur Tes-
zeit beschränkt. Soweit noch übersichtlich, al-
terstellung, aus dem Aufgaben oder eben
lerdings kommt eine weitere Herausforderung
ganze Tests dann exportiert werden können,
zum Tragen – die Berücksichtigung unter-
um diese bspw. im ONYX Aufgabenpool zu im-
schiedlicher Bearbeitungszeiten für Studie-
portieren. Hintergrund dieses Wunsches ist,
rende mit Nachteilsausgleich. Leider war es bis
dass die verschachtelte Struktur, ein umständ-
zu Beginn 2021 nicht möglich, Studierenden
liches Erstellen von mehreren Variablen, lange
ohne Abbruch der Bearbeitung (meist auf-
Ladezeiten für Seiten und Instabilität (vermut-
grund von technischen Problemen) ein zusätz-
lich durch hohe Serverlast) ein enormer Zeit-
liches Zeitkontingent zuzuweisen. Hierfür
fresser sind und die Nerven auf die Probe stel-
wurde der Baustein Struktur daher vervielfäl-
len.
tigt, um sowohl nach Nachteilsausgleich zu un-
Eine Klausur wird in OPAL als Kursbaustein terscheiden als auch nach einer HISQIS Regist-
Test verstanden. Die TU Dresden hat sich ins- rierung (Abb. 3).
besondere aus Stabilitäts- und Datenschutz- Der präsentierte Workaround hat aber auch
gründen entschieden, für Prüfungen eine ei- seine Schattenseiten, denn bei der Ausführung
gene OPAL-Instanz namens OPAL Exam@TUD der Klausur im Prüfungsmodus ist es bei tech-
zu erstellen. Der Kursbaustein wird in der Re- nischen Problemen eines Studierenden erst
gel mit einem ONYX Test verknüpft, welcher notwendig zu wissen, in welchem Test gerade
aus mehreren Aufgaben besteht. Zudem kann gearbeitet wurde, um bspw. ein Fortsetzen der
man als Strukturierungshilfe noch Sektionen Bearbeitung zu ermöglichen. Zudem muss im-
einfügen. Wesentliche Auswirkungen ergeben mer wieder zwischen den Tests gesprungen
sich bei einem Test durch die zu definierende werden, um mögliche Probleme mittels der
Lessons Learned | Volume 1 (2021) | Ausgabe 1&2 1/2.8-5
E. Dohmen et al. / Online-Prüfung mit OPAL, ONYX und MAXIMA - Chancen und Grenzen
Prüfungsansicht zu identifizieren. Darüber hin- dieser letzte Punkt ist wesentlich für eine Ak-
aus ergibt sich der erschwerende Nebeneffekt, zeptanz und Gleichwertigkeit von Online-Prü-
dass beim Export der Klausurergebnisse nicht fungen. Studierende müssen entsprechend ih-
eine Datei sondern für unseren Fall 4 x 12 also rer persönlichen Stärken die Möglichkeit ha-
48 Einzeldateien exportiert und wieder mitei- ben, sich die Bearbeitungszeit sowie die Bear-
nander harmonisiert werden müssen. Wün- beitungsinhalte über eine nichtlineare Struk-
schenswert wäre folglich eine erweiterte Test- tur eines Tests individuell einteilen zu können.
struktur, die eine Kombination linearer und Dementgegen steht, dass insbesondere an-
nichtlinearer Inhalte ermöglicht. spruchsvollere, komplexe Aufgaben als reine
Online-Varianten nur mit aufeinander aufbau-
enden, linear strukturierten Teilaufgaben um-
setzbar sind (ohne Lösungen von Teilaufgaben
auf dem Silbertablett zu liefern).
Erfreulich ist, dass die individuelle Zeitvorgabe
von BPS noch kurz vor der Prüfungsperiode im
Frühjahr 2021 implementiert wurde. Aller-
dings nur im Rahmen eines Tests. Für OPAL-
Kursbausteine vom Typ Struktur, in denen
mehrere Tests zusammengefasst sind, siehe
Abb. 3, ist das nicht möglich. Erneut und des-
halb überaus ärgerlich ist, dass die fehlende
Kombination linearer und nichtlinearer Test-
strukturen die Arbeit der Aufgabenersteller:in-
nen so massiv beeinträchtig! Für uns ist das die
zentrale Schwachstelle der aktuellen ONYX
Test-Suite.
Hieraus resultierte leider auch, dass die imple-
mentierte individuelle Zeitvorgabe faktisch
nicht nutzbar war und der bekannte, deutliche
Mehraufwand wieder entstand, da ein rein li-
nearer Prüfungsablauf nach unserer Wahr-
nehmung keine faire Prüfungslösung darstellt.
Um eine nichtlineare Klausur bereitstellen zu
können, die gleichzeitig lineare Komplexaufga-
Abb. 3: OPAL „Struktur“ Kursbausteine als Contai- ben enthält, wurden daher erneut alle Aufga-
ner für eine Klausur mit den Aufgaben als separa- ben als eigenständige Tests innerhalb eines
ten linearen Tests zur Kombination linearer und übergeordneten OPAL Kursbausteins Struktur
nichtlinearer Abläufe. definiert. Damit hatte eine individuelle Zeiter-
höhung innerhalb eines ONYX Tests leider
Im Sommersemester 2020 überraschten bei keine Auswirkung auf einen anderen Test im
der Arbeit in ONYX und OPAL noch viele Beson- gleichen Strukturbaustein von OPAL, womit
derheiten oder auch Bugs, die an BPS als Ent- die neu implementierte Funktion für unseren
wickler gemeldet wurden. Zudem wurden Fall leider ihre eigentliche Aufgabe völlig ver-
Wünsche zur Implementierung einiger fehlen- fehlte. Anstelle eines ONYX Tests mit 13 Aufga-
der Funktionalitäten geäußert. Wesentliche ben hatten wir also wie im Vorsemester einen
Punkte waren für uns hier einerseits die Mög- OPAL Kursbaustein Struktur als Klausur mit 13
lichkeit zur individuellen Verlängerung der Be- linearen ONYX Tests als Aufgaben (vgl. Abb. 3).
arbeitungszeit beispielsweise für Studierende Da wir zudem für Studierende mit Nachteil-
mit Nachteilsausgleich (ohne, dass technische sausgleich eine erhöhte Bearbeitungszeit rea-
Probleme vorliegen) und andererseits die lisieren mussten, musste diese Klausurstruk-
Möglichkeit zur Kombination linearer und tur in OPAL wieder gedoppelt werden und zu-
nicht-linearer Teststrukturen. Insbesondere sätzlich benötigten wir eine weitere Struktur
1/2.8-6 Lessons Learned | Volume 1 (2021) | Ausgabe 1&2
E. Dohmen et al. / Online-Prüfung mit OPAL, ONYX und MAXIMA - Chancen und Grenzen
für Studierende ohne HISQIS bzw. SELMA Ein- Auch der Upload von Dateien, das Erfassen
trag, sodass sich schließlich insgesamt 39 (scannen, fotografieren) und komprimieren
ONYX-Tests ergaben. von Dateien oder eine realistische Einschät-
Um den Studierenden eine ergänzende Sicher- zung der Stabilität der heimischen Internetver-
heit zu bieten und bei unklaren Fehlern eine bindung sind relevant.
weitere Entscheidungsgrundlage zu haben, Wünschenswert wären dementsprechend fa-
wurde nach rechenintensiven Teilaufgaben kultätsübergreifende, einheitliche Regeln für
eine Uploadaufgabe integriert, in der die Stu- OPAL, ONYX und MAXIMA. Eventuell könnten
dierenden handschriftliche Notizen oder Skiz- den Studierenden perspektivisch Einführungs-
zen hochladen können (Abb. 4). Leider führten kurse für diese Werkzeuge mit Tipps und Anre-
die Dateiuploads unter Prüfungsbedingungen gungen für die Heimarbeit und Online-Prü-
teilweise zu deutlichen Verzögerungen. fungssituationen angeboten werden. So könn-
ten Studierende und Lehrende auf einem
Grundstock aufsetzen, der für alle Veranstal-
tungen und Lehrstühle im Wesentlichen iden-
tisch wäre.
6. Prüfungsbetreuung
Die Begleitung und Betreuung der Studieren-
den während einer Prüfung ist bei digitalen
Formaten von enormer Bedeutung und
scheint aus unserer Sicht zwingend erforder-
lich für eine faire und erfolgreiche Online-Prü-
fung. Fragen oder Probleme der Studierenden
können so geklärt oder auch mögliche Fehler
Abb. 4: In einen Test integrierte Aufgaben zum Up- in Aufgaben schnell identifiziert werden. Die
load handschriftlicher Notizen nach recheninten-
Rückmeldungen der Studierenden bestätigen,
siven Teilaufgaben.
dass allein die Möglichkeit Probleme oder Fra-
gen an die Betreuenden richten zu können, Si-
cherheit gäbe und beruhigend wirken würde –
5. Befähigung der Studierenden
man sei nicht allein während der Prüfung. Das
Wie bereits erläutert, muss die Syntax von MA- ist ein nicht zu unterschätzender Wert und po-
XIMA erlernt werden – natürlich auch von den sitiver psychologischer Effekt.
Studierenden. Daher ist es essentiell, frühzei- Die Vorbereitungsphase bis zur fertigen On-
tig im Semester Tests anzubieten, mit denen line-Klausur ist lang und intensiv – alle Daten
eine Eingabe von Formeln in MAXIMA-konfor- werden zigmal überarbeitet, auf Verständlich-
men Ausdrücken, aber auch der Umgang mit keit und inhaltliche Korrektheit geprüft. Dann
OPAL, ONYX, MAXIMA und Feedbacksystemen kommt die Klausur und (natürlich) finden Stu-
sowie der eigenen Hardware geübt werden dierende einen Fehler in der Aufgabenstel-
kann. lung! Was tun? Alle Studierende müssen nun
Wir haben zusätzlich versucht, diese Syntax- schnellstmöglich über das Vorgehen infor-
Problematik dadurch zu entzerren, dass wir miert werden, aber wie?
eine einfache Schreibweise für Variablen mit Begleitend zu den OPALexam Servern mode-
Indizes (bspw. DT = DT) vorgegeben haben, die rieren wir einzelne Chaträume mit jeweils ca.
in den betreffenden Aufgaben als Begleittext 80 Personen bei der Element-Instanz der TU
über eine globale Variable im Test mit in die Dresden (matrix.tu-dresden.de), welche auf
Aufgabenstellung eingebunden wurde. Trotz- dem quelloffenen Messenger-Protokoll Matrix
dem traten hier während der Klausur mehr- basiert. Die Plattform hat sich dabei über zwei
fach Nachfragen auf, weshalb auf semsterbe- Semester und mehrere Prüfungen sowie Prak-
gleitende Tests nicht verzichtet werden sollte. tika als sehr zuverlässig, schnell und effizient
Lessons Learned | Volume 1 (2021) | Ausgabe 1&2 1/2.8-7
E. Dohmen et al. / Online-Prüfung mit OPAL, ONYX und MAXIMA - Chancen und Grenzen
für die interne Kommunikation sowie die Prü- Dieses Feature soll perspektivisch auch für alle
fungsbetreuung erwiesen. anderen Benutzer zur Verfügung stehen.
Absicherung durch Datei-Upload
Neben der aktiven Betreuung ist die Möglich-
keit zum Upload bspw. von handschriftlichen
Notizen oder Skizzen ein hilfreiches Instru-
ment, um Studierenden eine ergänzende Si-
cherheit zu bieten und bei unklaren Fehlern
während der Korrektur eine Entscheidungs-
grundlage zu schaffen. Dementsprechend
wurde nach rechenintensiven Teilaufgaben
eine Uploadaufgabe in die Tests integriert. Lei-
der sind die Dateiuploads ein wesentlicher
Abb. 5: Auszug aus einem prüfungsbegleitenden Grund für eine erhöhte Serverlast und benöti-
Chatraum: Was tun, wenn bei einer Online-Klausur gen teilweise relativ viel Zeit, welche den Stu-
Fehler entdeckt werden?
dierenden unter Prüfungsbedingungen dann
gegebenenfalls fehlt. Abhilfe würde hier ein
Die Chats sind prädestiniert, um wesentliche Upload nach der Klausur schaffen, der dann al-
Informationen nahezu instantan an alle Stu- lerdings die Wahrscheinlichkeit von inkonsis-
dierenden zu verteilen. Allerdings „wandern“ tenten Antworten und von Täuschungsversu-
auch wesentliche Informationen aufgrund der chen erhöht.
Chatstruktur schnell aus dem Blick und müs-
Multi-Tasking für die Prüfenden
sen daher regelmäßig erneut gepostet wer-
den, um niemanden zu benachteiligen (Abb. 5). Zu Beginn der Prüfungsphase des Sommerse-
mesters 2020 zeigten sich teils deutliche Leis-
tungsengpässe von OPAL, welche insbeson-
dere bei großen Klausuren mit viel „Gleichzei-
tigkeit“ von Nutzer:innenaktionen (wie bei-
spielsweise Uploads von Ergebnissen) zu lan-
gen Wartezeiten und in einem Fall sogar zum
Serverabsturz während einer laufenden Prü-
fung führten. Dementsprechend wurde noch
während der Prüfungsperiode im Sommer
2020 eine schnelle und einfache Lösung zur
Behebung umgesetzt, indem drei unabhän-
gige Instanzen von OPAL ausschließlich für
Prüfungen mit dem Namen OPALexam auf
Abb. 6: Blick in die Zukunft: mit der Labor-Funktion Servern an der TU Dresden eingerichtet wur-
„Anheften“ können wichtige Nachrichten für alle
den. Leider blieb diese Notlösung auch noch
Mitglieder eines Raums dauerhaft im Blick bleiben.
für die Prüfungszeit im Frühjahr 2021 erhalten.
Hierdurch mussten die Betreuenden neben
Während der MAT 1 Klausur in diesem Winter- ggf. vorhandenen Kommunikationsplattfor-
semester konnten so, unter Nutzung des Mat- men auch auf drei separaten Servern gleichzei-
rix-Chats, 99% alle Studierenden erfolgreich tig eingeloggt sein, um die Studierenden wäh-
auf einen Fehler in der Aufgabenstellung hin- rend der Klausur betreuen zu können (Abb. 7).
gewiesen werden. Um die dauerhafte Bereit- Zudem konnten Verbindungsprobleme, feh-
stellung wesentlicher Informationen im Chat lende Einschreibungen oder sonstige techni-
zu ermöglichen, gibt es derzeit in Matrix im La- sche Probleme bei Studierenden nur unter
bor-Stadium die Funktionalität Anheften, exakter Kenntnis des Vor- und Nachnamens
wodurch Nachrichten direkt unterhalb vom (sonst uneindeutig), Kenntnis über einen mög-
Raumnamen fest angeheftet werden (Abb. 6). lichen Nachteilsausgleich sowie Kenntnis der
1/2.8-8 Lessons Learned | Volume 1 (2021) | Ausgabe 1&2
E. Dohmen et al. / Online-Prüfung mit OPAL, ONYX und MAXIMA - Chancen und Grenzen
zuletzt bearbeiteten Aufgabe behoben wer- Teilweise schien es leider nicht möglich nach
den. Ablauf der Bearbeitungszeit die Klausur manu-
ell für wenige noch bearbeitende Studierende
zu beenden (Abb. 8). Wir vermuten, dass es
sich hierbei um einen Anzeigefehler handelt
und hoffen auf Aufklärung/Abhilfe durch BPS.
Abb. 7: OPAL, OPALexam, OPALexam2 und OPA-
Lexam3 – hier ist Multitasking der Prüfenden ge- Abb. 8: Screenshot vom Ende der Klausur – nach
fragt. Ablauf der Bearbeitungszeit (inkl. evtl. gewährter
Zeitpuffer) wurden einige Studierende weiterhin als
„bearbeitend“ angezeigt; kurios – auch mit der Prü-
Durch diese parallelen Strukturen mussten die fungssteuerung konnte dieser Status nicht geändert
Betreuer gleichzeitig auf drei Servern mit je- werden.
weils drei der genannten OPAL-Kursbausteine
vom Typ Struktur (mit/ohne Nachteilsaus- Einige wenige Studierende hatten bei unserer
gleich, mit/ohne HISQIS/SELMA Eintragung) Probeklausur mit einer Bearbeitungszeit von
mit wiederum jeweils 13 ONYX Tests aktiv sein 1 h nach einer 1 h noch über 1 h Restzeit für
und nebenher noch zwei Kommunikationska- die Bearbeitung, was nach unserem Verständ-
näle (Betreuende untereinander, Betreuende nis unmöglich sein müsste (Abb. 9). Bei diesen
mit Studierenden) bedienen. Wollte Studieren- Einzelfällen musste (und konnte) die Probe-
den „mal schnell“ das Fortsetzen der Bearbei- klausur manuell beendet werden.
tung ermöglicht werden, musste – wie bereits
beschrieben – zuerst der vollständige Name,
der Server, der jeweilige Struktur Kursbaustein
und die zuletzt bearbeitete Aufgabe bekannt
sein.
7. Prüfungssteuerung Abb. 9: Screenshot vom Ende der Probeklausur –
ein Student hat noch 1h 10m Restdauer für die Be-
Unter dem Begriff Prüfungssteuerung ist ein arbeitung, obwohl die Probeklausur nur 1h Bear-
sehr hilfreiches Werkzeug zur Kontrolle der beitungszeit hatte.
Prüfung und zur Lösung von Problemen in
OPAL integriert worden. Hier hat BPS in 2020 Prüfungszeitraum variabel?
und 2021 viele Verbesserungen implemen- Ein Student, der die Prüfung erst kurz vor dem
tiert, wie beispielsweise die Anzeige der indivi- Bearbeitungsende um 10:30 Uhr startete, rea-
duell verbleibenden Restzeit von Studierenden gierte sehr verärgert auf das harte, manuelle
oder aber die Anzeige von Verbindungsproble- Ende der Klausur um 11:15 Uhr und postete ei-
men sowie eine automatische Fortsetzung der nen Screenshot, der den Grund für seine Ent-
Prüfung nach Verbindungsabbrüchen. Trotz- rüstung offenbarte: bei SELMA (dem Online-
dem sind auch hier noch Verbesserungen Portal zur Prüfungsverwaltung) wurde der
möglich. Einige ausgewählte Besonderheiten Klausurzeitraum fälschlicher Weise von 00:05
bzw. Kuriositäten stellen wir im Folgenden vor. Uhr bis 23:59 Uhr aufgeführt (Abb. 10).
Lessons Learned | Volume 1 (2021) | Ausgabe 1&2 1/2.8-9
E. Dohmen et al. / Online-Prüfung mit OPAL, ONYX und MAXIMA - Chancen und Grenzen
VOR dem Export noch die Exporteinstellungen
hätten einheitlich auf seine persönlichen Ein-
stellungen gesetzt werden müssen, um auch
immer Excel-Dateien mit passender Zei-
chenkodierung zu erhalten (Abb. 11).
Abb. 10: Screenshot eines Studenten aus SELMA –
als Prüfungszeitfenster ist der ganze Tag ausgewie-
sen.
8. Datenexport
Das Prüfungsteam war außerordentlich er-
leichtert, als die Klausur mit über 500 Studie-
renden ohne größere Zwischenfälle erfolg- Abb. 11: Systemeinstellungen zum Exportformat so-
reich beendet wurde. Traditionell wird dann an wie zum Zeichensatz.
unserem Lehrstuhl noch am gleichen Abend
eine erste Übersichtsstatistik zur Punktevertei- Konkret waren auf den drei OPALexam Instan-
lung des in Präsenzklausuren üblichen Fragen- zen drei verschiedene Grundeinstellungen für
teils veröffentlicht. das Exportformat festgelegt – anscheinend
Die sehr ungünstige Zerstückelung der Klausur werden diese Grundeinstellungen also weder
über mehrere Server und Substrukturen zieht vom vorhandenen OPAL-Account übernom-
sich leider besonders merklich bis in die Phase men noch einheitlich gesetzt. Probleme ent-
des Datenexports und der Prüfungskorrektur. stehen daraus ggf. bei der Datenarchivierung
Nun mussten alle Ergebnisse aus 13 Tests in (manchmal CSV, manchmal XLS) und vor allem
3 Kursbausteinen Struktur auf 3 unabhängi- bei der Erkennung von Zahlen, die je nach Zei-
gen Servern – folglich 117 Einzeltests – herun- chensatz als Text interpretiert werden!
tergeladen, geprüft und ggf. nachbewertet Alle Zahlen wurden bei uns als Text eingelesen,
werden. was wiederum bedeutete, dass alle Spalten mit
Allein für die entsprechende Datenarchivie- Zahlen nachträglich, EINZELN in Zahlen kon-
rung aus OPAL inkl. Download der 3,8 GB ZIP- vertiert werden mussten (Text in Spalten). Da-
Archive wurde (bei guter Internetverbindung) mit aber nicht genug, denn beim Export der Er-
fast eine Stunde benötigt! Danach mussten die gebnisse der MAXIMA-Rechenaufgaben wur-
Excel-Dateien mit den Testergebnissen aus den die Lernerantworten entgegen der sonsti-
den Archiven extrahiert werden, was leider im- gen Einstellung mit "." als Dezimaltrennzeichen
mer noch schneller war als ein alleiniger exportiert. Hier sind beim Datenexport einige
Download der Excel-Files in OPAL (denn es gibt Fallstricke verborgen, die sich in Luft auflösen
lediglich eine Möglichkeit zur Anzeige der PDF- würden, wenn nur eine OPAL-Instanz mit einem
Datei, d. h. jede PDF-Datei muss erst angezeigt ONYX Test (für eine Klausur) und einer global
werden, um diese anschließend speichern zu gültigen, einfachen Voreinstellung, deren Aus-
können. Nun hatte einer der Autoren die eh- wirkungen auch dem Laien verständlich sind,
renvolle Aufgabe alle 117 Excel-Dateien zu- ausreichend wären. Der Aufwand zur Soft-
sammen zu kopieren, um zumindest danach wareanpassung durch BPS sollte daher immer
eine effiziente Korrektur zu erzielen. Grund- auch der Tatsache gegenübergestellt werden,
sätzlich ging das mit 2-3 Arbeitsstunden ver- dass viele Nutzer:innen mit den dargestellten
hältnismäßig schnell, … Mehraufwendungen zu ringen haben.
Voreinstellungen und Zeichensätze Datenverluste?
…wäre da nicht noch die Tatsache, dass auf al- Mit der zusammengeführten Tabelle ist dann
len genannten drei OPALexam Instanzen ein wesentlicher Schritt zur Kontrolle und
(OPALexam, OPALexam2 und OPALexam3) Nachbewertung gemacht. Teilweise lagen in
1/2.8-10 Lessons Learned | Volume 1 (2021) | Ausgabe 1&2E. Dohmen et al. / Online-Prüfung mit OPAL, ONYX und MAXIMA - Chancen und Grenzen
der Excel-Tabelle aus der Datenarchivierung Da es zudem bisher nicht möglich ist, solche
aber keine Variablenwerte vor oder diese wur- Fehler der Prüfenden durch eine automati-
den als „null“ deklariert (Abb. 12). sierte Neuauswertung im Webinterface abzu-
fangen, müsste hier jede Variable manuell ex-
portiert werden, um nachbewerten zu können.
Mit dem Verlaufsprotokoll hat BPS ein mächti-
ges Werkzeug implementiert, um auf Basis der
Server-Protokolle Problemen auf die Schliche
zu kommen (Abb. 13).
Abb. 12: Auszug aus der erstellten Excel-Bewer-
tungstabelle mit fehlenden Variablenwerten
(rechts).
Abb. 14: Problemanalyse mit dem Verlaufsprotokoll
- Prüfungsabbruch durch Prüfer (Ende Klausur
Positiv ist, dass einerseits die Punktzahlen kor- 11:00 Uhr – Beendigung durch Prüfer im überge-
rekt in die Excel-Datei exportiert werden und ordneten OPAL-Kursbaustein Struktur für alle ver-
dass andererseits die Prüfungsansicht im We- bleibenden Teilnehmer 11:14:52 Uhr).
binterface neben den Eingaben der Studieren-
den auch deren Sicht der Prüfung vollständig Bezüglich des oben genannten Problems mit
dokumentiert und als PDF bereitstellt. fehlenden Variablen in der Exportdatei konnte
Ein ähnliches Problem tritt beim Export von so festgestellt werden, dass die leeren Zellen
Gleitkomma-Variablen (Float) aus Aufgaben immer bei einem Prüfungsabbruch durch Prü-
mit MAXIMA-Berechnungen auf, bei dem nur 2 fende oder Studierende auftraten (Abb. 14).
Nachkommastellen exportiert werden. In einer
Fehlerrechnungsaufgabe wurde damit die Va-
riable delta_p_global_e nicht wie angegeben
mit 1,140762589549 exportiert, sondern lan-
dete in Excel als 1,14. Da auf Basis dieser Vari-
ablen weitere Berechnungen angestellt wer-
den, welche mit 6 Nachkommastellen korrekt
angegeben werden müssen, hilft dann nur
noch eine Analyse im Webinterface. Problema-
tisch ist das vor allem, wenn eine Auswertungs-
Abb. 15: Problemanalyse mit dem Verlaufsprotokoll
formel fehlerhaft angegeben wurde und für
– Zeit abgelaufen (Ende der Klausur mit 10 Minuten
alle Studierenden eine Nachberechnung der Zusatzzeit 11:10 Uhr).
Ergebnisse durchgeführt werden soll – hier
fehlen dann die entsprechenden Eingangsda-
Für Zeilen, die lediglich „none“ als Variablen-
ten.
wert konnte hingegen ein Ablauf der Prüfungs-
zeit während der Bearbeitung als Ursache
identifiziert werden (Abb. 15).
9. Prüfungskorrektur
Im Rahmen der Neuerstellung unserer Klausur
hatten wir uns stets bemüht, die Perspektive
Abb. 13: Verlaufsprotokoll als neues, mächtiges
der Studierenden zu berücksichtigen. Bei der
Feature in OPAL zur Prüfungsbewertung
Korrektur der Klausur wurde dann klar, dass
Lessons Learned | Volume 1 (2021) | Ausgabe 1&2 1/2.8-11E. Dohmen et al. / Online-Prüfung mit OPAL, ONYX und MAXIMA - Chancen und Grenzen
auch der Blick auf die Aufgaben aus der Per- Klausur passierte dies bei mehreren Studie-
spektive der Korrigierenden notwendig ist. renden bei einer Komplexaufgabe (realisiert
Welche Aufgaben sind effizient zu korrigieren über einen Test mit mehreren Aufgaben) zur
und zu bewerten? Wo geraten wir in Entschei- Steuerung, bei welcher der Variablen {Aufga-
dungsprobleme? Ein Beispiel hierfür ist die bentyp} zu Beginn des Tests zufällig „Takt-
klassische Lückentextaufgabe, bei der neben strasse“ oder „Mischer“ zugewiesen wurde.
dem Fachwissen der Studierenden auch deren
Wortschatzwissen, Satzbildung, Mundart, vor-
handene Tastatur und nicht zuletzt die Recht-
schreibung zu berücksichtigen sind. So wur-
den bspw. für eine Lücke mit der korrekten
Antwort „additiv“ folgende Antworten gege-
ben, die als korrekt zu bewerten oder zumin-
dest zu diskutieren wären.
- additiv Y+Z=Y2 - verknüpft
- addiert - gekoppelt
- addierend - zusammen
- addierent - zusammengeführt
- per Addition - kombinierend
- summarisch - konjunktiv
- vereinigt - positiv
Diese Menge an korrekten Antworten für ei-
nen einfachen Lückentext ist kaum vorherseh-
bar oder abfangbar. Mit einer Umstellung von
einer Lückentextaufgabe auf eine Textboxauf-
gabe könnten diese Probleme abgestellt wer-
den, ohne den Anspruch oder den Wert der Abb. 16: Musterlösung (oben) und korrekte Alternativ-
Aufgabe wesentlich zu beeinflussen. Bei einer lösung (unten) zur Aufgabe: „Skizzieren Sie das Mess-
anderen Aufgabe informierte uns ein Student, prinzip eines induktiven Queranker-Wegaufnehmers“.
er habe eine Schweizer Tastatur und daher
kein „ß“, weshalb er bei den betreffenden Ant-
Im beschriebenen Fall war die Variable {Aufga-
worten „ss“ verwendet habe. Dieser „Fehler“
bentyp} allerdings leer, obwohl einige Studie-
wäre relativ gut durch Alternativlösungen ab-
rende bereits alle Fragen auf Basis dieser Vari-
fangbar, aber auch hier ist die Nutzung einer
ablen beantwortet hatten. Die Studierenden
Textboxaufgabe eine zuverlässige Alternative.
erhielten damit null Punkte auf Ihre Antwor-
Ähnlich unvorhersehbar ist die kreative Intelli- ten, unabhängig davon, ob diese richtig oder
genz der Studierenden, die eine weitere kor- falsch waren. Dieser Fehler ist nur durch eine
rekte Lösung bei einer vermeintlich eindeuti- Nachkontrolle der Antworten identifizierbar.
gen Zuordnungsaufgabe generiert (Abb. 16). Hilfreich erwies sich hierbei der Datenexport in
Bei der Bewertung von Aufgaben muss daher eine Excel-Datei, in welcher mit bedingter For-
ergänzend zur automatisierten Auswertung matierung falsche Lösungen farblich hervorge-
immer noch eine manuelle Überprüfung bzw. hoben werden konnten und auch komplexe
Korrektur der Antworten erfolgen. Nachbewertungen auf Basis von Formeln mög-
Bei Abbruch eines Tests während der Bearbei- lich waren. Formelbasierte Nachbewertungen
tung der letzten Aufgabe (bspw. durch techni- waren insbesondere bei systematischen Feh-
sche Probleme) kann es vorkommen, dass die lern hilfreich, bspw. WENN (Aufgabentyp =
automatisierte Bewertung scheitert, da zufällig „Taktstrasse“) UND (Punkte = 0) DANN (Zusatz-
generierte Variablen für die Aufgabensteue- punkte = +0,5). Bezüglich des Datenexports ist
rung nicht gespeichert werden. In unserer noch anzumerken, dass das Exportformat (ins-
1/2.8-12 Lessons Learned | Volume 1 (2021) | Ausgabe 1&2E. Dohmen et al. / Online-Prüfung mit OPAL, ONYX und MAXIMA - Chancen und Grenzen
besondere der Zeichensatz) in den persönli-
chen Einstellungen von OPAL festgelegt wer-
den können (Abb. 11).
Ein Wermutstropfen beim Excel-Export ist der-
zeit noch, dass online getätigte Nachbewertun-
gen inkl. der hinterlegten Begründungen nicht
exportiert werden, weshalb derzeit eine kom-
binierte Online- und Offline-Bewertung nur be-
dingt möglich sind. Dieser Sachverhalt ist aller-
dings bereits an BPS übermittelt und wird hof-
fentlich bei den nächsten Überarbeitungen be-
rücksichtigt.
Vorteilhaft ist die Online-Korrektur bei einer in-
tensiven Prüfung jeder einzelnen Antwort aller
Studierenden, da hier den Korrigierenden ein
eindeutiges, übersichtliches optisches Feed-
back mit allen relevanten Informationen gege-
ben wird (Abb. 17). Nachteilig sind allerdings
die Reaktionsgeschwindigkeit von OPAL zum
Laden der Seiten und die verschachtelte Navi-
gation. Leider wird das optische Feedback
beim PDF-Export (bspw. mit der Funktion Ar- Abb. 17: Online-Bewertungswerkzeug mit opti-
chivieren) nicht mit exportiert. Die zentral in schem Feedback zu den Antworten inkl. der Muster-
antwort und Variablen (oben) im Vergleich mit dem
ein Archiv exportierten PDFs lassen sich zwar
entsprechenden exportierten Offline-PDF (unten).
viel schneller öffnen und sichten, allerdings
fehlt hier leider dieses sehr hilfreiche Feature. Täuschungsversuche
Positiv zu bemerken ist, dass BPS hier stetig die
Interessant ist die nähere Betrachtung der Da-
Schnittstellen weiterentwickelt und auch an
teinamen der Dateiuploads. Einerseits finden
dieser Stelle bereits einige neue Features seit
sich hier Hinweise auf zweifelhafte Aufnahme-
der Klausur ergänzt wurden.
quellen (bspw. WhatsApp_Image_xyz) und an-
Fehler passieren und können nur durch inten- dererseits erstaunliche Übereinstimmungen
sive, kritische Überprüfungen identifiziert wer- (bspw. „IMG20200728_081613_4.jpg“). Be-
den. Gerade durch den komplexen und für die trugsversuche konnten nicht ausgeschlossen
Bediener:innen nur bedingt transparenten werden, jedoch war unsere Wahrnehmung,
Aufbau von OPAL und ONYX sind Flüchtigkeits- dass sehr wenige Studierende versucht haben
fehler kaum zu vermeiden. Inhaltliche Fehler zu täuschen und insbesondere im Sommerse-
können nur von Fachkolleg:innen effizient er- mester 2020 der überwiegende Teil der Studie-
mittelt werden. Um aber technische Fehler o- renden eigentlich eher froh war, überhaupt
der Probleme bei Klausuraufgaben zu identifi- eine Prüfung ablegen zu können.
zieren, wäre ein stochastischer Prüfungstest-
Im folgenden Wintersemester wurde jedoch
bot (ein Programm, das für eine definierte An-
deutlich häufiger behauptet, man habe sich
zahl von fiktiven Nutzer:innen zufällig Ergeb-
gerade vertippt oder verklickt, hätte aber in
nisse generiert) eine aus unserer Sicht denk-
den danach hochgeladenen handschriftlichen
bare Anregung. Dies könnte ein Programm
Notizen Belege dafür, dass man etwas ganz an-
sein, welches bspw. für 100 virtuelle Prüflinge
deres abgeben wollte. Hier ist eine durchgän-
Fragen mit Zufallswerten beantwortet, Tests
gig eindeutige Vorgehensweise essentiell, die
abbricht oder Fragen überspringt usw. und die
bereits vor der Klausur in Form von Rahmen-
entstandenen Daten als Validierungsdatensatz
bedingungen eindeutig kommuniziert wird – in
dann exportiert.
diesem konkreten Fall, dass nur die Online-Ein-
Lessons Learned | Volume 1 (2021) | Ausgabe 1&2 1/2.8-13E. Dohmen et al. / Online-Prüfung mit OPAL, ONYX und MAXIMA - Chancen und Grenzen
gabe zählt und die Uploads lediglich als Ergän- deutlich geringer aus, wodurch sich der Zeit-
zung bei technischen Problemen oder in Aus- aufwand für die Klausurerstellung sowie -
nahmefällen dienen. durchführung erneut reduziert.
OPAL & ONYX
10. Potentialabschätzung Die von der TU Dresden eingesetzten Tools
OPAL und ONYX werden von BPS entwickelt.
Um Chancen und Grenzen darstellen zu kön- Diese Werkzeuge haben für unseren Lehrstuhl
nen, möchten wir den Arbeitsaufwand ab- aber auch für die TU Dresden und den Frei-
schätzen. Eine erste (fundierte) Prüfungsstatis- staat Sachen dementsprechend eine wichtige
tik konnte bereits wenige Stunden nach der Rolle in der Lehre und bei Online-Prüfungen.
Prüfung generiert werden. Die Korrektur des Positiv anzumerken sind die zuverlässigen,
gesamten Fragenteils dauerte in Summe etwa schnellen und durchweg kompetenten Ant-
drei Personentage im Vergleich zu etwa einem worten bei Problemen, Fragen oder Anregun-
Personenmonat bei der klassischen Papier- gen. Obgleich einige der Anregungen (bspw.
klausur. Die Korrektur der Rechenaufgaben Kombination linearer und nicht-linearer Struk-
dauerte je Aufgabe lediglich zwei bis drei Per- turen) aufgrund des programmiertechnischen
sonentage im Vergleich zu je einem halben und damit verbundenen finanziellen Auf-
Personenmonat. In Summe lag der Bewer- wands leider auf eine Umsetzung warten las-
tungsaufwand damit bei 12 Personentagen im sen. Hier sollten die Wünsche und Anmerkun-
Vergleich zu bisher drei Personenmonaten (ca. gen zentral (hochschulweit oder landesweit)
60 Personentage) je Semester. Dabei sind der koordiniert gebündelt und priorisiert werden.
Datenexport und die Datenkonsolidierung be- Unser größter Wunsch hinsichtlich der Funkti-
reits anteilig mit einbezogen. Unabhängig vom onalität von ONYX wäre es, eine Kombination
enormen Einarbeitungs- und Vorbereitungs- von linearen und nichtlinearen ONYX-Tests zu
aufwand konnte die reine Korrekturzeit für die realisieren.
Klausur MAT2 damit auf 20% reduziert wer-
Rahmenbedingungen
den. Der Vorbereitungsaufwand hingegen um-
fasste schätzungsweise 6 Personenmonate bei Wesentlich wäre es, die Rahmenbedingungen
der initialen Umsetzung und etwa 1-2 Perso- an der TU Dresden für Online-Prüfungen pra-
nenmonate im Folgesemester. Damit ist bei xistauglich und konkret festzulegen, insbeson-
der Vorbereitung insgesamt ein deutlicher dere im Spannungsfeld von Prüfungswertig-
zeitlicher Mehraufwand von bis zu 100% ent- keit, Datenschutz, Identitätsprüfung, Prüfungs-
standen. Die Aufwandsabschätzung verdeut- ordnungen, aber auch hinsichtlich angepass-
licht das besondere Potential von Online-Prü- ter Weiterbildungsangebote für Lehrende und
fungen insbesondere durch Verlagerung der Lernende. Nach einem Jahr gibt es an der TU
Zeitaufwendungen von der Korrektur in die Dresden nach wie vor keine Lösung zum
Vorbereitung lernzielangepasster, aktueller Thema datenschutzkonformer Identitätsprü-
Fragestellungen sowie einer Flexibilisierung fung bei Online-Prüfungen, was zwangsläufig
des Lernens bei einer erhöhten Barrierefrei- zu einer Entwertung von Prüfungen hinsicht-
heit. Für die Lehrenden sinkt insbesondere bei lich ihrer eigentlichen Aussagekraft über die
Klausuren mit vielen Teilnehmenden (> 30 Per- Leistung eines Prüflings führt und den Wert
sonen) der Korrekturaufwand dramatisch. der Bemühungen aller Beteiligten deutlich re-
Aber auch für kleinere Lehrveranstaltungen duziert. Denkbar wäre es, ein eAssessment
kann sich der Aufwand lohnen, da gerade se- Center für Online-Prüfungen mit (mehreren)
mesterbegleitende Lernstandüberprüfungen zentralen Räumlichkeiten zu schaffen.
auf ähnliche Weise mit OPAL, ONYX und MA- Zentrale Koordinierungsstelle
XIMA umgesetzt werden können und dann in Um ein lehrstuhlübergreifendes zukunftsfähi-
leicht abgewandelter Form als Basis für eine ges, konkurrenzfähiges und attraktives Lehr-
Klausur dienen können. Zudem fällt der Einar- angebot mit Online-Prüfungen anbieten zu
beitungsaufwand in Technik und Möglichkei- können, ist eine dauerhafte personell, räum-
ten nach der ersten Prüfungsgenerierung lich und technisch entsprechend ausgestattete
1/2.8-14 Lessons Learned | Volume 1 (2021) | Ausgabe 1&2E. Dohmen et al. / Online-Prüfung mit OPAL, ONYX und MAXIMA - Chancen und Grenzen
zentrale Einrichtung an einer Hochschule er- lehre sind Online-Prüfungen damit für die Au-
forderlich. Diese sollte nicht nur auf Zuruf ver- toren ein leistungsfähiges und zeitgemäßes
fügbar sein, sondern im Sinne einer exzellen- Prüfungsformat.
ten Hochschulentwicklung proaktiv die Lehr-
stühle ermutigen, neue Lehr- und Prüfungs- 11. Anregungen
konzepte umzusetzen.
Im Rahmen der turbulenten Semester sind
In diesem Zusammenhang ist das „Zentrum
eine Reihe von Ideen und Vorschlägen entstan-
für interdisziplinäre Lernen und Lehren“ ZiLL
den, mit denen wir anregen möchten bzw. de-
hervorzuheben, welches sich dieser Aufgabe
ren Umsetzung aus unserer Sicht wünschens-
an der TU Dresden angenommen hat und
wert wäre und zu Effizienzsteigerungen führen
Kompetenzen, Informationen, Weiterbildungs-
könnte. Diese sollen im Folgenden zusammen-
angeboten sowie Ansprechpartner:innen für
fassend, stichpunktartig aufgelistet werden:
eine Umsetzung von Online-Angeboten bereit-
stellt. Hier ist zu hoffen, dass das ZiLL fester Kombination linearer und nicht-linearer Na-
Bestandteil der Universitätsstruktur wird und vigation in ONYX-Tests
damit langfristig erhalten bleibt. Offline-Erstellung von ONYX-Tests
Aber hervorzuheben sind auch das Engage- fakultätsübergreifende Standards für Platt-
ment des Teams der TU-eigenen Messaging formen und Nomenklatur (MAXIMA)
Plattform matrix.tu-dresden.de sowie die Task Einführungs-Webinare in OPAL, ONYX, MA-
Force Digitale Prüfungen, bei der freiwillige XIMA für Studierende
Lehrende der Fakultät Maschinenwesen an-
Server-Updates nur mit Ankündigung
dere Lehrende bei Fragen zur Prüfungserstel-
lung mit Ihren Erfahrungen beraten. eine leistungsfähige OPAL-Instanz
eScouts stochastischer Prüfungstestbot
eScouts sind ein hervorragendes Konzept und standardisierte eScout Qualifikation
stellen für uns Keimzellen zur Wissensvermitt- interdisziplinäre eScout Teams
lung zu und Umsetzung von Online-Inhalten längerfristige eScout Beschäftigung
dar. Interdisziplinäre eScout Teams und regel-
mäßige Treffen der eScouts könnten aus unse- Danksagung
rer Sicht dazu beitragen, das zugrunde lie-
gende interdisziplinäre Potential wirklich aus- Wir danken Frau G. Haase, die uns im Sommer-
zuschöpfen. Zugleich wären längere Verträge semester 2020 erfolgreich bei der Umsetzung
für eScouts sinnvoll, um eine finanzielle Sicher- der Online-Inhalte unterstützte und als eScout
heit zu geben und einen Knowhow-Transfer si- aus dem Projekt „Studiengänge flexibel gestal-
cherzustellen. Dabei sollte überlegt werden, ten“ (SFG) des Medienzentrums der TU Dres-
ob ein entsprechender finanzieller Anreiz für den finanziert wurde, um zu einer Flexibilisie-
eScouts geschaffen wird, indem diese hinsicht- rung der Studierbedingungen beizutragen.
lich Ihres Gehalts höher eingestuft werden als
eine studentische Hilfskraft – immerhin sollten Literatur
Weiterbildungen und Zusatzqualifikationen
zur Befähigung als eScout erforderlich sein, die [1] https://www.bps-system.de/cms/products/opal-
auch entsprechend honoriert werden müss- learn-management/, 20.05.2021
[2] https://www.bps-system.de/cms/produkte/onyx-
ten. Eine Absicherung der eScout Grundquali- testsuite/, 20.05.2021
fikation bspw. über eine eScout Summer- [3] https://bildungsportal.sachsen.de/portal/parent-
school oder ein eScout Zertifikat könnte das page/institutionen/bps-bildungsportal-sachsen-
leisten und damit lukrative Studierendenjobs gmbh/, 20.05.2021
[4] https://bildungsportal.sachsen.de/portal/parent-
eröffnen. page/institutionen/arbeitskreis-e-learning-der-lrk-
Fazit sachsen/, 20.05.2021
[5] https://doc.matrix.tu-dresden.de/, 20.05.2021
Unabhängig von den derzeitigen, pandemie- [6] https://tu-dresden.de/tu-dresden/organisation/rek-
bedingten Einschränkungen in der Präsenz- torat/prorektor-bildung/zill, 20.05.2021
Lessons Learned | Volume 1 (2021) | Ausgabe 1&2 1/2.8-15Sie können auch lesen
