E-PRÜFUNGS SYMPOSIUM Neue Prüfungsformen im Zeitalter der Digitalisierung 19. und 20. September 2017 Universität Bremen - e-Prüfungs-Symposium
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
E-PRÜFUNGS SYMPOSIUM Neue Prüfungsformen im Zeitalter der Digitalisierung 19. und 20. September 2017 Universität Bremen
Veranstaltungspartner:
2
Inhaltsverzeichnis
Grußworte........................................................................................4
Tagungsinformationen......................................................................6
Allgemeine Informationen..................................................................6
Lageplan..............................................................................................8
Tagungsort.........................................................................................10
Programmübersicht...........................................................................12
Abstracts........................................................................................14
Keynotes............................................................................................16
Session 1............................................................................................20
Session 2............................................................................................26
Session 3............................................................................................32
Session 4............................................................................................40
Workshop 1.......................................................................................46
Workshop 2.......................................................................................47
Knowledge Café 1..............................................................................48
Knowledge Café 2..............................................................................56
Poster................................................................................................64
Danksagung....................................................................................74
3
Grußwort von Prof. Dr. Thomas Hoffmeister
Sehr geehrte Damen und Herren,
liebe Teilnehmerinnen und Teilnehmer,
Willkommen in Bremen! Im Namen des
gesamten Rektorats begrüße ich Sie recht
herzlich in unserer Stadt und an der Universität.
Als 2004 die ersten E-Klausuren in
Zusammenarbeit der Wirtschaftswissenschaften
mit unserem Zentrum für Multimedia in der
Lehre (ZMML) erfolgreich durchgeführt wurden,
lag die Motivation für die Nutzung dieser damals
noch sehr innovativen Prüfungsform klar in den
Effizienzgewinnen angesichts von bis zu 900
Studierenden in nur einer Klausur. Heute, 13
Jahre später und ausgestattet mit einem reichen
Erfahrungsschatz ist das E‑Assessment aus Prof. Dr. Thomas Hoffmeister
dem Alltag der Universität Bremen nicht mehr Konrektor für Lehre und Studium,
wegzudenken. Auf der einen Seite wird das Universität Bremen
Testcenter von allen Fachbereichen genutzt und
ist mit über 9.500 Prüfungsleistungen pro Semester stark gebucht, auf der anderen
Seite haben Fragen der Kompetenzorientierung in einer zunehmend digitalisierten
Lebens- und Arbeitswelt sowie alternative Prüfungsformen deutlich an Gewicht
gewonnen. Als Konrektor für die Lehre und langjähriger Nutzer der E‑Assessment-
Services des ZMML ist mir das Constructive Alignment, also die enge Verzahnung
zwischen den zu erreichenden Lernergebnissen, dem Lehr- und Lerngeschehen
sowie der Prüfungsgestaltung, sehr wichtig. Umso mehr freue ich mich, dass dieses
Konzept eines der Schwerpunkte des diesjährigen Prüfungs-Symposiums ist und
sehe gleichzeitig den vielen Neuentwicklungen wie adaptiven Prüfungen und den
Erfahrungsberichten anderer Hochschulen mit Spannung entgegen.
Ich wünsche uns allen eine erfolgreiche, abwechslungsreiche Veranstaltung mit viel
Gelegenheit für Diskussionen und den Austausch von Erfahrungen.
4
Grußwort von Dr. Jens Bücking
Sehr geehrte Teilnehmerinnen und Teilnehmer,
liebe Referentinnen und Referenten,
es freut mich sehr, dass die Universität
Bremen zusammen mit der RWTH Aachen und
e-teaching.org das diesjährige e-Prüfungs-
Symposium ausrichten darf. Innerhalb von
vier Jahren hat sich das ePS als das Event im
deutschsprachigen Raum etabliert, bei dem
sich Nutzerinnen und Nutzer, Service-Anbieter,
Bildungswissenschaftlerinnen und Initiativen
über digitalisierte Prüfungsformen austauschen
und vernetzen können. Unter dem Motto „Neue
Prüfungsformen im Zeitalter der Digitalisierung“
richten wir dieses Jahr unseren Blick auf die Dr. Jens Bücking
Zukunft des E‑Assessments und tauschen Zentrum für Multimedia in der Lehre,
gleichzeitig unsere bisherigen Erfahrungen Universität Bremen
und aktuellen Expertisen aus. Im Programm
stehen daher Beiträge zu neuen Prüfungsformaten direkt neben Erfahrungs- und
Best-Practice-Berichten. Ich bin stolz darauf, dass auf der Liste der Teilnehmenden
auch viele „Kunden“, also Nutzerinnen und Nutzer der E-Assessment-Angebote in
Bremen und anderswo zu finden sind: Sie sind für mich die eigentlichen Expertinnen
und Experten wenn es darum geht, elektronische Prüfungen im Sinne einer guten,
kompetenzorientierten Lehre weiter zu entwickeln. Die oft langjährigen Erfahrungen
mit der Einführung, Durchführung und Qualitätssicherung von E‑Assessments an
vielen Hochschulen schlagen sich in der Präsentation einer Reihe von elaborierten
Handreichungen, praktischen Handlungsempfehlungen und erfolgreich erprobten
Unterstützungstools nieder. Das E-Prüfungs-Symposium ist somit nicht nur für
Expertinnen, sondern auch für Einsteiger hoch interessant.
Ich wünsche uns allen spannende Anregungen für die eigene Prüfungspraxis
sowie neue Kontakte und Allianzen. Gemeinsam mit Ihnen wird es gelingen, das
kompetenzorientierte Prüfen im Zeitalter der Digitalisierung erfolgreich voran zu
bringen.
5
Allgemeine Informationen
Tagungsbüro und Garderobe
Das Tagungsbüro (GW2 Raum B2860) ist während der Tagung durchgängig besetzt.
Dort finden Registrierung, Anmeldung zu Workshops und Knowledge Cafés sowie
die Abgabe der Präsentationen statt. Wir stehen Ihnen hier für Fragen und Anliegen
von A wie Anmelden bis Z wie Zahnarzt jederzeit zur Verfügung. Im Tagungsbüro
können Jacken und Taschen abgegeben werden, eine Haftung kann leider nicht
übernommen werden.
Allgemeine Infos
Räume und Aussteller
Die Tagung findet im Gebäude GW2 in den Räumen B2880 (Catering und Poster),
B2890 (Vortragssession), B2900 (Workshops), B1215 (Knowledge Cafés) und im
Hörsaalgebäude in HS1010 (Begrüßung, Keynotes, Abschluss) statt. Direkt vor den
Räumen im GW2 finden Sie Stände der Firmen LPLUS, IQUL und Electric Paper
Evaluationssysteme.
Poster
Die Poster werden durchgehend im Raum B2880 ausgestellt. Während der letzten
halben Stunde der Mittagspause am Dienstag und Mittwoch stehen die Autorinnen
und Autoren für Diskussionen bereit.
Essen und Trinken
In Raum B2880 im GW2 stehen Getränke zur Verfügung, welche zu den Pausen
mit Gebäck oder Kuchen angereichert werden. Für das Mittagessen in der Mensa
finden externe Teilnehmende Essensgutscheine für beide Tage (bitte Kasse 2 und 3
nutzen). Für das ePS ist ein eigener Sitzbereich reserviert. Die Mensa liegt ca. 250m
entfernt: Vom GW2 aus nach links dem Boulevard bzw. den Massen folgen.
Abendveranstaltung
Für die Abendveranstaltung im „Haus am Walde“ finden Teilnehmende, die sich
bei der Registrierung dafür angemeldet haben, in den Tagungsunterlagen ein
Einlassband, das Sie bitte zur Abendveranstaltung anlegen. Das „Haus am Walde“
(siehe Lageplan) liegt ca. 1 km vom Tagungsort entfernt und ist in etwa 15 Min. zu
Fuß zu erreichen. Per ÖPNV nutzen Sie bitte die Buslinie 22 , Haltestelle „Munte“.
WLAN
Auf dem gesamten Campus ist eduroam verfügbar. Als Alternative finden Sie in den
Tagungsunterlagen personalisierte Zugangsdaten für einen Gastaccount.
6
Vom Zentralbereich
Allgemeine Infos
in die Glashalle,
auf dem Boulevard
nach rechts und dann
vor dem Hörsaalgebäude
wieder rechts.
7
Allgemeine Infos
Lageplan
8
9
Allgemeine Infos
Allgemeine Infos
Tagungsort
10GW2 B2890
Allgemeine Infos
Hörsaalgebäude 1010
Kleiner Saal
Lernraum GW2 B1215
Testcenter
11Programm
Dienstag 19.09.2017
09:30 Registrierung
10:30 Begrüßung – J. Bücking, T. Hoffmeister
10:50 Lernen und Prüfen im digitalen Zeitalter – J.-D. Friedrich
11:35 Multiple-Choice-Prüfungen an Hochschulen: Chancen, Herausforderungen und Forschungsperspektiven – M.A. Lindner
12:20 Synopsis – K. Wolf
12:30 Mittagspause (Mensa) Posterausstellung
14:30 Kriteriumsorientierte adaptive Klausuren an Hochschulen
A. Fink, S. Born, A. Frey, C. Spoden
14:55 Formative, adaptive Mathematiktests – M. Pieper Zwischen Multiple Choice und Freitext – E-Prüfungen in den Geisteswissenschaften
15:20 Elektronische Übungen und Prüfungsvorleistungen im M. Striewe
Session 1
Workshop 1
Bereich der höheren Mathematik
F. Nestler, D. Potts, Y. Winkelmann
12
15:40 Pause
16:00 Mit dem E-Portfolio die Portfolioarbeit digitalisieren – Qualitätssicherung von Testfragen – Teststatistiken auswerten, Fragen und Aufgaben
Höhere Kompetenzstufen im Rahmen des Constructive verbessern – S. Kirberg, Y. Fischer
Alignments elektronisch prüfen – C. Hoffmann, C. Vogeler
Testdidaktische Schulungen zur Qualitätssicherung – X.V. Jeremias
16:25 Möglichkeiten zur Prüfung des outcomes Forschenden
Lernens mittels alternativer, digitaler Prüfungsformen
Wie unfair! Die neuen Prüfungsitems sind doch viel schwieriger als die alten – ein
O. Ahel, L. Schleker
empirischer Lösungsansatz – J. Backhaus, H. Poinstingl, C. Rabe, S. König, E. Hennel
Session 2
16:50 Peer-Assessment als hochschuldidaktisches Instrument
Knowledge Café 1
zur Aktivierung von studentischen Lernprozessen und Akzeptanz von E-Assessment aus der Sicht von Studierenden
dessen webbasierte Umsetzung in PAssT! K. Sesselmann, S. Zepf, M. Gläser-Zikuda
H.W. Wollersheim, N. Pengel
17:15 Workshopbericht / Tagesabschluss (bis 17:45)
18:00 Testcenterführung – K. Schwedes (bis 18:30)
19:00 Abendveranstaltung im Haus am WaldeMittwoch 20.09.2017
09:15 Auftakt / Organisatorisches
09:30 Innovative Erhebungs- und Auswertungsmethoden in Large-Scale Assessments – U. Kröhne, F. Zehner
10:15 Pause
10:30 NRW-Leitfaden zur systematischen Unterstützung.
Nachhaltige, semesterübergreifende Begleitung bei der
Implementierung von E-Assessments.
M. Graf-Schlattmann, L.M. Fortmann, D. Meister, G. Oevel
10:55 Der Weg in die Hochschule – Prozesse zur Etablierung
hochschulweiter E-Prüfungen – A.M. Keller, S. Kirberg Variabilität in Programmieraufgaben
M. Striewe, B. Otto
11:20 Die Gestaltung von E-Prüfungen mit dem E-Assessment-
Session 3
Workshop 2
Literacy-Tool EAs.LiT – H.W. Wollersheim, N. Pengel,
A. Thor
11:45 Handlungsempfehlungen zu rechtlichen Fragen bei
13
E‑Assessments – N. Hahne
12:10 Mittagspause (Mensa) Posterausstellung
13:40 Juristische Volltext-E-Klausuren – A. Hoffmann, M. Sauer Fragengestaltung im Fach „Statistik“ – M. Missong
14:05 Programmieren lernen mit Serious Games – ein Erfahrungen mit einer elektronischen Operations-Research-Prüfung mit OPAL/ONYX
Erfahrungsbericht. – P. Gamper, W. Barodte B. Schmidt, M. Grüttmüller, J. Weigel
Blended Assessments: Wie können und warum sollten mündliche Prüfungen mit
14:30 ePrüfung On-Demand – Individuell Lernen, individuell
Session 4
e‑Prüfungen kombiniert werden? – M. Gundlach, A. Brocker, K. Haps, M. Karami, M.
Prüfen – B. Markert, M. Karami Baumann
Knowledge Café 2
Innovative E-Prüfungen in der Medizin mit CaseTrain – A. Hörnlein
15:00 Workshopbericht und Zusammenfassung (bis 16:00 Uhr)
B2860/61 HS1010 B2880 B2890 B2900 Lernraum B1215
ProgrammAbstracts
Keynotes........................................................................................16
Lernen und Prüfen im digitalen Zeitalter...........................................16
Multiple-Choice-Prüfungen an Hochschulen: Chancen,
Herausforderungen und Forschungsperspektiven............................17
Innovative Erhebungs- und Auswertungsmethoden in
Large-Scale Assessments...................................................................18
Session 1........................................................................................20
Kriteriumsorientierte adaptive Klausuren an Hochschulen...............20
Formative, adaptive Mathematiktests..............................................22
Elektronische Übungen und Prüfungsvorleistungen im
Bereich der höheren Mathematik.....................................................24
Session 2........................................................................................26
Mit dem E-Portfolio die Portfolioarbeit digitalisieren – Höhere
Kompetenzstufen im Rahmen des Constructive
Alignments elektronisch prüfen........................................................26
Möglichkeiten zur Prüfung des outcomes Forschenden
Lernens mittels alternativer, digitaler Prüfungsformen.....................28
Peer-Assessment als hochschuldidaktisches Instrument zur
Aktivierung von studentischen Lernprozessen und dessen
webbasierte Umsetzung in PAssT!....................................................30
Session 3........................................................................................32
NRW-Leitfaden zur systematischen Unterstützung. Nachhaltige,
semester-übergreifende Begleitung bei der
Implementierung von E-Assessments...............................................32
Der Weg in die Hochschule – Prozesse zur Etablierung
hochschulweiter E-Prüfungen...........................................................34
Die Gestaltung von E-Prüfungen mit dem
E-Assessment-Literacy-Tool EAs.LiT...................................................36
Handlungsempfehlungen zu rechtlichen
Fragen bei E-Assessments.................................................................38
Session 4........................................................................................40
Juristische Volltext-E-Klausuren.........................................................40
14Programmieren lernen mit Serious Games - ein Erfahrungsbericht.42
ePrüfung On-Demand – Individuell Lernen, individuell Prüfen.........44
Workshop 1....................................................................................46
Variabilität in Programmieraufgaben................................................46
Workshop 2....................................................................................47
Zwischen Multiple Choice und Freitext - E-Prüfungen
in den Geisteswissenschaften...........................................................47
Knowledge Café 1...........................................................................48
Qualitätssicherung von Testfragen – Teststatistiken auswerten,
Fragen und Aufgaben verbessern......................................................48
Testdidaktische Schulungen zur Qualitätssicherung..........................50
Wie unfair! Die neuen Prüfungsitems sind doch viel
schwieriger als die alten – ein empirischer Lösungsansatz...............52
Akzeptanz von E-Assessment aus der Sicht von Studierenden.........54
Knowledge Café 2...........................................................................56
Fragengestaltung im Fach „Statistik“.................................................56
Erfahrungen mit einer elektronischen
Operations-Research-Prüfung mit OPAL/ONYX.................................58
Blended Assessments: Wie können und warum sollten Mündliche
Prüfungen mit e-Prüfungen kombiniert werden?.............................60
Innovative E-Prüfungen in der Medizin mit CaseTrain......................62
Poster.............................................................................................64
E-Assessment im Musikunterricht.....................................................64
Computerbasiertes adaptives Testen im Studium – CaTS.................66
Studentische Lehr-Lern-Videos als Basis für
kompetenzorientierte Prüfungsformen in der Medienbildung
angehender Pädagog*innen.............................................................68
MathOER: Offener Aufgabenpool Mathematik.................................70
JDB - Eine Bibliothek für Java-Debugging im Browser.......................72
15JULIUS-DAVID FRIEDRICH
Lernen und Prüfen im digitalen Zeitalter
Die grundlegende Herausforderung des initialen Hochschulforums
Digitalisierung lag darin, das Thema `Digitales Lehren und Lernen´
auf die hochschulpolitische Agenda und in die Wahrnehmung
der Hochschulleitungen wie der Hochschullehrenden zu bringen.
Das Hochschulforum hat dies im Rahmen der Arbeit von sechs
Themengruppen mit zahlreichen Studien, Veranstaltungen und
einer intensiven Öffentlichkeitsarbeit getan, systematisch den
Keynotes
Status Quo und das Potential der Digitalisierung an deutschen
Hochschulen erfasst und erste Lösungsvorschläge entwickelt. Damit
wurde der Grundstein für eine zukunftsgewandte Weiterentwicklung der Hochschulbildung
in Deutschland gelegt.
In seinem Vortrag wird Julius-David Friedrich vom CHE Centrum für Hochschulentwicklung
die letzten drei Jahre des Hochschulforums Digitalisierung aufgreifen und die Ergebnisse
und Empfehlungen des Hochschulforums Digitalisierung anreißen sowie die Prozesse dieses
besonderen bundesweiten Netzwerks beleuchten. Zudem wird er aufzeigen, was die nächsten
Schritte des ab 1. Januar 2017 gestarteten neue Hochschulforum Digitalisierung (HFD 2020)
sein werden, die dazu beitragen sollen, Hochschulen bei der strategischen Verankerung der
Digitalisierung und deren Nutzung in der Lehre zu unterstützen.
Das Hochschulforum Digitalisierung wurde 2014 gegründet. Es ist eine gemeinsame
Initiative des Stifterverbandes für die Deutsche Wissenschaft mit dem CHE Centrum für
Hochschulentwicklung und der Hochschulrektorenkonferenz (HRK). Gefördert wird es vom
Bundesministerium für Bildung und Forschung.
Weitere Informationen unter: https://hochschulforumdigitalisierung.de
Zur Person:
Julius-David Friedrich ist im CHE Centrum für Hochschulentwicklung als Projektleitung des
Hochschulforums Digitalisierung 2020 tätig. Er studierte Wirtschaftswissenschaften und
Management von Kultur- und Non-Profit-Organisationen an der Universität Bielefeld und der
TU Kaiserlauten und baute federführend das Hochschulforum Digitalisierung (HFD) zusammen
mit dem Stifterverband für die Deutsche Wissenschaft und der Hochschulrektorenkonferenz
auf und geht der Frage nach, wie die digitale Zukunft der deutschen Hochschullehre gestaltet
werden kann. Seine Arbeitsschwerpunkte liegen in den Themenbereichen Hochschulbildung
im digitalen Zeitalter und internationale Hochschulrankings. Im HFD entwickelt Herr Friedrich
Empfehlungen für den Hochschulalltag, zeigt Handlungsoptionen auf strategischer Ebene
für die Hochschulen auf, schreibt wissenschaftliche Studien und leitet die Organisation von
Veranstaltungen.
16MARLIT ANNALENA LINDNER
Multiple-Choice-Prüfungen an Hochschulen: Chancen, Herausforderungen
und Forschungsperspektiven
Hochschulen stehen infolge der Bologna-Reform europaweit vor
der großen Herausforderung, von allen Studierenden in jedem
Semester je Fach Prüfungsleistungen abzunehmen. Insbesondere
Multiple-Choice-Aufgaben sind hierbei auf Grund der vollständig
automatisierbaren und objektiven Auswertung stark in den Fokus
gerückt und finden zunehmend Eingang in den Studienalltag. Doch
der Einsatz dieses Formates birgt nicht nur Chancen, sondern ist
auch mit Risiken und vielen Fragen verbunden: Können Multiple-
Keynotes
Choice-Aufgaben gegenüber Freitextaufgaben die Lern- und
Verstehensleistung tatsächlich adäquat erfassen? Welchen
Einfluss hat die Verwendung von Multiple-Choice-Aufgaben auf
das Lernverhalten Studierender? Wie kann man dem Problem
der Ratewahrscheinlichkeit begegnen? Welche Aufgabenformate
eignen sich im Hochschulkontext und welche spezifischen Chancen
bieten digitale Prüfungen?
Mögliche Antworten auf diese und angrenzende Fragen werden in der Keynote basierend auf
dem aktuellen Stand der Forschung diskutiert, während Forschungslücken und zukünftige
Forschungsfelder aufgezeigt werden. Ziel des Vortrags ist es auch, für die vielfältigen
Herausforderungen bei der Konstruktion hochwertiger Multiple-Choice-Prüfungen zu
sensibilisieren und zentrale Themenfelder aufzuzeigen, die für einen adäquaten Einsatz des
Multiple-Choice-Formates an Hochschulen zu berücksichtigen sind.
Zur Person:
Dr. Marlit Annalena Lindner ist Diplom-Psychologin und arbeitet seit 2011 als wissenschaftliche
Mitarbeiterin am Leibniz-Institut für die Pädagogik der Naturwissenschaften und
Mathematik (IPN) in Kiel. Zudem lehrt sie als Dozentin für Pädagogische Psychologie an der
Christian-Albrechts Universität Kiel. In ihrer Forschung beschäftigt sie sich mit kognitiven und
motivationalen Prozessen bei der Bearbeitung von Leistungstests, Multimedia-Effekten im
Testkontext sowie Prinzipien der Konstruktion von Testaufgaben für die Leistungsdiagnostik.
Neben einschlägigen internationalen Publikationen in pädagogisch-psychologischen
Fachjournalen hat sie mit ihren Koautoren Benjamin Strobel und Prof. Dr. Olaf Köller einen
umfassenden Literaturüberblick zu Multiple-Choice-Prüfungen an Hochschulen in der
Zeitschrift für Pädagogische Psychologie veröffentlicht (Lindner, Strobel & Köller, 2015). Dieser
zeigt wichtigen Forschungsbedarf auf und beinhaltet unter anderem Anknüpfungspunkte für
die Weiterentwicklung von E-Assessments mit Multiple-Choice-Aufgaben. Daran angelehnte
Fragestellungen sind auch Bestandteil ihrer aktuellen Forschung, in der sie unter anderem
experimentelle Studien unter Verwendung der Methode der Blickbewegungsmessung
(Eyetracking) zur Untersuchung von Testaufgaben realisiert.
17ULF KRÖHNE & FABIAN ZEHNER
Innovative Erhebungs- und Auswertungsmethoden in Large-Scale Assessments
Technologiebasiert erhobene Daten aus
nationalen und internationalen Large-Scale
Assessments, wie bspw. dem Nationalen
Bildungspanel (NEPS), dem Programme for
International Student Assessment (PISA)
und dem Programme for the International
Assessment of Adult Competencies (PIAAC)
Keynotes
erreichen zunehmend mehr Forscherinnen
und Forscher. Technologiebasierte
Dr. Ulf Kröhne Dr. Fabian Zehner
Assessments bilden damit zunehmend
die gängige Praxis in der empirischen
Bildungsforschung. Der Nutzen innovativer Erhebungs- und Auswertungsmethoden ist aber
nicht auf summative low-stake Assessments beschränkt. Illustriert mit aktuellen empirischen
Beispielen werden ausgewählte Potentiale und Forschungsfragen technologiebasierter
Assessments vorgestellt: Möglichkeiten simulationsbasierter Assessments zur Erfassung
neuer Konstrukte; die Nutzung der durch technologiebasiertes Assessment zusätzlich
erhobenen Log- und Prozessdaten, bspw. für die Identifikation von schnellem Rateverhalten,
zur Ableitung von Hinweisen über Testbearbeitungsstrategien und zur Modellierung
von Bearbeitungszeiten von Antworten aus papier- und computerbasierter Testung; die
Möglichkeiten und Grenzen der Standardisierung und Flexibilisierung von Assessments
durch computerbasierte Auslieferung; sowie das Leistungsvermögen moderner Verfahren
der Testzusammenstellung zur Erhöhung von Messgenauigkeit und zur Berücksichtigung von
nicht-psychometrischen Kriterien bei der Zusammenstellung von Assessments.
Zu den Personen:
Dr. Ulf Kröhne und Dr. Fabian Zehner sind Habilitanden am Zentrum für technologiebasiertes
Assessment des Deutschen Instituts für Internationale Pädagogische Forschung (DIPF)
in Frankfurt. Das Zentrum für technologiebasiertes Assessment entwickelt innovative
technologiebasierte Verfahren zur Erfassung von Lernergebnissen. Es betreibt grundlagen-
und anwendungsorientierte Forschung und unterstützt Einrichtungen und Projekte der
Bildungsforschung bei der Entwicklung und Implementation von technologiebasiertem
Assessment. Dazu gehören auch nationale und internationale Large-Scale-Studien, z.B.
PISA , PIAAC oder NEPS. Dr. Kröhne beschäftigt sich unter anderem mit der Nutzung
computerbasierter Assessments zur lernbegleitenden Diagnostik mittels Rückmeldung der
diagnostischen Informationen in die Unterrichtspraxis. Ein weiterer Forschungsschwerpunkt
ist die Untersuchung von Antwortprozessen mittels Diffusionsmodellen und digitalen
Kugelschreibern. Dr. Zehner ist Psychometriker und forscht u.a. zu automatisierter
Auswertung von Kurztextantworten in empirischen Erhebungsinstrumenten, Educational
Large-Scale Assessments und kognitionsbasierten, schwierigkeitsgenerierenden Regeln für
Leistungstest-Items.
1819
Kriteriumsorientierte adaptive Klausuren an Hochschulen
Aron Fink1, Sebastian Born1, Andreas Frey1,2, Christian Spoden1,
1
Lehrstuhl für empirische Methoden der erziehungswissenschaftlichen Forschung, Friedrich-
Schiller-Universität Jena, Deutschland
2
Centre for Educational Measurement (CEMO), University of Oslo, Norwegen
E-Mail: aron.fink@uni-jena.de, sebastian.born@uni-jena.de, andreas.frey@uni-jena.de,
christian.spoden@uni-jena.de
Das Ausmaß, mit dem Studierende die Studienziele ihres Hochschulstudiums erreichen,
wird im Kern am Abschneiden bei Prüfungen festgemacht. In der Europäischen Union erfolgt
die Spezifikation der Studienziele seit Inkrafttreten der Bologna-Reform flächendeckend
als Kompetenzen, die man nach Klieme und Leutner als domänenspezifische kognitive
Session 1
Leistungsdispositionen definieren kann [1]. Im Sinne der Kompetenzorientierung ist es daher
nötig, dass auch die an Hochschulen durchgeführten Prüfungen dahingehend angepasst
werden, dass sie überprüfen, über welche Kompetenzen die Studierenden am Ende
eines Moduls verfügen. Da ohne erfolgreich absolvierte Prüfungen ein Studienabschluss
nicht erlangt werden kann, kommt Prüfungen eine hohe persönliche Relevanz für die
Studierenden zu. Dieser hohen Bedeutung werden insbesondere schriftliche Prüfungen
in Form von Klausuren typischerweise nicht gerecht. Vielmehr klafft hier eine erhebliche
Lücke zwischen dem an deutschen Hochschulen üblicherweise praktizierten Vorgehen
und dem wissenschaftlichen Kenntnisstand der relevanten Teildisziplinen (v.a. Educational
Measurement und Psychometrie).
Problematisch an derzeitigen Hochschulklausuren sind im Wesentlichen vier Aspekte:
1. Die in den Modulkatalogen verankerten, kompetenzorientierten Lernziele werden durch
die Klausuraufgaben meistens nicht angemessen abgebildet. Zur Lösung der Problematik
müsste zunächst der Messgegenstand der jeweiligen Klausur eindeutig spezifiziert und
anschließend angemessen durch Klausuraufgaben operationalisiert werden.
2. Klausuren sind überwiegend als normorientierte beziehungsweise sich an willkürlich
festgelegten Kriterien orientierende Verfahren konzipiert. Um Klausurergebnisse als
Ausmaß des Erreichens kompetenzorientierter Lernziele interpretieren zu können, sollten
kriteriumsorientierte Tests zum Einsatz kommen, wobei die jeweiligen Kriterien über
sogenannte Standard Setting Verfahren festgelegt werden.
3. Klausuren sind zwischen verschiedenen Testzeitpunkten (z.B Jahren) nicht statistisch
miteinander verbunden, so dass Unabhängigkeit der vergebenen Bewertungen (z.B. Noten)
von Kohortenleistungsfähigkeit und Klausurschwierigkeit nicht gewährleistet sind. Dieses
Problem kann vermieden werden, indem mit Modellen der Item Response Theory (IRT; z.B.
[2]) Klausuren über Testzeitpunkte verbunden werden, so dass individuelle Klausurergebnisse
immer auf derselben Metrik verortet werden und so über die Klausurzeitpunkte hinweg
vergleichbar bleiben.
4. Übliche Klausuren messen im mittleren Leistungsbereich am präzisesten, wohingegen die
Messpräzision in den Randbereichen der Merkmalsverteilung stark abnimmt [3].
20Eine Angleichung der Messpräzision über den gesamten Merkmalsbereich kann mit
computerisierten adaptiven Testen (CAT; z.B. [4]) erreicht werden.
Im Vortrag wird erörtert, wie diese Probleme durch die Kombination der angesprochenen
Methoden aus den Bereichen Educational Measurement und Psychometrie gelöst werden
können. Es wird sich dabei an modernen Ansätzen der theoriebasierten Konstruktion von
Kompetenztests [5], die beispielsweise bei internationalen Schulleistungsstudien wie PISA
und oder dem Ländervergleich verwendet werden, orientiert. Konkret wird ein hochschul-
und fächerübergreifendes Konzept zur Konstruktion, Administration und Auswertung
kriteriumsorientierter adaptiver Klausuren an Hochschulen vorgestellt.
Keywords:
E-Klausuren, Kompetenzdiagnostik, Computerisiertes Adaptives Testen
Session 1
Quellen:
[1] Klieme, E., & Leutner, D. (2006). Kompetenzmodelle zur Erfassung individueller Lernergebnisse
und zur Bilanzierung von Bildungsprozessen. Beschreibung eines neu eingerichteten
Schwerpunktprogramms der DFG. Zeitschrift für Pädagogik, 52, S. 876–903.
[2] van der Linden, W. J. (Hrsg.). (2016a). Handbook of item response theory. Volume one: Models.
Boca Raton: Chapman & Hall/CRC.
[3] Dolan, R. P., & Burling, K. S. (2012). Computer-based testing in higher Education. In: C. Secolsky & D.
B. Denison (Eds.), Handbook on measurement, assessment, and evaluation in higher education. S.
312-335. New York, NY: Routledge.
[4] Frey, A. (im Druck). Computerisiertes adaptives Testen. In H. Moosbrugger & A. Kelava (Hrsg.),
Testtheorie und Fragebogenkonstruktion (3. aktualisierte und überarbeitete Auflage. Berlin,
Heidelberg: Springer.
[5] Frey, A., & Hartig, J. (im Druck). Kompetenzdiagnostik. In M. Gläser-Zikuda, Harring, M., & Rohlfs, C.
(Hrsg.), Handbuch Schulpädagogik. Münster: Waxmann.
21Formative, adaptive Mathematiktests
Martin Pieper
FH Aachen, Fachbereich Energietechnik
E-Mail: pieper@fh-aachen.de
Im Vortrag „Formative, adaptive Mathematiktests“ werden Vorteile und Neuentwicklungen
im Bereich des formativen E-Assessments in ingenieurwissenschaftlichen Veranstaltungen,
speziell im Bereich der Ingenieurmathematik, vorgestellt und diskutiert.
Session 1
E-Assessment, egal ob diagnostisch, formativ oder summativ, stellt einen wichtigen
Bestandteil der zukünftigen, digitalen Hochschullehre dar. So finden wir bei Handke und
Schäfer [1], dass digitale Lernformate nur dann ihre volle Wirkung entfalten können, wenn
sie mit dem kompletten Lehr-Lernprozess verzahnt sind. Dieser umfasst im Rahmen des
3E-Modells insbesondere auch E-Assessment. Weiter ermittelten Schneider und Mustafic
[2] eine kombinierte Effektstärke von bis zu 0.9 in Metastudien dafür, dass regelmäßiges,
strukturiertes Prüfen den Lernerfolg verbessert.
Im Vortrag wird im Wesentlichen der Inhalt des Forschungsvorhabens „Mathe digital!“,
welches 2017 im Rahmen der Fellowships für Innovationen in der digitalen Hochschullehre
vom Stifterverband unterstützt wird, vorgestellt. Das Hauptanliegen des Projektes ist
aufgrund der zunehmenden Heterogenität der Studienanfänger eine individuelle Förderung
aller Studierenden, insbesondere durch digitale Lernangebote im Bereich der Mathematik.
Hierzu sollen u.a. semesterbegleitende Onlinetests durch regelmäßiges Feedback einen
Beitrag leisten, die unterschiedlich vorhandenen Kompetenzen der Studierenden besser
angleichen und gezielter auf die Abschlussklausur vorbereiten.
Um diese Ziele erreichen zu können, benötigen wir Tests, die individuell auf die jeweiligen
Bedürfnisse der Studierenden zugeschnitten sind. Dies soll durch adaptive Onlinetests
erreicht werden. Hierbei werden die Fragen dem bisherigen Leistungsstand der jeweiligen
Studierenden angepasst, so dass individuelle Lücken erkannt und gezielt behoben werden.
Dieses kann z.B. durch einen lernzielorientierten ILIAS-Kurs erreicht werden.
Als weitere Herausforderung müssen die formativen Tests so gestaltet werden, dass auch
wirklich alle Lernziele der jeweiligen Veranstaltung abgedeckt werden. Im Bereich der
Mathematik, aber auch in anderen ingenieurwissenschaftlichen Disziplinen, bedeutet dies,
dass insbesondere auch Zwischenschritte in der Lösung bewertet werden und nicht nur das
Endergebnis. Hierzu werden vor allem sogenannte Stack Fragetypen verwendet, die sowohl
ILIAS als auch Moodle unterstützt.
Da an der FH Aachen die Lernplattform ILIAS eingesetzt wird, werden die Beispiele auf Basis
von ILIAS präsentiert. Die Grundideen lassen sich aber auf jede Lernplattform übertragen.
22Interessant wäre hier insbesondere auch ein Austausch mit der Moodle-Community.
Ein weiteres Ziel des Fellowship Programms ist die Verstetigung und Verbreitung der
entwickelten Ideen und Konzepte. Daher ist im Projekt „Mathe digital!“ vorgesehen, die
entwickelten Tests auch auf andere Fächer wie z.B. Physik zu transferieren. Deshalb kann der
Vortrag auch für Kollegen/innen aus mathenahen, ingenieur- oder naturwissenschaftlichen
Disziplinen interessant sein.
Keywords:
Formatives E-Assessment, Adaptive Onlinetests, Mathematik in den Ingenieurwissenschaften,
Stack Fragetypen, Lernzielorientierte Kursansicht
Session 1
Quellen:
[1] Handke J., Schäfer A. M. (2012). E-Learning, E-Teaching und E-Assessment in der Hochschullehre –
Eine Anleitung. Oldenbourg Verlag, München
[2] Schneider M., Mustafic M. (2015). Gute Hochschullehre: Eine evidenzbasierte Orientierungshilfe.
Springer, Berlin, Heidelberg
23Elektronische Übungen und Prüfungsvorleistungen im Bereich der höheren
Mathematik
Franziska Nestler1, Daniel Potts1, Yvonne Winkelmann2
1
Fakultät für Mathematik, Technische Universität Chemnitz, Deutschland
2
BPS Bildungsportal Sachsen GmbH, Deutschland
E-Mail: franziska.nestler@mathematik.tu-chemnitz.de, potts@mathematik.tu-chemnitz.de,
yvonne.winkelmann@bps-system.de
Die Mathematik stellt eine wesentliche Grundlage in sämtlichen technischen sowie
naturwissenschaftlichen Disziplinen dar und ist daher aus der beruflichen Ausbildung nicht
weg zu denken. Hierbei sollte insbesondere der aktive Lern- und Verständnisprozess sowie
das selbstorganisierte, individuelle Lernen durch entsprechende Übungsangebote gefördert
Session 1
werden. Das E-Assessment-Tool ONYX, welches in die Lernplattform OPAL integriert ist und
an den sächsischen Hochschulen eingesetzt wird, bietet umfassende Möglichkeiten zur
Erstellung elektronischer Übungsaufgaben. In den letzten Jahren wurde das Tool insbesondere
hinsichtlich spezieller Anforderungen mathematischer Studieninhalte angepasst, siehe [1].
An der Technischen Universität Chemnitz sind derartige Übungs- und Lernformate bereits
in verschiedene mathematische Lehrveranstaltungen integriert. Beispielsweise sind seit
dem Wintersemester 2015/16 elektronische Übungsaufgaben Teil der Vorlesung zur
Höheren Mathematik für Studierende im Bereich Maschinenbau. Zusätzlich zum regulären
Vorlesungs- und Übungsbetrieb absolvieren die Studierenden hierbei ein Praktikum,
welches das selbstständige Bearbeiten von elektronischen Übungsaufgaben im laufenden
Semester beinhaltet. Die Studierenden können zunächst zahlreiche Übungsaufgaben
beliebig oft wiederholen. Ausführliche Musterlösungen zu allen Aufgaben sollen dabei das
selbstgesteuerte Lernen erleichtern. Zusätzlich werden feste Termine für das Praktikum
angeboten, zu denen Dozenten für Fragen zur Verfügung stehen. Am Ende eines jeden
Themenkomplexes ist dann ein abschließender Test zu absolvieren. Die insgesamt vier
elektronischen Tests sind allesamt zu bestehen, um zur schriftlichen Prüfung am Ende des
Semesters zugelassen zu werden.
Die elektronischen Übungskomponenten sind nicht als Ersatz von Vorlesung und Präsenzübung
anzusehen, sondern vielmehr als ein zusätzliches Angebot zum bedarfsorientierten
Vertiefen der grundlegenden Inhalte. Anstelle von schriftlichen Hausaufgaben sind hier die
elektronischen Tests als Prüfungsvorleistung fest verankert. Im Wintersemester 2015/16
nahmen über 250 Studierende an der Lehrveranstaltung zur Höheren Mathematik für
Maschinenbauer (1. Semester) teil. Vergleichbare Zahlen sind für die Folgesemester zu
erwarten. Mittels einer Evaluation am Ende des Wintersemesters 2015/16 konnten überaus
positive Rückmeldungen von Seiten der Studierenden eingeholt werden, siehe Abbildung 1.
Ähnliche Szenarien sind bereits in weiteren mathematischen Serviceveranstaltungen
etabliert und geplant. Dies betrifft unter anderem die Mathematikausbildung für Studierende
der Fakultäten Elektrotechnik und Informatik sowie der Wirtschaftswissenschaften.
24Session 1
Abb. 1: Einige Ergebnisse der Evaluation des E-Learning Praktikums im Wintersemester
2015/16.
Im Rahmen des Projektes ELMAT wurde das frei verfügbare Computer-Algebra-System
MAXIMA an die ONYX Testsuite angebunden, siehe [1]. Hieraus ergeben sich eine Reihe
von Möglichkeiten für die Erstellung abwechslungsreicher, individualisierter Aufgaben.
Unabhängig vom Aufgabentyp können vom Autor Variablen definiert werden. Mithilfe
von MAXIMA können dann komplexe Rechnungen basierend auf den zufällig gewählten
Parametern realisiert werden. So kann einem Studierenden für jeden Aufgabenversuch
eine neue Aufgabe mit anderer Lösung präsentiert werden. Dies bietet den Teilnehmern die
Möglichkeit, eine bestimmte Aufgabenstellung mehrfach mit neuen Werten zu wiederholen.
Basierend auf MAXIMA können auch komplexe Formeln interpretiert und weiterverarbeitet
werden. Dadurch können die Studierenden ihre Antworten auch als Formeln eingeben.
Nicht nur Zahlenwerte, sondern auch umfangreiche mathematische Terme kommen als
Lösungsobjekte mathematischer Aufgaben infrage. Mittels beliebig komplexer MAXIMA-
Anweisungen ist es den Aufgabenautoren außerdem möglich, die Lösungen der Studierenden
besser automatisch zu bewerten. So kann beispielsweise auch auf Nichteindeutigkeit der
Lösung sowie auf die Beachtung von Folgefehlern eingegangen werden.
Keywords:
E-Assessment, mathematische Assessments, elektronische Prüfungsvorleistungen
Quellen:
[1] Nestler F., Winkelmann Y. (2014). Elektronische Übungs- und Bewertungstools für
Mathematikveranstaltungen, in: E-Learning: Zukunft oder Realität, 12. Workshop on e-Learning, S.
75-82
25Mit dem E-Portfolio die Portfolioarbeit digitalisieren – Höhere Kompetenzstufen
im Rahmen des Constructive Alignments elektronisch prüfen
Christine Hoffmann1, Claudia Vogeler2
Fakultät Wirtschaft und Soziales, HAW Hamburg, Deutschland
1
Arbeitsstelle Studium und Didaktik, HAW Hamburg, Deutschland
2
E-Mail: christine.hoffmann@haw-hamburg.de, claudia.vogeler@haw-hamburg.de
Seit der Bologna Reform wird angestrebt, Hochschullehre kompetenzorientiert zu gestalten
[1]. Lehr-Lernprozesse sollen so arrangiert werden, dass Studierenden das Erreichen
definierter Learning Outcomes ermöglicht wird [1]. Die an Hochschulen eingesetzten Formen
der Leistungsbeurteilung sind jedoch häufig nicht geeignet um zu überprüfen, inwieweit die
Session 2
Studierenden diese Intended Learning Outcomes auch tatsächlich erreicht haben [2]. Gerade
komplexen Lernzielen werden konventionelle Formen summativer Leistungsüberprüfungen
kaum gerecht [3]. Da Prüfungsformen sich aber maßgeblich auf das Lehr- und Lernhandeln
der Beteiligten auswirken [2], wird unter Bezugnahme auf den Begriff des Constructive
Alignment nach Biggs [4] gefordert, Lehren, Lernen und Prüfen zueinander in Beziehung zu
setzen [1].
Der Portfolioarbeit wird zugeschrieben, ebenfalls eine Brückenfunktion zwischen Lehren,
Lernen und Prüfen einnehmen zu können [2, 4]. Unter Bezugnahme auf die erzielbaren
Mehrwerte [5] digital unterstützter Portfolioarbeit, wie den Möglichkeiten einer zeit- und
ortsunabhängigen Gestaltung, der Vernetzung und Kollaboration, der Wiederverwendbarkeit
von Artefakten sowie der einfachen Verbreitung und Teilung von Inhalten, scheinen
E-Portfolios die klassische Portfolioarbeit, wie Biggs [4] sie in Beziehung zum Constructive
Alignment setzt, sogar noch zu unterstützen. Für ihn ist die Portfolioarbeit ein klassisches
Instrument zur Messung des functioning knowledge [4]. Dies lässt sich grob mit Blooms
Taxonomie Stufen 3 Anwenden bis 6 Evaluieren vergleichen [3; siehe zu Weiterentwicklungen:
2]. Es stellt sich die Frage, wie die digitale Portfolioarbeit zu gestalten ist, damit sie ein
geeignetes Assessment-Instrument bleibt.
Unsere These ist, dass die Portfolioarbeit – wenn sie als formatives lernprozessintegriertes
Assessment-Format [3] eingesetzt wird, in dem Selbst- und Fremdbeurteilung kombiniert sind
– sowohl Lernenden Anknüpfungspunkte für gezieltes weiteres Lernen als auch Lehrenden
Hinweise für die inhaltliche und methodische Weiterentwicklung von Lehrveranstaltungen
bietet [2]. Der Einsatz der digitalen Variante ermöglicht die unmittelbare Kommunikation
und Rückkopplung von Lernergebnissen, (formativer) Bewertung und weiterer Gestaltung
von Lernaufgaben. Damit ist die E-Portfolio-Arbeit mit Mehrwerten gegenüber anderen
konventionellen Prüfungsformaten, wie bspw. Klausuren oder Hausarbeiten, verbunden.
Der Einsatz von E-Portfolios als Instrument der kompetenzorientierten Leistungsbeurteilung
ist bisher allerdings kaum untersucht worden [5]. Im Format des Flipped Conference Talk
wollen wir deshalb diskutieren, inwiefern das E-Portfolio als E-Assessment-Instrument
eingesetzt werden kann, für welche Intended Learning Outcomes und Kompetenzniveaus
es als Prüfungsmedium geeignet ist und welche Chancen und Herausforderungen sich
26für Lernende, Lehrende und die Institution Hochschule ergeben. Im Video stellen wir als
Grundlage für die Diskussion die Portfolioarbeit als didaktische Methode vor, wie sie nach
Biggs mit dem Constructive Alignment in Verbindung steht, und beziehen dies auf praktische
Erfahrungen mit dem Einsatz von E-Portfolios an der HAW Hamburg.
Keywords:
E-Portfolio, formative Leistungsüberprüfung, Kompetenzorientierung, Constructive
Alignment, Portfolio
Session 2
Quellen:
[1] Schaper, N. (2012). Fachgutachten zur Kompetenzorientierung in Studium und Lehre. HRK-
Fachgutachten ausgearbeitet für die HRK von Niclas Schaper unter Mitwirkung von Oliver Reis und
Johannes Wildt sowie Eva Horvath Elena Bender. Berlin: BMBF
[2] Häcker, T. (2005). Portfolio als Instrument der Kompetenzdarstellung und reflexiven
Lernprozesssteuerung. In: bwp@ Nr. 8. http://www.bwpat.de/ausgabe8/haecker_bwpat8.pdf,
zuletzt aufgerufen am 19.06.2017
[3] Wildt, J., Wildt, B. (2011). Lernprozessorientiertes Prüfen im „Constructive Alignment“. In: Berendt,
B., Voss, H.-P., Wildt, J. (Hrsg.). Neues Handbuch Hochschullehre. Lehren und Lernen effizient
gestalten. [Teil] H. Prüfungen und Leistungskontrollen. Weiterentwicklung des Prüfungssystems in
der Konsequenz des Bologna-Prozesses. (pp. H6.1,46). Berlin
[4] Biggs, J., Tang, C. (2011). Teaching for Quality Learning at University. Fourth Edition. Maidenhead
[u.a.]: McGraw-Hill, Society for Research into Higher Education & Open University Press
[5] Egloffstein, M., Frötschl, C. (2011). Leistungsdarstellung im E-Portfolio-Assessment. Eine empirische
Analyse im Hochschulkontext. In: zeitschrift für e-learning. Lernkultur und bildungstechnologie.
E-Portfolios 6/2011 (3), S. 51-62
27Möglichkeiten zur Prüfung des outcomes Forschenden Lernens mittels
alternativer, digitaler Prüfungsformen
Oliver Ahel, Lisa Schleker
Virtuelle Akademie Nachhaltigkeit, Universität Bremen, Deutschland
E-Mail: oliver.krause@uni-bremen.de, schleker@uni-bremen.de
Der eingereichte Beitrag soll anhand des Praxisbeispiels der Veranstaltung „Nachhaltiges
Management“ der Virtuellen Akademie Nachhaltigkeit zeigen, wie digitale Prüfungsformen
gestaltet sein können, um das Konzept des forschenden Lernens prüfbar zu machen.
Im Sommersemester 2017 lief diese Veranstaltung als Pilotprojekt, um neue digitale
Session 2
Prüfungsformen zu testen.
Hintergrundüberlegungen zum Pilotprojekt: Eine der weitreichendsten gesellschafts-
politischen Herausforderungen unser Tage ist die Vorbereitung künftiger Generationen auf
eine komplexe und globalisierte Zukunft, in welcher mit begrenzten Ressourcen umgegangen
werden muss. Neue Lehr-/Lernformate müssen dazu so gestaltet sein, dass Studierenden
jene Kompetenzen vermittelt werden, welche sie benötigen, um in der Zukunft Probleme zu
lösen, die gegenwärtig noch nicht bekannt sind. In Verbindung mit digitaler Lehre scheint das
Konzept des forschenden Lernens ein geeigneter Ansatz hierfür: kollaboratives Arbeiten, der
Umgang mit Komplexität, die Nutzung Digitaler Medien und das reflexive Hinterfragen zielen
auf die Vermittlung eben jener benötigten Handlungskompetenzen ab.
Erste erfolgreich durchgeführte Projekte mit vergleichbarem Setting lassen hinsichtlich der
Wirksamkeit dieser Formate eine positive Prognose zu. So wiesen die Evaluationsergebnisse
eines ähnlich gelagerten Lehr-Lern-Szenarios der hamburg open online university (HOOU)
einen signifikant höher eingeschätzten Wert für den Erwerb an Fach-, Methoden-,
Kommunikations- und Personalkompetenzen aus als dies im Vergleich zu klassischen Lehr-
Lern-Formaten der Fall ist (Braßler, Holdschlag & van den Berk 2017, S. 25-29).
Bei der praktischen Umsetzung wird schnell deutlich, dass der Ansatz des Forschenden
Lernens ein hohes Maß an Betreuungsaufwand, insbesondere im Assessmentbereich, mit
sich bringt (Reinmann 2011, S. 296). Es stellt sich also die Frage:
Wie können Prüfungssituationen konzipiert sein, damit die Erreichung der Lernergebnisse
forschenden Lernens beurteilt werden können und mit geringem Betreuungsaufwand eine
Betreuung von großen Kohorten ermöglicht wird?
28Umsetzung des Pilotprojektes: Durch den Einsatz digitaler Medien wurden bestimmte
Komponenten des forschenden Lernens (kollaborative Umgebung, eigenständiges
Produzieren von Inhalten) in die digitale Welt verlagert. Die neue Struktur der
Veranstaltung und der Prüfungsformate inklusive technischer Hintergründe, Potenziale
und Herausforderungen sollen in unserem Beitrag für das E-Prüfungs-Symposium
beschrieben werden. Die Erfahrungen aus der Entwicklung dieser innovativen und
digitalisierten Prüfungsformen sollen verdeutlichen, was bereits möglich ist und wo noch
weiterer Forschungs- und Entwicklungsbedarf besteht. Dafür werden erste Ergebnisse
aus der (qualitativen und quantitativen) Evaluation der alternativen Prüfungsformen des
Pilotprojektes eingebunden. Die Erfahrungen aus dem Pilotprojekt können die Grundlage
für zukünftige Forschungsprojekte liefern und durch das Aufzeigen von Potenzialen und
Grenzen eine Weiterentwicklung der Einsatzformen von digitalen Medien in der Prüfung
des outcomes von forschendem Lernen ermöglichen. Digitalisierte Lehre und forschendes
Session 2
Lernen können den Erkenntnisgewinn der Studierenden erheblich unterstützen und zugleich
den Betreuungsaufwand der Lehrenden verringern. Diese Möglichkeiten nutzbar zu machen,
ist unser Ziel.
Unser Beitrag ist als Flipped Conference Talk konzipiert. Wir freuen uns darauf, auf dem
E-Prüfungs-Symposium über den Nutzen und die Grenzen der im Video vorgestellten
Prüfungsformate zu diskutieren.
Keywords:
Forschendes Lernen, digitalisierte Lehre, innovative Prüfungsformen, Blended Learning
Quellen:
[1] Reinmann, G. (2011). Forschendes Lernen und wissenschaftliches Prüfen: die potentielle und
faktische Rolle der digitalen Medien. In: T. Meyer, C. Tan, T. Schwalbe & R.Appelt (Hg.). Medien &
Bildung. Institutionelle Kontexte und kultureller Wandel (S. 219-306). Wiesbaden: Springer VS
[2] Braßler, M., Holdschlag, A. & van den Berk, I. (2017). Nachhaltige Zukunftsperspektiven. Erstellung
von Open Educational Resources (OER) in der Hochschullehre.URL:https://www.researchgate.net/
profile/Mirjam_Brassler/publication/314263413_Nachhaltige_Zukunftsperspektiven_Erstellung_
von_Open_Educational_Resources_OER_in_der_Hochschullehre/links/ [26.04.2017]
29Peer-Assessment als hochschuldidaktisches Instrument zur Aktivierung von
studentischen Lernprozessen und dessen webbasierte Umsetzung in PAssT!
Heinz-Werner Wollersheim, Norbert Pengel
Professur für Allgemeine Pädagogik, Universität Leipzig, Deutschland
E-Mail: wollersheim@uni-leipzig.de, norbert.pengel@uni-leipzig.de
Neben der inhaltlichen Aneignung von Wissensdomänen sind an Hochschulen forschungs-
und arbeitsmethodische Kompetenzen sowie der Erwerb kollaborativer und kommunikativer
Kompetenzen im Hinblick auf wissenschaftliches Arbeiten zentral. Module, die in diesem
Maße akademische Kompetenzentwicklung fokussieren, erfordern vor dem Hintergrund
Session 2
des Constructive Alignment komplexe, authentische Prüfungssituationen, die die
Handlungsdimensionen in den Blick nehmen und Teil des studentischen Lernprozesses sind.
Peer-Assessments, hier verstanden als (Vorschlags-)Bewertung von Studienleistungen
durch Studierende, fördern die aktive Beschäftigung mit dem Lernstoff in komplexer Weise,
schärfen das Bewusstsein für die Qualität eigener wissenschaftlicher Arbeit und fördern die
Kompetenz von Studierenden im Bereich Wissenschaftskommunikation. Darüber hinaus
ermöglicht dieses Verfahren eine erhöhte Transparenz für den Bewertungsprozess, die
Erhöhung der subjektiv erlebten Relevanz der Aufgabe sowie die Verbesserung von Tempo
und Qualität des Feedbacks im Lernprozess. Ein zusätzlicher Nutzen für die Studierenden liegt
darin, dass sie sehr zeitnah zur Einreichung ihrer Exposés ein detailliertes und elaboriertes
Feedback erhalten.
Vor diesem Hintergrund werden im Rahmen des Projektseminars „Analyse
laufender Forschungsvorhaben“ im Masterstudiengang Begabungsforschung und
Kompetenzentwicklung der Universität Leipzig seit einigen Semestern Peer-Assessments
genutzt, um Studierende bei der Erstellung der Exposés ihrer Abschlussarbeiten zu begleiten.
Dazu begutachten jeweils zwei Studierende (Reviewer 1 und Reviewer 2) auf Basis zuvor
gemeinsam ausgehandelter Kriterien in einem zweistufigen Peer-Review-Prozess ein Exposé
(Abb. 1). Nach Abschluss des ersten Peer-Reviews (Review 1.1 und Review 2.1) haben die
Studierenden die Möglichkeit, ihr Exposé zu überarbeiten und erneut einzureichen. Mit
Abschluss des zweiten Peer-Reviews (Review 1.2 und Review 2.2) ist der Peer-Review-Prozess
abgeschlossen. Punkte erhalten die Studierenden für ihre Exposés und ihre Reviews. Ein sehr
gutes oder exzellentes Ergebnis ist daher nur auf der Basis guter Exposés und guter Reviews
zu erzielen. Die Reviews der Studierenden stellen Vorschlagsbewertungen dar, die vom
Seminarleiter supervidiert und bestätigt oder ggf. verändert werden.
30Session 2
Abb. 1: Ablauf eines Peer-Assessments in PAssT!
Um Peer-Assessments und damit das Lernen als sozialen Prozess niedrigschwelliger in
verschiedenen Lernszenarien adressieren zu können sowie dem erheblichen organisatorischen
Aufwand Rechnung zu tragen, haben wir gemeinsam mit dem Medienzentrum der
Technischen Universität Dresden in einem durch das Sächsische Ministerium für Wissenschaft
und Kunst (SMWK) geförderten Projekt das Peer-Assessment-Tool PAssT! entwickelt.
PAssT! ermöglicht u.a. die Anpassung der Begutachtungskriterien, die Sammlung und
Zeitsteuerung des Uploads der Artefakte und Abgabe der Reviews, informiert die
Studierenden in ihren Rollen als Autor und Reviewer über den Prozessablauf, gewährleistet
die Verwaltung der Reviews und der Punkte sowie der Gesamtnote. Es ist zum einen
unabhängig von Learning-Management-Systemen (LMS) einsetzbar und ermöglicht zum
anderen diverse Anwendungsszenarien durch die Verarbeitung verschiedener Artefakte.
Im Rahmen eines Vortrags möchten wir dieses technologiegestützte Peer-Assessment-
Verfahren vorstellen. Neben konzeptionellen Überlegungen werden wir auch auf erste
Nutzungserfahrungen eingehen.
Keywords:
Peer-Assessment, Constructive Alignment, Wissenschaftskommunikation
31NRW-Leitfaden zur systematischen Unterstützung. Nachhaltige, semester-
übergreifende Begleitung bei der Implementierung von E-Assessments.
Marcel Graf-Schlattmann, Lara Melissa Fortmann, Prof. Dr. Dorothee Meister, Prof.
Dr. Gudrun Oevel1
1
Projekt E-Assessment NRW, Universität Paderborn, Deutschland
E-Mail: marcel.graf.schlattmann@upb.de, melissa.fortmann@upb.de, dm@upb.de,
gudrun.oevel@upb.de
Der Einsatz elektronischer Assessments stellt Lehrende sowie Mitarbeiter in Technik und
Verwaltung, der Führungsebene und den Justiziariaten vor unterschiedliche Probleme.
Das Verbundprojekt E-Assessment NRW beschäftigt sich seit 3 Jahren mit ebendiesen
Problemstellungen aus unterschiedlichen Perspektiven. In diesem Jahr wurde als
Session 3
zusammenfassende Dokumentation der Ergebnisse und Aktivitäten bei der Durchführung
von E-Assessments ein NRW-Leitfaden entwickelt, der in einem Session-Vortrag exemplarisch
anhand eines Teilaspekts vorgestellt und diskutiert wird. Die leitende Fragestellung des
Vortrags ist dabei: Welche Aspekte müssen für eine nachhaltige, semesterübergreifende
Begleitung bei der Implementierung von E-Assessments berücksichtigt werden?
In einer ersten Bestandsaufnahme des Projekts zum Einsatz von E-Assessments an Hochschulen
in NRW stellte sich heraus, dass die Kernprobleme, die für alle Hochschulen bisher ein
großes Hemmnis bei der breiten Etablierung und beim Ausbau von E-Assessmentangeboten
darstellen, die rechtliche und organisatorische Klärung von Fragen in Bezug auf E-Prüfungen,
die mögliche curriculare Einbindung von E-Assessments, Fragen zur Anerkennung von
Leistungen, die mangelnde Nutzung möglicher Kooperationspotenziale auf der Grundlage
von Hochschulstrategien sowie Fragen zu infrastrukturellen Grundbedürfnissen von
elektronischen Assessments sind.
Der Leitfaden orientiert sich an den benannten Problemen und Hemmnissen und bietet
den verschiedenen Zielgruppen des Projekts sowie den Akteuren bei der Umsetzung von
E-Assessments die Möglichkeit, mittels individueller Leserführung spezifische Hilfestellungen
zur Vorbereitung und Begleitung des Lernens zu erhalten. Dabei werden nicht nur die
Perspektiven und Problemstellungen differenziert behandelt, sondern auch ein Überblick
über die Phasen der Implementierung von E-Assessments und des Lernprozesses im Laufe
eines Semesters geboten. Das Vorhaben bezieht sich hierbei zwar konkret auf das Land
Nordrhein-Westfalen, die Ergebnisse und Ansätze sind jedoch – mit wenigen Ausnahmen
wie den konkreten rechtlichen Anforderungen an ein E-Assessment – auch über die
Landesgrenzen hinaus anwendbar.
Da sowohl die unterschiedlichen Zielgruppen und Akteure angesprochen werden als auch
die grundlegenden Voraussetzungen im Vorfeld der Einführung von E-Assessments, die
Phasen des Lernens mit den damit verbundenen Assessmentformen – diagnostisch, formativ,
summativ – sowie die semesterübergreifende Begleitung der Implementierung aufgegriffen
werden, handelt es sich beim NRW-Leitfaden um eine komplexe und umfangreiche
Betrachtung des Thema E-Assessment.
32Sie können auch lesen
