COMPUTERIZED ADAPTIVE TESTING IN GEOGEBRA - JKU ...
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Eingereicht von
Florian Mühlburger
Angefertigt am
Institut für
Wirtschaftsinformatik –
Communications
Engineering
COMPUTERIZED Betreuer
ADAPTIVE TESTING IN Univ.-Prof. Dipl.-Ing. Dr.
Stefan Oppl, MBA
GEOGEBRA
Juli 2021
Masterarbeit
zur Erlangung des akademischen Grades
Master of Science
im Masterstudium
Wirtschaftsinformatik
JOHANNES KEPLER
UNIVERSITÄT LINZ
Altenberger Straße 69
4040 Linz, Österreich
www.jku.at
DVR 0093696
EIDESSTATTLICHE ERKLÄRUNG Ich erkläre an Eides statt, dass ich die vorliegende Masterarbeit selbstständig und ohne fremde Hilfe verfasst, andere als die angegebenen Quellen und Hilfsmittel nicht benutzt bzw. die wörtlich oder sinngemäß entnommenen Stellen als solche kenntlich gemacht habe. Die vorliegende Masterarbeit ist mit dem elektronisch übermittelten Textdokument identisch. Ort, Datum Linz, 22.07.2021 Unterschrift 22. Juli 2021 Florian Mühlburger 2/64
INHALTSVERZEICHNIS
Abstract ....................................................................................................................................... 6
1. Einleitung ............................................................................................................................. 7
2. Background – CAT ............................................................................................................... 9
2.1. CAT - Begriffe ............................................................................................................... 9
2.2. CAT - Prozess............................................................................................................. 11
2.3. Zusammenfassung Kapitel 2 ....................................................................................... 12
3. Architektur CAT-Modul ....................................................................................................... 14
3.1. Szenario...................................................................................................................... 14
3.2. Anforderungen ............................................................................................................ 16
3.2.1. Funktionale Anforderungen .............................................................................. 16
Prüfungslogik ................................................................................................... 16
Datenadministration (Zusatzinfos zu Fragen speichern) ................................... 19
3.2.2. Generelle nicht funktionale Anforderungen ...................................................... 20
Performance Efficiency .................................................................................... 21
Compatibility .................................................................................................... 21
Usability .......................................................................................................... 21
Reliability ......................................................................................................... 21
Security .......................................................................................................... 22
Maintainability .................................................................................................. 22
Portability ......................................................................................................... 23
3.2.3. GeoGebra-spezifische nicht funktionale Anforderungen ................................... 23
Performance Efficiency .................................................................................... 24
Reliability ......................................................................................................... 24
Security .......................................................................................................... 24
Maintainability .................................................................................................. 24
3.3. Related Work .............................................................................................................. 25
3.3.1. Bestehende CAT-Plattformen & Libraries......................................................... 25
3.3.2. Analyse bisheriger Prototyp ............................................................................. 27
3.3.3. Zusammenfassung........................................................................................... 28
3.4. Globale Architektur und Kommunikation ..................................................................... 30
3.4.1. Globale Architektur........................................................................................... 30
3.4.2. Kommunikationskonzept .................................................................................. 31
3.5. Architekturkonzept ...................................................................................................... 32
22. Juli 2021 Florian Mühlburger 3/64
3.5.1. Architekturmuster ............................................................................................. 32
Component Based Architecture (CBA) ............................................................. 33
Service Orientierte Architektur (SOA) ............................................................... 33
Microservice Architecture ................................................................................. 33
Layers Architecture (Schichten-Architektur) ..................................................... 34
Microkernel Architecture................................................................................... 34
Space Based Architecture ................................................................................ 35
Auswahl .......................................................................................................... 35
3.5.2. Architektur CAT-Modul ..................................................................................... 36
3.6. Zusammenfassung Kapitel 3 – Beantwortung Forschungsfrage 1 ............................... 38
4. Implementierung CAT-Modul.............................................................................................. 40
4.1. Datenhaltungsschicht .................................................................................................. 40
4.2. REST-Interface ........................................................................................................... 43
4.2.1. Kommunikation REST-Interface ....................................................................... 44
4.2.2. Adaptive Prüfung ............................................................................................. 45
Prüfung vorbereiten.......................................................................................... 45
Prüfung erstellen .............................................................................................. 46
Nächste Prüfungsfrage auswählen ................................................................... 47
Prüfungsergebnis übermitteln .......................................................................... 47
Prüfung löschen ............................................................................................... 48
4.2.3. Datenbankwartung ........................................................................................... 48
4.3. Logikschicht ................................................................................................................ 48
4.3.1. Administrativer Kern (Microkernel) ................................................................... 48
4.3.2. Logik Prüfungstypen (Plugins) ......................................................................... 49
AdaptiveQuiz.................................................................................................... 49
4.4. Zusammenfassung Kapitel 4 – Beantwortung Forschungsfrage 2 ............................... 51
5. Evaluierung CAT-Modul ..................................................................................................... 52
5.1. Funktionale Anforderungen ......................................................................................... 52
5.1.1. Erstellung von Prüfungsentitäten (1.1.1) .......................................................... 52
5.1.2. Prüfungsdurchführung...................................................................................... 52
Abbruchkriterien überprüfen (1.2.1).................................................................. 52
nächste Prüfungsfrage bestimmen (1.2.2)........................................................ 53
5.1.3. Prüfungsbeendigung ........................................................................................ 53
Ergebnis berechnen (1.3.1) .............................................................................. 53
Prüfungsentität löschen (1.3.2)......................................................................... 53
22. Juli 2021 Florian Mühlburger 4/64
5.1.4. Datenadministration ......................................................................................... 53
5.2. Nicht funktionale Anforderungen ................................................................................. 54
5.2.1. Performance Efficiency & Reliability ................................................................. 54
Simulative Evaluierung ..................................................................................... 54
5.2.2. Security ............................................................................................................ 55
5.2.3. Maintainability .................................................................................................. 56
Praktische Evaluierung .................................................................................... 56
5.3. Diskussion – Beantwortung Forschungsfrage 3 .......................................................... 56
6. Konklusion ......................................................................................................................... 58
7. Abbildungsverzeichnis ........................................................................................................ 60
8. Literaturverzeichnis ............................................................................................................ 61
22. Juli 2021 Florian Mühlburger 5/64Abstract Diese Arbeit beschäftigt sich mit der Entwicklung eines Computerized Adaptive Testing (CAT) Moduls für die Mathematik Lernplattform GeoGebra. CAT stellt eine moderne Lösung für digitale Prüfungen dar, die es ermöglicht Prüfungen automatisch zu erstellen und an die Kompetenz des Prüflings anzupassen. Dadurch bietet CAT Lernenden eine technische Basis für die Selbstevaluierung ihrer Kompetenzen sowie eine Alternative zu klassischen Prüfungsformaten. Allerdings gibt es bisher nur wenige technische Implementierungen von CAT-Plattformen, weshalb im Rahmen dieser Masterarbeit ein CAT-Modul für die Lernplattform GeoGebra konzipiert, entwickelt und evaluiert wurde. Dazu wurden zuerst die Anforderungen an das CAT- Modul festgelegt, wobei besonderer Fokus auf die GeoGebra-spezifischen nicht funktionalen Anforderungen gelegt wurde. Auf Basis dieser Anforderungen wurde eine Literaturreche zu geeigneten Architekturmustern durchgeführt und eine Architektur, auf Basis von 3 Architekturmustern entwickelt. Bei der Implementierung der Architektur wurde besonderes Augenmerk auf den Aufbau der CAT-Modul Datenbank, dem Kommunikationsmodell des REST- Interfaces sowie der Programmlogik gelegt. Die in Java implementierte Programmlogik des Moduls ermöglicht dabei, durch den Aufbau als Microkernel, eine einfache Wartung und Erweiterung des Moduls und implementiert die statistischen Kernfunktionalitäten einer adaptiven Prüfung mittels der Einbindung der R-Library „catR“. Genau diese Integration von R in Java stellte sich bei der Evaluierung des CAT-Moduls als wesentliche Problemstellung heraus, da die Berechnung der nächsten Prüfungsfrage hohe Antwortzeiten bedingt. 22. Juli 2021 Florian Mühlburger 6/64
1. Einleitung
Digitale Lehrformate sind schon seit einiger Zeit ein fester Bestandteil moderner Bildung, das zeigt
sich unter anderem durch die vielen Softwarelösungen die hierfür angeboten werden und
zahlreiche Forschungsarbeiten auf diesem Gebiet (Rodrigues et al., 2019). Ein aktuelles
Forschungsgebiet ist dabei die Umsetzung von digitalen Prüfungen (Alseelawi et al., 2020; Oppl
et al., 2017; Sahin et al., 2018; Seo & Choi, 2020; Triantafillou et al., 2008; Yuan et al., 2020).
Werden digitale Prüfungen in bisherigen Softwarelösungen vorgesehen so sind dies meistens
Prüfungen in einem klassischen Format, bei welchem der Lehrende eine Sequenz von
Prüfungsfragen definiert, und die Prüflinge diese Sequenz abarbeiten (Triantafillou et al., 2008).
Diese Art von Test ermöglicht das gleichzeitige Prüfen einer großen Anzahl von Personen, hat
jedoch den wesentlichen Nachteil gegenüber mündlichen Prüfungen, dass der Lehrende nicht
dazu in der Lage ist die nächste Frage auf Basis der vorhergehenden Antworten des Prüflings
auszuwählen. Somit können die Fragen nicht an die Kompetenz eines Prüflings angepasst werden
und das Prüfungsergebnis hat weniger Aussagekraft (Guzman & Conejo, 2005; Weiss, 2011).
Computerized Adaptive Testing (CAT) verknüpft die Stärken beider Prüfungsformate und
ermöglicht einerseits das simultane Prüfen einer Vielzahl von Personen und andererseits das
automatische Anpassen des Fragenniveaus an die Kompetenz des Prüflings. Diese Anpassung
wird durch statistische Berechnungen und objektive Fragenschwierigkeiten ermöglicht.
Ein prominentes Beispiel für eine Online-Lernplattform im Bereich der Mathematik ist GeoGebra,
welche Lehrenden und Lernenden eine Vielzahl von Unterlagen zur Verfügung stellt. Auf der
Lernplattform gibt es bereits Ansätze für digitale Prüfungen, welche aber zurzeit nur klassische
Prüfungen anbieten. Adaptive Prüfungen würden hier eine gute Ergänzung darstellen und den
Lehrenden und Lernenden Mehrwert in unterschiedlichen Anwendungssettings bringen.
Einerseits stellt CAT wie bereits zuvor erwähnt eine gute Alternative für klassische Prüfungen im
Klassenzimmer dar, anderseits können Lernende mittels CAT ihr Kompetenzniveau zu Hause
beliebig oft bestimmen, und sind nicht auf vordefinierte klassische Prüfungen angewiesen. Der
Fokus dieser Masterarbeit liegt daher auf der Entwicklung einer in GeoGebra integrierten
Testengine welche mittels CAT adaptive Prüfungen abhalten kann. Um Benutzern den Einstieg in
die neue Prüfungsumgebung zu erleichtern und um die Plattform flexibler zu gestalten, soll die
Testengine auch dazu in der Lage sein andere Arten von Prüfungen (etwa klassische Tests)
abhalten zu können. Als weltweit genutzte Lernplattform hat GeoGebra spezifische nicht
funktionale Anforderungen, welche berücksichtigt werden müssen. Im Rahmen der Entwicklung
müssen daher folgende Fragen beantwortet werden:
1. Wie kann eine Architektur für ein in GeoGebra integriertes CAT-Modul konzipiert werden,
um GeoGebra-spezifische nicht funktionale Anforderungen zu erfüllen?
2. Wie kann die in Forschungsfrage 1 definierte Architektur implementiert werden?
3. Inwieweit erfüllt das in Forschungsfrage 2 implementierte CAT-Modul die zuvor
definierten Anforderungen?
Die erste Forschungsfrage wird in Kapitel 3 bearbeitet und beschäftigt sich mit der Konzeption der
Architektur, besonderes Augenmerk wird dabei auf die funktionalen und nicht funktionalen
Anforderungen and das CAT-Modul gelegt. Um ein angemessenes Architekturkonzept erstellen
zu können, werden daher die Anforderungen an das CAT-Modul definiert. Dazu wird zuerst das
Anwendungs-Szenario des CAT-Moduls beschrieben, um anschließend funktionale
Anforderungen daraus abzuleiten. Darüber hinaus werden allgemeine nicht funktionale
Anforderungen (lt. ISO 25010) beschrieben und auf deren Basis in einen Interview mit GeoGebra
22. Juli 2021 Florian Mühlburger 7/64die spezifischen nicht funktionalen Anforderungen erhoben und anschließend strukturiert aufbereitet. Im dritten Unterkapitel wird Related Work zu bestehenden CAT-Softwaresystemen aufbereitet und anhand der zuvor definierten Anforderungen näher betrachtet. Im vierten Unterkapitel wird die globale Architektur in der das CAT-Modul eingebettet erläutert und ein Konzept für die Kommunikation mit GeoGebra entwickelt, dazu werden zuerst Technologievorgaben von GeoGebra erhoben und auf deren Basis ein Kommunikationsmodell ausgearbeitet. Auf Basis der definierten Anforderungen und des Kommunikationsmodells mit GeoGebra wird anschließend im fünften Unterkapitel die Architektur konzipiert. Das Unterkapitel startet mit einer Literaturrecherche zu Architekturmustern. Auf Basis der daraus gewonnenen Erkenntnisse wird anschließend ein Architekturkonzept entworfen, Designentscheidungen begründet und eine UML-Repräsentation der Architektur erstellt. Das darauffolgende Kapitel beschäftigt sich mit der Implementierung der in Kapitel 3.5. beschriebenen Architektur, die Kapitelstruktur orientiert sich dabei an einer 3 Schichtenarchitektur. Das erste Unterkapitel beschreibt kurz die Datenhaltung des CAT Moduls, hierbei liegt der Fokus auf der Entscheidung welche Daten bei GeoGebra und welche im CAT Modul abgespeichert werden. Im zweiten Unterkapitel wird die Spring Boot-Implementierung des für die Präsentationsschicht zur Verfügung gestellten REST Interfaces beschrieben und anhand einer adaptiven Prüfung detailliert beschrieben. Das dritte Unterkapitel beschreibt die Implementierung der Logik des CAT Moduls welche mittels Java umgesetzt wurde, auch hier wird wieder im Detail auf Designentscheidungen, Problemstellungen und für die Verfolgung der Zielsetzung der Arbeit besonders relevante Programmausschnitte eingegangen. Das nächste Kapitel beschäftigt sich mit der Evaluierung des in Kapitel 4. umgesetzten CAT- Moduls hinsichtlich der funktionalen und nicht funktionalen Anforderungen an das System. Dabei werden die in Kapitel 3.2. definierten Anforderungen herangezogen, die funktionalen Anforderungen werden dabei systematisch auf ihre (Nicht-) Erfüllung untersucht und auf relevante Code-Abschnitte eingegangen. Die nicht funktionalen Anforderungen werden einerseits mittels einer praktischen Evaluierung (durch das Hinzufügen eines neuen Prüfungstyps), sowie durch eine simulative Evaluierung (durch die Simulation mehrerer gleichzeitiger Prüfungen) überprüft und deren (Nicht-) Erfüllung begründet. Anschließend werden die Ergebnisse präsentiert, Problemstellungen erläutert und mögliche Lösungen vorgeschlagen. 22. Juli 2021 Florian Mühlburger 8/64
2. Background – CAT Computerized Adaptive Testing beschreibt ein Prüfungsformat, bei welchem sich die Prüfungsfragen an das Kompetenzniveau des Prüflings anpassen (Meijer & Nering, 1999). Diese Anpassung wird umgesetzt indem die nächste Prüfungsfrage, auf Basis der bereits beantworteten Prüfungsfragen, aus dem Item Pool ausgewählt wird (Guzman & Conejo, 2005). Genauer gesagt wird nach jeder beantworteten Frage das aktuelle Kompetenzniveau des Prüflings, mittels der Next Item Selection Method, geschätzt, und auf Basis des geschätzten Kompetenzniveaus die nächste Prüfungsfrage aus dem Item Pool ausgewählt. Mit jeder beantworteten Frage wird die statistische Schätzung genauer, daher wird dieser Prozess des Kompetenz-Schätzens und der Fragenauswahl so lange wiederholt bis eine gewisse Schätzgenauigkeit erreicht wurde und die Prüfung beendet wird (Triantafillou et al., 2008). Die Schätzgenauigkeit stellt dabei eines der definierten Abbruchkriterien da, alternativ kann die Prüfung auch nach dem Erreichen einer gewissen Fragenanzahl beendet werden. Dieses Prüfungsformat bringt im Vergleich zu klassischen Prüfungen einige Vorteile mit sich, so werden weniger Prüfungsfragen benötigt um ein statistisch aussagekräftiges Kompetenzniveau des Prüflings zu berechnen (Guzman & Conejo, 2005; Triantafillou et al., 2008), das Prüfungsergebnis (Kompetenzniveau) ist genauer (Guzman & Conejo, 2005; Weiss, 2011) und das Prüfungsergebnis steht sofort zur Verfügung (Triantafillou et al., 2008), ein weiterer wesentlicher Vorteil ist die Anpassung der Prüfung an die Kompetenz des Prüflings (Guzman & Conejo, 2005). Natürlich hat CAT auch gewisse Nachteile wie die hohen Kosten in der Entwicklung solcher Systeme und der Kalibrierung der Prüfungsfragen sowie dem kontinuierlichen Management der Prüfungsfragen welches durch die hohen Auswirkungen falsch kalibrierter Fragen notwendig wird (Meijer & Nering, 1999; Triantafillou et al., 2008). Die Fragenkalibrierung beinhaltet die durch das Response Model gewählten Parameter. In den folgenden Abschnitten werden einerseits die wichtigsten Begrifflichkeiten von CAT, sowie der CAT-Prozess beschrieben. 2.1. CAT - Begriffe Dieses Unterkapitel beschäftigt sich mit der Beschreibung der wichtigsten Begriffe im Computerized Adaptive Testing. Um den Lesern einen Überblick über CAT zu geben, werden die Begriffe einzeln beschrieben und auf deren mögliche Ausprägungen eingegangen. Response Model Das Response Model bildet das Herzstück eines CAT-Systems, da es für die Berechnung des Kompetenzniveaus sowie die Auswahl der nächsten Frage verantwortlich ist. Im Regelfall wird bei modernen CAT-Systemen die Item Response Theory (IRT) als Response Model verwendet (Guzman & Conejo, 2005). Dabei baut IRT auf der Annahme auf, dass die Leistung eines Prüflings durch eine Menge von unbekannten Faktoren erklärt werden kann und diese Faktoren messbar sind. Einer dieser unbekannten Faktoren ist dabei das Kompetenzniveau des Prüflings (ibid.). Ziel ist es dieses Kompetenzniveau zu schätzen und somit eine Verbindung zwischen Items und dem Kompetenzniveau eines Prüflings herzustellen. IRT bietet dafür einige Item Auswahl Algorithmen und Bewertungsverfahren (Jun Chen & Lei Wang, 2010). Dabei stellen drei logistische Modelle die am weitesten verbreiteten Ansätze da (Oppl et al., 2017): 22. Juli 2021 Florian Mühlburger 9/64
3-Parameter Modell
Bei diesem Modell werden zu jeder Prüfungsfrage drei Faktoren abgespeichert: der
Diskriminierungsfaktor, der Schwierigkeitsfaktor und der Ratefaktor.
Der Diskriminierungsfaktor gibt an wieviel Informationen eine Frage zur Schätzung des
Kompetenzniveaus beiträgt (Guzman & Conejo, 2005).
Der Schwierigkeitsfaktor (Fragenschwierigkeit) entspricht dem Kompetenzniveau bei dem
ein Prüfling eine Frage mit gleicher Wahrscheinlichkeit Richtig oder Falsch beantworten
würde (Guzman & Conejo, 2005).
Der Ratefaktor gibt die Wahrscheinlichkeit an mit welcher ein Prüfling das richtige Ergebnis
erraten kann (Guzman & Conejo, 2005).
2-Parameter Modell
Bei diesem Modell wird das Kompetenzniveau des Prüflings nur mittels dem zuvor
beschriebenen Diskriminierungsfaktor und Schwierigkeitsfaktor geschätzt. Der Ratefaktor
wird außer Acht gelassen was bedeutet, dass nicht berücksichtigt wird, ob ein Prüfling die
Antwort auf die Prüfungsfrage erraten hat. Das nicht Beachten des Ratefaktors hat vor
allem bei Prüfungsfragen mit offenen Fragestellungen wenig Einfluss.
1-Parameter Modell
Dieses Modell ist das am weitesten verbreite IRT Modell (Oppl et al., 2017) und verwendet
für die Schätzung des Kompetenzniveaus nur den zuvor beschriebenen
Schwierigkeitsfaktor. Der Ratefaktor wird wie beim 2-Parameter Modell außer Acht
gelassen, und auch der Diskriminierungsfaktor wird nicht beachtet. Durch das nicht
Berücksichtigen des Diskriminierungsfaktors kann die nächste Prüfungsfrage nicht anhand
des höchsten Informationsgewinns ausgewählt werden.
Item Pool
Der Item Pool ist eine wesentliche Komponente eines CAT-Systems da er die Sammlung aller
möglichen Prüfungsfragen repräsentiert. Um die Funktionalität eines CAT-Systems zu
gewährleisten, muss ein Item Pool gewisse Qualitätskriterien erfüllen: Einerseits muss der Item
Pool über ausreichend Items verfügen um während der Prüfung durchgehend informative Items
ausliefern zu können, andererseits müssen die Items im Pool mittels der gewählten IRT-
Parameter kalibriert sein (Triantafillou et al., 2008). Im Idealfall beinhaltet der Item Pool eine
Vielzahl von Fragen deren Schwierigkeit gleichmäßig verteilt ist (ibid.). Wie bereits zuvor erwähnt,
stellen die Erstellung, Kalibrierung und Wartung des Item Pools wesentliche Herausforderungen
eines CAT-Systems da (Meijer & Nering, 1999; Triantafillou et al., 2008).
Input Proficiency Level
Das Input Proficiency Level beschreibt das geschätzte Kompetenzniveau eines Prüflings zu
Beginn der Prüfung. Im Idealfall wird dieses Input Proficiency Level tatsächlich individuell für jeden
Prüfling gesetzt und so von Beginn an die Fragenschwierigkeit an den Prüfling angepasst. Das
führt auch zu Prüfungen mit weniger Fragen, da schneller eine ausreichende Ergebnisgenauigkeit
berechnet werden kann (Weiss & Kingsbury, 1984). Ansonsten wird im Regelfall zufällig eine
mittlere Schwierigkeit gewählt (Veldkamp & Matteucci, 2013).
22. Juli 2021 Florian Mühlburger 10/64Next Item Selection Method Die Next Item Selection Method ist dafür verantwortlich nach jedem beantworteten Item das nächste Item auszuwählen und stellt somit die Implementierung des Response Models da. Wie bereits beschrieben wird zuerst das aktuelle Kompetenzniveau des Prüflings berechnet, um anschließend auf dessen Basis das nächste Item auszuwählen. Unabhängig davon welches IRT- Modell gewählt wurde können mehrere Ansätze zur Berechnung des nächsten Items verwendet werden. Die zwei meistverwendeten Ansätze in der Item Response Theory sind dabei die Auswahl anhand der maximalen Information und mittels Bayes Item Auswahl (Meijer & Nering, 1999; Weiss & Kingsbury, 1984). Wird ein Item anhand der maximalen Information ausgewählt so wird das Item gewählt, das einerseits die meiste Information für das geschätzte Kompetenzniveau liefert und andererseits die Genauigkeit des Prüfungsergebnisses maximiert (ibid.). Wird das nächste Item mittels Bayes ausgewählt so wird das Item mit der geringsten posteriori Varianz zum aktuellen Kompetenzniveau ausgewählt (ibid.). Abbruchkriterien Die Abbruchkriterien definieren wann eine adaptive Prüfung beendet wird, und haben im Regelfall zwei Ausprägungen: Einerseits können Prüfungen nach einer gewissen Anzahl von beantworteten Fragen beendet werden, anderseits wenn eine gewisse Schätzgenauigkeit (MeasurementAccuracy) für das Ergebnis erreicht wurde (Triantafillou et al., 2008). Natürlich ist auch ein Kombination der beiden Kriterien möglich, wobei die Prüfung beendet wird, sobald das erste der beiden Kriterien eintrifft. Im Fall des CAT-Moduls wird eine Kombination der Kriterien verwendet. 2.2. CAT - Prozess In diesem Unterkapitel wird der CAT-Prozess im Detail beschrieben, und in Abbildung 1: CAT- Prozess dargestellt. Noch vor Start der Prüfung wird das Start-Kompetenzniveau (Input Proficiency Level) festgelegt. Dieses Kompetenzniveau orientiert sich im Idealfall an der tatsächlichen Kompetenz eines Prüflings, ist das aber nicht möglich wird im Regelfall ein mittleres Kompetenzniveau gewählt. Auf Basis dieses Kompetenzniveaus wird im nächsten Schritt die erste Prüfungsfrage berechnet und an den Prüfling ausgeliefert. Diese erste Prüfungsfrage wird aus dem Itempool gezogen und entspricht in etwa dem zuvor definierten Kompetenzniveau. Die Berechnung des neuen Kompetenzniveaus erfolgt nach der Beantwortung der Prüfungsfrage wobei das Kompetenzniveau steigt, wenn die Frage richtig beantwortet wurde und sinkt, wenn die Frage falsch beantwortet wurde. Anschließend werden die Abbruchkriterien der adaptiven Prüfung überprüft, sollte die gewünschte Schätzgenauigkeit bzw. die maximale Anzahl an Prüfungsfragen noch nicht erreicht sein, wird die Prüfung fortgeführt, und die nächste Prüfungsfrage anhand der aktuellen Kompetenz des Prüflings ausgewählt. Bei gestiegenen Kompetenzniveau wird dem Prüfling eine schwierigere Frage ausgespielt, während sich die Fragen bei gesunkenen Kompetenzniveau vereinfachen. Dieser Prozess des Kompetenzschätzens und Fragenbeantwortens wird so lange wiederholt bis eines der Abbruchkriterien der Prüfung erreicht wird. Bei Eintritt eines Abbruchkriteriums wird die Prüfung beendet und das Prüfungsergebnis dargestellt. Wichtig ist dabei zu erwähnen, dass das Prüfungsergebnis nicht von der Anzahl der richtig beantworteten Fragen abhängt, sondern von allen beantworteten Fragen und deren Schwierigkeit. So ist es möglich, dass Prüflinge die gleiche Anzahl an Fragen richtig bzw. falsch 22. Juli 2021 Florian Mühlburger 11/64
beantworten und dennoch unterschiedlich hohe Kompetenzniveaus haben, wenn ein Prüfling
schwierigere Fragen richtig beantworten musste.
Abbildung 1: CAT-Prozess
2.3. Zusammenfassung Kapitel 2
Dieses Kapitel diente der Vermittlung des nötigen Hintergrundwissens für CAT. Dazu wurde das
adaptive Prüfungsformat zuerst grundlegend erklärt und die Bedeutung der Anpassung der
Prüfungsfragen an das Kompetenzniveau des Prüflings erläutert. Diese Anpassung an das
Kompetenzniveau führt einerseits zu Vorteilen wie genaueren Prüfungsergebnissen bei weniger
Prüfungsfragen und andererseits zu neuen Problemstellungen wie den hohen Entwicklungskosten
22. Juli 2021 Florian Mühlburger 12/64solcher Prüfungssysteme. Darauffolgend wurden die Begrifflichkeiten: „Response Model“, „Item Pool“, „Next Item Selection Method“ und „Abbruchkriterien“ erläutert. Anschließend wurde beschrieben wie im CAT-Prozess in jeder Iteration eine passende Prüfungsfrage ausgewählt und an den Prüfling ausgeliefert wird, um dann das Kompetenzniveau, auf Basis der Antwort des Prüflings, statistisch neu zu berechnen, damit dieses wieder als Grundlage für die Auswahl der nächsten Prüfungsfrage verwendet werden kann. Darüber hinaus wurde darauf eingegangen, wie am Ende einer jeden Iteration Abbruchkriterien überprüft werden um festzustellen, ob die Prüfung bereits als beendet gilt. 22. Juli 2021 Florian Mühlburger 13/64
3. Architektur CAT-Modul
Dieses Kapitel befasst sich mit der Beantwortung der ersten Forschungsfrage, bei welcher es sich
um die Konzeptionierung einer Architektur für das CAT-Modul handelt. Dazu wird im ersten
Unterkapitel das Anwendungsszenario des CAT-Moduls beschrieben. Um eine ausreichende
Qualität der Architektur zu gewährleisten, werden anschließend die genauen funktionalen
Anforderungen an das CAT-Modul beschrieben und andererseits generelle nicht funktionale
Anforderungen an Softwaresysteme erläutert. Auf Basis eines Interviews mit GeoGebra werden
davon die relevantesten nicht funktionalen Anforderungen ausgewählt, damit darauf besonderes
Augenmerk bei Erstellung der Architektur gelegt werden kann. Basierend auf dem Szenario und
den Anforderungen werden im nächsten Unterkapitel CAT-Plattformen, CAT-Bibliotheken und der
bestehende CAT-Prototyp analysiert. Anschließend wird kurz die Architektur beschrieben, in
welche das CAT-Modul eingebettet wird und das Kommunikationsmodell des CAT-Moduls
vorgestellt. Auf Basis der Anforderungen und des Kommunikationsmodells wird dann im fünften
Unterkapitel eine Literaturrecherche zu Architekturmustern, welche die ausgewählten nicht
funktionalen Anforderungen unterstützen, durchgeführt und eine Architektur für das neue CAT-
Modul entwickelt und präsentiert.
3.1. Szenario
Voraussetzung für das CAT-Modul ist einerseits eine ausreichende Anzahl an Prüfungsfragen
inklusive deren Schwierigkeit, sowie das Vorhandensein eines User Interfaces zur Darstellung,
Beantwortung und Überprüfung der Korrektheit der Fragen außerhalb des CAT-Moduls. Das
Zusammenspiel des CAT-Moduls mit der GeoGebra-Lernplattform und den Usern ist in Abbildung
2 dargestellt und wird in diesem Kapitel genauer beschrieben.
Aus dem Use-Case leitet sich folgende (grobe) Aufgabenaufteilung ab:
User (Lehrende und Lernende)
o Konfigurierung und Durchführung von Prüfungen
GeoGebra (Lernplattform)
o Speicherung und Überprüfung der Prüfungsfragen
o Schnittstelle zwischen User und CAT-Modul
CAT-Modul
o Speicherung von Zusatzinformationen zu Fragen
o Prüfungslogik
22. Juli 2021 Florian Mühlburger 14/64Abbildung 2: Use-Case CAT-Modul
GeoGebra ist eine Online-Lernplattformen für Mathematik, und bietet eine Vielzahl von
Lernmaterialien sowie Lernunterstützung für über 30 Millionen Lehrende und Lernende aus 190
Ländern (Bichler, 2017). Das im Rahmen dieser Masterarbeit entwickelte CAT-Modul dient der
Erweiterung der Produktpalette von GeoGebra und soll einerseits als Alternative für klassische
Prüfungen innerhalb des Klassenzimmers dienen und andererseits den Lernenden die
Selbstevaluierung des aktuellen Kompetenzniveaus ermöglichen.
Um eine Prüfung zu erstellen, wählt der User im GeoGebra-Frontend die gewünschte
Prüfungskonfiguration aus, welche anschließend von GeoGebra an das Modul übermittelt wird.
Die Konfigurationsparameter für Adaptive Prüfungen beinhalten:
Prüfungsthema
Kompetenzniveau des Lernenden
Maximale Anzahl an Fragen
Minimale Genauigkeit des Prüfungsergebnisses
Implementierung des Response Models
22. Juli 2021 Florian Mühlburger 15/64Bei der Durchführung der Prüfung sendet der User seine Antwort an das GeoGebra-Frontend, dieses bewertet die Korrektheit der Frage und leitet das Ergebnis an das CAT-Modul weiter. In Folge prüft das CAT-Modul, ob die Prüfung als abgeschlossen gilt und sendet dementsprechend die nächste Prüfungsfrage oder die Information das die Prüfung abgeschlossen wurde. Die Auswahl der nächsten Prüfungsfrage hängt dabei von der Korrektheit und Schwierigkeit der vorhergehenden Fragen ab und wird statistisch berechnet. Ein weiterer wesentlicher Punkt ist, dass die bisherige GeoGebra-Lernplattform nicht alle Daten, welche zur Erstellung von adaptiven Prüfungen notwendig sind, abspeichert. Dazu zählen, die Fragenschwierigkeit, das Thema der Frage und weitere Konfigurationsparameter für adaptive Prüfungen. Die Architektur muss daher auch eine Trennung der Daten zwischen GeoGebra und CAT-Modul definieren wobei beachtet werden muss, dass die Daten wieder miteinander in Verbindung gesetzt werden können, darüber hinaus muss es die Datenadministration innerhalb des CAT-Moduls ermöglichen. 3.2. Anforderungen Aus dem zuvor beschriebenen Szenario und Problemstellungen ergeben sich nun einige Anforderungen an das System. Die funktionalen Anforderungen werden dabei direkt aus dem Szenario und der Problemstellung abgeleitet. Zur Ermittlung der nicht funktionalen Anforderungen, werden zuerst die Kriterien des ISO Standards 25010 für Softwarequalität aufgelistet, und anschließend aufgrund des Szenarios, sowie eines Interviews mit GeoGebra, die für das CAT- Modul relevantesten Qualitätskriterien, als nicht funktionale Anforderungen definiert. 3.2.1. Funktionale Anforderungen Das zuvor beschriebene Szenario zeigt zwei funktionale Aufgabenbereiche des CAT-Moduls, einerseits die Prüfungslogik und andererseits die Speicherung von Zusatzinformationen zu Fragen. Die aus dem Szenario resultierenden funktionalen Anforderungen werden im Folgenden zwei darauf basierenden Aufgabenbereichen zugeordnet, wobei zuerst die Inhalte der Aufgabenbereiche genauer bestimmt werden. Der Bereich der Prüfungslogik beinhaltet sämtliche funktionale Anforderungen für das Erstellen, Durchführen und Beenden von Prüfungen. Eine genauere Betrachtung der in Abbildung 2 angeführten „Speicherung von Zusatzinfos“ zu Fragen zeigt, dass sich dahinter mehrere Anforderungen verbergen, da diese Zusatzinfos auch administriert und mit der GeoGebra-Datenbank verknüpft werden müssen. Somit beinhaltet der zweite Aufgabenbereich Datenadministration sämtliche funktionale Anforderungen für das Erstellen, Lesen, Verändern und Löschen der in der CAT-Datenbank gespeicherten Zusatzinformationen zu Fragen der GeoGebra-Datenbank. Da es sich beim CAT-Modul um eine von der Lernplattform getrenntes Prüfungs-Backend handelt, muss diese alle Funktionalitäten mittels einer Schnittstelle zur Verfügung stellen. Konkret müssen die Funktionalitäten mittels eines Softwareinterfaces bereitgestellt werden, damit diese von GeoGebra Services aufgerufen werden können. Im Folgenden kann also davon ausgegangen werden, dass die vorgestellten Funktionalitäten mittels eines Softwareinterfaces zur Verfügung gestellt werden. Ausgenommen davon ist nur die Überprüfung der Abbruchkriterien, da es sich dabei um eine interne Funktionalität handelt. Prüfungslogik Dieser Bereich beinhaltet alle funktionalen Anforderungen an das CAT-Modul für das Erstellen, Durchführen und Beenden von Prüfungen. Konkret handelt es sich dabei um die Erstellung von Prüfungsentitäten auf Basis gewisser Konfigurationsparameter, die Prüfungsdurchführung 22. Juli 2021 Florian Mühlburger 16/64
inklusive der Bestimmung der nächsten Prüfungsfrage und der Überprüfung der Abbruchkriterien,
sowie um die Berechnung des Prüfungsergebnisses.
Prüfungserstellung
Das CAT-Modul dient der Prüfungserstellung und Administration. Daher muss es auch eine
Möglichkeit bieten, um Prüfungsentitäten zu erstellen. Da das CAT-Modul mit unterschiedlichen
Prüfungstypen umgehen kann, müssen bei der Erstellung einer Prüfung, die für den jeweiligen
Prüfungstyp relevanten Konfigurationsparameter übermittelt werden. Daraus ergibt sich folgende
konkrete Anforderung:
1.1.1 - Prüfungsentität erstellen
Funktionalität: Das CAT-Modul erstellt auf Basis einer Prüfungskonfiguration eine
Prüfungsentität und stellt diese GeoGebra zur Verfügung.
Input: Prüfungskonfiguration je nach Prüfungstyp
Konfigurationsparameter für adaptive Prüfungen:
Prüfungsthema
Kompetenzniveau des Lernenden
Maximale Anzahl an Fragen
Minimale Genauigkeit des Prüfungsergebnisses
Implementierung des Response Models
Output: Konfiguration der Prüfung, Prüfungs-ID
Fehlerbehandlung: Fehlermeldung: Prüfungskonfiguration nicht gültig
Prüfungsdurchführung
Um Prüfungen durchführen zu können, muss das CAT-Modul die Logik zur Prüfungsdurchführung
beinhalten. Diese Logik ist je nach Prüfungstyp unterschiedlich, beinhaltet aber immer zwei
Komponenten. Erstens die Überprüfung der Abbruchkriterien, bei welcher das CAT-Modul vor der
Auslieferung jeder Frage überprüfen muss, ob eines der definierten Abbruchkriterien
(beispielsweise maximale Anzahl der Fragen, Schätzgenauigkeit) erreicht wurde. Zweitens die
Auswahl der nächsten Prüfungsfrage, bei welcher das CAT-Modul die nächste Prüfungsfrage auf
Basis der gewählten Prüfungskonfiguration auswählen und übermitteln muss. Daraus ergeben
sich folgende konkrete Anforderungen:
22. Juli 2021 Florian Mühlburger 17/641.2.1 - Abbruchkriterien überprüfen
Funktionalität: Das CAT-Modul überprüft vor der Auslieferung der nächsten
Prüfungsfrage, ob eines der Abbruchkriterien bereits eingetreten ist.
Input: Abbruchkriterien je nach Prüfungstyp
Abbruchkriterien für adaptive Prüfungen:
Maximale Anzahl an Fragen
Minimale Genauigkeit des Prüfungsergebnisses
Output: Prüfung beendet oder Prüfung nicht beendet
Fehlerbehandlung: -
1.2.2 - nächste Prüfungsfrage bestimmen
Funktionalität: Das CAT-Modul wählt auf Basis der Prüfungskonfiguration sowie des
Prüfungsstatus die nächste Prüfungsfrage aus und übermittelt diese an
GeoGebra.
Input: Prüfungskonfiguration, aktuelle Antwort, Prüfungs-ID.
Output: Nächste Prüfungsfrage, Prüfungs-ID
Fehlerbehandlung: Fehlermeldung: Prüfung nicht vorhanden
Prüfungsbeendigung
Um die Prüfungsergebnisse zu übermitteln und Ressourcen für neue Prüfungen freizumachen,
muss das CAT-Modul alle Funktionalitäten für die Beendigung einer Prüfung bieten. Je nach
Prüfungstyp kann sich die Logik bei der Implementierung dabei unterscheiden, prinzipiell gibt es
aber immer zwei funktionale Anforderungen. Erstens die Berechnung und Übermittlung des
Prüfungsergebnisses auf Basis der ausgespielten Prüfungsfragen und deren Antworten und
zweitens das Löschen der Prüfungsentität zur Freigabe von Systemressourcen.
22. Juli 2021 Florian Mühlburger 18/641.3.1 - Ergebnis berechnen
Funktionalität: Das CAT-Modul berechnet auf Basis der gestellten Prüfungsfragen, der
Antworten des Prüflings und der Prüfungskonfiguration das Endergebnis
der Prüfung und übermittelt dieses an GeoGebra.
Input: Prüfungskonfiguration, Prüfungsfragen, Antworten, Prüfungs-ID
Output: Prüfungsergebnis je nach Prüfungstyp, Prüfungs-ID
Prüfungsergebnis für adaptive Prüfungen:
Kompetenzniveau
Schätzgenauigkeit
Prüfungskonfiguration
Prüfungsfragen
Antworten
Fehlerbehandlung: Fehlermeldung: Prüfung nicht vorhanden
1.3.2 - Prüfungsentität löschen
Funktionalität: Das CAT-Modul löscht eine Prüfungsentität und gibt die beanspruchten
Systemressourcen frei.
Input: Prüfungs-ID
Output: Löschbestätigung, Prüfungs-ID
Fehlerbehandlung: Fehlermeldung: Prüfung nicht vorhanden
Datenadministration (Zusatzinfos zu Fragen speichern)
Dieser Bereich beinhaltet alle funktionalen Anforderungen für die Verwaltung der
Zusatzinformationen von Prüfungsfragen. Bei diesen Zusatzinformationen handelt es sich konkret
um Informationen zur Schwierigkeit einer Frage, ihrer Themenzugehörigkeit und anderen
relevanten Konfigurationsparametern welche, in Verknüpfung mit den Daten derselben Frage aus
der GeoGebra-Datenbank, die Umsetzung von adaptiven Prüfungen ermöglichen. Die
funktionalen Anforderungen beinhalten daher das Erstellen, Lesen, Verändern und Löschen aller
in der CAT-Datenbank gespeicherten Zusatzinformationen zu den Prüfungsfragen der GeoGebra-
Datenbank. Besonders wichtig ist es dabei zu beachten, dass weder die Zusatzinformationen
gespeichert in der CAT-Datenbank noch die Grundinformationen gespeichert in GeoGebra-
Datenbank allein ausreichen, um adaptive Prüfungen zu erstellen. Die Erstellung von adaptiven
Prüfungen ist nur durch eine Kombination beider Datenbanken möglich, weshalb die Datensätze
der CAT-Datenbank, den entsprechenden Datensätzen der GeoGebra-Datenbank eindeutig
zugeordnet sein müssen. Diese Verknüpfung der beiden Datenbanken wird in den folgenden
Anforderungen mittels des Parameters Fragen-ID dargestellt, welcher das Mapping der
Datensätze zwischen der CAT- und der GeoGebra-Datenbank ermöglicht.
22. Juli 2021 Florian Mühlburger 19/642.1. - Datensatz erstellen
Funktionalität: Das CAT-Modul bietet eine Softwareschnittstelle, über welche GeoGebra
Datensätze in der CAT-Datenbank erstellen kann.
Input: Fragen-ID, Zusatzinformationen
Output: Speicherbestätigung
Fehlerbehandlung: Datensatz bereits vorhanden
2.2 - Datensatz lesen
Funktionalität: Das CAT-Modul bietet eine Softwareschnittstelle, über welche GeoGebra
Datensätze aus der CAT-Datenbank auslesen kann.
Input: Fragen-ID, gewünschte Zusatzinformationen
Output: Datensatz
Fehlerbehandlung: Datensatz nicht vorhanden
2.3 - Datensatz verändern
Funktionalität: Das CAT-Modul bietet eine Softwareschnittstelle, über welche GeoGebra
Datensätze in der CAT-Datenbank verändern kann.
Input: Fragen-ID, Zusatzinformationen
Output: Speicherbestätigung
Fehlerbehandlung: Datensatz nicht vorhanden
2.4 - Datensatz löschen
Funktionalität: Das CAT-Modul bietet eine Softwareschnittstelle über welche GeoGebra
Datensätze in der CAT-Datenbank löschen kann.
Input: Fragen-ID, Zusatzinformationen
Output: Löschbestätigung
Fehlerbehandlung: Datensatz nicht vorhanden
3.2.2. Generelle nicht funktionale Anforderungen
Dieses Unterkapitel beschreibt allgemeine nicht funktionale Anforderungen an Softwaresysteme.
Um dabei die Vollständigkeit und Relevanz der genannten nicht funktionalen Anforderungen zu
garantieren, wurden die nicht funktionalen Anforderungen aus dem ISO 25010 Standard gewählt.
Der ISO 25010 Standard beschreibt 8 Softwarequalitätskriterien. Im Folgenden werden die
Kriterien laut ISO 25010 näher beschrieben (ISO/IEC, 2010). Eines der Kriterien „Functional
Suitability“ beschreibt dabei den Erfüllungsgrad der funktionalen Anforderungen und wird daher in
diesem Unterkapitel nicht näher behandelt.
22. Juli 2021 Florian Mühlburger 20/64Performance Efficiency
Die Perfomance Efficiency beschreibt die Leistungsfähigkeit eines Systems unter
Berücksichtigung der Systemressourcen. Dazu werden die Geschwindigkeit, die
Ressourcenauslastung und die Leistungskapazität eines Systems zur Beurteilung in Betracht
gezogen.
Compatibility
Die Kompatibilität eines Systems beschreibt, in welchem Ausmaß es dazu in der Lage ist
Informationen mit anderen Systemen auszutauschen, sowie ob das System in der Lage ist seine
Funktion zu erfüllen, während es sich die zugrundeliegende Hard- und Softwareinfrastruktur teilt.
Die Fähigkeit Informationen mit anderen Systemen auszutauschen und Informationen anderer
Systeme zu verarbeiten wird Interoperabilität genannt. Die Fähigkeit sich Hard- und
Softwareressourcen mit anderen Systemen zu teilen wird im ISO Standard als Ko-Existenz
bezeichnet.
Usability
Die Usability beschreibt inwiefern ein System es Usern ermöglicht ihre Ziele effektiv, effizient und
auf befriedigende Art und Weise zu erreichen. Dabei wird die Usability in sechs Unterpunkte
gegliedert:
1. Appropriateness recognizability
Beschreibt wie gut ein User erkennen kann, ob das System seine Anforderungen erfüllen
kann.
2. Learnability
Beschreibt wie effektiv, effizient, befriedigend und mit welchem Risiko ein User den
Umgang mit einem System bzw. Teilen davon erlernen kann.
3. Operability
Beschreibt wie leicht ein System benutzt werden kann.
4. User error protection
Beschreibt inwiefern ein System einen User davor schützt Fehler zu machen.
5. User interface aesthetics
Beschreibt wie angenehm die Verwendung des Systeminterfaces für den User ist.
6. Accessibilty
Beschreibt inwiefern ein System von unterschiedlichen Usern mit unterschiedlichen
Fähigkeiten verwendet werden kann.
Reliability
Reliability beschreibt, wie verlässlich ein System seine Funktionen unter bestimmten Bedingungen
über einen bestimmten Zeitraum erfüllt, und setzt sich aus vier Unterkriterien zusammen.
1. Maturity
Die Maturity eines Systems beschreibt, wie verlässlich ein System seine Funktionen unter
normalen Bedingungen erfüllt.
22. Juli 2021 Florian Mühlburger 21/642. Availability
Die Availability beschreibt, in welchem Ausmaß ein System bei Verwendung funktionsfähig
und erreichbar ist.
3. Fault tolerance
Fault tolerance beschreibt, in welchem Ausmaß ein System trotz Hardware oder
Softwarestörungen funktionsfähig bleibt.
4. Recoverability
Recoverability beschreibt, inwiefern ein System dazu in der Lage ist, nach einer
Systemunterbrechung, verloren Daten und den gewünschten Systemzustand
wiederherzustellen.
Security
Das Sicherheitskriterium beschreibt inwiefern ein System seine Informationen und Daten vor
unautorisierten Datenzugriff schützt und autorisierten Datenzugriff ermöglicht. Dieses Kriterium
wird dabei in fünf Unterkriterien geteilt.
1. Confidentiality
Das Vertraulichkeitskriterium beschreibt, inwiefern das System nur autorisierten Zugriff auf
Daten sicherstellt.
2. Integrity
Das Integritätskriterium beschreibt inwiefern das System unautorisiertes Zugreifen und
Modifizieren von Daten oder Code verhindert.
3. Non-repudiation
Die Nicht-Abstreitbarkeit beschreibt wie sehr das System sicherstellt, dass von einer
Entität durchgeführte Aktionen oder Befehle im Nachhinein nicht von dieser Entität
abgestritten werden können.
4. Accountability
Die Verantwortlichkeit beschreibt inwiefern die Aktionen einer Entität im Nachhinein genau
auf diese Entität zurückgeführt werden können.
5. Authenticity
Die Authentizität beschreibt inwiefern es für ein Subjekt oder eine Ressource möglich ist
seine Identität zu beweisen.
Maintainability
Die Maintainability beschreibt, wie effektiv und effizient ein System modifiziert werden kann, bspw.
um es zu erweitern, verbessern oder anzupassen. Dabei gliedert sich die Maintainability in 5
Unterkriterien:
1. Modularity
Die Modularity eines Systems beschreibt inwiefern das System aus einzelnen
Komponenten mit minimalen Abhängigkeiten aufgebaut ist.
22. Juli 2021 Florian Mühlburger 22/642. Reusability
Die Wiederverwendbarkeit beschreibt, inwiefern Teile eines Systems in anderen
Systemen wiederverwendet werden können.
3. Analysability
Die Analysierbarkeit eines Systems beschreibt wie effektiv und effizient die Auswirkung
einer Änderungen eines Systemteils, auf andere Systemteile, ermittelt werden kann.
Darüber hinaus hängt die Analysierbarkeit eines Systems auch davon ab wie effektiv und
effizient die Ursachen für Systemfehler und Systemschwächen gefunden werden können.
4. Modifiability
Die Modifiability beschreibt inwiefern ein System effektiv und effizient modifiziert werden
kann ohne die Systemqualität dabei zu verschlechtern.
5. Testability
Die Testability beschreibt wie effektiv und effizient Testkriterien für ein System eingeführt
und Tests am System durchgeführt werden können.
Portability
Die Portabilität beschreibt wie einfach ein System von einer Systemumgebung in eine andere
umgesiedelt werden kann. Dabei spielen 3 Punkte eine wesentliche Rolle:
1. Adaptability
Die Adaptierbarkeit beschreibt wie effektiv und effizient ein System an unterschiedliche
Systemumgebungen (Hardware, Software, etc.) angepasst werden kann.
2. Installability
Die Installierbarkeit, beschreibt wie einfach ein System auf einer Systemumgebung
installiert bzw. deinstalliert werden kann.
3. Replaceability
Beschreibt inwiefern ein System ein anderes System, welches dieselben Funktionalitäten
bietet, ersetzen kann.
3.2.3. GeoGebra-spezifische nicht funktionale Anforderungen
Da das CAT-Modul im Rahmen dieser Masterarbeit entsteht und dadurch nur begrenzte
Ressourcen zur Verfügung stehen, wurde beschlossen, dass der Fokus bei der Entwicklung auf
die für GeoGebra besonders relevanten nicht funktionalen Anforderungen gelegt werden soll. Das
bedeutet aber nicht das die anderen Qualitätskriterien laut ISO 25010 gänzlich außer Acht
gelassen wurden, sondern lediglich das bei der Auswahl der Architekturmuster sowie bei der
Evaluierung des CAT-Moduls nur diese Anforderungen herangezogen werden. Um diese
GeoGebra-spezifischen nicht funktionalen Anforderungen zu ermitteln, wurde daher ein Interview
mit GeoGebra durchgeführt. Als Interviewpartner stellte GeoGebra ein Mitglied seines
Entwicklerteams, welches bereits von Anfang an in das Projekt involviert war, zur Verfügung. Der
Interviewpartner bringt somit nicht nur das technische Verständnis für die Qualitätskriterien und
Anforderungen mit, sondern kennt auch die Geschäftsperspektive und daraus resultierenden
Anforderungen des Projekts. Als Interview Leitfaden dienten die Softwarequalitätskriterien laut
ISO 25010, welche einzeln im Detail durchbesprochen wurden. Jedes dieser Qualitätskriterien
wurde dazu dem Interviewpartner erläutert und anschließend im Detail diskutiert. Auf Basis dieser
22. Juli 2021 Florian Mühlburger 23/64Diskussion wurde dann entschieden, ob ein Qualitätskriterium als nicht funktionale Anforderung aufgenommen wird. Die gewählten Anforderungen dienen einerseits als Auswahlkriterien für die verwendeten Architekturmuster sowie als Kriterien zur Evaluierung des CAT-Moduls. Die gewählten Anforderungen und die Gründe für deren Auswahl werden in den nächsten Absätzen einzeln kurz beschrieben. Performance Efficiency Die Performance Efficiency stellt für GeoGebra eine der wesentlichsten Anforderungen an das CAT-Modul dar. Einerseits da das System Live von den Lernenden bei Prüfungen benutzt wird und daher die Zeit für die statistische Berechnung und Auslieferung der nächsten Prüfungsfrage möglichst geringgehalten werden muss (Time Behaviour). Andererseits da GeoGebra weltweit genutzt wird und mit einer Vielzahl simultaner Prüfungen gerechnet werden muss (Capacity). Eine geringe Ressourcenauslastung ist laut GeoGebra keine Anforderung an das System. Der Fokus auf diese Qualitätskriterien wird auch durch die Betonung der Notwendigkeit von Skalierbarkeit während des Projekt-Kickoffs unterstrichen. Reliability Da GeoGebra weltweit verwendet wird und zu jeder Zeit reibungslos zur Verfügung stehen muss, spielt auch die Reliability des CAT-Moduls eine Rolle. Dabei definierte GeoGebra den Fokus klar auf die Availability und Maturity des Systems, während Teilaspekte wie die Fehlertoleranz und Wiederherstellbarkeit als weniger wichtig erachtet wurden. Security Die Sicherheit der Daten des Systems ist GeoGebra ein Anliegen, da das CAT-Modul aber nur im Hintergrund arbeitet und keine sensiblen Daten verarbeitet wurde im Interview beschlossen, das ein einfacher API-Key welcher den Zugriff nur für die GeoGebra App ermöglicht ausreicht um die notwendige Sicherheit zu gewährleisten. Daher wird die Sicherheit in der weiteren Entwicklung der Architektur als gegeben betrachtet. Maintainability Durch den Einsatz des CAT-Moduls für Prüfungen zur Selbstevaluierung sowie im Klassenzimmer leiten sich mehrere Prüfungsarten ab, einerseits adaptive Prüfungen, bei welchen die Testfragen automatisch auf Basis der Kompetenz des Lernenden gewählt werden und andererseits „klassische Prüfungen“ bei welchen ein Prüfungsersteller die Prüfungsfragen und deren Gewichtung festlegt. Da der Fokus dieser Arbeit auf den adaptiven Prüfungen liegt, wird im Weiteren größtenteils auf diese eingegangen. Allerdings ist es wichtig die „klassischen Prüfungen“ im Sinne der Maintainability der Architektur zu bedenken. Weshalb die Maintainability des Systems für GeoGebra eine der wesentlichsten Anforderungen an das CAT-Modul darstellt. Fokus wird dabei vor allem auf die Modularity, Modifiability und Testability des Systems gelegt. Da es sich um ein kleines Modul handeltn können laut GeoGebra Aspekte wie die Wiederverwendbarkeit und die Analysierbarkeit des Systems vernachlässigt werden. Auch dieses Qualitätskriterium wird durch die Betonung der Notwendigkeit von Erweiterbarkeit während des Projekt-Kickoffs unterstrichen. Das Interview mit GeoGebra schränkte somit den Fokus der nicht funktionalen Anforderungen auf die Performance Efficiency, die Reliability sowie die Maintainability ein. Daher werden diese 3 Qualitätskriterien insbesondere in der Auswahl der Architekturmuster für die CAT-Architektur sowie für die Evaluierung des CAT-Moduls verwendet. 22. Juli 2021 Florian Mühlburger 24/64
Sie können auch lesen
