Usability-Evaluation zum Learning-Management-System ILIAS 3 an der Helmut-Schmidt-Universität
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Studienarbeit
Usability-Evaluation zum
Learning-Management-System ILIAS 3
an der Helmut-Schmidt-Universität
Hamburg
14. März 2005
Autor: Olaf Scholl, Student der Softwaretechnik
an der HAW Hamburg
Betreuer: Prof. Dr. rer. nat. Jörg Raasch
Abstract Ein Qualitätsmerkmal von Software ist ihre Benutzbarkeit. Um Mängel in der ergonomischen Gestaltung einer Anwendung und deren Auswirkung beurteilen zu können, existieren verschiedene Verfahren und Modelle mit unterschiedlichem Grad der Einbindung von Endnutzern des Systems. Gegenstand dieser Studienarbeit ist das gezielte Aufdecken von Gestaltungsmängeln eines produktiv eingesetzten Informationssystems sowie die Erarbeitung von Verbesserungsvorschlägen. Es werden das angewandte, aus kombinierten Methoden resultierende, Evaluationsmodell beschrieben und die Ergebnisse der Evaluation dargestellt. Konkrete sowie priorisierte, modulübergreifende Verbesserungsvorschläge werden aus den Ergebnissen abgeleitet und Empfehlungen für weitere Maßnahmen zur Optimierung des Einsatzes und der Weiterentwicklung der untersuchten Software gegeben.
Olaf Scholl Usability-Evaluation zum Learning-Management-System 14. März 2005
ILIAS 3 an der Helmut-Schmidt-Universität Hamburg
1 EINLEITUNG .................................................................................................1
2 METHODEN ZUR BEWERTUNG DER BENUTZBARKEIT..........................2
2.1 Inspektionsmethoden ......................................................................................................................2
2.1.1 Heuristische Evaluation................................................................................................................2
2.2 Verhaltensbasierte Methoden ........................................................................................................4
2.2.1 Verhaltensbeobachtung ................................................................................................................4
2.2.2 Lautes Denken..............................................................................................................................5
2.2.3 Videokonfrontation.......................................................................................................................5
2.3 Meinungsbasierte Methoden ..........................................................................................................5
3 AUFGABENSTELLUNG UND ZIELE ...........................................................7
4 VERWENDETE METHODEN ........................................................................8
4.1 Expertenevaluation .........................................................................................................................8
4.1.1 Heuristiken ...................................................................................................................................8
4.1.2 Ableitung der Tasks und Hypothesen für die Usability-Tests ......................................................8
4.2 Verhaltensbasierte Evaluation .......................................................................................................9
4.2.1 Testpersonen.................................................................................................................................9
4.2.2 Versuchsaufbau ............................................................................................................................9
4.2.3 Strukturierung der Tasks ............................................................................................................10
5 AUSWERTUNG UND ERKENNTNISSE .....................................................11
5.1 Ergebnisse der Expertenevaluation .............................................................................................11
5.2 Auswertung der verhaltensbasierten Evaluation .......................................................................11
5.2.1 Login ..........................................................................................................................................12
5.2.2 Persönlicher Schreibtisch ...........................................................................................................13
5.2.3 Suche ..........................................................................................................................................15
5.2.4 Mail ............................................................................................................................................18
5.2.5 Anmeldungen für Kurse und Gruppen .......................................................................................20
5.2.6 Druckansicht...............................................................................................................................23
5.2.7 Baumansicht im Magazin ...........................................................................................................23
5.2.8 Navigation ..................................................................................................................................25
5.3 Einordnung in grundsätzliche Empfehlungen zur ergonomischen Gestaltung .......................27
5.3.1 Eingabefelder mit Pflichteintrag.................................................................................................28
5.3.2 Tooltips.......................................................................................................................................28
5.3.3 System- und Fehlermeldungen ...................................................................................................28Olaf Scholl Usability-Evaluation zum Learning-Management-System 14. März 2005
ILIAS 3 an der Helmut-Schmidt-Universität Hamburg
5.3.4 Listen / Tabellen.........................................................................................................................28
5.3.5 Abbildung gleichartiger Aufgaben und Einheitlichkeit von Symbolen und Begriffen...............29
5.3.6 Navigation ..................................................................................................................................30
5.3.7 Zeitverhalten...............................................................................................................................31
5.4 Schweregrade der ergonomischen Mängel und Priorisierung der Behebung .........................31
5.5 Methodische Anmerkungen zum verwendeten Evaluationsmodell ..........................................32
5.5.1 Größe der Testteams...................................................................................................................32
5.5.2 Nutzerprofile und Eigenschaften der Testpersonen....................................................................33
5.5.3 Relevanz der untersuchten Tasks ...............................................................................................33
5.5.4 Einordnung der Ergebnisse.........................................................................................................34
6 ZUSAMMENFASSUNG...............................................................................34
7 AUSBLICK ..................................................................................................35
8 GLOSSAR ...................................................................................................37
9 LITERATUR ................................................................................................38
ANHANG ............................................................................................................40
A.1 Formulare zur Auswertung der Heuristischen Evaluation .......................................................40
A.2 Einzeltasks mit Hypothesen..........................................................................................................48
A.2.1 Testbereich 1 mit Hypothesen (Stand: 02.12.04)...........................................................48
A.2.2 Testbereich 2 mit Hypothesen (Stand: 02.12.04)...........................................................49
A.2.3 Testbereich 1 mit Hypothesen (Stand: 07.12.04)...........................................................51
A.2.4 Testbereich 2 mit Hypothesen (Stand: 07.12.04)...........................................................54
A.2.5 Testbereich 1 mit Hypothesen (Stand: 14.12.04)...........................................................56
A.2.6 Testbereich 2 mit Hypothesen (Stand: 14.12.04)...........................................................59
A.3 Formulare zur Auswertung der Laboraufzeichnungen.............................................................62
A.3.1 Aufnahmen Labor 02.12.2004 (Piloten)............................................................................62
A.3.2 Aufnahmen Labor 08.12.2004.............................................................................................65
A.3.3 Aufnahmen Labor 14.12.2004.............................................................................................75
A.4 Aktuelles Dialogbeispiel zur Inkonsistenz (3.40 Beta 1a)...........................................................86
A.5 Usability-Labor der HAW Hamburg - FB E/I............................................................................87Olaf Scholl Usability-Evaluation zum Learning-Management-System 14. März 2005
ILIAS 3 an der Helmut-Schmidt-Universität Hamburg
1 Einleitung
An der Helmut Schmidt Universität Hamburg (HSU / Universität der Bundeswehr) wird
im Rahmen des Projekts E-L I-P (E-Lernen auf der ILIAS-Plattform) das Open-Source
Learning-Management-System ILIAS 3 eingesetzt.
E-L I-P hat den Auftrag, Mitglieder der HSU bei der Modernisierung der Lehre zu
unterstützen; das Dienstleistungskonzept umfasst u.a. didaktische Beratung, Schulung,
Administration und - basierend auf Zusammenarbeit mit dem Kölner ILIAS-
Entwicklungsteam und Nutzerwünschen von Mitgliedern der HSU – Auftragsvergaben
zur Optimierung der Lernplattform an der HSU.
Das an der Universität Köln entwickelte Open-Source Learning-Management-System
ILIAS (Integriertes Lern-, Informations- und ArbeitsSystem) ist eine webbasierte
Umgebung zum Erstellen und Verwalten von Lehr- und Lernobjekten wie Lernmodulen,
Gruppen und Kursen. Typische Nutzer des Systems an der HSU sind Autoren, wie
Dozenten, die ihre Lehr- und Lernangebote mit ILIAS erstellen und verfügbar machen,
sowie Lerner, wie Studenten, die über ILIAS auf bereitgestellte Lehr- und Lernangebote
zugreifen. Beiden Benutzergruppen stehen verschiedene ILIAS–interne Verwaltungs-
und Kommunikationswerkzeuge zur Verfügung.
Gegenstand der Studienarbeit ist eine Untersuchung der Benutzbarkeit in Teilbereichen
der Lernplattform; Ergebnisse aus dieser Arbeit sollten in Spezifikationen für die
Weiterentwicklung von ILIAS einfließen. Die Untersuchung umfasste den Einsatz
verschiedener Evaluationsmethoden, Schwerpunkt der Untersuchung bildete die
verhaltensbasierte Evaluation, der eine Expertenevaluation vorangestellt wurde.
Die Expertenevaluation diente dem gezielten Auffinden von Mängeln in der
Benutzbarkeit, es schloss sich eine verhaltensbasierte Evaluation an. Letztere diente als
Bestätigung der vom Experten erkannten Schwächen sowie als Dokumentation möglicher
Folgen. Der Nachweis beruhte auf der Aufzeichnung und Auswertung des Verhaltens von
Probanden, die im Usability-Labor der HAW Hamburg FB E/I definierte Tasks bei der
Arbeit mit ILIAS bewältigen sollten, wobei die Testpersonen gezielt mit Schwächen in
der Benutzbarkeit der Software konfrontiert wurden.
-1-Olaf Scholl Usability-Evaluation zum Learning-Management-System 14. März 2005
ILIAS 3 an der Helmut-Schmidt-Universität Hamburg
2 Methoden zur Bewertung der Benutzbarkeit
Zur Bewertung der Benutzbarkeit von Softwaresystemen existiert eine Vielzahl sich
ergänzender Methoden und Modelle, vergleichende Übersichten finden sich unter
anderem bei [Nielsen – 1994; Gediga, Homburg – 2002]. Dieser Abschnitt gibt einen
Überblick über die wichtigsten Evaluationsmethoden, er orientiert sich in der Gliederung
an [Gediga, Homburg – 2002].
2.1 Inspektionsmethoden
Inspektionsmethoden sind dadurch charakterisiert, dass sie zumeist von einem oder
mehreren Experten durchgeführt werden, um gezielt Schwächen in der ergonomischen
Gestaltung von Software aufzudecken. Verbreitete Methoden sind die Heuristische
Evaluation und Walkthrough-Methoden.
2.1.1 Heuristische Evaluation
Bei der Heuristischen Evaluation [Nielsen, Molich - 1990; Nielsen – 1993] inspizieren in
der ergonomischen Gestaltung von Software geschulte Experten eine Software anhand
von Heuristiken. Die Untersuchungen werden von den Experten jeweils allein
durchgeführt, anschließend werden die individuell erstellten Inspektionsergebnisse
zusammengefasst und ausgewertet.
Die verwendeten Heuristiken beschreiben allgemeine, im Sinne der Usability
erstrebenswerte, Eigenschaften einer Benutzungsschnittstelle. Die original aufgestellte
Liste der Heuristiken lautet
- Simple and natural dialogue
- Speak the users' language
- Minimize the users' memory load
- Consistency
- Feedback
- Clearly marked exits
- Shortcuts
- Precise and constructive error messages
- Prevent errors
Bei den angeführten Heuristiken handelt es sich ausdrücklich um Empfehlungen, die für
den spezifischen Untersuchungsgegenstand angepasst werden können. Die Heuristiken
wurden später um den Punkt Help and Documentation erweitert [Nielsen – 1991].
Die Anzahl der einzusetzenden Evaluatoren und damit der Inspektionen ist prinzipiell
abhängig vom spezifischen Projekt und der Zielsetzung einer Evaluation, kann aber
-2-Olaf Scholl Usability-Evaluation zum Learning-Management-System 14. März 2005
ILIAS 3 an der Helmut-Schmidt-Universität Hamburg
relativ gering gehalten werden, da bei steigender Anzahl Inspektionen die Anzahl neu
entdeckter Gestaltungsmängel stark abnimmt.
Abbildung I: Relative Zahl der mit Heuristischer Evaluation
aufgedeckten Usability-Probleme einer Benutzungsschnittstelle in
Abhängigkeit der Anzahl eingesetzter Evaluatoren – Durchschnitt aus
sechs Fallstudien [Nielsen 1992]
Das Endergebnis der Heuristischen Evaluation ist ein Bericht, der für jedes Problem
beschreibt, gegen welche Usability-Prinzipien ein Dialogelement verstößt. Wie auch bei
anderen Methoden sollten erkannten Problemen Schweregrade zugeordnet werden und
somit ein Priorisieren der Umsetzung von Verbesserungsvorschlägen ermöglichen. Die
Gewichtung kann sich hierbei an der Häufigkeit des Auftretens, den Auswirkungen auf
die Zielerreichung einer Aufgabe sowie dem Aufwand, der geleistet werden muss, um ein
auftretendes Problem zu bewältigen, orientieren [Nielsen – 1994].
Walkthrough-Methoden
Walkthrough-Methoden können an Papierprototypen vorgenommen werden und sehen
die Einbeziehung von Projektteilnehmern unterschiedlicher Rollen vor. Grundlage sind
definierte Dialogabläufe ("Storyboards"), die häufig in Gruppen bewertet werden.
An einem Pluralistic Walkthrough [Bias – 1994] nehmen verschiedene Projektbeteiligte,
wie Entwickler, Endnutzer und Ergonomieexperten, teil. Alle Teilnehmer werden
aufgefordert, sich in die Rolle eines Endnutzers zu versetzen und die ihnen präsentierten
einzelnen Dialogschritte zu beurteilen. Dabei wird von jedem Teilnehmer für jeden
-3-Olaf Scholl Usability-Evaluation zum Learning-Management-System 14. März 2005
ILIAS 3 an der Helmut-Schmidt-Universität Hamburg
Dialogschritt detailliert festgehalten, welche Dialogelemente nach Meinung der
Teilnehmer genutzt werden müssen, um gewünschte Aktionen auf dem Weg zur
Aufgabenerfüllung auszulösen und wie jeweils das voraussichtliche Ergebnis aussieht.
Jeder präsentierte Dialogschritt wird anschließend durch einen Moderator erläutert und
anhand der schriftlichen Teilnehmererwartungen diskutiert. Eine Gesamtbewertung der
Bildschirmansichten erfolgt zum Ende des Walkthroughs anhand von Beurteilungsbögen.
Auch beim Cognitive Walkthrough [Warthon, Rieman, Lewis, Polsen - 1994] ist der
Ausgangspunkt der Evaluation ein vorher definiertes Szenario, das anhand von
Bildschirmansichten durchlaufen wird, wobei die Evaluatoren die angezeigten Dialoge
auf Grundlage folgender Kriterien beurteilen:
- Werden Benutzer versuchen, den richtigen Effekt für das Voranschreiten in der
Lösung der Aufgabenstellung zu erreichen?
- Werden Benutzer erkennen, ob die korrekte Funktion erreichbar ist?
- Werden Benutzer die korrekte Funktion mit dem angestrebten Effekt assoziieren?
- Können Benutzer den Fortschritt in der Aufgabenbearbeitung erkennen, wenn die
korrekte Aktion ausgelöst wurde?
Am Cognitive Walkthrough können ebenfalls verschiedene Projektbeteiligte wie z.B.
Entwickler teilnehmen, die Methode stellt aber höhere Anforderungen an die Evaluatoren
und führt zu wertvolleren Ergebnissen, wenn sie von Experten (Design und Aufgabe)
durchgeführt wird.
Walkthroughs gibt es in verschiedenen weiteren Variationen, sie gelten allgemein, da
eher gruppenorientiert, als aufwändig.
2.2 Verhaltensbasierte Methoden
Verhaltensbasierte Evaluationsmethoden beruhen auf der Beobachtung und der Video-
und Tonaufzeichnung des Verhaltens von Testpersonen oder Endbenutzern, während
diese mit einer Software bzw. einem Prototyp einer Software arbeiten.
2.2.1 Verhaltensbeobachtung
Die Verhaltensbeobachtung erfolgt in der Regel in speziell ausgestatteten Labors mit
Testpersonen oder – mit Hilfe von mobilen Labors - am Arbeitsplatz der Endbenutzer.
Ton- und Videoaufzeichnungen dokumentieren die Lösungswege, die Anwender bei der
Bewältigung ihrer Aufgaben mit den ihnen zur Verfügung stehenden Werkzeugen
einschlagen.
Die Aufzeichnungen lassen sich nach standardisierten Mustern auswerten und entlasten
die Testleiter bei der Beobachtung der Testpersonen. Dokumente zur Auswertung der
-4-Olaf Scholl Usability-Evaluation zum Learning-Management-System 14. März 2005
ILIAS 3 an der Helmut-Schmidt-Universität Hamburg
Aufzeichnungen beschreiben unter anderem den Grad der Erreichung des Aufgabenziels,
die aufgetretenen Probleme und die von den Testpersonen eingeschlagenen
Lösungswege.
Derartige Verfahren ermöglichen – bei gleichem Versuchsaufbau - vergleichbare und
detaillierte Auswertungen, es lassen sich anhand der Videoaufzeichnungen Details
auflösen und erkennen, die bei der zeitgleichen Beobachtung nicht erfasst werden
können. Der Informationsgehalt der Aufzeichnungen lässt sich steigern, wenn die
eingesetzte Beobachtungsmethode mit weiteren Evaluationsmethoden kombiniert wird.
2.2.2 Lautes Denken
Beim lauten Denken kommentieren die Benutzer ihre Intentionen und Aktionen, der
Testleiter wird in der Interpretation der Kognitionen entlastet. Das laute Denken wird in
der Regel handlungsbegleitend eingesetzt oder - nach Ende der Aufzeichnungen - bei der
Methode der Videokonfrontation angewendet.
2.2.3 Videokonfrontation
Eine die Verhaltensbeobachtung ergänzende Evaluationsmethode ist die
Videokonfrontation. Hierbei sehen sich der Evaluationsleiter und die Testpersonen die
Aufzeichnungen gemeinsam an, die Testpersonen werden bei aufgetretenen Problemen
aufgefordert, ihre jeweiligen Aktionen zu kommentieren. Grundidee ist die Entlastung
der Benutzer während der Aufzeichnung, das während der Aufgabenbewältigung parallel
durchzuführende laute Denken entfällt. Weiteres Kennzeichen ist ein im Anschluss an die
Aufzeichnungen durchgeführtes Interview und das daraus resultierende
Interviewprotokoll.
2.3 Meinungsbasierte Methoden
Zu den meinungsbasierten Methoden gehören verschiedene Varianten von Interviews und
Fragebogenmethoden, im Zentrum stehen die Eindrücke der Benutzer, Experten sind nur
vorbereitend und auswertend tätig.
Interviews sind häufig nicht standardisiert, die konkrete Durchführung ist abhängig vom
Kontext im Evaluationsmodell, es können z.B. gezielt vermeintliche Schwächen in der
Benutzbarkeit angesprochen werden oder es wird dem Auskunftgeber die Initiative in der
Benennung von möglichen Mängeln überlassen, um die Beeinflussung durch den
Interviewer möglichst gering zu halten.
Fragebogenmethoden sind in der Regel standardisiert, nachfolgend wird, als eine der
bekanntesten, die Evaluation mit dem Benutzungsfragebogen ISONORM 9241/10
[Prümper, Anft 1993] beschrieben.
-5-Olaf Scholl Usability-Evaluation zum Learning-Management-System 14. März 2005
ILIAS 3 an der Helmut-Schmidt-Universität Hamburg
In Teil 10: Grundsätze der Dialoggestaltung der DIN-EN ISO 9241 Ergonomische
Anforderungen für Bürotätigkeiten mit Bildschirmgeräten werden sieben von
Dialogtechniken unabhängige Grundsätze der Dialoggestaltung angeführt:
- Aufgabenangemessenheit
- Selbstbeschreibungsfähigkeit
- Steuerbarkeit
- Erwartungskonformität
- Fehlertoleranz
- Individualisierbarkeit
- Lernförderlichkeit
Diese Grundsätze sind jeweils mit Erläuterungen und "nicht erschöpfenden"
Empfehlungen und Beispielen versehen. Der Benutzungsfragebogen ISONORM 9241/10
ist ein Versuch, diese Grundsätze für Usability-Evaluationen von Softwaresystemen zu
operationalisieren.
Für jeden Grundsatz wurden fünf durch den Benutzer zu bewertende Items aufgestellt,
die Bewertung erfolgt auf einer siebenstufigen Skala.
Abb. II: Auszug aus dem ISONORM Fragebogen
Die Bearbeitung eines Fragebogens umfasst damit insgesamt 35 zu bewertende Items,
Bewertungsergebnisse korrelieren mit anderen Benutzungsfragebogenmethoden wie
QUIS (Shneiderman, 1987) und BBD (Spinas, 1987). Vorteile der Methode liegen in der
Ökonomie und der Operationalisierung der DIN-EN ISO 9241-10, die Anwendung wird
in Kombination mit anderen Evaluationsmethoden empfohlen [Prümper – 1994].
-6-Olaf Scholl Usability-Evaluation zum Learning-Management-System 14. März 2005
ILIAS 3 an der Helmut-Schmidt-Universität Hamburg
3 Aufgabenstellung und Ziele
Ziele der Studienarbeit waren das Aufdecken und der Nachweis von Usability-
Schwächen des Learning-Management-Systems ILIAS 3, so wie es an der HSU Hamburg
im Rahmen des Projekts E-L I-P an der Professur für Normenwesen und
Maschinenzeichnen eingesetzt wird, sowie die Ableitung konkreter
Verbesserungsvorschläge für die nachgewiesenen Mängel.
Eine ILIAS-umfassende Usability-Untersuchung lässt sich im Rahmen einer
Studienarbeit nicht durchführen, in bestimmten Bereichen der Anwendung wäre sie auch
nicht sinnvoll (so unterlag die integrierte Editorumgebung im Autorenbereich von ILIAS
zum Zeitpunkt der Untersuchung einem Redesign mit Schwerpunkt auf funktionaler
Erweiterung).
Die auf Benutzbarkeit zu untersuchenden Bereiche betrafen als Konsequenz die
Lernersicht und elementare Bereiche, die jedem Nutzer (Autoren und Lernern) zur
Verfügung stehen. Die konkret zu untersuchenden Bereiche der Anwendung waren:
– der Persönliche Schreibtisch (als zentraler Ausgangspunkt der Aktivitäten während
einer ILIAS-Sitzung)
– das Magazin (der Ort, an dem auf alle bereitgestellten Lehr- und Lernobjekte
zugegriffen werden kann)
– die Navigation in ILIAS (implizit mit allen Tasks)
– Kurse aus Lernersicht (dieser Bereich wurde auf Grundlage von Ergebnissen der
Expertenevaluation um den Bereich der Gruppen erweitert)
– die Suche (eine Funktion, mit der nach verschiedenen Objekten, wie Lerneinheiten
und Gruppen, u. a. anhand von Metadateneinträgen gesucht werden kann)
– das interne Mailsystem (als frühzeitig definierte Ersatztasks, da die Suche zum
Zeitpunkt der Laboraufzeichnungen nicht in allen Bereichen genutzt werden konnte)
Weitere untersuchte Bereiche:
– die Baumansicht im Magazin (als Navigationsalternative, da sich hier die Überprüfung
anbot, wie Anwender in einer ungeteilten Ein-Fenster-Baumansicht intuitiv
navigieren)
– der Login (da mit einem exemplarischen Mangel in der Benutzbarkeit versehen)
– die Druckansicht
Ein komplexes Informations-System wie ILIAS kann nicht vollständig in einer Usability-
Evaluation betrachtet werden. Die angewendeten Methoden sollten daher, neben der
Ausarbeitung konkreter Verbesserungsvorschläge, die Ableitung von Empfehlungen für
anwendungsweite Verbesserungen ermöglichen.
-7-Olaf Scholl Usability-Evaluation zum Learning-Management-System 14. März 2005
ILIAS 3 an der Helmut-Schmidt-Universität Hamburg
4 Verwendete Methoden
Verlässliche Ergebnisse können erzielt werden, wenn verschiedene Methoden zur
Ermittlung der Benutzbarkeit kombiniert werden. So findet sich nicht nur bei [Nielsen –
1994] der Hinweis, dass Evaluationsmodelle immer auch die Benutzer einbeziehen
müssen, sei es durch Simulierung der Benutzer in der Bearbeitung ihrer Aufgaben oder
durch ergänzende Usability-Tests. Dieses Kapitel beschreibt das im Rahmen der
Studienarbeit verwendete Evaluationsmodell, dass heißt, wie unterschiedliche
Evaluationsmethoden verwendet wurden, um die in der Aufgabenstellung formulierten
Ziele zu erreichen.
4.1 Expertenevaluation
Begonnen wurde die Untersuchung mit einer Inspektion durch den Autor. Das
durchgeführte Verfahren ähnelt der beschriebenen Heuristischen Evaluation, jedoch
wurden hierbei nicht unmittelbar die Heuristiken nach [Nielsen, Molich 1990] verwendet.
Bei der Inspektion wurde sich an typischen Aufgabenszenarios orientiert, um
aufgetretene Mängel in ihren Auswirkungen besser beurteilen und Tasks für Usability-
Tests ableiten zu können.
4.1.1 Heuristiken
Dem Autor dienten die Grundsätze der Dialoggestaltung nach DIN-EN ISO 9241-10 als
abstrakte Ausgangsposition. Den Grundsätzen wurden jeweils einige Stichworte zur
Konkretisierung zugeordnet (Anm.: Die Zuordnung bildet prinzipiell die Heuristiken
nach Nielsen und Molich wieder ab). Dieses Vorgehen hat aus Sicht des Autors den
Vorteil, dass die 'sprechenden' Bezeichnungen der Grundsätze bei der Inspektion immer
gegenwärtig sind und so die sich aus Mängeln ergebenden Folgen für die Benutzer besser
formulieren lassen – insbesondere, wenn nur ein Teilsystem eingehender begutachtet
werden kann, aber auch Empfehlungen für 'globale' Änderungen abgeleitet und diskutiert
werden sollen.
4.1.2 Ableitung der Tasks und Hypothesen für die Usability-Tests
Die Inspektion sollte gezielt Schwächen in der Benutzbarkeit aufdecken, deren
Auswirkungen in Usability-Tests noch nachzuweisen waren. Es wurden Tasks entwickelt,
bei deren Bearbeitung Testpersonen während der verhaltensbasierten Evaluation gezielt
mit den Mängeln konfrontiert wurden.
Bei der Aufstellung solcher Tasks ist zu beachten, dass sie nach Möglichkeit von
einfachen zu komplexeren Aufgaben führen und logisch aufeinander aufbauen. Dies
simuliert zum einen typische Arbeitsweisen der Endbenutzer in ihren Aktionen zur
-8-Olaf Scholl Usability-Evaluation zum Learning-Management-System 14. März 2005
ILIAS 3 an der Helmut-Schmidt-Universität Hamburg
Bearbeitung täglicher Problemstellungen. Zum anderen werden dadurch Testpersonen,
denen die Anwendung und das Anwendungsgebiet nicht bekannt sind, in die Lage
versetzt, sich mit den zu untersuchenden Bereichen unbewusst vertraut zu machen. Ein
weiterer Vorteil liegt darin, dass unvermutet aufgedeckte, also in der Expertenevaluation
nicht gefundene, Usability-Schwächen besser in ihrem Kontext eingeordnet werden
können.
Zu jedem Mangel in der Benutzbarkeit, mit dem die Testpersonen im Usability-Test
konfrontiert werden sollten, wurden Hypothesen aufgestellt. Diese Hypothesen enthielten
jeweils Anmerkungen, warum Benutzer Schwierigkeiten bei der Bewältigung der
Problemstellung haben würden und mit welchen unmittelbaren Folgen - im Bezug auf die
Erfüllung der Aufgabenziele - zu rechnen wäre.
4.2 Verhaltensbasierte Evaluation
Den Schwerpunkt der verhaltensbasierten Evaluation bildete die Aufzeichnung des
Verhaltens von Probanden, die im Usability-Labor die nach der Inspektion definierten
Tasks bei der Arbeit mit ILIAS bewältigen sollten. Kombiniert wurde dieser Teil der
Untersuchung mit dem Konzept des Laut-Denkens und einem am Anschluss an die Task-
Bearbeitung durchgeführten Interview.
4.2.1 Testpersonen
Die Testpersonen entsprachen nicht dem Nutzerprofil der Anwender an der HSU, sie
waren Informatikstudenten im Hauptstudium oder aber angestellte Diplominformatiker
der HAW, es handelte sich also um technische Experten. Sie hatten zum großen Teil
bereits Erfahrungen als Testpersonen im Usability-Labor und Vorkenntnisse im Bereich
der Softwareergonomie.
Die Vorteile im Einsatz derartiger technischer Fachleute als Testpersonen liegen in der
Fähigkeit, Probleme bei der Arbeit mit Softwaresystemen dem Usability-Experten
gegenüber genauer und effizienter artikulieren zu können. Auch schlagen sie, bei
auftretenden Problemen in der Anwendung und basierend auf breiter Erfahrung in der
Nutzung von Softwaresystemen, eher mögliche Alternativwege ein. Der Aspekt der
Aufgabenexperten wird unter 5.5.2 diskutiert.
4.2.2 Versuchsaufbau
Die Usability-Tests wurden im Usability-Labor der HAW Hamburg, FB E/I durchgeführt
(zur URL des Labors s. Anhang A.5). Die Tasks wurden entweder von einer oder von
zwei Testpersonen gemeinsam bearbeitet, der Autor übernahm die Rolle eines Testleiters.
Jedes Testteam erhielt vor der Bearbeitung eine mündliche Einweisung, in der ein kurzer
-9-Olaf Scholl Usability-Evaluation zum Learning-Management-System 14. März 2005
ILIAS 3 an der Helmut-Schmidt-Universität Hamburg
Überblick über Zweck und Gegenstand der Untersuchung gegeben und auf die
Anwendung des Laut-Denkens hingewiesen wurde. Probanden, denen das Usability-
Labor unbekannt war, erhielten zusätzlich eine eingehende Einweisung in den
Versuchsaufbau und den Ablauf der Untersuchung.
Während der Task-Bearbeitung wurden, vom Regieraum aus gesteuert, Ton- und
Videoaufzeichnungen des Geschehens im Labor durchgeführt; es bestand über eine
Sprechanlage jederzeit die Möglichkeit, mit der jeweils anderen Seite in Kontakt zu
treten. Unmittelbar nach Abschluss der Task-Bearbeitung wurde mit den Probanden
jeweils ein - ebenfalls aufgezeichnetes - Interview geführt. In den Interviews erhielten die
Testteams Gelegenheit, spontan ihre Eindrücke zu schildern und auf Grundlage der vom
Regieraum aus gemachten Beobachtungen ihre Probleme bei der Erfüllung der
Aufgabenziele zu schildern.
4.2.3 Strukturierung der Tasks
Es wurden zwei verschiedene Testbereiche (mit jeweils mehreren Taskgruppen)
entwickelt, jeder Testbereich enthielt 7 – 10 Aufgaben. Im Usability-Labor wurden 9
Aufzeichnungen von ca. 10 Minuten (zwei Pilotfilme) und in allen anderen Fällen von 25
bis über 30 Minuten Länge durchgeführt, jede Aufzeichnung entsprach hierbei der
Bearbeitung eines Testbereichs.
Die Aufgaben wurden gegebenenfalls modifiziert, dies geschah insbesondere nach den
Pilotaufzeichnungen, die nur für den ersten Testbereich durchgeführt wurden. Das sich
bei den Pilotaufzeichnungen herauskristallisierte Problem lag darin, dass die Tasks zu
sehr auf statische Probleme ausgerichtet waren und den Nutzern zu wenig Freiraum in der
dynamischen Nutzung der angebotenen Werkzeuge ließen.
Weitere Änderungen betrafen hauptsächlich die Zusammenstellung der Testbereiche, es
wurden Tasks zwischen den zwei Testbereichen getauscht, um eine ausgewogene
zeitliche Balancierung zu erreichen. Übrige Änderungen waren kosmetischer Natur, d.h.
es wurden Aufgabenstellungen umformuliert, ohne das Taskziel und den erwarteten Weg
zu seiner Erfüllung (oder zu den Problemen) zu verändern.
Jeder Task wurde in 4 - 5 Aufzeichnungen bearbeitet.
-10-Olaf Scholl Usability-Evaluation zum Learning-Management-System 14. März 2005
ILIAS 3 an der Helmut-Schmidt-Universität Hamburg
5 Auswertung und Erkenntnisse
Dieses Kapitel umfasst die Ergebnisse der Expertenevaluation und beschreibt die in den
Usability-Tests gestellten Tasks. Aus den in den Usability-Tests gewonnenen
Erkenntnissen werden konkrete Verbesserungsvorschläge abgeleitet, die schließlich in
grundsätzliche Empfehlungen zur ergonomischen Gestaltung zusammengefasst werden.
Nach Vorschlägen zur Priorisierung in der Bearbeitung der Gestaltungsvorschläge
werden abschließend verschiedene methodische Aspekte des Evaluationsmodells
diskutiert.
5.1 Ergebnisse der Expertenevaluation
Die aufgeschlüsselten, spezifischen Ergebnisse der Expertenevaluation sind im Anhang
(A.1) angeführt. Aus den Ergebnissen dieses Teilaspekts der Studienarbeit lässt sich
unmittelbar ableiten, dass die ILIAS-Installation an der HSU vor allem im Bereich
elementarer, statischer Aspekte (wie z.B. die Konsistenz von Menüs und Bezeichnungen,
Anordnung von Schaltflächen, Abbildung gleichartiger Bearbeitungsvorgänge, …)
Mängel aufweist. Die aus den Mängeln resultierenden Folgen für die Benutzbarkeit einer
Software sollte mit der verhaltensbasierten Evaluation verdeutlicht werden.
Die dazu aus den Problemberichten abgeleiteten Tasks basierten in ihrer Gesamtheit auf
einer Auswahl unterschiedlicher Mängel. Ziel war hierbei, sowohl die unmittelbaren
Auswirkungen auf die Nutzung bestimmter Module, als auch die allgemeine, d.h.
anwendungsweite, Relevanz zu verdeutlichen.
Als Beispiel sei hier das Kurs- und Gruppenmanagement aus Lernersicht genannt, das in
den Labortests für den Teilaspekt der An- und Abmeldevorgänge untersucht wurde.
Diese Tasks konfrontieren mit Schwächen in der Benutzbarkeit, die sowohl
modulspezifisch eingeordnet werden können (zum Beispiel die Anzeige der
Bearbeitungsstände von Kursanmeldungen), aber auch global betrachtet werden können
(Rückmeldungen des Systems über Zustände der Bearbeitung von Aufgaben).
Grundsätzlich sollten die gestellten Tasks also neben den modulspezifischen Aspekten
Rückschlüsse auf Auswirkungen vergleichbarer Fehler in nicht getesteten Moduln des
Systems ermöglichen. Der Mängelbericht der Inspektion wurde dazu ergänzend mit
einigen Querverweisen auf 'Stichproben' in nicht eingehend untersuchten Bereichen von
ILIAS ergänzt.
5.2 Auswertung der verhaltensbasierten Evaluation
Dieser Abschnitt beschreibt die Ergebnisse aus den Usability-Tests. Für die Taskanalyse
im Labor wurden, um zusammenhängende Aufgaben stellen zu können, verschiedene
Taskgruppen gebildet. Diese Gruppen gliederten sich nach Aufgabenstellungen zum
-11-Olaf Scholl Usability-Evaluation zum Learning-Management-System 14. März 2005
ILIAS 3 an der Helmut-Schmidt-Universität Hamburg
Persönlichen Profil, der Suche, dem An-/ und Abmelden zu Kursen und Gruppen und
dem ILIAS-internen Mailsystem. Einzelaufgaben betrafen den Login und das Drucken.
Die Gliederung dieses Abschnitts folgt der Aufteilung in Taskgruppen, Es werden die in
der Expertenevaluation erkannten und im Labor untersuchten Usability-Schwächen, die
abgeleiteten Hypothesen sowie die Laborergebnisse erläutert. Abschließend erfolgt
jeweils eine kurze Diskussion konkreter Änderungsvorschläge.
5.2.1 Login
Der Login ist der erste Dialog, mit dem jeder Benutzer bei der Arbeit mit ILIAS in
Kontakt kommt. Dies gilt auch, wenn der ILIAS-eigene Logindialog mit seinen
Funktionen in den Webseiten des jeweiligen Plattformanbieters eingebettet ist.
Zusammenfassung der Tasks
Die Testpersonen sollten sich mit gegebenen Authentifizierungsdaten an ILIAS
anmelden. Die Cookie-Einstellungen im verwendeten Browser wurden zuvor im
Testsetup durch die Testleitung so eingestellt, dass der Login in ILIAS verweigert wurde.
Problembeschreibung
Der (in diesem Beispiel sprichwörtliche) Erstkontakt mit einem Software-System sollte
gerade für 'Nichttechniker', die erst noch von den Vorzügen einschneidender Änderungen
in ihren Arbeitsgewohnheiten überzeugt werden müssen, so reibungslos wie möglich
vonstatten gehen. Benutzer müssen durch verschieden Mechanismen in der Arbeit mit der
Anwendung unterstützt werden. Zu diesen Mechanismen gehören klare, in der Sprache
der Nutzer verfasste, Systemmeldungen.
Die Ergebnisse des abzuarbeitenden Tasks zeigen exemplarisch, welche Folgen
unverständliche Systemmeldungen haben können.
Hypothesen
Benutzer werden mit einer unverständlichen Systemmeldung ("Ihre Session ist
abgelaufen") konfrontiert, es wird unzumutbar lange innerhalb des Anmeldungsdialogs
nach Lösungsansätzen gesucht.
Wird der richtige Lösungsansatz gewählt, werden, um nicht lange zu experimentieren, die
Cookie-Einstellungen niedriger als nötig eingestellt.
Ergebnisse
Die Testpersonen scheiterten ausnahmslos an der Aufgabe. Zum Überprüfen der zweiten
Hypothese kam es daher nicht. Die Systemmeldung wurde dahingehend kommentiert,
dass sie nur dort Sinn macht, wo die Sitzung durch einen Timeout beendet wird.
-12-Olaf Scholl Usability-Evaluation zum Learning-Management-System 14. März 2005
ILIAS 3 an der Helmut-Schmidt-Universität Hamburg
Änderungsvorschläge
Der Login-Dialog muss derart gestaltet werden, dass der Benutzer bei nicht
ausreichenden Cookie-Einstellungen eine eindeutige, das Problem in der Benutzersprache
beschreibende Systemmeldung mit Vorschlägen zum weiteren Vorgehen erhält. Denkbar
ist eine Meldung wie "Um sich an ILIAS anmelden zu können, aktivieren Sie in den
Browser-Einstellugen die Unterstützung von Cookies".
Ergänzt werden sollte eine derartige Meldung um einen Verweis auf die Hilfe des
Browsers, um den Ort und die Art der exakten Einstellung zu ermitteln.
5.2.2 Persönlicher Schreibtisch
Mit einem erfolgreichen Login werden Benutzer auf den Persönlichen Schreibtisch
geführt. Dieser bietet unter anderem einen Überblick über aktuelle Nachrichteneingänge,
Schnellzugriff auf Kategorien und Inhalte über benutzerdefinierte Verknüpfungen sowie
die Möglichkeit im Persönlichen Profil die eigenen Nutzerdaten zu bearbeiten und das
Erscheinungsbild und Verhalten der Lernplattform an Benutzerwünsche anzupassen.
Zusammenfassung der Tasks
Die Testpersonen sollten in den Nutzerdaten des Persönlichen Profils einen Feldinhalt
("Titel") ändern und die Änderungen übernehmen.
Problembeschreibung
Zusammengehörige Informationen und Funktionen werden in Dialogmasken bisweilen
ungünstig angeordnet. Sie sind verstreut und nur über Scrollen erreichbar, wodurch
jeweils andere, zugehörige Informationen wieder außerhalb des Sichtsbereichs gelangen.
Auch ist durch die Anordnung nicht immer klar, welche Felder und Funktionen
zusammengehören. Es wird bestenfalls Mehraufwand durch Zwang zur zusätzlichen
Navigation in der Dialogmaske erzeugt. Gegebenenfalls nehmen Benutzer angebotene
Informationen oder Funktionalitäten nicht wahr oder nicht in Anspruch, da sie sie nicht
sehen oder die Zuordnung ist unklar.
Hypothesen
In der Dialogmaske existieren drei Schaltflächen, die jeweils Änderungen übernehmen,
wobei aus dem Dialogdesign den Benutzern nicht immer klar ist, welche Änderungen bei
Aktivierung der Schaltflächen übernommen werden.
Die Feldgruppierung "Daten zur Person" suggeriert, dass der Button "Hochladen" auch
für die anderen Felder der Gruppierung wie z.B. "Name" zuständig ist, unterstützt noch
dadurch, dass der Fokus automatisch auf "Hochladen" gelegt wird. Wird tatsächlich per
"Hochladen" übernommen, verwirrt die Fehlermeldung "Sie haben keine Datei
ausgewählt", es ist unklar, ob die Änderung übernommen wurde.
-13-Olaf Scholl Usability-Evaluation zum Learning-Management-System 14. März 2005
ILIAS 3 an der Helmut-Schmidt-Universität Hamburg
Die Gruppierungen und der Button "Speichern" sind ungünstig angeordnet, sie liegen
jeweils außerhalb des Sichtbereichs. Werden Änderungen in den Feldern vorgenommen,
ist unklar wie und wo gespeichert wird. Wird der Button "Speichern" aufgesucht, ist
unklar, welche Feldinhalte durch die Aktion dauerhaft gespeichert werden.
Ergebnisse
Der Button "Hochladen" wurde fast immer intuitiv angesteuert, anschließend nach einer
Speicherfunktion gesucht.
Es war nicht klar, wo die Speicherfunktion zu finden ist. Nach Scrollen wurde die
Funktion gefunden.
Nach Aufsuchen des Buttons "Speichern" wurde dieser jeweils ohne zu zögern betätigt.
Es fand keine Kontrolle ("Was speichere ich jetzt?") statt.
Änderungsvorschläge
Ursache der hier auftretenden Probleme ist die Mischung unterschiedlicher Feldgruppen-
'Qualitäten' (Daten zur Person, Passwort, Kontaktinformationen, ILIAS-Einstellungen) in
einer Dialogmaske und die damit verbundene Überfrachtung mit Feldgruppen und
Informationen.
Das Persönliche Profil sollte in separaten Dialogmasken aufgeteilt werden. Denkbar wäre
eine Dialogmaske für die Benutzerdaten bzw. Daten zur Person einschließlich der
Kontaktinformationen, und jeweils eine Dialogmaske für die Änderung des Passwortes
und der ILIAS-Einstellungen.
Eine Möglichkeit der Umsetzung (ohne in existierende Menüstrukturen und -konzepte
einzugreifen) ist hier eine Abbildung über ein weiteres Submenü, so wie es bereits in
Lerninhalten nach Aufruf von Metadaten geöffnet wird (eine Alternative ist die
Einführung von Karteireitern, die aber prinzipiell ebenfalls ein Submenü darstellen).
Hierdurch werden auch Unklarheiten vermieden, welche Änderungen die Funktion zum
Speichern abdeckt. Folgt man dem aktuellen Dialogmaskendesign, suggeriert der
derzeitige Aufbau, dass mit "Speichern" auch Passwortänderungen übernommen werden;
mit der Umgestaltung träfe dies auch tatsächlich zu, gleiches gilt für das Hochladen der
Benutzergrafiken.
-14-Olaf Scholl Usability-Evaluation zum Learning-Management-System 14. März 2005
ILIAS 3 an der Helmut-Schmidt-Universität Hamburg
5.2.3 Suche
In der Suche hat der Benutzer die Möglichkeit, in einer begrenzten Menge verschiedener
Objektkategorien wie z.B. Lernmaterialien und Benutzer, nach Objekten zu suchen.
Suchergebnisse können weiter durchsucht und gespeichert werden.
Zusammenfassung der Tasks
Die Testpersonen sollten Benutzer suchen, bestimmte Suchergebnisse interpretieren und
Suchergebnisse speichern beziehungsweise löschen.
Ein Task wurde so formuliert, dass ein Ergebnis aufgrund eines nicht sichtbaren, aber bei
der Suche abgefragten Attributes geliefert wurde.
Problembeschreibung
Neben Mailverwaltungsfunktionen unterliegen gerade Suchfunktionen konkreten
Erwartungshaltungen von Seiten der Benutzer. Dies ist vor allem auf bekannte Web-
Suchdienste zurückzuführen. Daraus folgt, dass eine integrierte Suchfunktion einer
webbasierten Anwendung sich nach Möglichkeit an den durchgesetzten Standards
orientieren sollte. Benutzern sollte immer klar sein, wie die Ergebnisse zustande kommen
bzw. in welchen Inhalten gesucht wird.
Hypothesen
Das Kategoriefeld "Benutzer" suggeriert eine Suche nach Benutzernamen/Loginnamen,
tatsächlich wird über verschiedene, hier versteckte, Benutzerattribute gesucht. Das ist den
Nutzern nicht klar und die Suche wird schlimmstenfalls als fehlerhaft eingestuft, da im
abzuarbeitenden Task auch die angezeigten Details nicht weiterhelfen. Hinzu kommt,
dass die Benutzer sich fragen, warum Ihnen ein "Anzeigen" auch von leeren Feldern
angeboten wird.
Wird auf "anzeigen" für Detailinformationen geklickt, befindet sich der Nutzer auf
seinem Persönlichen Schreibtisch. Bei der Rückkehr zu den Suchergebnissen kann das
Menü-Feld "Übersicht" des Persönlichen Schreibtisches als Rückkehr zur Suche
fehlinterpretiert werden (Zurück—> 'Zug nach links oben'). Dass ein Rücksprung über
die Hauptnavigation nötig ist, wird nicht registriert, da die Nutzer sich auf das
Hauptfenster konzentrieren.
Beim Bearbeiten der Suchergebnisse wird eine Funktion "alle markieren" vermisst.
Ist Benutzern der genaue Ablageort nachgefragter Kategoriebegriffe unklar, wird
erwartet, dass die Suchfunktion beim Lokalisieren helfen kann (wie z.B.
"Standardisierung in Unternehmen und Märkten" als Kategorie innerhalb einer
Professur).
-15-Olaf Scholl Usability-Evaluation zum Learning-Management-System 14. März 2005
ILIAS 3 an der Helmut-Schmidt-Universität Hamburg
Beim Löschen erscheint die Meldung "Sind Sie (sicher), dass dieses Objekt mit seinem
Inhalt gelöscht werden soll?". Dies ist eine irritierende und zur Verunsicherung führende
Meldung (nicht Sprache der Anwenderzielgruppe, es werden keine "Objekte mit
Inhalten" gelöscht).
Ergebnisse
Alle Probanden waren von den angebotenen Suchergebnissen ("Billy"-Task) mehr oder
weniger überrascht, (auch den technischen Grund konnte nur eine Testperson ad hoc
nachvollziehen); die Detailanzeige wurde in der Regel erst nach expliziter Aufforderung
zur Ergebnisinterpretation genutzt und als nicht hilfreich eingestuft. Fazit: Die
Suchergebnisse waren nicht nachvollziehbar, eine Assoziation der Schaltfläche Anzeigen
mit weiterführenden Zusatzinformationen wurde nicht hergestellt (unabhängig von ihrer
Güte in diesem Fall).
Da die Suche auch teilstringbasierte Ergebnisse anzeigt, wurde über den Einsatz von
Anführungszeichen versucht, exakte Ergebnisse zu erzielen.
Das Fehlen einer Funktion zum Markieren aller Listeneinträge wurde von allen
Testpersonen kritisiert.
Beim Speichern/Löschen zeigte sich wiederholt, dass kein Ergebnis markiert, sondern
direkt versucht wurde, zu speichern.
Die Suche wurde erwartungsgemäß auch konsultiert, um global Kategorien zu
durchsuchen. Hierbei zeigte sich, dass den Testpersonen nicht klar war, dass sie nur in
den angebotenen Kategorien suchen konnten und deshalb auch zwingend mind. eine
dieser Kategorien markieren mussten.
Die Sicherheitsabfrage vor dem Löschen von Ergebnissen wurde von allen Probanden
ignoriert.
In einer Aufgabe einer anderen Taskgruppe wurde die Suche von Probanden intuitiv
genutzt um nach Kategorien (zum Beispiel bestimmte Professuren) zu suchen, da der
genaue Pfad zur Kategorie im Magazin unbekannt war.
Änderungsvorschläge
In seiner jetzigen Form erinnert der Suchdialog an eine erweiterte Suchfunktion mit
optionalen Feineinstellungen und wird intuitiv auch so genutzt. Er muss Hinweise
enthalten, aus denen hervorgeht, wie die Suche zu benutzen ist.
Bei Beibehaltung des derzeitigen Suchumfangs und dem Zwang eine Suchkategorie
auswählen zu müssen, sollte ein permanenter Hinweis direkt im Suchdialog untergebracht
-16-Olaf Scholl Usability-Evaluation zum Learning-Management-System 14. März 2005
ILIAS 3 an der Helmut-Schmidt-Universität Hamburg
werden. Dies kann entweder als String oder auch mit der Kennzeichnung der
Feldgruppenbezeichnung "Suchen nach" durch einen farbigen Stern (wie bei den
Feldbezeichnungen im Persönlichen Profil erfolgen). Letzteres ist eine grundlegende
Design-Überlegung für Eingabefelder und sollte, wo immer möglich, anwendungsweit
einheitlich gehandhabt werden (Erwartungskonformität).
Da der Begriff "Metadaten" den meisten Nutzern nicht klar sein dürfte und eine eher
verwirrende Zusatzinformation darstellt - mit Metadaten kommen in der Regel zunächst
nur Autoren in Berührung - sollte im Dialog der Unterschied zwischen "Metadaten" und
"Seiteninhalt" durch einen Tooltip oder permanenten Texteintrag erläutert werden. Die
Sucheinschränkung nach "Metadaten" oder "Seiteninhalt" kann auch ggf. in einen
erweiterten Suchdialog untergebracht werden.
Aus den angezeigten Suchergebnissen heraus muss klar werden, warum(!) die Ergebnisse
angezeigt werden. Lassen sich zum Beispiel Objekte über Metadaten finden, ist der
Ergebnisanzeige auch eine Spalte "Metadaten" hinzuzufügen, in der der Suchbegriff mit
seinem unmittelbaren Kontext angeführt wird. Dies erleichtert Benutzern die Beurteilung
der Ergebnisse - und schützt vor Fehlurteilen wie "Die Suche funktioniert nicht" (User-
Kommentar an der HSU).
Die Schaltfläche "Anzeigen" sollte abhängig von der Objektkategorie benannt werden.
Bei den Suchergebnistabellen für Benutzer kann sie umbenannt werden in "Öffentliches
Profil". ILIAS-Nutzer können aus derartigen Bezeichnungen den Wert der anzuzeigenden
Informationen einschätzen, ohne den Dialog zu öffnen.
Eine funktionale Erweiterung, die nur Objekte gem. der exakten Eingabe (markiert durch
Anführungszeichen) zurückliefert, ist sinnvoll, da hiermit das aufwändige, manuelle
Herausfiltern insbesondere aus größeren Ergebnismengen entfällt.
Listen, deren Objekte ausgewählt und weiterverarbeitet werden können, benötigen eine
Funktion zum Markieren aller Listeneinträge. Das hier wiederholt beobachtete sofortige
Auswählen einer Aktion, ohne Listeneinträge zu markieren, ist auf einen irritierenden
Eintrag am Listenende zurückzuführen. Dort erscheinen bei Suchergebnissen
Bezeichnungen wie "(Eintrag 1-10 von 33)" – direkt über dem Pfeilsymbol, das von der
Liste zur Aktionsauswahl führt. Dadurch wird suggeriert, dass eine gewählte Aktion eben
für genau diese Einträge gilt.
Die Funktion zum Markieren aller enthaltenen Objekte sollte für alle Listen einheitlich
am Listenende untergebracht werden. Hier bieten sich Dropdown-Widgets an, da sie
umstandslos um weitere Funktionen zur Manipulation der Listeninhalte erweitert werden
können.
-17-Olaf Scholl Usability-Evaluation zum Learning-Management-System 14. März 2005
ILIAS 3 an der Helmut-Schmidt-Universität Hamburg
Die Suche sollte auch (selbst erstellte) Kategoriebezeichnungen abfragen können. Dies
kann das Auffinden von bereitgestellten Materialien zum Beispiel dann erheblich
erleichtern, wenn der Benutzer ein ungefähres Bild vom Inhalt und der 'Art' der Kategorie
hat, aber nicht den genauen Pfad kennt.
5.2.4 Mail
ILIAS 3 verfügt über verschiedene interne Tools zur Kommunikation. So ist es möglich,
Mails über ein internes Nachrichtensystem zu versenden und - ähnlich wie in bekannten
Mailclients - zu verwalten.
Zusammenfassung der Tasks
Die Testpersonen sollten eine neue Mail abrufen, den Absender in das Adressbuch
aufnehmen, Lesestati ändern und einen eigenen Mailordner erstellen und bearbeiten.
Problembeschreibung
Ähnlich wie bei der Suchfunktion verknüpfen Benutzer mit Mailverwaltungsangeboten
konkrete Erwartungen. Hierzu gehören unter anderem der umstandslose Zugriff auf
Mailordner und gewohnte, nahezu standardisierte Navigations- und
Bearbeitungsmöglichkeiten. Abweichungen von diesen Standards können zu erheblichem
Mehraufwand in der Bearbeitung führen.
Hypothesen
Der in der Positionsleiste positionierte Quicklink auf eine neu eingegangene Mail ist zu
unauffällig und wird im laufenden Betrieb übersehen (erschwerend kommt hinzu, dass
die Positionsleiste nicht statisch angeordnet ist, siehe auch 5.2.8).
Benutzer fahren mit der Maus über die Eintragungen im Feld "Absender", in der
Erwartung, dass es sich um einen Link handelt.
Das Anlegen eines neuen Mailordners wird durch die ungewöhnliche Anordnung
(unbemerkte Veränderungen von Menüinhalten, Anordnung in Dropdown-Liste mit
Funktionssammlung eines völlig anderen logischen Aufgabenbereichs) der Funktion
nicht in angemessener Zeit abgeschlossen.
Der Dialog zur Umbenennung von Mailordnern besitzt keine eindeutige Zuordnung von
Feldern und Funktionen, Benutzer werden irritiert.
Ergebnisse
Die Mehrzahl der Testpersonen übersah den Mail-Link in der Positionsleiste, es wurde
der Weg über das Menü eingeschlagen.
-18-Olaf Scholl Usability-Evaluation zum Learning-Management-System 14. März 2005
ILIAS 3 an der Helmut-Schmidt-Universität Hamburg
Benutzer, die sich Mails über den Posteingang ansahen, verharrten in der Erwartung einer
Mauszeigeränderung kurz mit der Maus über dem Absenderfeld.
Für Irritation sorgte im Adressbuch die unmittelbare Anordnung leerer Eingabefelder
unter existierenden und frisch übernommenen Adressbucheinträgen, obwohl das System
die eindeutige Meldung anzeigte, dass der Absender in das Adressbuch übernommen
wurde.
Beim Erstellen eines neuen Ordners klickten sich alle Testpersonen, nachdem nahe
liegende Versuche scheiterten, scheinbar orientierungslos durch verschiedenste Ansichten
und Menüs. Zwar konnten die meisten Probanden den Task erfolgreich abarbeiteten,
kamen aber mehr oder weniger durch Zufall auf den korrekten Bearbeitungsansatz. In der
Regel wurden allein bis zum Auffinden der gesuchten Funktion ca. 2 Minuten bzw. 12
bis 15 Klicks auf Menüs oder Dropdown-Listen benötigt.
Eine Irritation durch den Dialogaufbau zur Umbenennung von Ordnern war nicht
erkennbar.
Änderungsvorschläge
Der Quicklink "Neue Mail!" in der Positionsleiste sollte durch ein auffälliges, aber nicht
aufdringliches Symbol dargestellt werden. Hier bietet sich u.a. ein Briefumschlag an, der
bei Eintreffen einer neuen Mail erscheint und initial ein paar Mal blinkt. Mit der
Betrachtung aller ungelesenen Mails würde das Symbol dann wieder ausgeblendet
(denkbar ist auch ein statisches Symbol, das seine Farbe ändert).
Als Standardansicht sollte in ILIAS die Baumstruktur der Ordner angeboten werden. Dies
verschafft unter anderem bei Abruf der neuen Mails einen besseren Überblick und ist
erwartungskonform.
Das Absenderfeld sollte wie der Betreff verlinkt werden.
Die Eingabefelder im Adressbuchdialog sollten deutlicher abgesetzt und automatisch mit
den Absenderdaten befüllt werden. Dazu müsste in der Adressbuchmaske auch eine
Schaltfläche zur Übernahme der Daten angeboten werden, da der umgehende
Dialogmaskenwechsel aus dem Mailbereich in das Adressbuch mit sofortiger Übernahme
der Daten zur Neuorientierung zwingt und den Benutzern gleichzeitig die Initiative zu
abrupt genommen wird. Bekannte Mailclients schalten in der Regel ebenfalls immer noch
einen Zwischenschritt, der zur expliziten Übernahme von automatisch befüllten
Feldinhalten zwingt. Dies hat auch positive Auswirkungen bei denkbaren Erweiterungen
um zusätzliche Felder, wie zum Beispiel einem Kommentarfeld.
Die Funktion zum Erstellen eigener Ordner ist nicht erwartungskonform im Maildialog
untergebracht. Mailclients und Webmail-Angebote bieten in der Regel einen globalen
-19-Sie können auch lesen
