ONLINE-SELF-ASSESSMENTS - KOBF
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Koordinierungsstelle
der Begleitforschung des
Qualitätspaktes Lehre
Online-Self-Assessments
Koordinierungsstelle der Begleitforschung des Qualitätspaktes Lehre
(KoBF)
Wolfgang Schulenberg-Institut für Bildungsforschung und
Erwachsenenbildung
Carl von Ossietzky Universität Oldenburg
Autorin: Stefanie Brunner
August 2017
Dieses Vorhaben wird aus Mitteln des Bundesministeriums für Bildung und
Forschung unter dem Förderkennzeichen 01PB15001 gefördert.
Vorwort
Hochschulen klagen zunehmend darüber, dass eine wachsende Zahl von Studierenden
nicht wirklich fit ist, um ein Studium erfolgreich zu durchlaufen. In vielen Hochschulen
werden daher Maßnahmen entwickelt, um Studierende entsprechend ihren individuellen
Voraussetzungen zu fördern und damit den Grundstein für einen erfolgreichen
Studienabschluss zu legen. Online-Self-Assessments (OSA) versprechen, die Passung
zwischen den Anforderungen des Studiums und den Studierenden sowie
Studieninteressierten zu erhöhen, so dass diese mittlerweile von einer wachsenden Anzahl
von Hochschulen eingesetzt werden.
Eine von KoBF durchgeführte Analyse zu den Maßnahmen der im Qualitätspakt Lehre
(QPL) geförderten Projekte ergab, dass die Entwicklung von Online-Self-Assessments
großes Gewicht hat und entsprechend auch in den Projekten der Begleitforschung von
Bedeutung ist. Sie ergab aber auch, dass derzeit wenig Transparenz darüber besteht,
welche Formen von Online-Self-Assessments an den Hochschulen eingesetzt werden, wer
diese verantwortet und nach welchen (Qualitäts-)Kriterien sie entwickelt wurden. Um hier
zu einer größeren Übersicht zu gelangen, wurde eine Studie in Auftrag gegeben, die
Online-Self-Assessments differenzierter betrachtet und kriteriengeleitet analysiert.
Die Studie wird von KoBF verantwortet und auf den Webseiten von KoBF veröffentlicht.
Sie entstand in Kooperation mit dem Wolfgang Schulenberg-Institut für
Bildungsforschung und Erwachsenenbildung, das dieses Thema bereits in anderen
Projektzusammenhängen bearbeitet hat und auch zukünftig bearbeiten wird. Mit der
Erstellung der Studie wurde Stefanie Brunner beauftragt, die zu Online-Self-Assessments
bereits mehrfach in unterschiedlichen Projekten am Arbeitsbereich Weiterbildung und
Bildungsmanagement (we.b) der Universität Oldenburg geforscht und publiziert hat und
über eine ausgewiesene Expertise in diesem Themenfeld verfügt.
Die ausschließlichen Nutzungsrechte der vorliegenden Studie liegen bei KoBF und beim
Schulenberg-Institut. Auf der Studie aufbauende Weiterentwicklungen durch beide oder
einen der beiden Partner sind allen beteiligten Institutionen zur Nutzung zur Verfügung
zu stellen.
Anke Hanft
II
Inhalt
1 Einleitung 1
2 Online-Self-Assessments: Begriff, Zielgruppen, Zugang, Typologisierung,
Einsatzkontexte 2
2.1 Definition und Begriffsvielfalt 2
2.2 Websites mit Online-Self-Assessment-Übersichten 3
2.3 Zielgruppen und Zugang 4
2.4 Typologisierung 5
2.5 Einsatzkontexte, Funktionen, Ziele 5
3 Vorgehen 6
4 Kriterien der Studie 7
5 Auswertung 11
6 Chancen und Risiken – was bringt der Einsatz von Online-Self-
Assessments? 33
7 Zusammenfassung und Fazit 37
Literatur 39
Anhang 41
IIIOnline-Self-Assessments
1 Einleitung
Selbsttests zur Unterstützung der Studienwahlentscheidung gewinnen in den letzten
Jahren immer mehr an Bedeutung. Vor allem durch die rasante Entwicklung des
Internets, der damit entstandenen hohen Reichweite und Nutzung dieses Mediums als
Informationsquelle für die Studienwahl durch Studieninteressierte sowie den
Möglichkeiten der Programmierung interaktiver Tools wurden Online-Self-Assessments
zu einem interessanten Werkzeug für Hochschulen.
Studienwahl war sicherlich schon immer eine mehr oder weniger große
Herausforderung, doch die Informationsfülle, mit der sich Studieninteressierte
heutzutage konfrontiert sehen, ist immens: In Deutschland kann zurzeit zwischen ca.
13.500 grundständigen Studiengängen gewählt werden (Mette & Montel 2014, S. 297).
Die Interessen und Bedürfnisse der verschiedenen Beteiligten sind in diesem Feld
vielfältig und komplex: Studieninteressierte suchen einen Studiengang, der ihnen
inhaltlich liegt, von den intellektuellen Anforderungen her gesehen zu bewältigen
scheint und zu einem Beruf führt, den sie möglichst ein Leben lang ausüben mögen.
Hochschulen wünschen sich vor allem erfolgreiche Studierende und möglichst geringe
Abbruchquoten, auch im Hinblick auf finanzielle Ressourcen und den (internationalen)
Konkurrenzdruck (vgl. Rudinger & Hörsch, 2009, S. 7). Es geht jedoch auch immer
mehr darum, möglichst viele Studierende zu werben, denn vor dem Hintergrund des
demographischen Wandels werden die Studierendenzahlen perspektivisch in den
kommenden Jahren sinken.
So kommt der Darstellung der eigenen Attraktivität über die eigene Website im Internet
eine hohe Bedeutung zu, und immer mehr Hochschulen stellen bei ihrem Internetauftritt
nicht nur die formalen Rahmenbedingungen in den Mittelpunkt, sondern versuchen
auch durch zielgruppengerechte Ansprache und Gestaltung die gewünschten
Besucher_innen möglichst lang auf ihren Seiten zu binden (Erhöhung der
Aufenthaltsdauer). Dies mag mit ein Grund dafür sein, dass Universitäten und
Hochschulen den hohen Aufwand auf sich nehmen, eigene Online-Self-Assessments zu
konzipieren und zu programmieren. Ob diese Tests den besonderen Anforderungen
entsprechen, um daraus, im Sinne eines psychologisch-diagnostischen Verfahrens,
tatsächlich eine Einschätzung oder gar eine Empfehlung für eine Studienwahl ableiten
zu können, ist bisweilen fraglich, denn die Entwicklung und Implementation valider und
reliabler Testverfahren, die wissenschaftlich fundiert sind und auf testtheoretischen
Prinzipien beruhen, ist nur mit relativ großem Aufwand und jahrelangem Einsatz zu
bewältigen. Auch deshalb standen die zum Teil „selbstgestrickten“ Systeme in den
vergangenen Jahren in der Kritik (vgl. Gollub & Meyer-Guckel, 2014).
Im Rahmen der Initiative des Qualitätspakts Lehre haben 53 Fachhochschulen und
Universitäten angegeben, sich in der ersten und/oder zweiten Förderphase mit der
Entwicklung von Online-Self-Assessments zu beschäftigen. In dieser Arbeit wurde
zunächst mittels einer Internetrecherche untersucht, ob und welche Art von Self-
1Online-Self-Assessments
Assessments konzipiert und umgesetzt werden sollen bzw. bereits in der ersten
Förderphase umgesetzt wurden.
Weiter wurden wesentliche Bestandteile der bereits entwickelten Self-Assessments
identifiziert und in einem Kriterienkatalog erfasst. Unter einem Kriterium verstehen wir
beispielsweise, ob ein_e Nutzer_in sich für die Bearbeitung eines Assessments online
registrieren muss oder der Test anonym durchgeführt werden kann; ob vor Beginn der
Testung bekannt ist, wie lang die Durchführung dauern wird; ob am Ende des
Assessments ein detailliertes Feedback mit weiterführenden Vorbereitungs- oder
Beratungsangeboten zur Verfügung gestellt wird.
Nach einem vergleichenden Überblick der Ergebnisse gehen wir auf Chancen und
Risiken der Self-Assessments ein und beleuchten kritisch, in welchem Rahmen die
Erstellung eigener Self-Assessments für Hochschulen lohnend und sinnvoll sein kann.
Vor Beschreibung der Durchführung der Studie soll für ein besseres Verständnis der
„Online-Self-Assessment“-Begriff kurz beleuchtet werden. Außerdem werden
Einsatzkontexte bzw. Ziele des Tools vorgestellt, da wir daraus verschiedene Kriterien
für unsere Untersuchung ableiten.
2 Online-Self-Assessments: Begriff, Zielgruppen, Zugang, Typologisierung,
Einsatzkontexte
2.1 Definition und Begriffsvielfalt
Mit dem Begriff „Self-Assessment“ ist im vorliegenden Kontext ein „webbasierter
Selbsttest“ gemeint (Rudinger & Hörsch, 2009, S. 7). Im Kern geht es um die
Bearbeitung von Aufgaben auf einer Internetseite und einer anschließenden automatisch
generierten Rückmeldung zu den Leistungen: „Die Rückmeldung soll dem
Studieninteressierten ausschließlich als Entscheidungshilfe bei der Studien(fach)wahl
dienen“ (vgl. ebd.).
Seinen Ursprung hat der Begriff in der Psychologischen Diagnostik, die darunter eine
spezielle Situation einer psychologischen Testung versteht (vgl. Kubinger, Frebort &
Müller, 2012, S. 9). Wesentlich ist unter dieser Perspektive, dass diese Testung
unbegleitet und somit sowohl die Durchführung als auch der Umgang mit den
Ergebnissen bzw. der Rückmeldung komplett eigenverantwortlich stattfindet (vgl.
Kubinger, 2009, S. 27; Reiß et al., 2009, S. 73). Dies bringt Konsequenzen für die
Gestaltung der Ergebnisdarstellung sowie des Feedbacks eines Self-Assessments mit
sich (vgl. Brunner, Ranft & Wittig, 2015).
Neben den klassischen Bezeichnungen „Selbst-Test“ und „Self-Assessments“ gibt es
noch den Begriff des „Online-Self-Assessments“, der ebenfalls sehr häufig und oft auch
in seiner Abkürzung „OSA“ verwendet wird. Beispielsweise gibt es seit Kurzem das
„OSA-Portal“, das eine „Übersicht deutschsprachiger Online-Self-Assessments zur
2Online-Self-Assessments
Studienorientierung“ bietet1. Gerade in Gründung befindet sich das „Netzwerk Online-
Self-Assessment“, kurz „NOSA“ (http://www.netzwerk-osa.de)2.
2.2 Websites mit Online-Self-Assessment-Übersichten
Wie oben erwähnt, entstehen in jüngster Zeit verschiedene Websites, die Übersichten
von Online-Self-Assessments zur Verfügung stellen und die Suche bzw. Sortierung
nach verschiedenen Aspekten ermöglichen sollen. Ein Beispiel dafür ist das sog. OSA-
Portal (www.osa-portal.de), ein Gemeinschaftsprojekt der Hochschule der
Bundesagentur für Arbeit (Deutschland) und der Fachhochschule Nordwestschweiz
(Schweiz) unter der Leitung von Prof. Dr. Stefan Höft und Prof. Dr. Benedikt Hell. Das
Portal bietet eine Übersicht deutschsprachiger Online-Self-Assessments zur
Studienorientierung, und zwar mit dem Ziel, einen Vergleich zwischen den
verschiedenen Tests zu ermöglichen (z.B. hinsichtlich Dauer und Kosten). Als
Zielgruppe sind dabei explizit nicht nur Studieninteressierte sondern auch „Fachkundige
aus Wissenschaft und Beratungspraxis“ genannt. Die Suche kann über vier verschiedene
Kriterien erfolgen: 1) Studienfeld (z.B. Ingenieurwissenschaften, Lehramt, etc.); 2)
Studienbereich (z.B. Psychologie, Mechatronik, Medizin, etc.); 3) Land (Deutschland,
Österreich, Schweiz); 4) Studiengangtyp (Bachelor, Master, Lehramt, Staatsexamen,
Sonstiges). Lässt man sich z.B. alle Tests zum Studienbereich Psychologie anzeigen,
erhält man eine Übersicht aller (in der Datenbank eingepflegten) Tests mit den Angaben
zu Hochschule, Land, Stadt sowie zur Dauer, und natürlich den entsprechenden Link
auf die Test-Seite. Mit einem Klick auf der Portalseite kann man sich noch weitere
Metainformationen zu jedem Test anzeigen lassen, wie z.B. ob der Test kostenpflichtig
ist und ob eine Registrierung notwendig ist. Darüber hinaus gibt es die zusätzliche
Option, „Expertendetails“ anzeigen zu lassen; diese scheinen jedoch noch nicht
vollständig erfasst bzw. eingepflegt worden zu sein. Hier wird angestrebt,
Informationen zur Verfügung zu stellen, die Testvalidität, -reliabilität sowie -
normierung betreffen, was auch explizit als Anliegen auf der Website formuliert wird.
Ein weiteres Ziel ist die Erstellung einer Mailing-Liste für OSA-Anbieter, damit diese
sich untereinander austauschen können.
Neben der Suchfunktion gibt es auch die Möglichkeit, sich eine Liste aller verfügbaren
Tests anzeigen zu lassen (zurzeit 651 Datensätze). Ebenso wird eine Liste von
fachübergreifenden Tests zur allgemeinen Studienorientierung zur Verfügung gestellt
(zurzeit 37 Datensätze).
Das OSA-Portal verweist außerdem auf die Website https://www.check-
wunschstudium.de, eine Initiative des Zentrums für Begabungsförderung „Bildung &
Begabung“, gefördert vom Bundesministerium für Bildung und Forschung (BMBF),
1
Projekt der Bundesagentur für Arbeit und die Fachhochschule Nordwestschweiz,
http://www.osa-portal.de [01.04.2017]
2
Zusammenschluss von sieben deutschen Hochschulen, http://www.netzwerk-osa.de
[01.04.2017]
3Online-Self-Assessments
Stifterverband und der Kultusministerkonferenz (KMK). Die Initiative hat mittels einer
Studie im Jahr 2015 drei Self-Assessments staatlicher Hochschulen als valide Tests
identifiziert, die den zu erwartenden Studienerfolg vorhersagen können. Inzwischen
sind zwei weitere Hochschulen hinzugekommen, so dass die Website auf die 44 Tests
dieser fünf Hochschulen verweist. 3
Das oben ebenfalls bereits erwähnte „Netzwerk Online-Self-Assessment“ hingegen hat
den Austausch zwischen OSA-Anbietern zum Ziel und bietet keine Übersicht an
Assessments.
Abb. 1: Anzeige der Zusatzinformationen zum Test, OSA-Portal www.osa-portal.de
2.3 Zielgruppen und Zugang
Hauptzielgruppe der Self-Assessments sind die klassischen Studieninteressierten kurz
vor oder kurz nach dem Abschluss des Abiturs bzw. der (allgemeinen oder
fachspezifischen) Hochschulreife. Dabei sprechen manche (eher wenige) Tests in ihren
Eingangstexten bestimmte Altersgruppen an, z.B. Studieninteressierte ab der 11. Klasse
(z.B. aufgrund des Anforderungsniveaus der Testaufgaben). Im Prinzip sind jedoch die
meisten Self-Assessments frei zugänglich im Internet, so dass jede Person ohne
vorherige Prüfung von Voraussetzungen die Tests bearbeiten kann. Manchmal werden
Altersabfragen im Test selbst vorgenommen, jedoch geschieht dies aus statistischen
3
http://www.check-wunschstudium.de/zum-studiendesign [12.07.2017]
4Online-Self-Assessments
Gründen und schränkt den Zugang nicht ein (zumal man im Internet diese Frage
ohnehin nicht wahrheitsgemäß beantworten muss).
Manche speziellen Self-Assessments werden nur für Studierende einer bestimmten
Hochschule zugänglich gemacht, wie z.B. das „LehramtsNavi“ der Universität
Paderborn oder das Tool der Hochschule Coburg. Hier ist der Zugang zum Assessment
gekoppelt an die Immatrikulation an der jeweiligen Hochschule. Diese
Zugangsbeschränkungen stellen jedoch eher eine Ausnahme als die Regel dar.
2.4 Typologisierung
In der Literatur finden sich verschiedene Typologisierungen von Self-Assessment-
Verfahren. Hell (2009, S.11f.) unterscheidet beispielsweise vier Verfahrenstypen:
(1) Allgemeine, d.h. hochschul- und fächerübergreifende Verfahren: Damit sind
Verfahren gemeint, die Interessen und Fähigkeiten erfassen und darauf
abzielen, passende Studiengänge zu ermitteln.
(2) Hochschulspezifische Verfahren, d.h. Verfahren, die sich auf mehrere Fächer
beziehungsweise Studiengänge innerhalb einer bestimmten Hochschule
beziehen: Hier geht es darum, dass die Testung eine mehrere Fächer
umfassende Testung einschließt, um hochschulspezifisch passende
Studiengänge zu ermitteln.
(3) Studiengangspezifische Verfahren, d.h. Verfahren, die ausschließlich die
fachliche Studierfähigkeit für einen bestimmten Studiengang an einer
konkreten Hochschule überprüfen: Hier geht es vor allem um die konkreten
Anforderungen eines bestimmten Studiengangs bis hin zu den konkreten
Bedingungen an der spezifischen Hochschule.
(4) Mehrstufige Verfahren, d.h. Verfahren, die von ein- und derselben Institution
angeboten werden und mehrere der Kategorien (1) – (3) einschließen (z.B. bei
der Begleitung über einen längeren Zeitraum hinweg, von der
Studienorientierung bis hin zur konkreten Fächerwahl).
2.5 Einsatzkontexte, Funktionen, Ziele
Der Einsatz von Self-Assessment kann zahlreichen Zwecken dienen. Hochschulen und
Studieninteressierte profitieren gleichermaßen, wenn auch in unterschiedlicher Weise:
(1) Self-Assessments stellen eine Orientierungshilfe im großen Studienangebot dar
(13.500 verschiedene grundständige Studiengänge an deutschen Hochschulen,
s. o.);
(2) sie ermöglichen eine attraktive Darstellung von Informationen zur
Unterstützung der Studienwahlentscheidung (vgl. Heukamp, Putz, Milbradt &
Homke 2009);
(3) sie bewirken eine Steigerung der Aufmerksamkeit und Attraktivität der
Hochschule im Rahmen der Öffentlichkeitsarbeit; gefolgt von ggf. gesteigerter
5Online-Self-Assessments
Aufenthaltsqualität und -dauer (wenn gut gemacht); ebenfalls ggf. damit
verbundene Erhöhung der „Kundenbindung“;
(4) sie können eine Aktivierung der zukünftigen Studierenden bewirken, denn sie
stellen eine Gelegenheit dar, sich aktiv mit eigenen Fähigkeiten, Erwartungen
und persönlicher Motivation auseinanderzusetzen (vgl. Zimmerhofer,
Heukamp & Hornke 2006, S. 64). Sie können damit der häufig passiv-
rezipierenden Haltung der „digital natives“ entgegenwirken.
(5) sie können der Entlastung der Studienberatung von Informationsanteilen
dienen, da Ratsuchende besser vorbereitet in die Beratung kommen (vgl.
Kubinger, Frebort & Müller, 2012, S. 12 ff); Konzentration in der
Studienberatung auf deren „Kerngeschäft“, die Entscheidungsberatung;
(6) sie können ggf. die Zahl der geeigneten Bewerber_innen erhöhen
(Verbesserung der Passung der Bewerber_innen) und damit indirekt zur
Erhöhung der Absolventenzahlen beitragen (vgl. Zimmerhofer 2008, S. 6);
(7) sie können der Verbesserung der Studierfähigkeit der Studienbewerber_innen
dienen: durch frühzeitiges Aufdecken von Lücken und Bereitstellung von
Vorbereitungsangeboten wie z.B. Brücken- und Vorkursen.
(8) Studieninteressierte erhalten eine Rückmeldung über eigene Stärken und
Schwächen; das Ergebnis ermöglicht bestenfalls ein gezieltes weiteres
Vorgehen bei der Behebung der Schwächen.
(9) Studieninteressierte erhalten Unterstützung bei der Entscheidungsfindung, auch
wenn sie noch ganz am Anfang ihres Entscheidungsprozesses stehen.
(10) Studieninteressierte erhalten bestenfalls Ermutigung zu persönlicher Beratung
(Rudinger & Hörsch, 2009, S. 90; Human, Clark & Baucus, 2005, S.112).
(11) Außerdem können sie die Tests zu jeder Zeit und an jedem Ort, der über
Internetzugang verfügt, absolvieren (Zeit- und Ortsunabhängigkeit) (ebd.)
3 Vorgehen
Zunächst wurde mittels Literaturrecherche und -analyse (in Anlehnung an obige
Darstellungen und Überlegungen) ein Kriterienkatalog zur Erfassung wesentlicher
Merkmale von Online-Self-Assessments erarbeitet. Während der Untersuchung wurde
dieser Katalog kontinuierlich angepasst und ergänzt, da sich im Laufe der Bearbeitung
weitere wichtige Aspekte zeigten, die in der verwendeten Literatur wenig Eingang
gefunden hatten.
In einem zweiten Schritt wurden mit Hilfe einer vom Qualitätspakt Lehre
bereitgestellten Datenbank 53 Fachhochschulen und Universitäten identifiziert, die
angegeben haben, sich in der ersten und/oder zweiten Förderphase mit der Entwicklung
von Online-Self-Assessments zu beschäftigen. Mittels Internetrecherche erfolgten die
weiteren Schritte:
• Recherche der Hochschulwebseiten zum jeweiligen Projekt des Qualitätspakts
Lehre
6Online-Self-Assessments
• Recherche, ob die Entwicklung von Self-Assessments in der Projektdarstellung
zu finden ist und dann ggf. Nutzung der Verlinkung auf die Assessment-
Unterseite
• Falls auf diesem Weg kein Erfolg zu verzeichnen war, wurde alternativ die
Google-Suche genutzt mit folgenden Suchwörtern und verschiedenen
Kombinationen: Qualitätspakt Lehre (alternativ QPL) + Name der Hochschule
+ Self-Assessment oder OSA oder Assessment oder Test
Durch diese Recherchearbeit wurden zunächst sieben Hochschulen ausgeschlossen, die
das Thema Self-Assessments erst seit der zweiten Förderrunde bearbeiten und auf deren
Webseiten kein Test veröffentlicht war.
Weitere 20 Hochschulen wurden ausgeschlossen, da entweder kein Assessment zu
finden war, auf andere Assessments verwiesen wurde (zweimal: Studifinder.de) oder
das betreffende Assessment im Rahmen eines anderen Projekts entwickelt wurde.
Von den verbleibenden 26 Hochschulen wurden im Laufe der Untersuchung weitere
zwei ausgeschlossen, da die Assessments nur einer begrenzten Teilnehmergruppe zur
Verfügung stehen (immatrikulierte Studierende der jeweiligen Hochschule) und somit
nicht getestet werden können. Es sind also 24 Hochschulen in der Untersuchung
verblieben. Von diesen 24 Hochschulen bieten sechs nicht nur fächerspezifische,
sondern auch übergreifende Tests an, die ebenfalls im Hinblick auf die Kriterien
untersucht wurden
4 Kriterien der Studie
Im Folgenden werden die Kriterien/ Kategorien unserer Studie vorgestellt und, wo
nötig, erläutert. Eine tabellarische Übersicht findet sich im Anhang.
1. Name des Self-Assessment Tools
Den Self-Assessment-Tools wurden zum Teil unterschiedliche Namen gegeben. Dies
hat u.a. Auswirkungen auf die (Wiederauf-)Findbarkeit.
2. URL
3. Herausgeber/in
4. Zielgruppe
Werden spezielle Zielgruppen benannt oder wird stillschweigend „die“ Gruppe der
Studieninteressierten angesprochen?
5. Verfahrenstyp
Handelt es sich um ein allgemeines Verfahren zur Erfassung von Interessen und
übergreifenden Fähigkeiten oder handelt es sich um ein fächerspezifisches Verfahren
zur Erfassung von fachspezifischen Kenntnissen und Fähigkeiten?
6a. Beteiligte der Entwicklung genannt
7Online-Self-Assessments
Werden auf der Website, die zum Assessment hinführt, die Beteiligten der Entwicklung
genannt? Diese Angabe könnte Hinweise auf die wissenschaftliche Fundierung des
Tests liefern.
6b. Entwicklungsverfahren dargestellt
Wird auf der Website, die zum Assessment hinführt, das Entwicklungsverfahren
dargestellt? Diese Angabe könnte Hinweise auf die wissenschaftliche Fundierung des
Tests liefern.
6c. Wissenschaftlich fundiert
Wird auf der Website, die zum Assessment führt, die wissenschaftliche Fundierung
erläutert?
6d. Ansprechpartner Entwicklung genannt
Wird ein Ansprechpartner für die Entwicklung des Tests genannt? (Transparenz)
7. Genutzte Plattform
Welche technische Plattform/ welches technische System wird für das Assessment
verwendet?
8. FAQ-Liste vorhanden
In einer FAQ-Liste sind an einer zentralen Stelle wesentliche Antworten zu finden (z.B.
zur Dauer des Tests oder zu benötigten Hilfsmitteln); dies kann Teilnehmer_innen
helfen, das Assessment richtig zu bearbeiten und bestmöglich zu nutzen.
9. Kosten
Ist das Angebot für alle frei zugänglich oder gibt es eine Kostenhürde?
10. Inhalte
Welche konkreten Inhalte sollen bearbeitet werden? Falls es fachliche Inhalte sind:
Welches Niveau haben die gestellten Aufgaben?
11a. Wird eine ungefähre Bearbeitungsdauer genannt?
Können Nutzer_innen vorher einschätzen, wie viel Zeit sie für eine gründliche
Bearbeitung in etwa benötigen?
11b. Wenn ja: Angabe der Dauer
12. Besonderheiten bei der Durchführung
Gab es Besonderheiten, die bei der Durchführung aufgefallen sind?
13a. Registrierung/ Anmeldung nötig
8Online-Self-Assessments
Eine Registrierung ist eine zusätzliche Hürde bei der Bearbeitung, andererseits
ermöglicht sie eine dauerhafte Speicherung, ggf. eine Unterbrechung und eine spätere
Weiterbearbeitung sowie ein späteres Wiederabrufen der Ergebnisse.
13b. Registrierung/ Anmeldung schnell/unkompliziert
Funktioniert die Registrierung reibungslos und unkompliziert? Da sie an sich schon eine
Hürde darstellt, könnten weitere Barrieren abschreckend wirken und möglicherweise zu
einem Abbruch schon vor dem Beginn des Tests führen.
13c. Späteres Fortfahren möglich/ Speicherung der Ergebnisse
Wenn für die Teilnahme an dem Test eine Registrierung erforderlich ist, sollte auch ein
Mehrwert existieren, wie eben z.B. ein späteres Fortfahren der Bearbeitung sowie die
Speicherung der erzielten Ergebnisse. Möglicherweise gibt es auch Tests, bei denen
eine Speicherung der Ergebnisse über eine andere technische Lösung möglich ist, auch
diese Option kann unter diesem Kriterium erfasst werden.
13d. Art des Anmeldeverfahrens
Wie viele Daten müssen eingegeben werden? Ist es eine sichere Verbindung (https)?
Wird das Double-Opt-In-Verfahren genutzt, bei dem ein Bestätigungslink per E-Mail
versendet wird, und durch dessen Aufruf erst das Konto aktiviert wird (aktueller
Sicherheitsstandard beim Abonnement von E-Mail-Newslettern)?
14. Datenschutz wird thematisiert
Gibt es einen Hinweis auf das Thema Datenschutz?
15a. Muss man das OSA absolvieren?
Ist es Pflicht, das Assessment zu absolvieren, um an der Hochschule studieren zu
können?
15b. Wenn ja: Muss man das OSA bestehen?
Muss das Assessment erfolgreich absolviert werden, um an der Hochschule studieren zu
können?
16. Gibt es einen Hinweis auf benötigte Hilfsmittel?
Werden für die Bearbeitung Hilfsmittel benötigt? Oder wird explizit darauf
hingewiesen, dass die Bearbeitung ohne Hilfsmittel erfolgen soll?
17. Gibt es eine Fortschrittsanzeige?
Ist während der Bearbeitung der Nutzerin/ dem Nutzer zu jedem Zeitpunkt bekannt, wie
viel des Assessments schon geschafft ist und wie viel noch zu bearbeiten ist?
18. Nutzerfreundlichkeit/ Navigation
Sind die Navigationselemente an üblichen Stellen? Ist die Bedienung intuitiv und
unterstützend, oder ist die Bedienung beschwerlich und hinderlich?
9Online-Self-Assessments
19. Graphische Gestaltung/ Design
Ist die graphische Gestaltung ansprechend und gut strukturiert, so dass die Bearbeitung
des Assessments unterstützt und nicht behindert wird?
20. Auswertung/ Ergebnisdarstellung
Zu welchem Zeitpunkt werden die Ergebnisse des Tests dargestellt (direkt nach jeder
Aufgabe, zum Ende eines Blocks, zum Ende des gesamten Tests)? In welcher Form
werden die Ergebnisse des Tests dargestellt (ist die Aufgabe sichtbar, ist die eigene
Antwort sichtbar, wird die korrekte Lösung angegeben, gibt es Erläuterungen zum
Lösungsweg)? Gibt es graphische Elemente?
21. Feedback
Zu welchem Zeitpunkt und in welcher Form wird Feedback gegeben? Gibt es
graphische Elemente? Gibt es eine Vergleichsgruppe, zu deren Ergebnissen die
Ergebnisse der Nutzerin/ des Nutzers in Beziehung gesetzt werden?
22. Verknüpfung zu anderen Informations- und Beratungsangeboten
Ist das Assessment verknüpft mit Informations- und Beratungsangeboten? Kann die
Nutzerin/ der Nutzer direkt im Anschluss Kontakt für weitere oder neu entstandene
Anliegen aufnehmen, und ist diese Kontaktaufnahme unkompliziert und
niedrigschwellig?
23. Download der Ergebnisse als PDF
Können die Ergebnisse als PDF heruntergeladen werden?
24. Besonderheiten
Ist etwas Außergewöhnliches aufgefallen, oder etwas, das dieses Assessment besonders
von anderen unterscheidet?
25. Gibt es eine Evaluation?
Werden im Laufe des Assessments Evaluationsfragen über das Assessment gestellt?
26. Zusammenfassende Kritik
Hier wurden Kritikpunkte zusammengestellt.
27. Positives
Hier wurden Dinge, die positiv aufgefallen sind zusammengestellt.
10Online-Self-Assessments
5 Auswertung
Im Folgenden werden die Ergebnisse zu den relevantesten Kriterien vorgestellt.
Kategorien wie „2. URL“ wurden der Vollständigkeit halber aufgenommen, werden hier
jedoch nicht näher erläutert.
Kriterium 1: Name des Self-Assessment-Tools
Die Hochschulen haben ihren Tools teilweise unterschiedliche Namen gegeben. Eine
Hochschule benannte als Grund dafür eine bessere Wiederauffindbarkeit durch
bestimmte Schlagwörter in der Websuche. Die verschiedenen Namensgebungen lassen
weitere Gründe vermuten wie z.B. die Abgrenzung zu anderen Tools, die Betonung
spezieller Eigenschaften (z.B. „Navigator“) oder ein moderner Klang („virtuelle
Studienberatung 2.0“).
Der Begriff „Self-Assessment“ wird siebenmal verwendet, der Begriff „Online-Self-
Assessment“ lediglich dreimal. Zweimal wird als Name des Tests die Abkürzung
„OSA“ eingesetzt. Dafür, dass sich in der Fachliteratur der Begriff „Online-Self-
Assessment“ immer häufiger als der Fachbegriff finden lässt, ist die Häufigkeit der
Verwendung in dieser Stichprobe relativ gering. Der Begriff „Test“ findet sich in
verschiedenen Kombinationen wieder und zwar als „Interessentest“, „Online-
Interessentest“, „Online-Selbsttest“ und „allgemeiner Studierfähigkeitstest“ (insg.
siebenmal). Immerhin dreimal wird der Begriff „Online-Studienwahl-Assistent“ als
Name verwendet, und der Begriff „Orientierung“ findet sich in Kombination mit
„virtuelle Studienorientierung 2.0“ und „Online-Studienorientierung“ zweimal wieder.
Ein Test wird subsummiert unter „webbasierte Beratungsangebote für
Studieninteressierte“, einer wird niedrigschwellig tituliert als
„Selbsteinschätzungshilfe“. Vier weitere Tests haben ganz spezielle Eigennamen
erhalten: „Test & Check“, „RubCheck“ (Rub steht dabei für die RuhrUni Bochum),
„Skala“ und „Studienkompass“.4
Das eigentliche Problem hinter diesen unterschiedlichen Begriffen ist die Schwierigkeit,
den Test einer speziellen Hochschule tatsächlich über eine Internetsuche zu finden. Da
es keinen Begriff gibt, den alle Hochschulen nutzen, müssen sich Suchende bisweilen
viel Mühe geben, wenn sie den Test einer bestimmten Hochschule finden wollen,
gerade wenn es sich dabei nicht um eine der „großen“ Hochschulen mit den
bekanntesten Tests handelt. Ist die Hochschule eher klein, werden nämlich bisweilen
andere Hochschulen mit ihren Tests in der Suche ganz oben aufgelistet und das, obwohl
diese konkrete Hochschule als Schlagwort eingegeben wurde. Eine kreative Benennung
des eigenen Tests ist im Prinzip nicht verwerflich, jedoch wäre es wünschenswert und
auch für jede Hochschule erstrebenswert, dass ihr Test über die geläufigsten Suchwörter
gefunden werden kann. Suchende werden in der Regel nicht nach „Studienorientierung“
4
Anmerkung: Es sind 30 Begriffe, da insgesamt 30 Tests von 24 Hochschulen untersucht wurden.
11Online-Self-Assessments
oder „Studienkompass“ suchen, und so könnte es sein, dass Hochschulen allein durch
die Namensgebung den Kontakt von Studieninteressierten erschweren.
Kriterium 4: Zielgruppe5
19 Hochschulen nennen entweder den Begriff „Studieninteressierte“ konkret in ihrem
Eingangstext oder adressieren durch die Formulierung eindeutig die Zielgruppe
„Studieninteressierte“ („Auf der Suche nach dem richtigen Studium?“). In zwei
Assessments werden speziell Studienbewerber_innen angesprochen, vier richten sich an
Studieninteressierte, die sich schon für ein bestimmtes Studienfach oder eine bestimmte
Fakultät der jeweiligen Hochschule interessieren. Ein Assessment ist für angehende
Lehramtsstudierende gedacht und ein weiteres Assessment speziell für
Fernstudieninteressierte. Ein Assessment differenziert die Studieninteressierten in die
vier Gruppen der Schüler_innen, Abiturient_innen, Studienfachwechsler_innen und
berufsqualifizierten Quereinsteiger_innen, und ein Assessment ist speziell für Nutzer
gedacht, die bereits über eine Hochschulzugangsberechtigung verfügen oder in Kürze
darüber verfügen werden. Andere dürfen trotzdem am Assessment teilnehmen, jedoch
könne es dann Probleme mit dem Aufgabenniveau geben, und so wird explizit der
Hinweis gegeben: „Lassen Sie sich davon nicht abschrecken und versuchen Sie es zu
einem späteren Zeitpunkt einfach noch mal!“6 Die Untersuchung der Stichprobe zeigt,
dass vor allem undifferenziert die Gruppe der „Studieninteressierten“ angesprochen
wird.
Kriterium 5: Verfahrenstyp
Sieben Hochschulen bieten sowohl einen Test zur allgemeinen Studienorientierung bzw.
Interessentest als auch mindestens einen fachspezifischen Test an; 15 Hochschulen
bieten mindestens einen oder mehrere fachbezogenen Tests an (Range: 1 – 34 Fächer).
Eine Hochschule hat nur einen allgemeinen Test und eine andere Hochschule einen
besonderen Test zur Erfassung von Schreibkompetenzen „im Programm“. Einige Male
verweisen Hochschulen für allgemeine Interessenerkundung auf
hochschulübergreifende Verfahren wie den Studium-Interessentest (SIT) auf den Seiten
des Hochschulkompass‘7 oder den studifinder.de von Nordrhein-Westfalen.8
5
Hier sind es nicht genau 24 Antworten, da die Hochschulen z.T. mehrere Zielgruppen nennen.
6
Bonner OSA
7
Studium-Interessentest, Herausgeber: Hochschulrektorenkonferenz (HRK) und ZEIT ONLINE,
https://www.hochschulkompass.de/studium-interessentest/ueber-sit.html [01.04.2017]
8
Serviceportal der Hochschulen in Nordrhein-Westfalen, studifinder.de,
https://www.studifinder.de [01.04.2017]
12Online-Self-Assessments
Kriterium 6 (a-d): Beteiligte der Entwicklung, Entwicklungsverfahren,
wissenschaftliche Fundierung, Ansprechpartner für die Entwicklung
Diese Kriterien werden zusammengefasst behandelt, da es auf den jeweiligen
Internetseiten nur sehr wenige Angaben dazu zu finden gab. Sechsmal wurden die
Beteiligten der Entwicklung genannt, wobei nicht immer klar ersichtlich war, wer für
welche Aufgaben zuständig war. Fünf Hochschulen erwähnten das
Entwicklungsverfahren, wobei es nur dreimal den Hinweis auf wissenschaftliche
Entwicklungen gab und zweimal ein Ausdruck wie „haben wir für Euch
zusammengestellt“ verwendet wurde (aber aus dem immerhin hervorging, dass es echte
Menschen hinter dem Test gibt und somit die Situation etwas weniger virtuell wirken
lässt). Immerhin achtmal werden Ansprechpartner_innen für den entwickelten Test
genannt oder verlinkt, wenn auch z.T. nur in kleiner Schrift und schwer auffindbar.
Viermal lässt sich ein Hinweis auf die wissenschaftliche Fundierung der
Testentwicklung finden, wobei nicht immer ganz klar ist, wie wissenschaftlich die
Entwicklung vorgenommen wurde (einige Male wird z.B. auf Modelle wie das
Interessenmodell von Holland hingewiesen, das auch unter dem Namen RIASEC
bekannt ist). Aus der Verlinkung zum jeweiligen Projektteam wird bei drei Tests
ersichtlich, dass Bildungsforscher_innen bzw. Psycholog_innen an der Entwicklung
beteiligt waren und diese unter Berücksichtigung testpsychologischer Standards erfolgt
ist (bspw. unter Mitwirkung von Professoren für Psychologische Diagnostik oder
Empirische Bildungsforschung). Das Vorgehen bei der Testentwicklung wird jedoch an
keiner Stelle ganz konkret erläutert, geschweige denn bspw. auf Standards for
educational and psychological testing (APA) verwiesen. Diese Standards werden von
der American Educational Research Association (AERA), der American Psychological
Association (APA) sowie dem National Council on Measurement in Education (NCME)
veröffentlicht und in unregelmäßigen Abständen aktualisiert. Ziel der Standards ist es,
Kriterien für die Entwicklung und Evaluation von Tests sowie Richtlinien für die
Prüfung der Validität von Interpretationen der Testergebnisse bereitzustellen (AERA,
APA & NCME 2014, S.1).
Kriterium 7: Genutzte Plattform
Dieses Kriterium wurde erst während der Untersuchung mit in den Katalog
aufgenommen, so dass hier nicht flächendeckend Ergebnisse vorliegen. Zu einem
großen Teil scheinen die Systeme von der jeweiligen Hochschule selbst programmiert
zu sein; einige Hochschulen greifen jedoch auf das relativ bekannte „Testmaker“-
System der RWTH Aachen zurück. Einige weitere Hochschulen nutzen Moodle, das
den großen Vorteil hat, auch auf mobilen Endgeräten nutzbar zu sein, was bei vielen
anderen Systemen nicht der Fall ist. Einige Male wird explizit erwähnt, dass das System
leider nicht auf dem Smartphone aufgerufen werden kann.
Die Frage nach der besten technischen Grundlage ist eine sehr wesentliche, die mit
verschiedenen Aspekten verbunden ist, beispielsweise mit Fragen nach:
13Online-Self-Assessments
• den Kosten: System selbst programmieren oder einkaufen?
• der Stabilität: Läuft es stabil oder bricht es zusammen, wenn es einmal ein
wenig mehr Traffic gibt?
• der Flexibilität, was die Funktionen des Programms betrifft:
o selbst programmiert: flexible Ergänzung
o eingekauft: Ergänzung ggf. sehr teuer oder gar nicht möglich
• der Gestaltung: Wie individuell und modern kann das Programm gestaltet
werden in Farben/Design/ Layout? Wie modern kann es gestaltet werden?
• dauerhaftem Support:
o wenn selbstprogrammiert: bleibt das Know-How dauerhaft an der
Hochschule oder gibt es Herrschaftswissen, das mit bestimmten
Personen verbunden ist, die ggf. die Hochschule verlassen könnten?
o wenn eingekauft: wie teuer?
So kann es auf der einen Seite sinnvoll sein, ein bekanntes und stabiles System zu
nutzen, das über gesicherte Supportstrukturen verfügt. Auf der anderen Seite ist es
möglicherweise nicht sinnvoll, ein etabliertes System zu nutzen, das wenig
Gestaltungsspielraum lässt, nur weil es sicher läuft. Neben der „Testmaker“-Software,
die von einer Hochschule entwickelt wurde und der „Moodle“-Plattform, die als Open-
Source-System kostenlos genutzt werden kann (es wird lediglich Programmierleistung
für die Anpassung benötigt) gibt es in der Stichprobe einige Assessments, die durch die
Firma Cyquest erstellt und in die jeweilige Hochschulwebsite eingebettet wurden. Es
entsteht also anscheinend aktuell auch ein Markt für solche Dienstleister.
Kriterium 8: FAQ
Wie oben erwähnt, ist der große Vorteil einer FAQ-Liste darin zu sehen, dass an einer
zentralen Stelle wesentliche Antworten zu finden sind. Auf neun Assessment-Seiten der
untersuchten Stichprobe wurden FAQ-Listen gefunden, eine davon sehr versteckt
verlinkt und eine weitere sehr kurz.
Kriterium 9: Kosten
Alle Assessments der Stichprobe können kostenlos genutzt werden.
Kriterium 10: Inhalte
25 der untersuchten Self-Assessments geben zu Beginn eine Übersicht über das, was
man im Self-Assessment zu erwarten hat. Dabei reicht die Beschreibung von recht
wenigen und allgemeinen Fakten („drei Bereiche innerhalb von 30 Minuten“) bis hin
zur differenzierten Darstellung, welche Art von Fragen zu welchem Zweck verwendet
werden (wobei erster Fall deutlich häufiger vorliegt). Fünf der untersuchten Self-
14Online-Self-Assessments
Assessments bieten weder eine kurze noch eine lange Übersicht über die zu erwartenden
Inhalte.
Wesentliche Inhalte der Assessments sind vor allem: a) die Studienfachwahl, b) die
Studieneignung, c) Interessen, d) Überprüfung von Erwartungen, e) Informationen zu
einem speziellen Studiengang an einer speziellen Hochschule, f) Basisaufgaben eines
Studienfeldes, g) Informationen über eine spezielle Hochschule.
Bei der Ausgestaltung der verschiedenen Bereiche werden verschiedene (Medien-)
Elemente genutzt: Neben dem Text auch Bilder, Graphiken, Tabellen, Animationen und
Videos sowie interaktive Elemente wie z.B. „Drag’n’drop“.
Ursprünglich war geplant, die Inhalte noch detaillierter zu klassifizieren und zu
beschreiben, doch dies hätte den Umfang der Untersuchung überschritten und ist somit
als weiterer Schritt denkbar, ebenso wie die Frage nach dem Niveau der verwendeten
Fragen.
Kriterium 11 a+b: Wird eine Bearbeitungszeit genannt? (inkl. Angabe der Dauer)
In 17 Fällen wird eine ungefähre Bearbeitungszeit genannt, in 13 Fällen nicht. In zwei
der erstgenannten Fälle wurde die Dauer in den FAQs erwähnt; in einem Fall wird dabei
erwähnt, dass man sich Zeit nehmen solle und zwei bis drei Stunden realistisch seien;
im anderen Fall wird von einer Dauer von etwa 60 Minuten ausgegangen, je nachdem
wie viele der Videos angeschaut würden.
Die Spannbreite der verschiedenen angegebenen Bearbeitungszeiten geht von einem
Minimum von zehn Minuten bis hin zu einem Maximum von 120 Minuten.
Durchschnittlich werden 48 (Durchschnitt der Minimalwerte) bis 56 Minuten
(Durchschnitt der Maximalwerte) veranschlagt. Dabei fällt auf, dass sehr viele
unterschiedliche Zeiten angegeben werden, so dass jeder Wert maximal zweimal in
dieser Stichprobe genannt wird. In sechs Fällen wird nur ein ungefährer Zeitwert mit
einer Minimal- und einer Maximaldauer angegeben.
Aus der tabellarischen Darstellung lässt sich gut ablesen, dass sich etwas mehr als zwei
Drittel der untersuchten Assessments (12) im Zeitrahmen bis maximal 60 Minuten
befinden und etwas weniger als ein Drittel im Zeitrahmen von 60 bis maximal 120
Minuten (5).
15Online-Self-Assessments
Dauer in Minuten Häufigkeit
bis max. 30 5
Minuten
bis max. 60 7
Minuten
bis max. 105 3
Minuten
bis max. 120 2
Kriterium 12: Besonderheiten bei der Durchführung
An dieser Stelle werden Besonderheiten aufgeführt, die bei der Durchführung
aufgefallen sind:
• In einem Assessment fällt besonders auf, dass mit einer besonders schwierigen
Frage in der Mathematik gestartet wird, nämlich mit Ableitungsregeln. Häufig
wird mit eher einfachen Fragen gestartet mit allmählicher Steigerung des
Schwierigkeitsgrades.
• Ein Assessment bietet im Menü mehrere interessante Navigationspunkte an
wie z.B. "Notizen", allerdings gibt es keine Einführung, wie diese genutzt
werden können/ sollen.
• In einem Assessment gibt es einen Reflexionsbereich, der auch als Menüpunkt
angezeigt wird. Klickt man jedoch während des Assessments darauf, wird
erklärt, dass man erst nach Absolvieren des gesamten Tests diesen Bereich
betreten darf. Letztlich handelt es sich im Wesentlichen um nur vier Fragen zur
Selbstreflexion (Woran habe ich wirklich Spaß? Wofür interessiere ich mich?
Wo liegen meine Begabungen? Was sind meine Erwartungen?), so dass die
Frage im Raum steht, weshalb man diese nicht schon vorher einsehen darf.
• In einem Assessment wird sofort ein PDF zum Download bereitgestellt, sobald
man die letzte Frage des Teilbereichs beantwortet und abgesendet hat (ohne
vorherige Nachfrage oder Klick auf einen weiteren Link).
• In einem der Assessments kann man einzelne Fragen markieren und sie später
noch einmal gezielt aufrufen, und in einem weiteren kann man sich den
bisherigen Fallverlauf anzeigen lassen.
Kriterium 13 (a-d): Registrierung nötig? + schnell/unkompliziert + späteres
Fortfahren möglich/Speicherung der Ergebnisse + Art des Anmeldeverfahrens
Bei zehn der Assessments ist eine Registrierung zwingend nötig, sonst kann der Test
nicht absolviert werden. In vier Fällen ist eine Registrierung möglich, aber nicht
notwendige Bedingung für die Bearbeitung des Assessments; es wird auf die Vorteile
16Online-Self-Assessments
der Speicherung von Ergebnissen sowie der späteren Fortsetzung der Bearbeitung
hingewiesen (nicht möglich ohne Registrierung). Hier stellt also die Registrierung eine
von zwei Optionen dar. Bei einem Großteil, nämlich in 15 Fällen ist eine Registrierung
gar nicht möglich.
In elf Fällen funktioniert die Registrierung schnell und unkompliziert. In einem Fall
kam die Registrierungsmail für die Rückbestätigung, die vor der endgültigen
Registrierung durchgeführt werden muss, erst nach ca. einer Stunde an, was besonders
irritierte, da in den anderen sieben Fällen diese immer sofort nach Registrierung
einging. In den meisten Fällen musste man für eine Registrierung einen Nutzernamen
angeben, seinen Vor- und Nachnamen eintragen, ein Passwort vergeben sowie eine
gültige E-Mail-Adresse eintragen. Lediglich bei einer Registrierung musste man
detailliertere personenbezogene Daten angeben z.B. zum Alter und zum höchsten
Schulabschluss. In zwei Fällen musste zusätzlich zu den wenigen Daten ein sog.
Captcha eingetragen werden (ein Captcha ist eine kleine Aufgabe, die per Hand
eingetragen werden muss; damit wird sichergestellt, dass die Eintragung nicht durch
einen sog. Robot oder ein Schadprogramm vorgenommen wird sondern durch einen
„echten“ Menschen). Erst nachdem man alles ausgefüllt und auf „Absenden“ geklickt
hat, wird ein Fehler angezeigt, wenn man beim Anmeldenamen (ein Nickname, den
man sich selbst geben soll) einen Großbuchstaben verwendet hat. Leider wird diese
Vorgabe nicht vorher angezeigt. Hat man also diesen Fehler gemacht, muss man nun
einen Nickname nur mit Kleinbuchstaben eintragen – und muss auch ein neu erzeugtes
Captcha eintragen.
In acht Fällen wird das sogenannte Double-Opt-In verwendet, das den Nutzer_innen
eine größere Sicherheit garantiert. Dieses Verfahren wird meist auch bei der Anmeldung
zu E-Mail-Newslettern verwendet und bedeutet, dass nach der Anmeldung über eine
Webseite eine Nachricht mit einem Bestätigungslink an die angegebene E-Mail-Adresse
gesendet wird. Nur wenn dieser Link aufgerufen und damit die Anmeldung bestätigt
wird, ist sie auch gültig. Damit wird verhindert, dass eine fremde Person die eigene
Mail-Adresse für solche Anmeldungen verwendet. Die Nutzung des Double-Opt-In-
Verfahrens ist also professioneller Standard. Die Textgestaltung in den
Bestätigungsemails variiert bei den Self-Asssessments: In zwei Fällen gab es eine gut
formulierte, inhaltsreiche E-Mail mit eindeutiger Zuordnung zum Anbieter und Namen
des Tools. In einigen Fällen gab es sehr kurz gehaltene Mails, in denen z.B. nur der
Name der technischen Umgebung genannt wurde (in diesem Fall der „Testmaker“), was
irritiert, wenn einem nur der Name des Tools selbst oder der Name der Hochschule
bekannt ist (die in diesem Fall nicht erwähnt wurden). In vier Fällen ist keine
Rückbestätigung per E-Mail für die Anmeldung nötig, in einem dieser Fälle erhielt man
dennoch eine E-Mail mit ausführlichen Informationen.
Kriterium 14: Datenschutz wird thematisiert
In 18 der Assessments wird das Thema Datenschutz angesprochen, in zwei Fällen
davon in den FAQs, in den anderen Fällen entweder zu Beginn des Assessments bzw.
17Online-Self-Assessments
bei der Registrierung oder an der Stelle, wo die Eingabe von personenbezogenen Daten
erfolgen soll. In zwölf Assessments wird der Datenschutzaspekt nicht erwähnt.
Kriterium 15 a+b: Muss man das OSA absolvieren? Wenn ja: Muss man das OSA
bestehen?
An acht der beteiligten Hochschulen ist das Absolvieren des Assessments eine
Bedingung für die Immatrikulation; an zwei dieser Hochschulen gilt diese Bedingung
nur für eine bestimmte Anzahl der beteiligten Fächer. An keiner der Hochschulen
jedoch ist das „Bestehen“ bzw. das Absolvieren mit einem bestimmten Leistungsniveau
eine Voraussetzung für das Erhalten des Zertifikats; es geht lediglich darum, das
Assessment einmal durchgeführt zu haben. Neben hochschulspezifischen
Zugangsregelungen gibt es ganz allgemein in Baden-Württemberg die Pflicht, ein
Studienorientierungsverfahren zu absolvieren und die Teilnahme nachzuweisen. Auf
den Seiten einiger der Self-Assessments unserer Stichprobe wird explizit darauf
hingewiesen, dass diese für den Nachweis verwendet werden können. Bei 21 Tests, also
beim Großteil der Stichprobe ist das Absolvieren des Tests keine Pflicht für die
Aufnahme eines Studiums.
Kriterium 16: Gibt es einen Hinweis auf benötigte Hilfsmittel?
In zehn Assessments wird ein Hinweis gegeben darauf, ob Hilfsmittel benötigt werden,
einmal davon in den FAQs (also nicht direkt im Self-Assessment). Dabei wird bei
einigen Assessments speziell darauf hingewiesen, dass keine Hilfsmittel genutzt werden
sollten, bei einigen wird explizit auf den Bedarf hingewiesen. Ein Assessment weist
darauf hin, dass die Nutzung von Hilfsmitteln einen Einfluss auf die Leistung habe und
mit reflektiert werden solle, wenn es zur Ergebnisbewertung komme. In der
überwiegenden Zahl, nämlich in zwanzig Fällen, gibt es keinerlei Hinweise auf
benötigte oder nicht benötigte Hilfsmittel.
Kriterium 17: Gibt es eine Fortschrittsanzeige?
Ebenso in der überwiegenden Zahl der Fälle, nämlich bei 21 Assessments, gibt es eine
Fortschrittsanzeige, häufig in Form eines Balkens (ggf. mit prozentualer Angabe des
Fortschritts), in wenigen Fällen als Tortengraphik und in einigen Fällen als Angabe, auf
welcher von einer bestimmten Zahl an Seiten oder bei welcher von einer bestimmten
Zahl an Aufgaben man sich im Test befindet (z.B. Seite 2/4 oder Aufgabe 3 von 13). In
neun Fällen gibt es keine Fortschrittsanzeige, wobei dies in einem Fall auch
gerechtfertigt zu sein scheint aufgrund der Kürze des Tests (23 Fragen auf einer
einzigen Seite).
18Online-Self-Assessments
Abb. 2: Beispiel Fortschrittsbalken
Kriterium 18: Nutzerfreundlichkeit/ Navigation
Im Hinblick auf die Nutzerfreundlichkeit und Gestaltung der Navigation in den Self-
Assessments fällt auf, dass es in zehn Fällen keinen „Zurück“-Button gibt. In einem
Assessment wird das explizit damit begründet, dass man einmal gegebene Antworten
nicht noch einmal ändern soll. In fünf Fällen befinden sich der „Weiter“- und ggf. auch
der „Zurück“-Button an unüblichen Stellen – entweder besonders weit oben oder
besonders weit unten, oder der „Weiter“-Button befindet sich unten links anstatt unten
rechts, wo man ihn gewöhnlich erwartet. Das behindert die reibungslose Navigation
schon, da man intuitiv an die gewohnte Stelle zielt und außerdem in einigen Fällen der
Weg vom Klick der Bearbeitung zum Klick auf „Weiter“ sehr weit wird. In einigen
Fällen sind die Buttons „Weiter“ und „Zurück“ anders betitelt, so dass hier die
Navigation ebenfalls etwas länger dauert; auch ist hier die Schrift in den
Navigationselementen etwas klein. In einem Fall befinden sich die „Zurück“- und
„Weiter“-Buttons rechts oben vom Bearbeitungsfeld, was an sich schon ein
ungewöhnlicher Ort für die Navigation ist; zusätzlich befindet sich der Link zum
„Ausloggen“ direkt darunter, so dass man nach Beantwortung einer Frage mit dem
Mauszeiger immer über den Punkt „Ausloggen“ fährt, bevor man weiternavigieren kann
– das irritiert sehr. In zwei Fällen ist der Kontrast der Schrift zu gering (die Schrift mehr
in Richtung Grauton denn schwarz), so dass es auf Dauer anstrengend ist, den Text zu
lesen und für seheingeschränkte Menschen nicht barrierefrei ist. In einem Assessment
sind die „Zurück“- und „Weiter“-Buttons in einem Blauton, was fortwährend irritiert
hat. In einem anderen Assessment ist die Navigation so strukturiert, dass man bei
Bedarf zu jeder Frage einzeln hinspringen kann.
Bei einem Assessment fällt auf, dass man von der Assessmentseite weggeführt wird, es
sich also eine neue Internetseite öffnet, wenn man auf „Projektteam“ klickt. In einem
anderen Fall verschwindet das Menü, sobald das Assessment gestartet wird, was irritiert
und im weiteren Verlauf die Übersicht erschwert. In einem weiteren Fall sind
19Online-Self-Assessments
Navigationselemente nicht nötig, da es sich nur um eine einzige Seite mit 23 Fragen
handelt.
In einem Assessment ist die Markierung der Hauptmenüpunkte nicht schnell und
intuitiv erkenntlich. Die Markierung erfolgt durch zwei Schrägstriche, diese sind jedoch
nicht farbig und fallen deshalb nicht wirklich auf.
Schließlich gibt es ein Assessment, das mit einer Flash-Animation beginnt, nach deren
Ende erst einmal unklar ist, wie weiternavigiert werden soll, da es keinen „Weiter“-
Button gibt. Irgendwann findet man jedoch heraus, dass man, zumindest an dieser
Stelle, selbständig im horizontalen Hauptmenü weiterklicken muss (es geht aber sonst
immer weiter mit einem Pfeil-Button, der nach rechts zeigt – nur eben nicht nach der
Animation).
In zwölf Fällen ist die Navigation einwandfrei und intuitiv händelbar.
Bei Anklicken öffnet sich eine
Leiste mit verschiedenfarbigen
Stiften – es bleibt auch nach
Ausprobieren unklar, welche
Funktion dieses Feature hat.
Nach Angabe der Antworten muss
man auf „Eintragen“ klicken.
Abb. 3: Beispiel Navigation
Kriterium 19: Graphische Gestaltung/ Design
Die Leitfrage zu diesem Kriterium lautet: Ist die graphische Gestaltung ansprechend
und gut strukturiert, so dass die Bearbeitung des Assessments unterstützt und nicht
behindert wird?
20Online-Self-Assessments
Bei zwei Assessments fällt auf, dass die Bilder von Formeln in etwas größerer
Auflösung etwas unscharf werden, was die Bearbeitung jedoch nicht maßgeblich
beeinträchtigt (nur eben nicht ganz so professionell wirkt).
Auffällig ist, dass einige Assessments sehr viel mit Bildern arbeiten, die Mehrzahl
jedoch recht wenige Bilder verwendet. In zwei Assessments sind die
Navigationselemente sehr klein und erschweren das Klicken; in einem Fall ist der
Farbkontrast durch zu helle Schrift beschwerlich, und in einem Fall ist der Hinweistext
mit der Bitte, eine fehlende Frage zu beantworten, da man sonst nicht weitermachen
könne mit der Aufgabenbearbeitung, in einem hellblauen Schriftton, also sehr schlecht
erkennbar. Häufig werden recht viele Aufgaben in Tabellenform auf einer Seite
präsentiert, im Stil einer LimeSurvey-Tabelle, was das Auge schnell ermüden lässt und
die Konzentration sowie die Motivation sehr herausfordert; hier wären weniger
Aufgaben auf einer Seite ein Gewinn für die Nutzer_innen. In einem anderen Fall
werden die Fragen optisch zu dicht aneinander präsentiert, so dass es für das Auge
anstrengend ist, die Zeilen auseinander zu halten. In sieben Fällen ist die Präsentation an
sich zwar ok, jedoch wirkt sie nicht modern, sondern eher wie aus einer früheren
Generation des Internets. Acht Assessments sind zwar schlicht aber ausreichend
ansprechend, drei weitere werden als wirklich ansprechend in der Gestaltung bewertet
und ein Assessment wird als sehr ansprechend bewertet.
Abb. 4: Beispiel lange Tabellen
21Sie können auch lesen
