STUDIENEINGANGSTESTS EINE SYSTEMATISCHE BESCHREIBUNG DEUTSCHSPRACHIGER, WISSENSCHAFTLICHER AUSWAHLVERFAHREN - wihoforschung
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
STUDIENEINGANGSTESTS
EINE SYSTEMATISCHE BESCHREIBUNG DEUTSCHSPRACHIGER,
WISSENSCHAFTLICHER AUSWAHLVERFAHREN
Edith Braun und Bettina Hannover
STUDIENEINGANGSVERFAHREN IN DEUTSCHL AND: BESTANDSAUFNAHME, BEWERTUNG UND ENTWICKLUNGSPERSPEKTIVEN
STU D I EN EI N G A N G STESTS
S T UDIENEING A NGSV ER FA HR EN
IN DEU T SCHL A ND
ED ITH B RAU N U N D B ETTI NA HA N N OVER
Das vorliegende Portfolio ist im Rahmen des Projekts „Studienein- Unsere Recherche führte zur Identifikation von 24 Studieneingangs-
gangsverfahren in Deutschland: Bestandsaufnahme, Bewertung tests, die psychometrischen Testkriterien entsprechen und die wissen-
und Entwicklungsperspektiven“ entstanden, das vom Bundesmi- schaftlich fundiert entwickelt und evaluiert worden waren und die für
nisterium für Bildung und Forschung gefördert wurde. Ziel war eine grundständige Studiengänge an Hochschulen in den deutschsprachigen
systematische Beschreibung von deutschsprachigen Auswahlverfahren Ländern Deutschland, Österreich und Schweiz eingesetzt werden. Die
für Studienplatzbewerberinnen und -bewerber (im Folgenden Studien- im Anhang im Überblick dargestellten 24 Studieneingangstests sind
eingangstests genannt). Zunächst werden das Projekt und die für eine schriftliche Tests, wenige enthalten einen ergänzenden mündlichen
systematische Beschreibung der Studieneingangstests verwendeten Testteil oder ein integriertes Online-Self-Assessment.
Kategorien beschrieben. Danach folgt eine detaillierte Vorstellung der
Testverfahren. Für eine detaillierte Beschreibung der Studieneingangstests wurde aus
den insgesamt 24 identifizierten eine zufällige Stichprobe von 10 Tests
gezogen (grau hinterlegt in der Tabelle). Die Entwickler*innen dieser 10
PR OJ EKTVO R STE LLU N G Tests wurden von uns angeschrieben, mit der Bitte um Zusendung bzw.
Einsicht in den Test, mit dem Ziel, sie genauer analysieren zu können.
Für die Identifikation von deutschsprachigen Studieneingangstests Alle verantwortlichen Personen erklärten sich bereit, uns Einsicht in
verfolgten wir zwei Strategien: Wir führten eine systematische Literatur- ihre Tests zu geben und stellten weitere Informationen zur Verfügung,
recherche in wissenschaftlichen Datenbanken durch, und wir baten die sodass ein Rücklauf von 100 % erzielt wurde. Die Einsicht in die
für die Förderlinie des BMBF „Kompetenzmodellierung und -erfassung Testverfahren gestaltete sich sehr unterschiedlich. In manchen Fällen
im Hochschulsektor“ verantwortliche Koordination, uns derzeit noch wurde uns das Material via E-Mail zur Verfügung gestellt, in anderen
unveröffentlichte Tests aus ihren Projekten zu nennen. war eine schriftliche Vereinbarung zur Sicherung der Testinhalte not-
wendig. Darüber hinaus gab es Testentwickler*innen, die zur Wahrung
Ein Ergebnis unseres Projekts ist, dass Hochschulen in Deutschland der Testsicherheit eine Einsicht und Besprechung des Materials vor Ort
gegenwärtig ein breites Spektrum an Verfahren nutzen, um Bewerbe- wünschten. Für die Einsicht in diese Tests sind wir an die jeweiligen
rinnen und Bewerber für einen Studienplatz auszuwählen (Haase et al., Standorte gereist, um dort in Treffen mit den Entwicklungsteams die
in Revision). In diesem Portfolio findet nur eine bestimmte Art dieser Studieneingangstests zu besprechen.
Verfahren Berücksichtigung, nämlich Studieneingangstests, die einem
Test im engen, psychometrischen Sinne entsprechen. Damit bleiben
Auswahlverfahren unberücksichtigt, die keine empirische Überprüfung
von Testkriterien einschließen. Ausgenommen wurde auch jede Form
von Auswahlverfahren, denen keine wissenschaftliche Entwicklung
und Evaluation zugrunde liegt, wozu beispielsweise die Nutzung von
alten Klausuren aus den Studienfächern, die als Test verwendet
werden, zählt.
2 3
STUDIENEINGANGSVERFAHREN IN DEUTSCHL AND: BESTANDSAUFNAHME, BEWERTUNG UND ENTWICKLUNGSPERSPEKTIVEN
VERW EN D ETE K ATEG O R I EN ZU R Bezug auf einen spezifischen Leistungsbereich (z. B. sprachlich) oder
TEST STUDIENFACH ERFASSTE KONSTRUKTE BEMERKUNGEN
allgemein (z. B. Matrizenlösen) operationalisiert wird. Daran anschlie-
VO R STE LLU N G D ER TESTS 1 Medizin Intelligenz, Wissen zentrale Durchführung
ßend werden die Aufgabengruppen konkreter benannt, also welche
inhaltlichen Aufgaben (z. B. Mathematik, logisches Denken) von der 2 Psychologie Intelligenz, Wissen derzeit nicht eingesetzt
Das erhaltene bzw. eingesehene Material wurde von uns gesammelt
Testperson bearbeitet werden sollen. Es folgen Informationen zur An-
und geordnet. Die Darstellung der 10 Tests basiert im Wesentlichen 3 Rechtswissenschaft Intelligenz, Wissen mehrstufiges Verfahren
zahl der Items und Kategorien. Und zuletzt wird der Testinhalt weiter
auf den Angaben der Testentwickler*innen und ist nach dieser Struktur
detailliert bei den Arten der erfassten Fähigkeiten vorgestellt. 4 Medizin Wissen mehrstufiges Verfahren
gegliedert:
5 Lehramt Wissen, nicht-kognitive Fähigkeiten Verwendung am Studieneingang möglich
6 Pharmazie Intelligenz, Wissen vorhanden, derzeit Aktualisierung
1. Ü B ER B LI C K TESTG ÜTEKR ITER I EN
2 . TESTI N HA LT
7 Bildungswissenschaft Intelligenz, Wissen Verwendung am Studieneingang möglich
Im dritten Abschnitt werden psychometrische Testgütekriterien des je-
3 . TESTG ÜTEKR ITER I EN 8 Lehramt Wissen Verwendung am Studieneingang möglich
weiligen Studieneingangstests vorgestellt. Ein Schwerpunkt liegt dabei
4 . PRAKTI S C H E A N W EN D U N G 9 Wirtschaftswissenschaft Wissen derzeit nicht eingesetzt
auf der Darstellung empirischer Studien zur Validität. Wie relevant sind
5 . Q U E LLEN die erfassten Kriterien für die Prognose von Studien- und Berufs- 10 Lehramt Intelligenz, nicht-kognitive Fähigkeiten mehrstufiges Verfahren
erfolg, was kann über die prognostische Validität des jeweiligen
Ta b e l l e 1 / Ü b e r s i c h t ü b e r d i e z e h n d e t a i l l i e r t b e t r a c h t e t e n Te s t s
Tests gesagt werden. Darüber hinaus werden Befunde zur Reliabililtät
(Zuverlässigkeit) und Objektivität dokumentiert, genauso Angaben,
Ü B ER B LI C K ob Untersuchungen zur Testfairness durchgeführt oder Ethische
Überlegungen dokumentiert wurden.
Zunächst wird ein Überblick über den jeweiligen Test gegeben. Dazu
wird spezifiziert, was der Test misst; in welcher Studienrichtung/
Ü B ER G R EI FEN D E ER G EB N I S S E DA N K
welchem Fachbereich und zu welchem Zeitpunkt des Bildungsverlaufs
(Level) er zum Einsatz kommt. Zudem werden Informationen zu den
PRAKTI S C H E ANW EN D U N G
Die Studierfähigkeitstests unterscheiden sich deutlich voneinander. Für Wir bedanken uns herzlich für die Bereitschaft aller angefragten Test-
Kontaktpersonen und deren institutioneller Zugehörigkeit (Institut/ Der vierte Abschnitt widmet sich der praktischen Anwendung der die Studienfächer Medizin, Psychologie und Wirtschaftswissenschaften entwickler*innen, die uns trotz hoher Sicherheitsanforderungen für
Hochschule) gegeben, die im Falle eines Interesses an dem Test Tests. Hierzu werden Angaben zur Länge der Testzeit (wie lange dauert liegt jeweils mehr als ein wissenschaftlich fundierter Studieneingangs- den Schutz der Testaufgaben einen tiefgreifenden Einblick ermöglicht
angesprochen werden können. Die Testentwickler*innen werden haben. Nur aufgrund dieser Zusammenarbeit konnte eine 100 % Stich-
die Testdurchführung) und dazu gemacht, an welchen bzw. wie vielen test vor.
ebenfalls namentlich genannt. Abschließend werden Angaben zur Art probenausschöpfung realisiert werden und somit ein repräsentativer
Hochschulen der Test bereits eingesetzt wurde, sodass ersichtlich Einblick in vorhandene Tests für den Studieneingang gegeben werden.
der Nutzung gemacht, aus denen deutlich wird, zu welchem Zweck der wird, wieviel Erfahrung mit der Testverwendung bereits besteht. Es Die Betrachtung der Aufgabengruppen zeigt, dass Studieneingangs-
Test eingesetzt wird, da nicht alle Tests zur Auswahl von Studierenden folgen Hinweise zur Verfügbarkeit der Informationen für Bewer- tests in deutschsprachigen Ländern vorrangig kognitive Fähigkeiten, Edith Braun und Bettina Hannover
genutzt, sondern manche eher als Forschungs- und Begleitinstrument ber*innen. Außerdem wird die Einschätzung der Testentwickler*innen wie Intelligenz oder Schul- bzw. Studienwissen, testen. Nicht-kognitive Justus-Liebig Universität Gießen und Freie Universität Berlin
verwendet werden. Merkmale wie Anstrengungsbereitschaft sind weniger berücksichtigt. Juli 2021
betreffend die Möglichkeit zur flächendeckenden Implementation
des Instruments, inkl. Zeit- und Personalaufwand für die Studienin- In sechs der zehn ausgewählten Tests wurde das Merkmal Intelligenz
teressierten und die Hochschulen, finanzielle Kosten und erforderliche (oder ein vergleichbares Konstrukt) als Kriterium für Studierfähigkeit
TESTI N HA LT Technik für die Hochschulen, wiedergegeben. getestet, in zwei davon wurde ausschließlich Intelligenz erfasst. Sieben LITERATU R
Tests der Stichprobe erfassen Wissen. In einem Fall wurde Vorwissen
Der zweite Abschnitt widmet sich der Beschreibung des Testinhalts. Haase, H.; Braun, E.; Böttger, J. & Hannover, B. (in Revision). Wie
auf schulischer Ebene, in vier von sieben Tests wurde Wissen aus dem
werden Bewerberinnen und Bewerber zum Studium in Deutschland zu-
Dazu werden zunächst die erfassten Konstrukte benannt, die wir Studium und in zwei Tests eine Kombination aus schulischem und
in die Bereiche Wissen, Intelligenz (kognitive Leistungsfähigkeit) und
VERW EN D ETE Q U E LLEN gelassen? Eine Analyse nach Zulassungskriterien, Fächergruppen und
hochschulischem Wissen überprüft. Die Überprüfung von nicht-kogni- Hochschularten. Zeitschrift für empirische Hochschulforschung.
nicht-kognitive Merkmale kategorisiert haben. Das Wissen kann schul- Jede Testvorstellung schließt mit Quellenangaben ab, die verwendet tiven Merkmalen erfolgte in zwei der zehn ausgewählten Tests, wobei
spezifisch sein, sich also auf erworbenes Wissen aus der Schule be- wurden, um die jeweiligen Informationen zusammenzustellen und die in dem einen Test zusätzlich Intelligenz und in dem anderen zusätzlich
ziehen oder auf Studieninhalte, d. h. auf Wissen, das perspektivisch in auch für Leserinnen und Leser von Interesse sein können, die erwägen, Wissen untersucht wurden.
einem Hochschulstudium erworben werden soll. Wird Intelligenz erfasst, den Test selbst einzusetzen. Abschließend wird berichtet, wie wir Ein-
so differenzieren wir danach, ob sie als kognitive Leistungsfähigkeit in sicht in den Test nehmen konnten.
4 5
STUDIENEINGANGSVERFAHREN IN DEUTSCHL AND: BESTANDSAUFNAHME, BEWERTUNG UND ENTWICKLUNGSPERSPEKTIVEN
AUSWAHLTEST DER BUCERIUS LAW SCHOOL (SCHRIFTLICHER TEIL)
1. Ü B ER B LI C K
WAS MISST DER TEST? Fachspezifische Studierfähigkeit Rechtswissenschaften
STUDIENRICHTUNG/
FACHBEREICH: Rechtswissenschaften
LEVEL: Bachelor
KONTAKTPERSON/EN: Dr. Stephan Stegt, Dr. Kristine Heilmann
HOCHSCHULE/INSTITUT: ITB Consulting GmbH
TESTENTWICKLUNG DURCH: ITB Consulting GmbH und Bucerius Law School
ART DER NUTZUNG: Auswahltest für Studienplatzvergabe
• hochschuleigenes Auswahlverfahren für die private Hochschule Bucerius Law School
• Entwicklung im Jahr 2000
• Überprüfungen und Anpassungen im Jahr 2015: Die Aufgabengruppen
„Schlussfolgerungen“ und „Oberbegriffe“ wurden entfernt, da keine zusätzliche
inkrementelle Validität durch diese beiden Aufgabengruppen nachgewiesen werden konnte.
Dafür wurde die Aufgabengruppe „Sprachstile“ aufgenommen.
• Weiterentwicklung im Jahr 2020: Onlinetest, den Testpersonen mit einer
Proctoring-Beaufsichtigung zu Hause ablegen konnten. Beim Proctoring
wird die Testdurchführung mithilfe von Webcam, Screensharing und Mikrophon
von sogenannten Proctoren (Aufsichtspersonen) überprüft (Stegt & Hofmann, 2020).
Nach den positiven Erfahrungen wird die Onlinedurchführung als neue
Möglichkeit diskutiert.
6 7
STUDIENEINGANGSVERFAHREN IN DEUTSCHL AND: BESTANDSAUFNAHME, BEWERTUNG UND ENTWICKLUNGSPERSPEKTIVEN
2. TESTI N HA LT
2 .1 E R FA S STE KO N STR U K TE 2 . 3 ITE M S U N D K ATE G O R I E N
Fachspezifische kognitive Leistungsfähigkeiten. Schriftlicher Testteil: Mündliches Auswahlverfahren:
• Schriftlicher Test (Multiple-Choice) Die folgende Darstellung ist den Informationsbroschüren der ITB Con-
• Erörterung sulting GmbH (siehe Quellenverzeichnis) entnommen¹.
2 . 2 A U FG A B E N G R U P P E N
In den mündlichen Auswahlverfahren werden soziale und kommunikati-
Mündlicher Teil: ve Kompetenzen sowie Engagement und Initiative erfasst:
AUFGABE AUFGABENANZAHL BEARBEITUNGSZEIT BESCHREIBUNG
• Einzelinterview (2 Stück) • Thesenvortrag und Diskussion: schlüssige Darstellung eines
• Gruppendiskussion mit 3 Mitbewerber*innen kontrovers diskutierbaren Themas, Argumentationsvermögen,
Sprachstile 32 23 Min. Ergänzung von Textausschnitten um einen
Satz, der sprachlich und stilistisch zum Text- • Thesenvortrag mit anschließender Diskussion sprachliches Darstellungsvermögen.
ausschnitt passt • Einzelgespräche: Allgemeinbildung, Argumentationsvermögen,
2 . 4 A RTE N E R FA S STE R FÄ H I G K E ITE N
Interesse am Studium, Teamfähigkeit, adressatenbezogene
Diagramme 22 50 Min. Erfassung quantitativer Informationen in Kommunikation, Engagement.
und Tabellen Form von Darstellungen und Ableiten von
logischen Schlüssen • Gruppendiskussion: Fähigkeit zur Teamarbeit und
Schriftlicher Test:
Argumentationsvermögen, Zielstrebigkeit.
Indizien 22 46 Min. Untersuchen eines Satzes auf seine • Sprachstile: Sprachbeherrschung und die Fähigkeit,
logische Struktur hin, Ableiten von Der Test deckt ein breites Kompetenzcluster ab. Schwierigkeiten in
Schlussfolgerungen unterschiedliche Stile zu erkennen und zu unterscheiden.
einer Aufgabengruppe können durch Leistungen in anderen Aufgaben-
• Diagramme und Tabellen: analytisches Denken, Umgang
gruppen kompensiert werden.
Fälle und 22 55 Min. Anwendung von Rechtsnormen auf mit quantitativen Relationen und die Bereitschaft und Fähigkeit,
Normen konkrete Lebenssachverhalte und sich in unterschiedliche Sachverhalte hineinzudenken.
Ziehen von Schlüssen
• Indizien: Abstraktionsfähigkeit, logisch-analytisches Denken
Ta b e l l e 2 und die Fähigkeit, logische Regeln auf komplexe Sachverhalte
anzuwenden.
• Fälle und Normen: schlussfolgerndes Denken und die
Fähigkeit, Texte genau zu analysieren, wesentliche
Informationen zu erkennen und im Hinblick auf gegebene
Geringfügige Änderungen der Bearbeitungszeiten und Aufgabenan-
Normen zu beurteilen.
zahl möglich. Jede richtige Antwort gibt einen Punkt, falsch oder nicht
• Erörterung: Strukturiertheit der Darstellung, Vielfalt der
beantwortete Fragen ergeben keinen Punkt. Bei der Berechnung des
Argumente, folgerichtige Argumentation, Differenziertheit und
Testergebnisses werden die Aufgabengruppen „Indizien“, „Fälle und
Flüssigkeit des sprachlichen Ausdrucks, Sicherheit in
Normen“ sowie „Sprachstile“ einfach, „Diagramme und Tabellen“
Grammatik, Rechtschreibung und Zeichensetzung.
halb gewichtet.
Weitere Aufgabe: Schreiben einer Erörterung am Testtag, Zeitvorgabe
45 Minuten. Dazu können die Testpersonen zwischen zwei vorgege-
benen Themen auswählen. Die Ergebnisse der Erörterung haben eine
Schwellenfunktion: Bei Unterschreiten der Mindestpunktzahl werden
Bewerbende aus dem Verfahren ausgeschlossen. Bei Überschreiten der
Mindestpunktzahl geht das Ergebnis nicht weiter in die Berechnung
des Gesamtergebnisses ein.
1W ir haben keinen Einblick in die mündlichen Auswahlverfahren genommen.
8 9
STUDIENEINGANGSVERFAHREN IN DEUTSCHL AND: BESTANDSAUFNAHME, BEWERTUNG UND ENTWICKLUNGSPERSPEKTIVEN
3 . TESTG ÜTEKR ITER I EN
TEI LNOTE 20 0 0 BAC H ELO R- A B S C H LU S S N OTE 20 0 0 TEI LNOTE 20 01
3 .1 VA LI D ITÄT (SIEHE ANMERKUNGEN)
In den folgenden Tabellen sind empirische Ergebnisse verschiedener Validierungsstudien aufgelistet.
r= r= r=
Abiturnote .61 .67 .49
3.1.1 R ELEVANZ DER ER FASSTEN KR ITER I EN FÜ R DI E PROG NOS E VO N STU DI EN- U N D B ER U FS ER FO LG
Studierfähigkeitstest .52 .53 .18
PRÄD I KTO R N OTE D ES BAC H ELO R- A B S C H LU S S ES A N D ER B U C ER I U S L AW S C H OO L;
GESAMT KORRIGIERT Schriftliches Verfahren .69 .72 .37
gesamt
R E G R E S S I O N S A N A LY S E N ( M I T S E L E K T I O N S K O R R E K T U R )
Ta b e l l e 5 / Q u e l l e : D l u g o s c h ( 2 0 0 5 ) / P r o g n o s t i s c h e V a l i d i t ä t d e s s c h r i f t l i c h e n A u s w a h l v e r f a h r e n s ( u n k o r r i g i e r t e W e r t e )
Schlussfolgerungen .16
Diagramme und Tabellen .23
Indizien .35
Fälle und Normen .27
Oberbegriffe .15
Ta b e l l e 3 / Q u e l l e : B e r g h o l z & S t e g t ( 2 0 1 8 )
TEI LNOTE 20 0 0 BAC H ELO R- A B S C H LU S S N OTE 20 0 0 TEI LNOTE 20 01
(SIEHE ANMERKUNGEN)
r= r= r=
3.1. 2 DETAI LLI ERTE Ü B ER S IC HT ZU R PROG NOSTI SC H EN VALI DITÄT
Abiturnote .70 .77 .55
Studierfähigkeitstest .60 .61 .22
PRÄD I KTO R N OTE D ES BAC H ELO R- A B S C H LU S S ES A N D ER B U C ER I U S L AW S C H OO L;
GESAMT KORRIGIERT
Schriftliches Verfahren .84 .87 .44
R E G R E S S I O N S A N A LY S E N ( M I T S E L E K T I O N S K O R R E K T U R ) gesamt
Ta b e l l e 6 / Q u e l l e : D l u g o s c h ( 2 0 0 5 ) / P r o g n o s t i s c h e V a l i d i t ä t d e s s c h r i f t l i c h e n A u s w a h l v e r f a h r e n s ( e i n f a c h s e l e k t i o n s - u n d m i n d e r u n g s k o r r i g i e r t )
Abitur .39
Auswahltest .46
Abitur und Auswahltest .45
Ta b e l l e 4 / Q u e l l e : B e r g h o l z & S t e g t ( 2 0 1 8 )
10 11
STUDIENEINGANGSVERFAHREN IN DEUTSCHL AND: BESTANDSAUFNAHME, BEWERTUNG UND ENTWICKLUNGSPERSPEKTIVEN
4 . PRA KTI S C H E A N W EN D U N G
A N M E R K U N G E N ZU D E N TA B E LLE N ZU R P R O G N O STI S C H E N VA LI D ITÄT: 3 . 2 R E LI A B I LITÄT/ B E F U N D E ZU R ZU V E R L Ä S S I G K E IT Der Ablauf des Tests sieht vor, dass zum schriftlichen Testteil prinzi- 4.3 VER FÜ G BAR KEIT DER I N FO R MATIO N EN FÜ R B EWER B ER*I N N EN
piell alle Bewerber*innen eingeladen werden, die für ein Hochschul-
• Teilnote im Jahr 2000: gemäß der Prüfungsordnung gewichteter Cronbachs-Alpha-Test gesamt .85 (2000), .88 (2001) (Dlugosch, 2005). studium zulassungsberechtigt sind. Zum mündlichen Test werden die • detaillierte Website mit ausführlichen Informationen zum
Wert aus den durchgeführten Prüfungen zu Pflichtveranstaltungen rund 230 besten Kandidat*innen des schriftlichen Auswahlverfahrens Bewerbungsverfahren sowie aktuellen Terminen und Fristen
des Bachelor of Law an die Bucerius Law School in Hamburg eingeladen. Für den weiteren • Aufgabengruppen des Testverfahrens und Ablauf werden
3 . 3 O BJ E K TI V ITÄT
• Abschlussnote des Bachelor of Law im Jahrgang 2000 Selektionsprozess werden das Testergebnis mit der Abiturnote bzw. nachvollziehbar dargestellt
• Teilnote im Jahr 2001: gemäß der Prüfungsordnung gewichteter der Durchschnittsnote der letzten drei Zeugnisse vor dem Abitur ver- • einzelne Testteile (schriftliche und mündliche) werden erläutert
Die Durchführungsobjektivität wird durch genau vorgegebene Test-
Wert aus den durchgeführten Prüfungen zu Pflichtveranstaltungen rechnet; dabei zählt das Testergebnis zwei Drittel und die Abiturnote • Beispiel- und Übungsaufgaben sind online zur Verfügung gestellt
zeiten und Instruktionstexte sowie durch eine erfahrene Testleitung vor
des Bachelor of Law ein Drittel. • alle Informationen sind kostenfrei im Internet zugänglich
Ort gewährleistet. Während des Tests werden keine Fragen der Test-
• Schwierigkeiten der Aufgaben zwischen .20 - .80
personen zu einzelnen Aufgaben beantwortet, da dies den Grundsatz
• alle Evaluationen sind mit Daten der Vorversion
der Gleichbehandlung der Testteilnehmer*innen verletzen würde. Die 4 .1 TE STZ E IT 4 . 4 M Ö G LI C H K E IT ZU R F L Ä C H E N D EC K E N D E N I M P LE M E NTATI O N
durchgeführt worden
Auswertungsobjektivität ist durch einen vorher festgelegten Lösungs- D E S I N STR U M E NTS
schlüssel, einen vorher festgelegten Auswertungsmodus sowie die Die Testzeit für den schriftlichen Teil setzt sich wie folgt zusammen:
computergestützte Berechnung des Ergebnisses gegeben. Die Durchführung von Studieneingangstests ist, gerade in Präsenz, mit
• Erörterung: 45 Minuten
hohem personellem Aufwand verbunden (Meier, 2003).
• Multiple-Choice-Test: 174 Minuten + Pause zwischen
3 . 4 B E F U N D E ZU R TE STFA I R N E S S
den Testteilen Diagramme und Tabellen und Indizien
Der Test wurde 2020 als Onlinetest mit Proctoring (Stegt & Hofmann,
• Online-Version: 117 Minuten + optional 5 Minuten
Ergebnisse von Dlugosch (2005) zeigen Unterschiede zwischen den 2020) durchgeführt und ist prinzipiell auch für andere Hochschulen
Pause zwischen den Aufgabengruppen
beiden untersuchten Jahrgängen: In den Abiturnoten konnten Frauen nutzbar, wenn entsprechende Vereinbarungen mit der Bucerius Law
bessere Leistungen vorweisen, während Frauen in dem schriftlichen School und ITB getroffen werden.
Für den mündlichen Testteil sind folgende Zeitspannen vorgesehen:
Test schlechter abschnitten, sodass es sich insgesamt ausglich
und das gesamte schriftliche Verfahren als fair betrachtet wird. Im
• Thesenvortrag und Diskussion: insgesamt 120 Minuten
Jahrgang 2001 ergab sich der ungewöhnliche Befund, dass auch die
• Zwei Interviews: je 30 Minuten
Abiturnote die Leistung der Frauen im Studium unterschätzte; damit
• Gruppenarbeit: 50 Minuten
war das gesamte Verfahren in diesem Jahrgang nicht fair.
Ergebnis von Bergholz & Stegt (2018): Bei der Auswertung von ins- 4 . 2 E I N G E S ETZ T A N FO LG E N D E N H O C H S C H U LE N
gesamt sechs aufeinanderfolgenden Jahrgängen zeigte sich, dass
der Auswahltest fair ist beim Vergleich von Männern und Frauen; die Bucerius Law School Hamburg: Der Test wurde für diese Hochschule
Studienleistung von Männern und Frauen wurde in gleichem Maße entwickelt.
durch das Testergebnis vorhergesagt.
3 . 5 ETH I S C H E Ü B E R LE G U N G E N
Keine Angaben dazu auffindbar; die Testentwickler*innen geben in
Interviews an, auf Gendergerechtigkeit zu achten.
12 13
STUDIENEINGANGSVERFAHREN IN DEUTSCHL AND: BESTANDSAUFNAHME, BEWERTUNG UND ENTWICKLUNGSPERSPEKTIVEN
5 . Q U E LLEN
Bergholz, L. & Stegt, S. (2018). Validität und Fairness eines Studier- 5 .1 TE STE I N S I C HT
fähigkeitstests für Rechtswissenschaften. Zeitschrift für Hochschulent-
wicklung, 13(4), 57-79. Vor-Ort-Treffen in Bonn am 05.09.2019; zudem wurden Telefonate
geführt.
Bucerius Law School (2019). Webseite. Verfügbar unter
www.law-school.de/jurastudium/bewerbung/auswahlverfahren
Bucerius Law School (2018). Das Auswahlverfahren der Bucerius Law
School. Workshop am 25.09.2018.
Dlugosch, S. (2005). Prognose von Studienerfolg, dargestellt am
Beispiel des Auswahlverfahrens der Bucerius Law School. Aachen:
Shaker Verlag.
ITB Consulting GmbH (2019). Auswahltest der Bucerius Law School,
Hochschule für Rechtswissenschaften, entwickelt von der ITB
Consulting GmbH, Bonn. Eine Beschreibung mit Beispielaufgaben
für das Auswahlverfahren. Bonn.
ITB Consulting GmbH (n. d.). Informationen über das
Auswahlverfahren der Bucerius Law School – für die Prüferinnen
und Prüfer im mündlichen Auswahlverfahren.
Meier, B. D. (2003). Ist der Erfolg im Jurastudium vorhersagbar?
Empirische Befunde zum Zusammenhang zwischen Schulnoten und
Abschneiden im ersten juristischen Staatsexamen. Beiträge zur
Hochschulforschung, 25(4), 18-35.
Stegt, S. J. & Hofmann, A. (2020). Eignungstests in der Corona-
Pandemie: Proctoring zur Auswahl von Bachelor- und Masterstudieren-
den. Qualität in der Wissenschaft, 3, 84-90.
14 15
STUDIENEINGANGSVERFAHREN IN DEUTSCHL AND: BESTANDSAUFNAHME, BEWERTUNG UND ENTWICKLUNGSPERSPEKTIVEN
EMS – EIGNUNGSTEST FÜR DAS MEDIZINSTUDIUM IN DER SCHWEIZ
1. Ü B ER B LI C K
WAS MISST DER TEST? Studierfähigkeit für die Medizin
STUDIENRICHTUNG/
FACHBEREICH: Human-, Veterinär- und Zahnmedizin und Chiropraktik
LEVEL: Bachelor und Master (in der Schweiz, wo dieser Test eingesetzt wird,
gliedert sich das Medizinstudium in Bachelor und Master)
KONTAKTPERSON/EN: Dr. Benjamin Spicher, Dr. Alexander Zimmerhofer
HOCHSCHULE/INSTITUT: Zentrum für Testentwicklung und Diagnostik & ITB Consulting GmbH
TESTENTWICKLUNG DURCH: ITB Consulting GmbH und Zentrum für Testentwicklung und Diagnostik (Universität Fribourg)
ART DER NUTZUNG: Auswahltest für Studienplatzvergabe
Erstellung durch Anforderungsanalysen
• Relevante Kompetenzen aus verschiedenen Teildisziplinen der Medizin
(bspw. konzentriertes und sorgfältiges Arbeiten).
• Expert*innen wurden zu „Critical Incidents“ gefragt, und diese Situationen
wurden in dem Test operationalisiert.
• EMS wird durch wissenschaftlichen Beirat kontinuierlich überwacht; bei Änderungen
im Studium werden Anpassungen der Testinhalte besprochen; mindestens jährliche Absprachen.
• Enge Verwobenheit mit dem größten Test für Medizinische Studiengänge
(TMS²) (Aufgabengruppen gleich benannt, gleicher Aufgabenpool für die
Erstellung neuer Versionen, aber TMS ist länger: pro Aufgabengruppe 4-6 Aufgaben mehr).
2
S iehe zum T M S au ch Ta b elle im A nha ng.
16 17
STUDIENEINGANGSVERFAHREN IN DEUTSCHL AND: BESTANDSAUFNAHME, BEWERTUNG UND ENTWICKLUNGSPERSPEKTIVEN
2. TESTI N HA LT
2 .1 E R FA S STE KO N STR U K TE Weitere Anmerkungen zu dem Test: 2 . 3 ITE M S U N D K ATE G O R I E N
Intelligenz, Verständnis (Test soll prinzipiell vorwissensfrei durchzuführen sein). • jährlich neue Zusammenstellung aus Aufgabenpool Keine Angaben dazu auffindbar.
• testet sehr viele unterschiedliche kognitive Aspekte
• aus der Einsicht in den Test wurde deutlich, dass die
2 . 2 A U FG A B E N G R U P P E N 2 . 4 A RTE N E R FA S STE R FÄ H I G K E ITE N
Aufgaben weitestgehend kontextualisiert für medizinische
Bereiche gestaltet sind
• Muster zuordnen: Fähigkeit, Ausschnitte in einem komplexen
AUFGABE AUFGABENANZAHL BEARBEITUNGSZEIT I N FO R M ATI O N EN Bild wiederzuerkennen
• medizinisch-naturwissenschaftliches Grundverständnis:
Muster 20 18 Min. Verständnis für Fragen der Medizin und der Naturwissenschaften
zuordnen
• Schlauchfiguren: räumliches Vorstellungsvermögen
• quantitative und formale Probleme: richtiger Umgang mit
medizinisch- 20 50 Min.
naturwissenschaftliches Zahlen, Größen, Einheiten und Formeln im Rahmen medizinischer
Grundverständnis und naturwissenschaftlicher Fragestellungen
• konzentriertes und sorgfältiges Arbeiten: rasches, sorgfältiges
Schlauchfiguren 20 12 Min. und konzentriertes Arbeiten
• Figuren lernen: Wahrnehmung, Einprägung und Merken
quantitative und forma- 20 50 Min. von Details, die sie visuell wahrnehmen
le Probleme • Fakten lernen: Einprägen und Merken von Fakten
• Textverständnis: Aufnahme und Verarbeitung von
konzentriertes und 20 8 Min. umfangreichem und komplexem Textmaterial
sorgfältiges Arbeiten
• Diagramme und Tabellen: korrekte Analyse und Interpretation
von Diagrammen und Tabellen
Merkfähigkeitstest 20 Einprägephase: Reproduktion nach 45 Min., währenddessen wird
Figuren lernen 4 Min. die Aufgabengruppe Textverständnis bearbeitet
Reproduktionsphase:
5 Min.
Merkfähigkeitstest 20 Einprägephase: Reproduktion nach 45 Min., währenddessen wird
Fakten lernen 6 Min. die Aufgabengruppe Textverständnis bearbeitet
Reproduktionsphase:
7 Min.
Textverständnis 18 45 Min.
Diagramme und 20 50 Min.
Tabellen
Ta b e l l e 7
18 19STUDIENEINGANGSVERFAHREN IN DEUTSCHL AND: BESTANDSAUFNAHME, BEWERTUNG UND ENTWICKLUNGSPERSPEKTIVEN
3 . TESTG ÜTEKR ITER I EN 4 . PRA KTI S C H E ANW EN D U N G
3 .1 VA LI D ITÄT 3 . 4 B E F U N D E ZU R TE STFA I R N E S S 4 .1 TE STZ E IT
Folgende Angaben machen die Testentwickler*innen: 4:15 Stunden.
3.1.1 R ELEVANZ DER ER FASSTEN KR ITER I EN FÜ R DI E PROG NOS E VO N STU DI EN- U N D B ER U FS ER FO LG
• Chancengleichheit für verschiedene Teilgruppen 4 . 2 E I N G E S ETZ T A N FO LG E N D E N H O C H S C H U LE N
• aber: unterschiedliche Bestehenswahrscheinlichkeiten
[R] D U RC H SC H N ITTS NOTE AU S D EM D U RC H SC H N ITTS NOTE AU S D EM
HUMANMEDIZINSTUDIUM VETERINÄRMEDIZINSTUDIUM in Teilgruppen • ETH Zürich
• keine signifikanten Testunterschiede bei Geschlechtern • Universität Zürich
festzustellen; bei gleicher Eignung sind die Chancen identisch • Universität Basel
Testwert im EMS .53 .66
• Unterschiede zwischen älteren Bewerberinnen und Bewerbern, • Universität Bern
Ta b e l l e 8 / Q u e l l e : H ä n s g e n & S p i c h e r ( 2 0 0 2 ) die ihre Maturitätsprüfung früh oder später abgelegt haben • Universität Fribourg
• Chancengleichheit zwischen den verschiedenen • Università delle Svizzera italiana
Die Vorhersagekraft ist nicht disziplinspezifisch für Human- oder Veterinärmedizin. Erfolgreiche Testpersonen weisen in beiden Disziplinen nahezu iden- Sprachgruppen ist gegeben
tische Werte auf. Aber die Bestehensquote ist unterschiedlich. • laufende Evaluation hinsichtlich Alters-, Geschlechts-, Bedingt durch die Mehrsprachigkeit der Schweiz wird der Test in
Regional- und Spracheffekten deutscher, italienischer und französischer Sprache angeboten.
• Korrelationen der Noten für die 1. Vorprüfung mit dem
3.1. 2 D ETA I LLI E RTE Ü B E R S I C HT ZU R P R O G N O STI S C H E N VA LI D ITÄT Testwert für verschiedene Teilgruppen:
4 . 3 V E R F Ü G B A R K E IT D E R I N FO R M ATI O N E N F Ü R
– Die Korrelation des Studienortes Basel mit der Durchschnitts-
BEWERBER*INNEN
note liegt mit .41 am niedrigsten, die Korrelationen an den
[R] N OTEN D ER 1. VO R PR Ü FU N G D ES anderen Studienorten liegen zwischen .53 und .59.
HUMANMEDIZINSTUDIUMS • Testinformationsbroschüre im Internet
– Die Korrelation mit der Gesamtnote liegt bei der weiblichen
• Aufgabengruppen des Testverfahrens dargelegt
Teilgruppe bei .56 und bei der männlichen bei .49.
• Anmeldung und Ablauf des Tests ersichtlich
Testwert im EMS .55 – Die Korrelation mit der Gesamtnote liegt bei der französischen
• Aufgabenbewertung und Studienplatzvergabe werden dargestellt
Sprachgruppe am höchsten mit einem Wert von .60 und am
Ta b e l l e 9 • Buch mit Originalaufgaben zu allen Aufgabengruppen und
niedrigsten bei der italienischen Sprachgruppe mit .47.
Lösungen
• Webseite mit Informationen zum Testaufbau, Terminen und Fristen:
3 . 2 R E LI A B I LITÄT/ B E F U N D E ZU R ZU V E R L Ä S S I G K E IT 3 . 5 ETH I S C H E Ü B E R LE G U N G E N www.unifr.ch/ztd/ems
Die Reliabilität der Gesamttests liegt um r= .80. Die Testentwickler*innen Die Zuverlässigkeitswerte einzelner Aufgabengruppen sind für die Testver- Keine Angaben dazu auffindbar. 4 . 4 M Ö G LI C H K E IT ZU R F L Ä C H E N D EC K E N D E N
interpretieren diesen Wert als optimal, da zu hohe Werte für sehr gleich- wendung nach Angaben der Testentwickler*innen nicht bedeutsam, da die
I M P LE M E NTATI O N D E S I N STR U M E NTS
artige Aufgabengruppen, dagegen sehr niedrige Werte für eine hetero- Ergebnisse zu einzelnen Aufgabengruppen nicht separat interpretiert wer-
gene Testbatterie sprechen würden. den und keine Zulassungsentscheidung auf ihrer Grundlage getroffen wird.
• Aufwand des Zentrums für Testentwicklung und Diagnostik
der Universität Fribourg durch die IUV (Interkantonale
3 . 3 O BJ E K TI V ITÄT Universitätsvereinbarung) finanziert
• Testkosten (Weiterentwicklung und Durchführung) aus
• alle Abläufe standardisiert (Abnahmebedingungen • ausreichender Bestand an erprobten Aufgaben, der die Kostenbeteiligung der Teilnehmenden finanziert
und Auswertungen) wiederholte Vorgabe identischer Aufgaben, wenn überhaupt, (200 CHF pro Person)
• Richtlinien für die Organisation der Testabnahme, gleiche nur in großen Zeitabschnitten notwendig macht • das Personal für Anmelde- und Zulassungsverfahren wird in
Bedingungen an allen Orten inkl. präventiver Empfehlungen • Gewährleistung der Vergleichbarkeit der Testversionen von der Schweiz durch den Bund, die Universitätskantone und die
für besondere Vorkommnisse in einem Testleitungs-Handbuch Jahr zu Jahr Teilnahmegebühren finanziert
mit genauen Durchführungsvorschriften
20 21STUDIENEINGANGSVERFAHREN IN DEUTSCHL AND: BESTANDSAUFNAHME, BEWERTUNG UND ENTWICKLUNGSPERSPEKTIVEN
5 . Q U E LLEN
Hänsgen, K. D. & Spicher, B. (2000). Eignungstest für das Medizinstu- Zentrum für Testentwicklung und Diagnostik (2019). Beispielaufgaben
dium in der Schweiz (EMS). Bericht über die Testdurchführung 2000 zum EMS mit Erläuterungen. Eignungstest für das Medizinstudium in
und Ergebnisse zur Evaluation. Bericht 6 des Zentrums für Testent- der Schweiz (EMS). Version deutsch. Verfügbar unter http://www.
wicklung und Diagnostik. Fribourg/Schweiz. swissuniversities.ch/fileadmin/swissuniversities/Dokumente/Lehre/
Medizin/Beispielaufgaben2019.pdf
Hänsgen, K. D. & Spicher, B. (2002). Numerus clausus: Finden wir mit
dem „Eignungstest für das Medizinstudium“ die Geeigneten? Schwei- Zentrum für Testentwicklung und Diagnostik der Universität Fribourg.
zerische Ärztezeitung, 83(31), 1653-1660. https://www3.unifr.ch/ztd/ems/index.html
Hänsgen, K. D. & Spicher, B. (2010). EMS Eignungstest für das 5 .1 TE STE I N S I C HT
Medizinstudium. Häufig gestellte Fragen zu EMS und Numerus clausus,
Aktualisierung 2010. https://www3.unifr.ch/ztd/ems/faq-d.pdf Vor-Ort-Treffen in Bonn am 05.09.2019; zudem wurden
Telefonate geführt.
ITB Consulting GmbH (2016). Studierfähigkeitstests im deutschspra-
chigen Raum. Eine Übersicht. Broschüre im Auftrag des Bundesminis-
teriums für Bildung und Forschung. Unveröffentlicht.
ITB Consulting GmbH (2019). Test für medizinische Studiengänge und
Eignungstest für das Medizinstudium III. Originalversion III des TMS/
EMS. Göttingen: Hogrefe.
Meditrain ® Institut für Testforschung und Testtraining Köln. https://
ems-numerus-clausus.ch/?gclid=CjwKCAiA0svwBRBhEiwAHqKjFtI-
PUy84UZYfWGAHZhb7y-PP98CRlRfOcD_11QgLHnrbGC3u1IKpfxoC-
8NQQAvD_BwE
Spicher, B. (2018). Eignungstest für das Medizinstudium in der
Schweiz. Bericht über Durchführung und Ergebnisse. Zentrum für Test-
entwicklung und Diagnostik. Fribourg/Schweiz.
22 23STUDIENEINGANGSVERFAHREN IN DEUTSCHL AND: BESTANDSAUFNAHME, BEWERTUNG UND ENTWICKLUNGSPERSPEKTIVEN
HAM-NAT - HAMBURGER NATURWISSENSCHAFTSTEST
1. Ü B ER B LI C K
WAS MISST DER TEST? Medizinisch relevante naturwissenschaftliche Kenntnisse
und ihre Anwendung auf Schulniveau
STUDIENRICHTUNG/
FACHBEREICH: Human- und Zahnmedizin, Pharmazie, Hebammenwissenschaft
LEVEL: grundständig
KONTAKTPERSON/EN: Prof. Dr. Wolfgang Hampe
HOCHSCHULE/INSTITUT: Universitätsklinikum Hamburg-Eppendorf
TESTENTWICKLUNG DURCH: Universitätsklinikum Hamburg-Eppendorf
ART DER NUTZUNG: Auswahltest für Studienplatzvergabe; Bewerber*innen können bei der
Studienbewerbung bei Hochschulstart ihr Testergebnis angeben.
Für das Auswahlverfahren für Medizin, Zahnmedizin und Pharmazie
wird der HAM-Nat in identischer Form eingesetzt. Im Fach
Hebammenwissenschaft werden Teile des HAM-Nat eingesetzt.
24 25STUDIENEINGANGSVERFAHREN IN DEUTSCHL AND: BESTANDSAUFNAHME, BEWERTUNG UND ENTWICKLUNGSPERSPEKTIVEN
2. TESTI N HA LT 3 . TESTG ÜTEKR ITER I EN 4 . PRA KTI S C H E ANW EN D U N G
2 .1 E R FA S STE KO N STR U K TE 3 .1 VA LI D ITÄT 3 . 3 O BJ E K TI V ITÄT 4 .1 TE STZ E IT
Wissenstest auf Schulniveau (Kenntnisse und Anwendung). 3 .1.1 R E LEVA NZ D E R E R FA S STE N K R ITE R I E N F Ü R Hohe Objektivität sind sowohl in der Durchführung als auch in der Insgesamt ca. 2 Stunden (1,5 Minuten pro Frage [ca. 80 Fragen],
D I E P R O G N O S E V O N STU D I E N - U N D B E R U F S E R FO LG Auswertung gegeben: Für die Durchführung sind präzise Testleiter*in- zusätzlich 10-15 Minuten für die Übertragung der Antworten auf das
2 . 2 A U FG A B E N G R U P P E N nenanweisungen vorhanden. Die Instruktionen sind standardisiert, die Lösungsblatt). Die Aufgabenzahl und die Testzeit können jedes Jahr
Die Abiturnote und das HAM-Nat Testergebnis korrelieren in einer auch das Vorgehen bei besonderen Vorkommnissen enthalten. Zudem variieren.
Der HAM-Nat ist ein Multiple-Choice-Test mit Fragen zu medizinisch empirischen Studie genau gleich hoch mit der Note im Physikum bearbeiten alle Teilnehmer*innen eines Tages den Test zur gleichen
relevanten Aspekten der Fächer Mathematik, Physik, Chemie und Bio- (Kriteriumskorrelation, r= -.24; Hissbach et al., 2011). Uhrzeit. 4 . 2 E I N G E S ETZ T A N FO LG E N D E N H O C H S C H U LE N
logie. Zusätzlich zum HAM-Nat wird in der Medizin und Zahnmedizin
ein Situational-Judgement-Test durchgeführt, und bei der Zahnmedizin Die Korrelation des HAM-Nat mit den Klausurergebnissen im ersten Auch die Auswertung ist standardisiert möglich, durch das Multiple- • Universität Hamburg
ein mentaler Rotationstest. Studienabschnitt (Studienerfolgskriterium) beträgt r= .31 Choice-Format, Scannen der Antwortbögen und doppelte Kontrolle • Universität Magdeburg
(Meyer et al., 2019). durch zwei unabhängige Mitarbeitende. Zudem wird ein Auswertungs- • Universität Greifswald
2 . 3 ITE M S U N D K ATE G O R I E N code vor Testdurchführung erstellt, von der Auswahlkommission
Der Zusammenhang zwischen Abiturnote und Testergebnis hängt von beschlossen und danach nicht mehr geändert. 4 . 3 V E R F Ü G B A R K E IT D E R I N FO R M ATI O N E N
• medizinisch relevante Aspekte aus den aufgeführten der Stichprobe ab. Bei allen Testteilnehmenden (N = 3511) ist die FÜR BEWERBER*INNEN
naturwissenschaftlichen Fächern Korrelation zwischen Testergebnis und Abiturnote nahe null. Unter den Die Interpretationsobjektivität wird durch eine Normierung der Test-
• Multiple-Choice-Items mit 5 Antwortalternativen, zugelassenen Studienanfänger*innen ist der Zusammenhang negativ ergebnisse auf einer gemeinsamen Skala gesichert. Die Leistungs- I N FO R M ATI O N E N ZU M A U S W A H LV E R FA H R E N
von denen eine Antwort korrekt ist (r= -.52): Umso schlechter die Abiturnote ist, desto besser muss das scores werden mithilfe eines probabilistischen Modells (IRT) berechnet. Generelle Informationen über das Auswahlverfahren und die unter-
• es wird ein Testwert je Testteilnehmer*in erstellt, keine Subskalen Testergebnis sein, um zugelassen zu werden (Meyer et al., 2019). schiedlichen Testteile sind auf der Seite des Universitätsklinikum
3 . 4 B E F U N D E ZU R TE STFA I R N E S S Hamburg-Eppendorf (UKE) verfügbar: https://www.uke.de/studium-
3 .1. 2 D ETA I LLI E RTE Ü B E R S I C HT ZU R P R O G N O STI S C H E N VA LI D ITÄT lehre/studienentscheidung/auswahlverfahren/
2 . 4 A RTE N E R FA S STE R FÄ H I G K E ITE N Der Test führt zu keiner nennenswerten Benachteiligung eines Ge-
Der HAM-Nat ist prädiktiv über die Abiturnote hinaus. Eine Gewichtung schlechts trotz vorhandenen Mittelwertsunterschieds: A N M E LD U N G
Wissen und Anwenden der unterschiedlichen Testteile erbrachte keinen Vorteil, auch wenn die Aktuelle Informationen zur Testdurchführung sind unter https://www.
Subskala zur Chemie weniger zur Vorhersage beitrug als die übrigen • Analysen der 2020er Daten zeigen, dass kein nennenswertes auswahltestzentrale.de/ verfügbar. Über diese Seite erfolgt auch
Skalen. Die Verwendung des HAM-Nat zur Studienbewerber*innenaus- „differential item functioning (DIF)“ bzgl. Geschlecht vorliegt die Anmeldung zu den unterschiedlichen Tests. Die Möglichkeit zur
wahl könnte bei einer Selektionsquote von 25% dazu führen, dass der • Interaktionseffekt zwischen dem Testwert im HAM-Nat und Anmeldung über die Auswahltestzentrale beginnt ca. drei Monate vor
erwartete Anteil der scheinfreien Studierenden nach vier Semestern Geschlecht im Regressionsmodell (Studienerfolg) nicht Testdurchführung. Die genauen Termine der Testungen werden mind.
von ca. 70% auf 83% stiege. In künftigen Szenarios, in denen z. B. signifikant (Hissbach et al., 2011) sechs Wochen vorher auf der Internetseite des Universitätsklinikums
200 von 800 Bewerber*innen über HAM-Nat ausgewählt würden, Hamburg-Eppendorf bekanntgegeben.
könnte dies zu einem Zuwachs von 26 Studierenden führen, die das 3 . 5 ETH I S C H E Ü B E R LE G U N G E N
Grundstudium in Regelstudienzeit absolvieren (Hissbach et al., 2011). TE ST V O R B E R E ITU N G
Durch den HAM-Nat in Kombination mit der Abiturnote würden mehr Keine Angaben dazu auffindbar. Sowohl die Universität Hamburg als auch die Universität Magdeburg
erfolgreiche Studierende ausgewählt werden als durch die Abiturnote stellen einen Themenkatalog im Internet zur Verfügung, der auf den
allein (ROC (receiver operating characteristic); aus Hissbach et al., HAM-Nat und auch die Inhalte der ersten Studiensemester vorbereitet.
2012). Motivierte Bewerber*innen sollen sich durch intensive Vorbereitung
einen Vorteil erarbeiten können (Kothe et al., 2013). Zudem kön-
3 . 2 R E LI A B I LITÄT/ B E F U N D E ZU R ZU V E R L Ä S S I G K E IT nen sich die Testteilnehmer*innen auf der Lernplattform via mint.
haw-hamburg.de kostenfrei mit von den HAM-Nat-Entwickler*innen
Cronbachs α kann als sehr gut bezeichnet werden und variiert kaum bereitgestellten Lernmaterialien und alten HAM-Nat-Aufgaben auf den
an den einzelnen Testtagen im Jahr 2020 (Cronbachs α min= .88 und Test vorbereiten.
max= .91, 60 Items).
26 27STUDIENEINGANGSVERFAHREN IN DEUTSCHL AND: BESTANDSAUFNAHME, BEWERTUNG UND ENTWICKLUNGSPERSPEKTIVEN
5 . Q U E LLEN
4 . 4 M Ö G LI C H K E IT ZU R F L Ä C H E N D EC K E N D E N Hampe, W., Hissbach, J., Kadmon, M., Kadmon, G., Klusmann, D. & Studymed. Der HAM-Nat. Verfügbar unter https://www.study-ham-
I M P LE M E NTATI O N D E S I N STR U M E NTS Scheutzel, P. (2009). Wer wird ein guter Arzt? Bundesgesundheits- nat.de/ham-nat-info
blatt-Gesundheitsforschung-Gesundheitsschutz, 52(8), 821-830.
Die Testentwickler*innen schätzen die Ökonomie wie folgt ein: Die Universität Hamburg, Der Präsident der Universität Hamburg (Hrsg.)
Vorhersage der vorklinischen Studienleistung durch den HAM-Nat ist Hampe, W., Klusmann, D., Bukh, H., Münch-Harrach, D. & Harendza, (2017). Satzung der Universität Hamburg über das Auswahlverfahren
ähnlich hoch wie durch den Test für medizinische Studiengänge (TMS). S. (2008). Reduzierbarkeit der Abbrecherquote im Humanmedizin- in den bundesweit zulassungsbeschränkten Studiengängen Humanme-
Hinsichtlich der Testökonomie ist die Durchführungszeit des HAM-Nat studium durch das Hamburger Auswahlverfahren für Medizinische dizin, Pharmazie und Zahnmedizin. Verfügbar unter https://www.uke.
mit zwei Stunden deutlich geringer als die des TMS mit ca. sechs Studiengänge – Naturwissenschaftsteil (HAM-Nat). GMS Zeitschrift für de/studium-lehre/studienentscheidung/auswahlverfahren/auswahl-
Stunden. Medizinische Ausbildung, 25(2), 2008-2025. verfahren-medizin.html
Die Teilnahme am HAM-Nat-Test ist derzeit für Studieninteressierte Hissbach, J., Feddersen, L., Sehner, S. & Hampe, W. (2012). Suitability
kostenfrei. of the HAM-Nat test and TMS module “basic medical-scientific 5 .1 TE STE I N S I C HT
understanding” for medical school selection. GMS Zeitschrift für Medi-
zinische Ausbildung, 29 (5), Doc 72. Testheft am 02.09.2019 per E-Mail von den Testentwickler*innen
erhalten; zudem wurden Telefonate geführt.
Hissbach, J., Klusmann, D. & Hampe, W. (2011). Reliabilität des
Hamburger Auswahlverfahrens für Medizinische Studiengänge,
Naturwissenschaftsteil (HAM-Nat). GMS Zeitschrift für Medizinische
Ausbildung, 28(3), Doc 44.
Hissbach, J., Klussmann, D. & Hampe, W. (2011). Dimensionality and
predictive validity of the HAM-Nat, a test of natural science for medical
school admission. BMC Medical Education, 11(1), 821-830.
Kothe, C., Hissbach, J. & Hampe, W. (2013). The Hamburg selection
procedure for dental students - introduction of the HAM-Nat as sub-
ject-specific test for study aptitude. GMS Zeitschrift für Medizinische
Ausbildung, 30(4), Doc 46.
Kothe, C., Hissbach, J. & Hampe, W. (2013): Das Hamburger Aus-
wahlverfahren in der Zahnmedizin – Einführung des HAM-Nat als
fachspezifischer Studierfähigkeitstest. GMS Zeitschrift für Medizinische
Ausbildung, 30(4), Doc 26.
Meyer, H., Zimmermann, S., Hissbach, J., Klusmann, D. & Hampe,
W. (2019). Selection and academic success of medical students in
Hamburg, Germany. BMC Medical Education, 19, 19-23.
28 29STUDIENEINGANGSVERFAHREN IN DEUTSCHL AND: BESTANDSAUFNAHME, BEWERTUNG UND ENTWICKLUNGSPERSPEKTIVEN
FORSCHUNGSKOMPETENZ IN BILDUNGSWISSENSCHAFTEN
[LEARNING THE SCIENCE OF EDUCATION: LESCED]
1. Ü B ER B LI C K
WAS MISST DER TEST? Forschungskompetenz
STUDIENRICHTUNG/
FACHBEREICH: Bildungswissenschaften (insbesondere Lehramt,
Erziehungswissenschaften und frühe Bildung)
LEVEL: Bachelor
KONTAKTPERSON/EN: Prof. Dr. Jana Groß Ophoff
HOCHSCHULE/INSTITUT: Universität Tübingen
TESTENTWICKLUNG DURCH: Prof. Dr. Jana Groß Ophoff, Prof. Dr. Markus Wirtz,
Prof. Dr. Timo Leuders, Prof. Dr. Matthias Nückles,
Prof. Dr. Alexander Renkl, Prof. Dr. Elmar Stahl
im Rahmen der KoKoHs-Förderlinie
ART DER NUTZUNG: Der Test wurde nicht speziell als Studieneingangstest und nicht für Selektionszwecke
entwickelt. Die Testentwickler*innen empfehlen seinen Einsatz als
Beratungsinstrument zum Studienbeginn. Für einen wiederholten Einsatz
des Tests in Evaluationsstudien geeignet, da parallele Testversionen
flexibel eingesetzt werden können.
30 31STUDIENEINGANGSVERFAHREN IN DEUTSCHL AND: BESTANDSAUFNAHME, BEWERTUNG UND ENTWICKLUNGSPERSPEKTIVEN
2. TESTI N HA LT 3 . TESTG ÜTEKR ITER I EN
2 .1 E R FA S STE KO N STR U K TE 2 . 4 A RTE N E R FA S STE R FÄ H I G K E ITE N 3 .1 VA LI D ITÄT
Intelligenz, Wissen • Informationskompetenz: Datenbankrecherche, • Konstruktvalidität: mittlere Zusammenhänge (zwischen .25 Zusammenhänge zwischen bildungswissenschaftlicher Forschungs-
Softwareanwendung, Fragestellung Entwicklung, und .34) zwischen Forschungskompetenz (Information Literacy; kompetenz und Intelligenz liegen im mittleren Bereich. In Gesprächen
2 . 2 A U FG A B E N G R U P P E N Informationen finden und beurteilen. Statistical Literacy; Evidence-based Reasoning) und Intelligenz erläutern die Testentwickler*innen, dass die Forschungskompetenz
• Statistische Kompetenz: Daten organisieren, Lesen von (verbal und sprachfrei). eher auf Vorwissen und Lernerfahrungen basiert, und damit ein über
• Informationskompetenz/Information Literacy Graphiken und Tabellen, Tabellen konstruieren. • Zusammenhänge zwischen bildungswissenschaftlicher die fluide Intelligenz hinausgehendes Merkmal darstellt. Das spricht für
• Statistische Kompetenz/Statistical Literacy • Evidenzbasiertes Schlussfolgern: methodisches Wissen, Forschungskompetenz (BFK) und Intelligenz (diskriminante sie für eine getrennte Erfassung beider Bereiche.
• Evidenzbasiertes Schlussfolgern/Evidence-based Reasoning Reflexionstiefe, kritisches Denken, Interpretation und Validierung) liegen im mittleren Bereich.
Beurteilung von Evidenzen. • Zusammenhänge zwischen bildungswissenschaftlicher 3 .1.1 R E LEVA NZ D E R E R FA S STE N K R ITE R I E N F Ü R D I E P R O G N O S E
Alle drei Aufgabengruppen sind zu Studienbeginn einsetzbar, die Auf- V O N STU D I E N - U N D B E R U F S E R FO LG
In Gesprächen mit den Testentwickler*innen wurde diskutiert, Forschungskompetenz (BFK) und der Selbsteinschätzung
gaben zum Bereich evidenzbasiertes Schlussfolgern am wenigsten, da dass evidenzbasiertes Schlussfolgern als kognitive Leistungs- (konvergente Validierung) fast nicht vorhanden. Die einzige Keine Zusammenhänge zu Noten und Studienabschluss auffindbar.
diese Kompetenz zwar im Studium erlernbar, aber keine Voraussetzung fähigkeit von vielen Wissenschaftler*innen als „nicht erlernbar“ signifikante Korrelation erweist sich sogar als negativ, wonach Der Test wurde im Längsschnitt angewendet und es zeigen sich
für das Studium ist. Schwierigkeitsabstufung der Aufgaben: Statistical verstanden wird. Die Testentwickler*innen verstehen diese eine höhere Selbsteinschätzung mit einer geringeren Kompetenz Lernzuwächse während des Studiums: In Informationskompetenz und
Literacy ist leichter als Information Literacy, die wiederum leichter ist Fähigkeit, in dem Sinne einer „Forschungsmethodik“, dezidiert einhergeht. evidenzbasiertem Schlussfolgern verbesserten sich die Leistungen
als evidenzbasiertes Schlussfolgern. Auf der Individualebene (Messung als erlernbar. • Zusammenhänge zwischen motivationaler Zielorientierung, der getesteten Personen. Keine Zuwächse im Bereich Statistische
der Fähigkeit von Studierenden) wird damit die „Bildungswissenschaft- Bildungswissenschaftlicher Forschungskompetenz (BFK) und Kompetenz.
liche Forschungskompetenz“ erfasst. Gesamtskala aus allen drei Fähigkeiten: selbst eingeschätzter Forschungskompetenz (SFK):
Bildungswissenschaftliche Forschungskompetenz. – Lernorientierung geringer positiver Zusammenhang auf die SFK Die Autor*innen empfehlen die Verwendung des Tests zur Begleitung
2 . 3 ITE M S U N D K ATE G O R I E N aber nicht auf BFK. (SFK „Recherche & kritische Reflexion“ und Rückmeldung für Studierende, es ist nicht als Auswahlinstrument
r= .17, SFK „Lesen von Methoden/Ergebnisdarstellungen“ konzipiert.
Jeder Testbestandteil hat einen Itempool zur flexiblen Generierung von r= .25).
parallel einsetzbaren Testversionen. – Arbeitsvermeidung leicht negativer Zusammenhang zu 3 .1. 2 D ETA I LLI E RTE Ü B E R S I C HT ZU R P R O G N O STI S C H E N VA LI D ITÄT
BFK: r= -.09.
– Vermeidungsleistungszielorientierung positiver Zusammenhang Keine Zusammenhänge zu Noten und Studienabschluss auffindbar.
zur Entwicklung von BFK: r = .33.
3 . 2 R E LI A B I LITÄT/ B E F U N D E ZU R ZU V E R L Ä S S I G K E IT
Weitere empirische Befunde zur Konstruktvalidität sind die Zusammen-
hänge der Subskalen mit der Gesamtskala: • Reliabilität für die Gesamtskala Forschungskompetenz EAP =.69
• Reliabilität für selbsteingeschätzte Kompetenz „Recherche/
• Statistical-Literacy-Items: Korrelation mit Gesamtskala r = .29 Fragenstellen und kritische Reflexion“ α= .76
• Information-Literacy-Items: Korrelation mit Gesamtskala r = .46
• Evidenzbasiertes-Schlussfolgern-Items: Korrelation mit
Gesamtskala r = .29/.32
32 33STUDIENEINGANGSVERFAHREN IN DEUTSCHL AND: BESTANDSAUFNAHME, BEWERTUNG UND ENTWICKLUNGSPERSPEKTIVEN
4 . PRAKTI S C H E ANW EN D U N G 5 . Q U E LLEN
3 . 3 O BJ E K TI V ITÄT 4 .1 TE STZ E IT Böttcher-Oschmann, F., Groß Ophoff, J. & Thiel, F. (2019). Validierung Kittel, D., Rollett, W. & Groß Ophoff, J. (2017). Profitieren berufstätige
eines Fragenbogens zur Erfassung studentischer Forschungskom- Lehrkräfte durch ein berufsbegleitendes weiterbildendes Studium in
Standardisiert auswertbare geschlossene Antwortformate, dadurch ist Die Testzeit liegt bei 30, 60 oder 90 Minuten je nach Testzusammen- petenzen über Selbsteinschätzungen – Ein Instrument zur Evaluation ihren Forschungskompetenzen? Bildung & Erziehung, 70, 437–452.
Objektivität sehr hoch. stellung. Es ist pro Teilkomponente mit 30 Minuten zu rechnen. forschungsorientierter Lehr-Lernarrangements. Unterrichtswissen-
In einer Vorstudie wurden die Testaufgaben optimiert, indem Verständ- schaft, 47(4), 495-521. Schladitz, S., Groß Ophoff, J. & Wirtz, M. (2015). Konstruktvalidierung
lichkeit und Lösbarkeit der Testaufgaben überprüft wurden. Auch die 4 . 2 E I N G E S ETZ T A N FO LG E N D E N H O C H S C H U LE N eines Tests zur Messung bildungswissenschaftlicher Forschungskom-
Zeiteinschätzung wurde durch die Vorstudie ermittelt. Groß Ophoff, J. (2020). Steckbrief zum LeScEd. In O. Zlatkin-Tro- petenz. Zeitschrift für Pädagogik, 61, 167–184.
Durch Aufgabenpool wird der theoretisch begründete Inhaltsbereich Der Test wird derzeit an mehr als sechs Universitäten eingesetzt. itschanskaia, H. A. Pant, T. Nagel, D. Molerov, C. Lautenbach & M.
möglichst breit abgedeckt. 20 Aufgabenblöcke wurden auf 20 Test- Toepper (Hrsg.). KoKoHs Assessment-Portfolio. Testverfahren zur Schladitz, S., Groß Ophoff, J. & Wirtz, M. (2017). Effects of different
hefte verteilt, sodass jeder Aufgabenblock einmal in einem Testheft 4 . 3 VER FÜ G BAR KEIT DER I N FO R MATIO N EN FÜ R B EWER B ER*I N N EN Modellierung und Messung generischer und domänenspezifischer response formats in measuring Educational Research Literacy. Journal
und gleich häufig über die Testhefte hinweg enthalten ist. Die Blöcke Kompetenzen bei Studierenden und Hochschulabsolventen (S. 60-61). for Educational Research Online, 9(2), 137–155.
wurden so angeordnet, dass sie in jeder Testheftposition gleich häufig In Publikationen sind Beispielitems veröffentlicht. Prinz-Druck Print Media GmbH & Co KG.
erscheinen. Außerdem Reduktion systematisch fehlender Daten in den 5 .1 TE STE I N S I C HT
letzten Aufgabenblöcken durch Testheftversionen in umgekehrter Rei- 4 . 4 MÖG LIC H KEIT ZU R FLÄC H EN DEC KEN DEN I M PLEM ENTATIO N
Groß Ophoff, J., Schladitz, S., Lohrmann, K. & Wirtz, M. (2014).
DES I N STR U M ENTS
henfolge. Dadurch ist die Kontrolle von Übertragungs- und Positions- Evidenzorientierung in bildungswissenschaftlichen Studiengängen: Ent- Testheft am 08.08.2019 per E-Mail erhalten; zudem wurden
effekten möglich. wicklung eines Strukturmodells zur Forschungskompetenz. In W. Bos, Telefonate geführt.
Es ist die Entwicklung einer Online-Version geplant. Der LeScEd ist
Abwechslung innerhalb der Aufgabenblöcke durch jeweils acht Aufga- K. Drossel. & R. Strietholt (Hrsg.), Empirische Bildungsforschung und
vorranging als Forschungsinstrument entwickelt worden.
ben aus allen drei Kompetenzfacetten. Ausschluss von Übertragungs- evidenzbasierte Reformen im Bildungswesen (S. 251–276). Münster:
effekten, da keine Aufgaben im gleichen Block aufgenommen wurden, Waxmann.
die sich auf identische Aufgabenstämme beziehen.
Groß Ophoff, J., Schladitz, S. & Wirtz, M. (2018). Motivationale Ziel-
orientierungen als Prädiktoren der Forschungskompetenz Studierender
3 . 4 B E F U N D E ZU R TE STFA I R N E S S in den Bildungswissenschaften. Empirische Pädagogik, 32(1), 10–25.
Jeder Person liegt die gleiche Anzahl an Testaufgaben vor, sodass die Groß Ophoff, J., Wolf, R., Schladitz, S. & Wirtz, M. (2017). Assessment
Bearbeitungszeit in etwa gleich ist. of Educational Research Literacy in higher education. Construct valida-
tion of the factorial structure of an assessment instrument comparing
3 . 5 ETH I S C H E Ü B E R LE G U N G E N different treatments of omitted responses. Journal for Educational
Research Online, 9(2), 35–66.
Keine Angaben dazu auffindbar.
34 35Sie können auch lesen
