Leseverstehen in einer Fremdsprache testen - Institute of ...
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
DE Leseverstehen in einer
Fremdsprache testen
Task Lab – eine empirische Studie zu computerbasierten
Aufgaben in Französisch
—
FR Tester la compréhension de
l’écrit dans une langue étrangère
Task Lab – une étude empirique sur des tâches informatisées
en français
—
IT Test di comprensione scritta
in una lingua straniera
Task Lab – uno studio empirico sugli esercizi al computer
in francese
—
EN Assessing reading comprehension
in a foreign language
Task Lab – an empirical study of computer-based tasks
in French
—
Katharina Karges, Malgorzata Barras, Peter Lenz
2021 Bericht des Wissenschaftlichen Kompetenzzentrums für Mehrsprachigkeit
Rapport du Centre scientifique de compétence sur le plurilinguisme
Rapporto del Centro scientifico di competenza per il plurilinguismo
Report of the Research Centre on Multilingualism
Herausgeber | Publié par Leseverstehen in einer Fremdsprache testen
Institut für Mehrsprachigkeit Task Lab – eine empirische Studie zu computerbasierten Aufgaben in
www.institut-mehrsprachigkeit.ch
Französisch
—
Institut de plurilinguisme —
www.institut-plurilinguisme.ch
Tester la compréhension de l’écrit dans
Autor*innen | Auteur·e·s une langue étrangère
Katharina Karges, Malgorzata Barras, Peter Lenz
Task Lab – une étude empirique sur des tâches informatisées en
Das vorliegende Projekt wurde im Rahmen des Forschungsprogramms 2016-2020 des français
Wissenschaftlichen Kompetenzzentrums für Mehrsprachigkeit durchgeführt. Für den —
Inhalt dieser Veröffentlichung sind die Autor*innen verantwortlich.
Test di comprensione scritta in una lingua
Le projet dont il est question a été réalisé dans le cadre du programme de recherche
2016-2020 du Centre scientifique de compétence sur le plurilinguisme. La responsabilité
straniera
du contenu de la présente publication incombe à ses auteur·e·s. Task Lab – uno studio empirico sugli esercizi al computer in francese
—
Übersetzungen | Traductions Assessing reading comprehension in a
Isabelle Affolter, Mary Carozza, Joël Rey
foreign language
Freiburg | Fribourg, 2021 Task Lab – an empirical study of computer-based tasks in French
Layout
Billy Ben, Graphic Design Studio Katharina Karges, Malgorzata Barras, Peter Lenz
Unterstützt von | avec le soutien de
2021 Bericht des Wissenschaftlichen Kompetenzzentrums für Mehrsprachigkeit
Rapport du Centre scientifique de compétence sur le plurilinguisme
Rapporto del Centro scientifico di competenza per il plurilinguismo
Report of the Research Centre on Multilingualism
2021.001-TaskLab
Index Deutsch 7 Italiano 37 Wie kam es zu dieser Studie? 8 Da dove nasce questo studio? 38 Was waren die Ziele der Studie? 9 Quali erano gli obiettivi dello studio? 39 Wer hat an der Studie teilgenommen? 10 Chi ha partecipato allo studio? 40 Welche Art von Aufgaben wurden eingesetzt? 11 Quali tipi di esercizi sono stati utilizzati? 41 Wie wurden die Daten ausgewertet? 14 Come sono stati analizzati i dati? 44 Ausgewählte Resultate 15 Risultati selezionati 45 Welche Folgen hatte Task Lab? 18 Quali conseguenze ha avuto Task Lab? 48 Wo finde ich mehr Informationen? 19 Dove trovo maggiori informazioni? 49 Bibliographie 64 Bibliografia 64 Français 21 English 51 Les origines de cette étude? 22 Origins of the study 52 Quels étaient les buts de l’étude? 23 Goals of the study 53 Qui a participé à l’étude? 24 Participants in the study 54 A quelles tâches a-t-on eu recours? 25 Task types used 55 Comment les données ont-elles été a nalysées? 28 Interpretation of the data 58 Résultats choisis 30 Selected findings 59 Quelles ont été les retombées de Task Lab? 33 What impact has Task Lab had? 62 Où trouver davantage d’informations? 34 Where can I find more information? 63 Bibliographie 64 Bibliography 64
Deutsch 7 Leseverstehen in einer Fremdsprache testen Task Lab – eine empirische Studie zu computerbasierten Aufgaben in Französisch — Katharina Karges, Malgorzata Barras, Peter Lenz
← Index
Leseverstehen in einer Fremdsprache testen 8 Leseverstehen in einer Fremdsprache testen 9
Wie kam es zu dieser Studie?1 Was waren die Ziele der Studie?
Im Frühjahr 2017 liess die Schweizerische Lösen von Leseverstehensaufgaben in einer Für Task Lab wurden Leseverstehensaufgaben
Konferenz der kantonalen Erziehungsdirek- schulischen Fremdsprache spielen. entwickelt, wie sie auch in einer schweizweiten
toren (EDK) erstmals schweizweit das Errei- Erhebung von Fremdsprachenkompetenzen wie
chen der Grundkompetenzen in der ersten der ÜGK eingesetzt werden könnten. In dem
Schulfremdsprache überprüfen, und zwar am Forschungsprojekt wurde unter anderem das
Ende der Primarstufe. Auf das Frühjahr 2020 Funktionieren von drei verschiedenen Aufga-
hin wurde die zweite „Überprüfung des Errei- benformaten untersucht (Multiple-Choice,
chens der Grundkompetenzen“ (ÜGK2) vorbe- Kurzantwort, Matching). Ausserdem wurden
reitet,3 diesmal am Ende der obligatorischen die Aufgaben in zwei Sprachversionen einge-
Schulzeit in der ersten und zweiten Schul- setzt, um der Frage nachzugehen, ob die
fremdsprache.4 Das Kompetenzzentrum für Fragen und Antworten zu den Lesetexten in
Mehrsprachigkeit (KFM) war bei beiden Erhe- der Fremdsprache, d.h. in der Sprache der Le-
bungen im Vorfeld mit der Entwicklung von setexte (Französisch), oder in der Schul-
Testaufgaben betraut. sprache (Deutsch) formuliert sein sollten.
Unabhängig von der EDK wurden im For- Daneben sollte auch näher erkundet
schungsprojekt „Task Lab“ computerbasierte werden, was Leseverstehenskompetenz ei-
Leseverstehensaufgaben entwickelt und ihr gentlich ausmacht. Deshalb wurden bei den
Funktionieren näher untersucht. Dadurch beteiligten Schülerinnen und Schülern weitere
wurde es möglich, für die erste ÜGK-Aufgaben- Fertigkeiten und Kompetenzen erhoben, von
entwicklung eine Reihe von Entscheidungen zu denen man weiss, dass sie mit der Leseverste-
treffen, die auf empirischen Erfahrungen mit henskompetenz in der Fremdsprache zusam-
der Zielgruppe basierten. Aus Sicht der Test- menhängen (z. B. rezeptive Wortschatzkennt-
forschung leistet Task Lab einen Beitrag dazu, nisse, das Vorhandensein eines Sichtwort-
genauer zu beschreiben, welche Rolle ver- schatzes in der Fremdsprache, die Kapazität
schiedene Kenntnisse und Fähigkeiten beim des Arbeitsgedächtnisses oder die Motivation
für das Sprachfach; vgl. Alderson et al., 2015;
Harsch & Hartig, 2016; Sabatini et al., 2013).
1 Wir bedanken uns bei den vielen Lehrpersonen und Schuldirektorinnen und -direktoren für die Übergeordnetes Ziel war es, die Erfolgs-
Unterstützung unseres Projekts und bei allen Schülerinnen und Schülern, die uns für diese Studie
in ihre Klassenzimmer und ihre Köpfe blicken liessen. Auch ohne die tatkräftige Unterstützung von faktoren beim Leseverstehen besser zu durch-
Thomas Aeppli und unseren studentischen Hilfskräften wäre die Datenerhebung nie über die Planung schauen und so letztlich zu gültigeren Inter-
hinausgekommen.
pretationen von Testergebnissen und Testskalen
2 Näheres unter https://uegk-schweiz.ch/.
3 Die Haupterhebung konnte wegen der COVID-19-Massnahmen nicht stattfinden und wurde auf einen bei grossen Untersuchungen zu kommen.
späteren Zeitpunkt verschoben.
4 In der Westschweiz ist Deutsch die erste Fremdsprache, in der Deutschschweiz entlang der westli-
chen Sprachgrenze Französisch. In beiden Regionen ist Englisch zweite Fremdsprache, in der übrigen
Deutschschweiz wird zuerst Englisch und dann Französisch unterrichtet. Im Tessin ist Französisch
die erste und Deutsch die zweite Fremdsprache. Der Kanton Graubünden beteiligte sich an der ÜGK
2017 nicht, an der geplanten ÜGK 2020 nur teilweise (in Deutsch- und Italienischbünden mit Eng-
lisch als Fremdsprache).
← Index
Leseverstehen in einer Fremdsprache testen 10 Leseverstehen in einer Fremdsprache testen 11
Wer hat an der Studie teilgenommen? Welche Art von Aufgaben wurden
eingesetzt?
Die Aufgaben wurden Schülerinnen und Schü-
lern vorgelegt, die gerade das letzte Schuljahr
der Primarstufe besuchten. Aus praktischen Alle Leseverstehensaufgaben bestanden aus mit französischen Fragen und Antworten und
Gründen wurden in Task Lab nur Aufgaben in einem oder mehreren Lesetexten in französi- eine mit deutschen Fragen und Antworten (bei
der ersten Fremdsprache Französisch einge- scher Sprache, zu denen jeweils drei Fragen den SAQ mussten die Lernenden ihre Antwort
setzt. Die Studie fand in den fünf Kantonen gestellt wurden. Für die Aufgabenentwicklung in der entsprechenden Sprache schreiben).
Basel-Landschaft, Solothurn, Bern, Freiburg wurden wichtige Erkenntnisse zum Lesever- Insgesamt wurde jede dieser zwölf Leseverste-
und Wallis statt. stehen und zur Konstruktion von Testaufgaben hensaufgaben also in vier Versionen einge-
Wie bei Testentwicklungen üblich, wurden aus der Fachliteratur (u. a. Alderson, 2000; setzt, von denen die einzelnen Schülerinnen
zuerst sämtliche Aufgaben erprobt und an- Alderson et al., 2015; Grabe, 2009; Khalifa & und Schüler je eine lösten. → Abb. 1
schliessend pilotiert (vgl. z. B. Kenyon & Mac- Weir, 2009; Lutjeharms & Schmidt, 2010), re-
Gregor, 2012). Während der Erprobung wurden levante Lernzielbeschreibungen (Bersinger et
die einzelnen Aufgaben und die Lösungswege al., 2005; D-EDK, 2013; EDK, 2011; Europarat,
in sogenannten Stimulated-Recall-Interviews 2001; Passepartout, 2013 u. a.) sowie das in
mit einzelnen Lernenden genau besprochen. der Zielregion verwendete Lehrwerk Mille
Aufgrund der dabei entstehenden Erkennt- feuilles (Bertschy et al., 2011ff.) herange-
nisse konnten die Aufgaben weiter optimiert zogen. Alle Aufgaben waren im Umkreis des Ni-
werden. An diesen Interviews beteiligten sich veaus A1 des Gemeinsamen europäischen Re-
34 Schülerinnen und Schüler aus zwei Schul- ferenzrahmens für Sprachen (Europarat, 2001)
klassen. An der Pilotierung beteiligten sich angesiedelt. Dieses Niveau entspricht den in
dann 97 Schülerinnen und Schüler aus 5 der Schweiz geltenden Grundkompetenzen für
Klassen. Sie bearbeiteten die gesamte Test- das Leseverstehen in der ersten Fremdsprache
batterie unter realen Bedingungen im Klassen- am Ende der Primarschule.
verband. Nach der Pilotierung wurden letzte Der gesamte Test wurde mittels der Soft-
Anpassungen vorgenommen. ware CBA ItemBuilder5 für den Einsatz am Com-
An der Hauptstudie nahmen im Früh- puter entwickelt und in den Schulen über
sommer 2015 insgesamt 623 Schülerinnen und einen Internet-Browser abgerufen.6
Schüler aus 34 Klassen teil (309 Jungen, 314 Zwölf der insgesamt 18 entwickelten Auf-
Mädchen, davon hatten rund 20% einen Mig- gaben lagen sowohl im Multiple-Choice-Format
rationshintergrund). Die beteiligten Schulen (MCQ) als auch als Kurzantwort-Aufgaben
meldeten sich freiwillig für die Teilnahme an (SAQ) vor. Ausserdem existierten beide Item-
der Studie, es handelt sich also nicht um eine formate jeweils in zwei Sprachversionen: eine
repräsentative Stichprobe. Die Studie wurde
von den Projektmitarbeitenden und geschulten
Hilfskräften in den jeweiligen Schulen während 5 Aktuelle Informationen zu dieser Software: https://tba.dipf.de/de/infrastruktur/softwareentwicklung/
cba-itembuilder?set_language=de
der regulären Unterrichtszeit durchgeführt. 6 Wir danken dem Leibniz-Institut für Bildungsforschung und Bildungsinformation (DIPF), insbesondere
Helge Einspanier, für die freundliche Unterstützung und die Zurverfügungstellung des Testservers.
← Index
Leseverstehen in einer Fremdsprache testen 12 Leseverstehen in einer Fremdsprache testen 13
gebogen wurden die Schülerinnen und Schüler
zu ihrer Herkunft und Erstsprache(n), v. a.
aber zu ihren Lesegewohnheiten und ihrer
Motivation für den Französischunterricht be-
fragt.→ Abb. 2
Persönliche Sprachen der Textmerkmale,
Arbeitsgedächtnis Einstellung zum Fragen und z.B. sprach
Lesen Antworten liche
Schwierigkeit,
Motivation für Schulsprache (De) Textgenre
Erstsprache(n)
und Freude an der
Fremdsprache Zielsprache (Fr)
Itemmerkmale,
← z.B. Lesestil
Wortschatz- INTERAKTION
breite Itemformat
→
Lexiko- Worter Multiple Choice
DE grammatische FR kennung
Kompetenz
Kurzantwort
Phono-
logisches Matching
Abbildung 1: Eine Task Lab-Aufgabe in vier Versionen Bewusstsein
Sechs weitere Aufgaben wurden im Format tenz sowie ein Fragebogen eingesetzt. Mit Kognitive, motivationale und Spezifisch untersuchte und weitere
Matching entwickelt, bei welchem die Ler- diesen zusätzlichen Aufgaben wurden v. a. linguistische Personenfaktoren Aufgabenfaktoren
nenden aus mehreren kurzen Texten einen weitere Aspekte von Sprachkompetenz er-
auswählen sollten, der eine gesuchte Informa- fasst, darunter die allgemeine lexiko-gramma- Abbildung 2: Schematische Darstellung der Task-Lab-Testbatterie11
tion enthielt. Auch dieses Format wurde in zwei tische Kompetenz der Lernenden (C-Test7 und
Sprachversionen mit Fragen in deutscher bzw. Wortsegmentierung8 auf Deutsch und Franzö-
französischer Sprache eingesetzt. In einem sisch) sowie Tests zur Wortschatzbreite, auto-
Kurzfragebogen wurden die Lernenden be- matisierten Worterkennung und zum phonolo-
fragt, welches Format bzw. welche Sprache sie gischen Bewusstsein in der Fremdsprache
bevorzugten. (rezeptiver Wortschatztest, Sichtwortschatz,
Neben den Leseverstehensaufgaben Laut-Schrift-Zuordnung9). Ausserdem wurden
wurden Aufgaben zu Kompetenzen mit einem Tests zur Erfassung des Arbeitsgedächtnisses
9 Rezeptiver Wortschatztest: Die Lernenden kreuzen in einer Liste jene Wörter an, die ihnen bekannt
bekannten Bezug zur Leseverstehenskompe- eingesetzt (sog. Digit-Span-Tasks10). Im Fra- sind. Ein Teil der Wörter sind sog. Pseudowörter, also Buchstabenfolgen, die Wörter in der Fremd-
sprache sein könnten, es aber nicht sind. Sichtwortschatz: Die Lernenden sprechen ein Wort laut
aus, das nur wenige Millisekunden auf einem Bildschirm erschienen ist. Laut-Schrift-Zuordnung: Die
Lernenden lesen Pseudowörter laut vor.
7 In mehreren kurzen Texten wird in jedem zweiten Wort die Hälfte gelöscht (der erste und letzte Satz 10 Die Lernenden geben immer länger werdende Zahlenfolgen wieder, z. T. in umgekehrter Reihenfolge.
ausgenommen). Die Lernenden müssen diese Wörter rekonstruieren. Dieses Testformat erlaubt es, 11 In der Grafik sind Aufgabenfaktoren aufgeführt, die im Projekt aus Ressourcengründen nicht analy-
in kurzer Zeit eine grobe Einschätzung der Sprachkompetenz von Lernenden zu erhalten, da die siert wurden. Da die Daten jedoch im Forschungsdatenarchiv des KFM vorliegen, ist es möglich, auch
Lernenden gleichzeitig Wortschatz-, Grammatik- und Orthographiekenntnisse einsetzen müssen. deren Einfluss auf die Testergebnisse zu analysieren. Interessierte Forschende sind herzlich dazu
8 Die Lernenden markieren in einem Text ohne Leerzeichen die Wortgrenzen. eingeladen.
← Index
Leseverstehen in einer Fremdsprache testen 14 Leseverstehen in einer Fremdsprache testen 15
Wie wurden die Daten ausgewertet? Ausgewählte Resultate
Die Interviews aus den Erprobungen sowie die Sollten die Fragen und Mangels an fremdsprachlicher Leseverste-
Antworten aus dem Kurzfragebogen wurden Antworten in einem einfachen henskompetenz, sondern aus Gründen, die mit
transkribiert und mit Blick auf zwei Fragestel- Leseverstehenstest in der dem Verstehen des Textes nichts zu tun
lungen qualitativ im Sinne der strukturie- Fremdsprache verfasst hatten.
renden Qualitativen Inhaltsanalyse (Mayring, werden? Auch eine explizite Befragung der Kinder,
2010) ausgewertet: den Lösungsweg der Ler- die an der Studie teilgenommen haben, führt
nenden und die Sprache der Fragen und Ant- Eher nicht. Die Resultate unserer Hauptstudie zu diesem Ergebnis: Die meisten Lernenden
worten. Ergebnisse dieser Auswertungen und die Erkenntnisse aus den Erprobungsin- sind sich einig, dass es für sie einfacher ist,
können in Barras (2018, auch mit einer Diskus- terviews weisen klar darauf hin, dass die Nut- wenn die Fragen zum Text in ihrer Schul-
sion der Erhebungsmethode) und Karges et al. zung einer gemeinsamen Schulsprache dazu sprache Deutsch gehalten sind, da sie diese
(i.V., zur Sprache der Fragen und Antworten) beiträgt, die fremdsprachliche Leseverste- dann sicher verstehen. Nur rund 10% der be-
nachgelesen werden. henskompetenz der Schülerinnen und Schüler fragten Lernenden gaben an, in diesem Fall
Die Antworten der Testteilnehmenden aus zuverlässiger zu testen. Zumindest für den von das Französische zu bevorzugen. Viele dieser
den Tests wurden zum Teil automatisch und uns untersuchten Kontext (Lernende auf Schülerinnen und Schüler begründeten dies
zum Teil durch Mitglieder des Projektteams er- einem niedrigen Sprachniveau und grossflä- damit, dass sie dann einfacher Wörter oder
fasst und bewertet. Die Kurzantworten aus den chig anwendbare standardisierte Tests, Exis- Wendungen im Lesetext wiederfinden könnten,
Leseverstehenstests wurden doppelt beurteilt tenz einer gemeinsamen Sprache13) empfehlen die ihnen Hinweise auf die (vermeintlich) rich-
und dann durch Diskussion vereinheitlicht. Bei wir daher, die Aufgaben in der Schulsprache zu tige Antwort geben – eine Testlösungsstra-
den zusätzlichen Tests wurden die Testresul- verfassen. tegie, die nicht zwingend auf gute Lesekompe-
tate teilweise doppelt beurteilt, um die Qualität Im Projekt konnte umfangreiche Evidenz tenzen schliessen lässt und bei professionell
der menschlichen Ratings zu überprüfen. dafür gefunden werden, dass Lernende mit konstruierten Aufgaben oft scheitert.
Die dabei entstandenen Testresultate einem Sprachniveau im Bereich A1-A2 Aufga- Auch aus Sicht des Testkonstrukts spricht
wurden Qualitätskontrollen unterzogen (z. B. benstellungen in der Fremdsprache oft zu viel für die Verwendung der Schulsprache: Wer
wurden auffällige Antwortmuster identifiziert) wenig präzise verstehen und deshalb auf mehr liest, tut dies in der Regel mit einem Ziel (z. B.,
und skaliert (u. a. mittels Item Response Theory oder weniger erfolgreiche Kompensationsstra- um eine bestimmte Information zu finden, aber
[IRT], vgl. Kasten „Item Response Theory“). tegien ausweichen oder einfach raten. Dabei auch zum Vergnügen). Ein Test bzw. eine Test-
Schliesslich wurden die skalierten Testergeb- konnten wir verschiedentlich sogar beob- aufgabe gibt dieses Handlungsziel meist vor.
nisse aller Schülerinnen und Schüler über alle achten, dass die Lernenden die gesuchte In- Wenn die Testteilnehmenden dieses Hand-
Tests hinweg sowie Informationen aus dem Fra- Sämtliche Rohdaten, die annotierten qualita- formation im Lesetext eigentlich gefunden lungsziel aber nicht verstehen, können sie die
gebogen in einem einzelnen Datensatz zusam- tiven Interviews sowie die skalierten Testergeb- hätten, wenn sie die Frage oder die Antwortop- Lesehandlung nicht so ausführen, wie es der
mengefasst. Dieser bildete die Grundlage für nisse sind im Forschungsdatenarchiv des Kom- tionen ausreichend verstanden hätten. Ein Test vorsieht. So können Testresultate ent-
weiterführende Analysen, insbesondere in Lenz petenzzentrums für Mehrsprachigkeit archiviert Misserfolg entstand also nicht wegen eines stehen, die nicht dem Testziel entsprechen
et al. (2019), wo der Effekt des Aufgabenfor- und können für weitere Analysen genutzt
mats näher untersucht wurde. werden. Auch die eingesetzten Tests sind dort 12 https://tinyurl.com/pwcy7p39
verfügbar, z. B. für Untersuchungen zum Ein- 13 Bei internationalen Sprachtests, wo keine gemeinsame Sprache vorhanden ist, muss die Verständ-
lichkeit der Fragen auf anderen Wegen hergestellt werden (z. B. durch sehr einfache Formulierungen,
fluss von Text- und Aufgabenmerkmalen auf Bilder und durch die Möglichkeit eines vorhergehenden Testtrainings). Dies schränkt die Vielfalt der
Testergebnisse.12 möglichen Fragestellungen aber ein.← Index
Leseverstehen in einer Fremdsprache testen 16 Leseverstehen in einer Fremdsprache testen 17
und – im schlimmsten Fall – nicht direkt mit geben, reduziert die Qualität der MCQ-Items schatzkenntnisse sagen das Ergebnis beim
der Lesekompetenz der Testteilnehmenden zu- als Messinstrumente für Sprachkompetenzen. Leseverstehenstest relativ gut voraus.
sammenhängen. Im Hinblick auf ein Testergebnis bedeutet Auch die beiden kurzen Tests zum pho-
das, dass eine korrekte Kurzantwort im Durch- nologischen Bewusstsein und zur (automa-
schnitt mehr darüber aussagt, welches tisierten) Worterkennung stehen in einem
Spielt es eine Rolle, welche Sprachkompetenzniveau der oder die Getes- deutlichen Zusammenhang mit den Lesever-
Aufgabenformate in einem tete hat, als dies eine korrekte Multiple- stehenstests, und zwar ähnlich deutlich wie
Leseverstehenstest eingesetzt Choice-Antwort tut. Werden die beiden For- der komplexere C-Test und die Aufgabe zur
werden? mate gemischt, sollte dies berücksichtigt Wortsegmentierung (bei diesen beiden Auf-
werden: Die Testteilnehmenden sollten eigent- gaben spielen auch Kenntnisse auf der
Ja und nein. Statistische Analysen der Tester- lich für korrekte Antworten zu SAQ-Aufgaben Textebene eine Rolle). Dies weist darauf hin,
gebnisse lassen vermuten, dass die beiden mehr Punkte bekommen (in unserer Studie dass auch kurze, wenig kontextualisierte
Testformate Multiple-Choice (MCQ) und Kurz- wäre im Durchschnitt eine doppelte Gewich- Tests einiges über die Sprachkompetenz
antwort (SAQ) zu grossen Teilen das gleiche tung der SAQ-Antworten im Vergleich zu den von Anfängerinnen und Anfängern aus-
Konstrukt messen, inhaltlich also kein Format MCQ-Aufgaben angemessen gewesen). Sollen sagen können, deren Leseverstehen auf
dem anderen vorzuziehen ist. die Testergebnisse psychometrisch mittels Textebene noch wenig stabil und daher mit
Allerdings zeigt sich auch, dass MCQs im Item Response Theory (IRT) skaliert werden, so Leseverstehenstests schwer messbar ist.
Durchschnitt a) signifikant einfacher und b) we- ist die Verwendung eines 2PL-Modells zu emp-
niger trennscharf sind als die SAQs mit dem fehlen, das die Trennschärfe jedes Items direkt
gleichen Wortlaut. Das bedeutet, dass Ler- schätzt und daraus dessen Gewichtung für die
nende „mehr können“ müssen, um eine SAQ Schätzung der Fähigkeit der Testteilneh-
korrekt zu beantworten als dies bei der glei- menden ableitet. → Kasten IRT
chen MCQ der Fall wäre. Ausserdem unter-
scheiden SAQs genauer zwischen schwä-
cheren und stärkeren Lernenden. Beide Wie lösen junge Schülerinnen
Effekte lassen sich u. a. durch die unter- und Schüler einfache
schiedlichen Antwortprozesse bei SAQ und Leseverstehensaufgaben in
MCQ erklären: Bei SAQ muss mithilfe des einer Fremdsprache?
Textes eine Antwort gefunden werden, die
dann auch aufgeschrieben werden muss. An Neben den Leseverstehensaufgaben
dieser Stelle steckt eine zusätzliche Fehler- wurden weitere Tests eingesetzt, die Teil-
quelle, was die Wahrscheinlichkeit einer kor- kompetenzen erheben sollten, von denen
rekten Antwort senkt und so eine Aufgabe bekannt ist, dass sie mit Leseverstehen zu-
schwieriger und trennschärfer macht. Bei MCQ sammenhängen. Insgesamt widerspiegeln
mit drei Antwortoptionen besteht dagegen be- die Ergebnisse der verschiedenen Analysen
reits eine gewisse Wahrscheinlichkeit, die die in der Literatur postulierten Zusammen-
richtige Lösung zu finden, ohne dass über- hänge. Insbesondere zeigte sich, dass auf
haupt etwas gelesen wird. Auch die Möglich- dem getesteten elementaren Sprachniveau
keit, durch geschicktes Raten, statt durch (A-Niveaus des GER) der Wortschatz eine
Sprachverstehen eine richtige Antwort zu wichtige Rolle spielt: Die rezeptiven Wort-← Index
Leseverstehen in einer Fremdsprache testen 18 Leseverstehen in einer Fremdsprache testen 19
Welche Folgen hatte Task Lab? Wo finde ich mehr Informationen?
Die ÜGK-Erhebungen 2017 und 2020 → vgl. (Schulsprache Deutsch oder Zielsprache Die folgenden beiden Artikel enthalten de- B. Tesch (Hrsg.), Lautes Denken, „Sti-
Fussnote 3 in den Schul- und Fremdsprachen Französisch) und der Antwortformate (MCQ taillierte Darstellungen und Diskussionen mulated Recall“ und Dokumentarische
profitierten massgeblich von den Erkennt- oder SAQ). zu den oben beschriebenen Erkenntnissen Methode. Rekonstruktive Verfahren in
nissen und Erfahrungen aus Task Lab, ins- aus dem Forschungsprojekt (beide in engli- der Fremdsprachenlehr- und -lernfor-
besondere auch in technischer Hinsicht. scher Sprache): schung. Frankfurt: Peter Lang, 69-86.
Das Design und die zugrundeliegende
Struktur der Aufgaben wurden in nur leicht • Lenz, P., Karges, K. & Barras, M. (2019). Schliesslich wurden die folgenden kurzen
geänderter Form übernommen. Fragen und Investigating test method effects in Übersichtsartikel veröffentlicht:
Antworten zum Text werden in den ÜGK- French L2 reading items for young
Fremdsprachentests grundsätzlich in der learners. In A. Huhta, G. Erickson & N. • Barras, M., Karges, K. & Lenz, P. (2016).
Schulsprache gestellt. Auch Materialien Figueras (eds), Developments in lan- Leseverstehen überprüfen: Welche
und Erfahrungen aus den Task-Lab-Erpro- guage education: a memorial volume in Sprache für die Fragen und Antworten in
bungen konnten für die Aufgabenentwick- honour of Sauli Takala. Jyväskylä: Uni- den Testitems? Babylonia, 16(2), 13-18.
lung im Rahmen der ÜGK genutzt werden. versity of Jyväskylä & EALTA, 182-202. • Karges, K., Barras, M. & Lenz, P. (2016).
Für den direkten Nachfolger des Pro- • Karges, K., Barras, M. & Lenz, P. (forth- Task Lab: Untersuchungen zum bes-
jektes Task Lab („Innovative Formen der coming). Assessing young language seren Verständnis von computerba-
Beurteilung“, IFB14) konnten Teile des Erhe- learners’ receptive skills: should we sierten kommunikativen Testaufgaben
bungsdesigns übernommen bzw. weiterent- ask the questions in the language of zum Leseverstehen in Französisch.
wickelt werden. Auch die technische Grund- schooling? In S. Frisch, E. Romeik & J. Babylonia, 2016(3), 56.
struktur der Aufgaben aus Task Lab kam Rymarczyk (eds), Current research into
dem neuen Projekt sowie weiteren Projekten young FL and EAL learners’ literacy Daneben können auf der Webseite des Kom-
zugute. skills. Berlin: Peter Lang. petenzzentrums für Mehrsprachigkeit di-
Aus Sicht der Testforschung ist zu be- verse Poster und PDFs von Vorträgen ein-
tonen, dass Task Lab eines von sehr we- Im folgenden Artikel wird das qualitativ-me- gesehen werden, die an verschiedenen
nigen Forschungsprojekten ist, das bei thodische Vorgehen anlässlich der Aufga- Fachkonferenzen präsentiert wurden.15
jungen Lernenden (Zwölfjährigen) mit ele- benerprobung vorgestellt. Der Artikel ent-
mentaren Sprachkenntnissen (A-Niveaus hält auch ausgewählte Ergebnisse des
des GER) die Struktur von fremdsprachli- Projekts Task Lab:
cher Lesekompetenz in einer anderen
Sprache als Englisch (nämlich Französisch) • Barras, M. (2018). „Stimulated Recall“
untersucht hat. Eher selten ist auch die in der Sprachtestforschung. Ein prak-
systematische Herangehensweise bei der tisches Beispiel aus der Erprobung
Untersuchung der Effekte von Merkmalen eines computerbasierten Leseverste-
von Leseverstehensaufgaben, insbeson- henstests. In K. Aguado, C. Finkbeiner &
dere der Sprache von Fragen und Antworten
15 https://centre-plurilinguisme.ch/de/forschung/task-lab-untersuchungen-zum-besseren-verstaend-
14 Vgl. auch https://centre-plurilinguisme.ch/de/forschung/innovative-formen-der-beurteilung. nis-und-zur-erhoehung-der-validitaet-von.Français 21 Tester la compréhension de l’écrit dans une langue étrangère Task Lab – une étude empirique sur des tâches informatisées en français — Katharina Karges, Malgorzata Barras, Peter Lenz
← Index
Tester la compréhension de l’écrit dans une langue étrangère 22 Tester la compréhension de l’écrit dans une langue étrangère 23
Les origines de cette étude ?1 Quels étaient les buts de l’étude ?
Au printemps 2017, la Conférence suisse des développement des tâches destinées à la Les tâches de compréhension de l’écrit déve-
directeurs cantonaux de l’instruction publique première COFO. En termes de recherche, Task loppées dans le projet ont été conçues de
(CDIP) a, pour la première fois, mené une Lab a permis de décrire plus précisément le manière à pouvoir être utilisées pour les
enquête nationale et fait tester les compé- rôle que jouent les différentes connaissances besoins d’une enquête d’envergure natio-
tences fondamentales des écoliers dans leur et compétences dans la résolution de tâches nale portant sur les compétences en langue
première langue étrangère à la fin de l’école de compréhension de l’écrit dans une langue étrangère, telle que la COFO. Le projet de
primaire. La seconde « Vérification de l’at- étrangère. recherche s’est notamment penché sur le
teinte des compétences fondamentales » fonctionnement de trois formats de tâches
(COFO2) était prévue pour le printemps 2020.3 différents (questions à choix multiple, ques-
Cette fois, la vérification devait porter sur tions à réponse courte ouverte, questions
les compétences dans la première et la seconde d’appariement). De plus, les tâches ont été
langue étrangère.4 Le Centre scientifique de construites en deux langues pour détermi-
compétence sur le plurilinguisme (CSP) était ner si les questions et les réponses se rap-
impliqué dans les phases préparatoires de portant aux textes à lire devaient être for-
ces deux enquêtes et chargé du développe- mulées dans la langue étrangère, donc la
ment des tâches de test. langue des textes (le français), ou dans la
Indépendamment des enquêtes de la CDIP, langue de scolarisation (l’allemand).
le CSP avait développé des tâches informa- Il s’agissait également de mieux com-
tisées de compréhension de l’écrit dans le prendre en quoi consiste réellement la com-
cadre du projet « Task Lab » et approfondi pétence en compréhension de l’écrit. Par
l’étude de leur fonctionnement. Les expé- conséquent, d’autres aptitudes et compé-
riences empiriques faites avec le groupe cible tences, dont on sait qu’elles sont liées à la
dans Task Lab ont ensuite permis de prendre compréhension de l’écrit dans la langue étran-
un certain nombre de décisions quant au gère (par exemple, le vocabulaire réceptif, la
présence d’un vocabulaire visuel dans la
langue étrangère, la capacité de la mémoire de
1 Nos remerciements vont aux nombreux et nombreuses enseignants et enseignantes, directeurs et travail ou la motivation à étudier la langue en
directrices d’école qui ont soutenu notre projet ainsi qu’aux élèves qui nous ont ouvert leur classe
et leurs esprits pour cette étude. Nous remercions également Thomas Aeppli et nos asssistant∧e∧s tant que matière ; cf. Alderson et al., 2015 ;
scientifiques : sans leur soutien efficace, notre récolte de données n’aurait pas dépassé le stade de Harsch & Hartig, 2016 ; Sabatini et al., 2013),
la planification.
ont été étudiées chez les élèves participant
2 Pour plus d’informations : https://cofo-suisse.ch/.
3 La récolte de données principale n’a pas pu être réalisée en raison des mesures liées à la COVID-19 au projet.
et aura lieu ultérieurement. L’objectif général était de mieux com-
4 La première langue étrangère est l’allemand en Suisse romande et le français en Suisse alémanique, prendre les facteurs de réussite de la com-
le long de la frontière linguistique occidentale. Dans les deux régions, l’anglais est la deuxième
langue étrangère. Dans le reste de la Suisse alémanique, l’anglais est enseigné en 1er lieu, puis le préhension de l’écrit et d’ainsi augmenter la
français. Au Tessin, le français est la première langue étrangère et l’allemand la seconde. Le canton validité des résultats et échelles de tests
des Grisons n’a pas participé à la COFO de 2017, et ne devait participer que partiellement à la COFO
prévue pour 2020 (communes germanophones et italophones ayant l’anglais comme langue étran-
dans les études de grande ampleur.
gère).← Index
Tester la compréhension de l’écrit dans une langue étrangère 24 Tester la compréhension de l’écrit dans une langue étrangère 25
Qui a participé à l’étude ? A quelles tâches a-t-on eu recours ?
Les tâches ont été proposées à des élèves Toutes les tâches de compréhension de l’écrit versions de langue : l’une avec des questions
de dernière année d’école primaire et, pour consistaient en un ou plusieurs textes à lire et réponses en français et l’autre avec des
des raisons pratiques, seulement en fran- en français, pour chacun desquels trois ques- questions et réponses en allemand (dans le
çais, la première langue étrangère. L’étude tions étaient posées. La construction des cas des QROC, les apprenant∧e∧s devaient
a été menée dans cinq cantons : Bâle-Cam- tâches s’est appuyée sur la littérature spé- écrire leurs réponses dans la langue corres-
pagne, Soleure, Berne, Fribourg et Valais. cialisée et notamment d’importantes décou- pondante). Au total, chacune des 12 tâches
Comme il est d’usage lors de développe- vertes en matière de compréhension de l’écrit de compréhension de l’écrit existait dans 4
ments de tests, toutes les tâches ont d’abord et d’élaboration de tâches de test (par exemple, versions, et chaque élève devait en résoudre
été testées puis implémentées au cours d’une Alderson, 2000 ; Alderson et al., 2015 ; Grabe, une. → Fig. 1
phase pilote (voir par exemple, Kenyon & 2009 ; Khalifa & Weir, 2009 ; Lutjeharms &
MacGregor, 2012). Dans la phase de test, Schmidt, 2010), des descriptions d’objectifs
chaque tâche et solution a été précisément d’apprentissage (Bersinger et al., 2005 ; D-EDK,
discutée avec des apprenant∧e∧s dans le cadre 2013 ; EDK, 2011 ; Conseil de l’Europe, 2001 ;
d’entretiens individuels de rappel stimulé et Passepartout, 2013 ; etc.) ainsi que Mille
les informations ainsi obtenues ont permis feuilles, le manuel scolaire utilisé dans la
d’optimiser les tâches. Ces entretiens ont région concernée (Bertschy et al., 2011ff.).
été réalisés avec 34 élèves issus de deux Le niveau de langue ciblé par les tâches se
classes. Le projet pilote, lui, a été mené avec situait autour du niveau A1 du Cadre euro-
5 classes, soit 97 élèves, qui ont passé toute péen commun de référence pour les langues
la batterie des tests en conditions réelles (Conseil de l’Europe, 2001), ce qui corres-
de classe. Cette phase pilote a donné lieu pond en Suisse aux compétences de base à
aux derniers ajustements. atteindre à la fin de l’école primaire pour la
L’étude principale a été menée au début compréhension de l’écrit dans la première
de l’été 2015 et a réuni un total de 34 classes, langue étrangère.
soit 623 élèves (309 garçons, 314 filles) parmi Développé à l’aide du logiciel CBA Item-
lesquels environ 20 % étaient issus de la Builder,5 l’ensemble du test était à réaliser
migration. Les écoles s’étant portées volon- par ordinateur et accessible dans les écoles
taires pour participer au projet, il ne s’agis- via un navigateur Internet. 6
sait pas d’un échantillon représentatif. L’étude 12 tâches sur les 18 que comptait le test
a été menée dans les écoles par les collabo- étaient de format choix multiple (QCM) et de
rateurs et collaboratrices du projet et des type question à réponse ouverte courte (QROC).
assistant∧e∧s scientifiques pendant les heures Ces deux formats d’items existaient en deux
de cours normales.
5 Informations supplémentaires concernant ce logiciel (en anglais ou allemand) : https://tba.dipf.de/
de/infrastruktur/softwareentwicklung/cba-itembuilder?set_language=de.
6 Nous tenons à remercier le Leibniz-Institut für Bildungsforschung und Bildungsinformation (DIPF),
en particulier Helge Einspanier, pour son aimable soutien et pour avoir fourni le serveur de test.← Index
Tester la compréhension de l’écrit dans une langue étrangère 26 Tester la compréhension de l’écrit dans une langue étrangère 27
réceptif, de vocabulaire visuel, d’associa-
tion son et lettres9). L’on a également eu
recours à des tests de mémoire de travail
(tâches d’empan de chiffres10). Quant au ques-
tionnaire, il a permis de relever des informa-
tions sur l’origine et la(les) langue(s) pre-
mière(s) des élèves, mais surtout sur leurs
habitudes de lecture et leur motivation à
apprendre le français. → Fig. 2
Habitudes de Langue des Caractéristiques
Mémoire de travail lecture individu- questions et des du texte, p.e.
elles réponses difficulté linguis-
tique, genre
Motivation et Première(s) Langue de scola-
attrait pour la langue(s) risation (De) Caractéristiques
langue étrangère des items, p.e.
← Langue cible (Fr) style de lecture
Vocabulaire INTERACTION
Format des items
Recon- →
Figure 1 : Les 4 versions d’une tâche développée dans Task Lab Compétence naissance Choix multiple
DE lexicale & FR visuelle du
grammaticale mot Réponse courte
A cela se sont ajoutées six autres tâches de et des tâches portant sur des compétences
Conscience Appariement
type appariement, un format dans lequel les ayant une relation avérée avec la compré- phonolo-
apprenant∧e∧s devaient choisir parmi plusieurs hension de l’écrit. Ces tâches ont principa- gique
textes courts celui qui contenait l’informa- lement permis d’évaluer d’autres aspects de
tion recherchée. Ce format aussi était dis- la compétence langagière, notamment la com- Facteurs cognitifs, motivationnels Facteurs de tâches analysés et
et linguistiques personnels autres facteurs
ponible dans deux versions de langues (avec pétence lexico-grammaticale générale des
des questions en allemand et en français). apprenant∧e∧s (C-Test7 et segmentation des Figure 2 : Représentation schématique de la batterie de tests Task Lab11
Les apprenant∧e∧s ont été invité∧e∧s à indi- mots8 en allemand et en français) ainsi que
quer le format ou la langue qu’ils préféraient de procéder à des tests sur la richesse du
en complétant un bref questionnaire. vocabulaire, la reconnaissance automatique
En plus des tâches de compréhension de des mots et la conscience phonologique dans
l’écrit, le projet a proposé un questionnaire la langue étrangère (test de vocabulaire
9 Test de vocabulaire réceptif : dans une liste, les étudiant∙e∙s cochent les mots qu’ils-elles
connaissent. Certains de ces mots sont des pseudo-mots, c’est-à-dire des séquences de lettres qui
pourraient être des mots dans la langue étrangère mais qui ne le sont pas. Vocabulaire visuel : les
apprenant∧e∧s prononcent à haute voix un mot qui n’est apparu sur un écran que pendant quelques
7 Dans plusieurs textes courts, on supprime la moitié d’un mot sur deux (à l’exception de la première millisecondes. Association son et lettres : les apprenant∧e∧s lisent des pseudo-mots à voix haute.
et de la dernière phrase) et les apprenant∧e∧s doivent les reconstruire. Ce type de test permet d’ob- 10 Les apprenant∧e∧s répètent des séquences de nombres de plus en plus longues, parfois à rebours.
tenir en peu de temps une évaluation globale des compétences linguistiques des apprenant∧e∧s, ces 11 Le graphique montre des facteurs de tâches qui n’ont pas été analysés dans le cadre du projet pour
dernier∧e∧s devant à la fois mobiliser leurs connaissances en matière de vocabulaire, de grammaire et des raisons de ressources. Les données étant toutefois disponibles dans les archives de recherche
d’orthographe. du CSP, il serait possible d’analyser leur influence sur les résultats des tests. Les chercheur∧e∧s
8 Dans un texte sans espaces, les apprenant∧e∧s doivent délimiter les mots. intéressé∧e∧s sont cordialement invité∧e∧s à le faire.← Index
Tester la compréhension de l’écrit dans une langue étrangère 28 Tester la compréhension de l’écrit dans une langue étrangère 29
Comment les données ont-elles été Toutes les données brutes, les entretiens
qualitatifs annotés ainsi que les résultats
analysées ? des tests mis à l’échelle se trouvent dans
les archives des données de recherche du
Centre scientifique de compétence sur le plu-
Les entretiens menés lors des tests préa- rilinguisme et peuvent être utilisés pour des
lables ainsi que les réponses au question- analyses plus approfondies. Les tests utili-
naire court ont été transcrits puis soumis à sés y sont également disponibles et l’on peut
une analyse qualitative de contenu (Mayring, y recourir, par exemple, dans le cadre d’études
2010) visant à évaluer deux éléments : d’une sur l’influence des caractéristiques des textes
part, l’approche utilisée par les apprenant∧e∧s et des tâches sur les résultats des tests.12
pour résoudre la tâche et d’autre part, la
langue utilisé dans les questions et les
réponses. Les résultats de ces évaluations
sont présentés dans Barras (2018, y com-
pris une description de la méthode de récolte
des données) et Karges et al. (à paraître, sur
la langue des questions et réponses).
Les réponses des participant∧e∧s aux tests
ont été enregistrées et évaluées en partie
automatiquement et en partie par des membres
de l’équipe de projet. Deux personnes ont
évalué les réponses courtes aux tests de
compréhension de l’écrit ; ces évaluations
ont ensuite été harmonisées lors d’une dis-
cussion. En ce qui concerne les tests sup-
plémentaires, certains résultats ont été ana-
lysés à double afin de vérifier la qualité des
évaluations humaines.
Les résultats obtenus ont été soumis à
des contrôles de qualité (on a par exemple
identifié des types de réponse saillants) et
reportés sur une échelle (notamment à par-
tir de la théorie des réponses aux items, voir
encadré ci-après). Enfin, les résultats ainsi Cela a servi de base à des analyses plus
classés de tous les élèves à tous les tests approfondies, à l’instar de celle de Lenz et
et les informations du questionnaire ont été al. (2019) qui se penche en détail sur les
combinés en un seul ensemble de données. effets du format des tâches. → encadré
12 https://portailplurilingue.unifr.ch/starweb/KFM/k.skca-catalog/servlet.starweb?path=KFM/k.skca-
catalog/FastLink.web&inum=000011889.← Index
Tester la compréhension de l’écrit dans une langue étrangère 30 Tester la compréhension de l’écrit dans une langue étrangère 31
Résultats choisis et – dans le pire des cas - qui ne sont pas plutôt qu’en comprenant le texte. De ce point
directement liés à la compétence de compré- de vue, les items du QCM constituent des
hension de l’écrit des personnes testées. instruments moins efficaces de mesure des
Pour une épreuve simple de préhension de l’écrit, mais à bien d’autres compétences linguistiques.
compréhension de l’écrit, raisons. En termes de résultats de test, cela signi-
les questions et réponses Une enquête réalisée auprès des enfants Le choix des types de tâches fie qu’une réponse correcte à un QROC en
devraient-elles être rédigées qui ont participé à l’étude le montre : la plu- utilisés dans un test de dit en moyenne davantage sur le niveau de
dans la langue étrangère ? part d’entre eux-elles préfèrent que les ques- compréhension de l’écrit est-il compétence linguistique de la personne tes-
tions soient écrites en allemand, leur langue important ? tée qu’une réponse correcte à un QCM. Si
Plutôt pas. Les résultats de notre étude prin- de scolarisation, car ils-elles sont ainsi cer- les deux formats de tâches sont utilisés, il
cipale et des entretiens indiquent claire- tain∧e∧s de les comprendre. Seulement envi- Oui et non. Les analyses statistiques des faut en tenir compte : les candidat∧e∧s devraient
ment que les tests visant à évaluer les com- ron 10 % des apprenant∧e∧s interrogé∧e∧s résultats aux tests suggèrent que les deux ainsi marquer plus de points pour avoir répondu
pétences en compréhension de l’écrit des déclarent préférer des questions formulées formats de test, à savoir le choix multiple correctement aux questions du QROC (dans
élèves dans une langue étrangère sont plus en français. Bon nombre d’entre eux-elles (QCM) et la question à réponse ouverte courte notre étude, il aurait été approprié de doter
fiables si l’on utilise une langue de scolari- estiment que cela leur permet de trouver dans (QROC), mesurent largement la même chose. les QROC d’un coefficient 2). S’il s’agit de
sation commune. Nous recommandons donc le texte des mots ou des phrases pouvant Du point de vue du contenu, aucun format constituer une échelle psychométrique à par-
de rédiger les tâches dans la langue de sco- les mettre sur la piste de la réponse (sup- n’est donc à préférer à l’autre. tir des résultats du test en utilisant la théo-
larisation, tout au moins pour le contexte posée) correcte. Il s’agit là d’une stratégie Cependant, on remarque aussi que les rie des réponses aux items (TRI), il est recom-
que nous étudions (apprenant∧e∧s ayant un de résolution de tâche qui ne traduit pas QCM sont en moyenne a) sensiblement plus mandé d’utiliser un modèle 2-PL. Ce dernier
faible niveau de maîtrise de la langue étran- nécessairement de bonnes compétences de simples et b) moins discriminants que les permet de calculer le pouvoir discriminant
gère, tests standardisés largement appli- compréhension de l’écrit et qui échoue sou- QROC ayant le même libellé. Cela signifie que de chaque item et d’en déduire sa pondéra-
cables, existence d’une langue commune13). vent pour des tâches élaborées de façon les apprenant∧e∧s doivent « en savoir plus » tion, laquelle sera utilisée pour évaluer la
Dans le cadre du projet, il a été large- professionnelle. pour répondre correctement à un QROC que capacité des candidat∧e∧s au test. → encadré
ment démontré que les apprenant∧e∧s dont Du point de vue du construit du test, de ce ne serait le cas pour un QCM équivalent.
le niveau de langue se situait entre A1 et A2 nombreux arguments plaident en faveur de En outre, les QROC différencient plus préci-
ne comprennent souvent pas assez pré la langue de scolarisation. Lorsqu’on lit, on sément les apprenant∧e∧s faibles des appre- Comment les jeunes élèves
cisément les tâches dans la langue étran- le fait généralement dans un but précis (par nant∧e∧s fort∧e∧s. Ces deux effets peuvent résolvent-ils-elles des tâches
gère. Ils-elles ont donc recours à des stra- exemple : trouver une certaine information, s’expliquer par le fait que les processus sui- simples de compréhension
tégies de compensation plus ou moins pour le plaisir, etc.). Un test ou une tâche de vis pour répondre aux QCM et QROC sont dif- de l’écrit dans une langue
efficaces ou se contentent de deviner. Nous test précise généralement l’objectif dans férents : dans le cas du second, il faut s’ai- étrangère ?
avons même constaté que les apprenant∧e∧s lequel on doit lire un texte. Cependant, si cet der du texte pour trouver une réponse que
auraient effectivement trouvé l’information objectif échappe aux personnes qui passent l’on doit ensuite rédiger. Ceci constitue une En plus des tâches de compréhension de
recherchée dans le texte si la question ou le test, elles ne peuvent effectuer la tâche source d’erreur supplémentaire, qui réduit l’écrit, d’autres tests ont été utilisés pour
les options de réponse avaient été suffi- de lecture de la manière dont le test l’exige. la probabilité d’une réponse correcte et rend évaluer les sous-compétences liées à la com-
samment compris. Ainsi, l’échec n’était pas De cela peuvent découler des résultats qui donc la tâche plus difficile et plus sélective. préhension de l’écrit. Dans l’ensemble, les
dû à un manque de compétence en com ne correspondent pas à l’objectif du test En revanche, dans un QCM, trois options de résultats des différentes analyses corro-
réponse augmentent la probabilité de trou- borent les liens postulés dans la littérature.
13 Dans les tests de langue internationaux où il n’existe pas de langue commune, d’autres moyens ver la bonne solution sans même rien lire du Il a notamment été constaté qu’au niveau
doivent être mis en œuvre pour permettre aux participant∧e∧s de comprendre les questions (par
exemple, des formulations très simples, des images et la possibilité d’une formation préalable au
texte. Il est donc possible de donner une élémentaire de langue testé (niveaux A du
test). Toutefois, cela limite la diversité des questions. réponse correcte en devinant intelligemment CECR), le vocabulaire joue un rôle important :Sie können auch lesen
