Zwölf Jahre Visible Learning' im wissenschaftlichen Diskurs
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
PR 2021, 75. Jahrgang, S. 393-408
© 2021 Colin Cramer - DOI https://doi.org/10.3726/PR042021.0036
Colin Cramer
Zwölf Jahre ‚Visible Learning‘ im
wissenschaftlichen Diskurs
Eine Zwischenbilanz zur Hattie-Studie
Wie kaum eine andere Studie hat die Me- erfahren. Hattie fertigte eine Synthese
ta-Meta-Analyse zu Bedingungsfaktoren von über 800 Meta-Analysen zu Bedin-
von Schülerleistungen der Gruppe um John gungsfaktoren von Schülerleistung an,
Hattie im öffentlichen wie im wissenschaft- mit – je nach Rezeption – mehr oder we-
lichen Diskurs für Aufsehen gesorgt. Die niger weitreichenden Implikationen für
Studie wurde umfassend und kontrovers Schule, Unterricht sowie Lehrerinnen- und
rezipiert, kommentiert, gelobt und kritisiert. Lehrerbildung. Nachdem die Zeit eiliger
Eine konsistente Zusammenschau der Veröffentlichungen und Stellungnahmen
unterschiedlichen wissenschaftlichen Re- (‚Hattie-Hype‘) vorüber scheint, resümiert
zeptionslinien liegt in einem Zeitschriften- dieser Beitrag die wissenschaftlichen Re-
beitrag aber bislang nicht vor. Der Beitrag zeptionslinien mit kritischer Distanz. Diese
nimmt dieses Desiderat auf und zeichnet Rezeption verlief bislang überwiegend in
prominente Linien in der wissenschaft- Sammelbänden2 oder Thementeilen von
lichen Rezeption der Studie und deren Fachzeitschriften3, deren einzelnen Bei-
Ambivalenzen nach.1 Auf diese Weise soll träge weitgehend lose nebeneinander-
ein Beitrag zur Versachlichung des Diskur- standen. Dies unterstreicht den Bedarf
ses um Visible Learning geleistet werden, nach einer Aufarbeitung und Zusammen-
etwa indem über den in der Diskussion zu schau der wissenschaftlichen Rezepti-
erkennenden Paradigmenstreit hinaus eine on. Eine solche liegt im Kontext größerer
aus erziehungswissenschaftlicher Sicht re- Darstellungen für die frühe Rezeption in
alistische Einschätzung des Ertrages aus Teilen bereits vor.4 Der vorliegende Bei-
John Hatties Synthese von Meta-Analysen trag systematisiert darüber hinaus jedoch
vorgenommen wird. verschiedene methodische und inhaltliche
Rezeptionslinien und stellt diese konden-
siert vor und damit zur Diskussion. Damit
1. Einleitung schließt der Artikel an eine auch in dieser
Zeitschrift geführte Debatte an, die sich
Das Erscheinen des Bandes Visible Lear- zurückliegend aber stärker auf die Rezepti-
ning von John Hattie (2009) vor zwölf Jah- on Hatties durch die öffentliche Diskussion
ren hat hohe öffentlich-bildungspolitische oder deren Folgen für Didaktik und Schul-
und wissenschaftliche Aufmerksamkeit praxis bezog.5
4 / 2021 Pädagogische Rundschau 393
Die Online-Ausgabe dieser Publikation ist Open Access verfügbar und im Rahmen der Creative Commons Lizenz CC-BY 4.0
wiederverwendbar. http://creativecommons.org/licenses/by/4.0Dieser Beitrag legt keine weitere Re- die Basis der zugrundeliegenden Primär-
zeption vor, vielmehr leistet er eine Bünde- studien sein.
lung existierender Rezeptionen. Größere Die Synthese der Meta-Analysen wird
Rezeptionsmuster quer zu den einzelnen in der Rezeption häufig als ‚Meta-Me-
Rezeptionen (Publikationen) werden iden- ta-Analyse‘ oder ‚Mega-Analyse‘ bezeich-
tifiziert. Die Rezeptionen werden dabei net, während Hattie selbst auf den Begriff
selbst zur ‚Datenquelle‘ und die Rezipie- ‚synthesis‘ insistiert. Er zieht Metaanalysen
renden kommen durch Zitate zu Wort. heran, die Primärstudien zu einzelnen Aus-
Methodologische und inhaltliche Aspekte sagen über den Effekt eines Merkmals A
der Rezeption werden gebündelt, um Po- auf ein anderes Merkmal B zusammenfas-
tenziale und Grenzen der Hattie-Studie sen. Diese Meta-Analysen werden einer
abschätzen zu können. Einführend werden weiteren Synthese unterzogen, indem
Grundlinien der Hattie-Studie aufgezeigt mittlere Zusammenhänge der positiven
(Kapitel 2), dann zentrale Rezeptionslinien oder negativen Effekte berechnet werden,
rezeptionsimmanent dargelegt (Kapitel 3) die damit auf einer noch größeren Daten-
und schließlich die Rezeptionslage zusam- basis beruhen. Die Synthese resultiert in
mengefasst und diskutiert (Kapitel 4). Es 138 Faktoren, die Einfluss auf die Lern-
werden Elemente der sozialwissenschaft- leistungen von Schülerinnen und Schülern
lichen Diskursanalyse bzw. Diskursfor- haben. Der Einfluss wird als Effektstärke
schung6 herangezogen, indem etwa der (,effect size‘) Cohen’s Delta (d) berichtet.
disziplinäre Hintergrund der Rezipienten Sie gibt die Größe eines statistischen Ef-
(z.B. Fachdidaktik), die Strukturierung der fekts an und gilt als ein auch für Laien in-
Rezeptionen, die Argumentationsfiguren tuitiv nachvollziehbares Maß der Relevanz
und die inhaltlichen Positionen in den Re- statistischer Befunde.
zeptionslinien herausgearbeitet, gruppiert Sortiert nach ihrer Effektstärke werden
und aufeinander bezogen werden. die Einzelfaktoren in eine Rangfolge (sehr
groß bis sehr klein) gebracht. Die drei stärks-
ten positiven Effekte auf die Lernleistung
2. Grundlinien von weisen auf: ‚Self-report grades‘ (Selbstein-
Visible Learning schätzung des eigenen Leistungsniveaus),
‚Piagetian programs‘ (kognitive Entwick-
In Visible Learning von John Hattie aus lungsstufe nach Piaget) und ‚Providing
dem Jahr 2009 werden die Bedeutung der formative evaluation‘ (formative Evaluation
Kontexte, Bedingungsfaktoren und Merk- des Unterrichts). Stärkste negative Effekte
male erfolgreichen schulischen Lernens zeigen: ‚Retention‘ (Nicht-Versetzung), ‚Te-
thematisiert.7 Grundlegend sind Aussagen levision‘ (Fernsehen) und ‚Mobility‘ (Schul-
über Zusammenhänge bzw. den prognos- wechsel). Die 138 Einzelfaktoren werden zu
tischen Gehalt verschiedenster Variab- sechs thematischen Gruppen aggregiert,
len für die Lernleistung der Schülerinnen die sich mit absteigender mittlerer Effekt-
und Schüler. Hattie nimmt eine Synthese stärke wie folgt darstellen: ‚teacher‘ (Lehr-
von 815 Meta-Analysen vor, die diese Zu- person), ‚curricula‘ (Curriculum), ‚teaching‘
sammenhänge empirisch aufbereiten. Es (Unterricht), ‚students‘ (Schüler), ‚home‘
sind 52 637 einzelne Studien in diese Me- (Elternhaus) und ‚school‘ (Schule). Hattie
ta-Analysen eingeflossen, die zu 146 142 diskutiert die Befunde auf Basis von The-
ausgewerteten Effekten führen. Rund 236 orien aus den Bereichen Lehren, Lernen,
Millionen Schülerinnen und Schüler sollen Unterricht und Lehrperson.
394 Pädagogische Rundschau 4 / 2021
Die Online-Ausgabe dieser Publikation ist Open Access verfügbar und im Rahmen der Creative Commons Lizenz CC-BY 4.0
wiederverwendbar. http://creativecommons.org/licenses/by/4.03. Rezeptionslinien Unterrichts für den Lernerfolg zentral,
ebenso wie die Einschätzung der Unter-
Die Rezeptionen lassen sich heuristisch richtsqualität durch das Feedback der
drei größeren Rezeptionslinien zuordnen, Schülerinnen und Schüler (S. 8). Für Lotz
die nachfolgend zunächst rezeptionsim- und Lipowsky bietet Hattie „einen einzig-
manent, d.h. basierend auf den Rezepti- artigen Überblick über die Lehr-Lernfor-
onen selbst, dargelegt werden: Potenzial schung und zentrale Einflussgrößen auf
und Gewinn (3.1), methodologische Kritik den Lernerfolg [...]. Die Studie kann [...]
(3.2) und inhaltliche Kritik (3.3) der Hat- eine Diskussion darüber anstoßen, wie
tie-Studie. wirksam bestimmte unterrichtliche Maß-
nahmen tatsächlich sind und wie man
3.1 Potenzial und Gewinn Unterricht [...] weiterentwickeln kann“13.
Insgesamt würdigen solche Rezeptionen
Aufgrund der enormen Datenbasis stelle explizit die exemplarische Bedeutung der
Visible Learning eine einmalige Systema- Studie für eine Evidenzbasierung von Schu-
tisierungsleistung der Forschung zu er- le, Unterricht und Lehrerbildung sowie die
folgreichem schulischem Lernen dar: So extrem große Datenbasis. Implizit verwei-
attestiert Terhart: „Hatties Buch basiert auf sen sie auf die Reichweite der Studie im
einer monumentalen Auswertungs- und Sinne der Wissenschaftskommunikation.
Systematisierungsleistung. Eine solche
umfassende und zusammenfassende, 3.2 Methodologische Kritik
synthetisierende Sicht auf die empirische
Schul-, Lehrer- und Unterrichtsforschung Die methodologische Kritik verbindet sich
[...] hat es [...] bisher nicht gegeben“8. mit der Befürchtung, eine verkürzte Lesart
Helmke bezeichnet die Studie als „Mei- von Visible Learning würde aus wissen-
lenstein der empirischen Forschung zum schaftlicher Sicht zu problematischen Fol-
Lehren und Lernen“, erkennt „Aussagen gerungen aus der Studie führen: „Hattie
auf der Grundlage einer noch nie jemals works to minimise these criticisms of his
dagewesenen Datenbasis“9. Die Breite methodology but they need to be taken
des Ansatzes gilt Helmke als „unerhör- into account before accepting the analyses
tes Unterfangen!“. Den Gewinn aus der as sound for policy purposes“14 (Snook et
Hattie-Studie sieht Pant insbesondere al., 2009, S. 96). Zentrale Aspekte dieser
in ihrem „strategischen Stellenwert“ als Rezeptionslinie werden nun dargestellt.15
Studie, die international „als ‚Weckruf‘ für
eine Evidenzdebatte im Bildungsbereich 3.2.1 Paradigmatische Grenzen
funktioniert“10 und Helmke schreibt: „Am Zunächst ist paradigmenfremde Kritik zu
wichtigsten finde ich die Botschaft Evi- nennen, die nicht aus der quantitativen
denzbasierung“ (S. 8). Beywl und Zierer Bildungsforschung stammt. Brügelmann
heben positiv hervor, die Studie sei „the- kritisiert, Bildungsforschung münde in
oretisch und empirisch, systematisch, all- Wahrscheinlichkeitsaussagen, die für das
gemeindidaktisch, selektiv und integrativ, Handeln im Einzelfall nur Hypothesen
also eklektisch“11. lieferten und folglich müssten Wirkungs-
Für Köller ist Visible Learning ein- versprechen bezogen auf Inhalte und Kon-
drucksvoller Hinweis auf die Relevanz der texte hin interpretiert werden.16 Kritisiert
Verbesserung von Unterricht, die bedeut- wird, die Häufigkeit eines replizierten Be-
samer sei als Reformen des Bildungssys- fundes sei Argument für dessen Bedeu-
tems.12 Nach Helmke ist die Qualität des tung für die schulische Praxis (de facto ist
4 / 2021 Pädagogische Rundschau 395
Die Online-Ausgabe dieser Publikation ist Open Access verfügbar und im Rahmen der Creative Commons Lizenz CC-BY 4.0
wiederverwendbar. http://creativecommons.org/licenses/by/4.0bei Hattie das Argument die Effektstärke) der Einzelstudien innerhalb der syntheti-
und Objektivität werde durch Anwendung sierten Meta-Analysen keine relevante As-
von Leistungstests suggeriert (Objektivität soziation mit den Effektstärken insgesamt
für Hattie ist aber z.B. die Unabhängig- hat. Doch eine spezifische Präselektion
keit der Auswertung einer Meta-Analyse der Meta-Analysen ist gleichwohl möglich.
von einer bestimmten Person). Solche Starke und erwünschte Effekte würden der
Kritik verbindet sich mit der fehlerhaften Rezeption von Snook et al. zufolge häufiger
Interpretation statistischer Begriffe und publiziert (S. 97) und Hattie zeichne daher
Verfahren, bezieht sich daher nicht auf potenziell ein zu gutes Bild von der Realität.
die im kritisierten Paradigma geltenden Auch Hattie ist sich bewusst: „most of the
Standards und ist daher nicht haltbar. Die successful effects come from innovations,
Kritik, Hatties Verzicht auf den Einbezug and these effects [...] may not be the same
qualitativer Forschung sei „ein echtes, as [...] of teachers in regular classrooms“
angesichts von Hatties Zahlen-Fixiertheit (S. 6). Als wirksam geltende Faktoren
kaum zu behebendes Defizit“17 markiert könnten aufgrund Positivselektion in Schule
einen Paradigmenstreit: Die von Hattie und Unterricht geringer ausfallen oder gar
gewählte Methode würde beim Einbezug unbedeutend sein, so Snook et al.
qualitativer Daten deren Quantifizierung Ein cultural bias wird aufgrund des
erfordern (z.B. durch hoch-inferentes Ra- Fokus auf anglo-amerikanische Studien
ting). Doch Hattie selbst nimmt im Vorwort angenommen, zumal z.B. asiatische Län-
lediglich eine Setzung vor: „Again, this der mit leistungsstarken Schulsystemen
should not mean qualitative studies are not unterrepräsentiert seien.19 Hattie betont:
important or powerful but just that I have „We should not generalize the findings of
had to draw some lines around what can these meta-analyses to non English spe-
be accomplished“ (S. IV). Erst der spezifi- aking, non-highly developed countries“
sche, paradigmenfremde Erwartungshori- (S. 13) und Snook et al. hegen Zweifel
zont generiert daher diese Form der Kritik. an einer Generalisierung für ein bestimm-
tes Land (S. 96). Ähnliche Forschung für
den deutschsprachigen Raum wird von
3.2.2 Selektion der Meta-Analysen
Meyer gefordert (S. 122) und Hattie greift
Es wird die veraltete Literaturbasis der
den Vorschlag einer Berücksichtigung
Synthese kritisiert. Der größte Teil der
deutschsprachiger Meta-Analysen auf.20
Meta-Analysen stamme aus den 1980er
Hattie entscheidet sich für einen Ge-
und 1990er Jahren und es könne an ak-
genstand: Visible Learning is „not a book
tueller Relevanz der Ergebnisse mangeln.
about classroom life [...], it synthesizes
Jüngere Befunde, z.B. zur Bedeutung des
research based on what happens in class-
Professionswissens (z.B. COACTIV),
rooms; as it is more concerned with main
konnten, wie auch Befunde zur Wirksam-
effects than interactions“ (S. VIII). Beywl
keit der Lehrerbildung (z.B. TEDS), nicht
und Zierer bewerten diese Setzung als
berücksichtigt werden.18 Da Hattie die
„eklektisch“ (S. 11), weil Ergebnisse einer
Auswertung fortführt, sei dieses Defizit
Auswahl an Meta-Analysen systematisiert
vermutlich temporär. Doch sich schnell
werden. Aus einem fachdidaktischen Er-
wandelnde Bereiche (z.B. ‚computer-
wartungshorizont wird dies kritisiert: Fach-
assisted instruction‘) kann jedes systema-
liche Aspekte blieben unterbelichtet, so
tisierende Verfahren nur verzögert abbil-
Demantowsky und Waldis.
den, so Beywl und Zierer.
Über Kriterien der Selektion der Me-
Nach Hattie (S. 20) gibt es keinen nen-
ta-Analysen bleibt Hattie Rechenschaft
nenswerten publication bias, weil die Anzahl
396 Pädagogische Rundschau 4 / 2021
Die Online-Ausgabe dieser Publikation ist Open Access verfügbar und im Rahmen der Creative Commons Lizenz CC-BY 4.0
wiederverwendbar. http://creativecommons.org/licenses/by/4.0schuldig. Terhart geht von sehr unter- Fällen jedoch auch diskutierbar“ (S. XIII).
schiedlicher Qualität der einbezogenen Me- Weshalb der Einzelfaktor ‚teaching quality‘
ta-Analysen aus (S. 14). Hattie verlässt sich von Hattie dem Hauptfaktor ‚Lehrperson‘
auf die Güte der Primärstudien: „I have de- und nicht ‚Unterricht‘ zugeordnet wurde,
liberately not included much about modera- „bleibt vorerst unklar“22. Der Vorschlag, Le-
tors of research findings [...] not because sende sollten angesichts dieser Unschär-
these are unimportant [...], but because fe ermutigt werden, „mit den Daten und
they have been dealt with elsewhere by Konzepten Hatties zu experimentieren“, so
others“ (S. IX). Wenn Hattie (S. 10) aber Beywl und Zierer (S. XIV), räumt der Zuord-
Eysenck zitiert, nach dem die Qualität jeder nung Beliebigkeit ein. Es sei nach Snook
Synthese von der Qualität der zugrundelie- et al. ein Grundproblem der Studie, dass
genden Daten abhängt (garbage in – gar- unter einem Begriff divergierende Konst-
bage out), dann macht dies ein Offenlegen rukte subsummiert werden (S. 97).
von Selektionskriterien notwendig. Gerade Die Einzelfaktoren weisen unterschied-
in sophistizierten Studien würden die zur liche Abstraktionsniveaus auf, die eine Ag-
Berechnung der Effektstärke relevanten gregierung zu Hauptfaktoren erschweren.
Informationen ggf. nicht berichtet, so Pant So ist z.B. der Effekt von ‚teacher educa-
(S. 138). Ergebnisse aus Meta-Analysen tion‘ gering (d = 0.11; Rang 124), der
müssten daher durch Befunde aus Primär- von ‚microteaching‘ hingegen groß (d = 0.88;
studien validiert werden.21 Rang 4). Microteaching ist jedoch ein Trai-
ningsverfahren in der Lehrerinnen- und
3.2.3 Haupt- und Einzelfaktoren Lehrerbildung. Dass der globale Einfluss
Die sechs thematischen Gruppen von Ein- von ‚teacher education‘ geringer aus-
flussfaktoren (Hauptfaktoren) werden von fällt als der einer einzelne Maßnahme,
Hattie ohne Begründung gesetzt: „The erscheint nach Hattie der Abstraktion
next seven chapters of this book are struc- bzw. Konkretion der erfassten Variablen
tured around six topics […]: (1) the child; geschuldet: „There are larger effects for
(2) the home; (3) the school; (4) the curri- more specific aspects of the teacher
cula; (5) the teacher; (6) the approaches to education“ (S. 112). Es wäre demzufolge
teaching (two chapters)“ (S. 31). Pauschal eine Fehlinterpretation, der Lehrerinnen-
wird angenommen: „What works best ap- und Lehrerbildung keine Bedeutung für
pears to be similar across subject, age, Schülerlernen zuzuschreiben.
and context“ (ebd.). Weder wird genau Am Beispiel der Mathematikdidaktik
diese thematische Gliederung begründet, zeigen Bernhard und Reiss ein zentrales
noch wird eine empirische (z.B. faktoren- Rezeptionsproblem: Der Faktor ‚prob-
analytische) Begründung der Typen bzw. lem-solving teaching‘ suggeriere einen
Cluster gegeben. Der Hinweis von Beywl Effekt im Vergleich zu einem nicht-prob-
und Zierer, die „Domänen [...] spiegeln lemlösenden Unterricht – Unterschiede
sich im bekannten Modell des didaktischen zwischen verschiedenen Wegen problem-
Dreiecks“ (S. XI), kann als Versuch einer lösenden Unterrichts würden ignoriert.23
nachträglichen theoretischen Begründung Ein solch weiter Faktor erschwere „die
gelesen werden. Interpretation der Ergebnisse ebenso [...]
Offen bleibt bei Hattie und in der Re- wie eine Ableitung von Konsequenzen für
zeption, anhand welcher Kriterien die Ein- den Unterricht“ (ebd.). Es fehlten Informa-
zelfaktoren den Hauptfaktoren zugeordnet tionen, „um das Zustandekommen der Er-
werden: Für Beywl und Zierer ist „die Zu- gebnisse tatsächlich beurteilen zu können“
ordnung in aller Regel passend, in einigen (S. 96).
4 / 2021 Pädagogische Rundschau 397
Die Online-Ausgabe dieser Publikation ist Open Access verfügbar und im Rahmen der Creative Commons Lizenz CC-BY 4.0
wiederverwendbar. http://creativecommons.org/licenses/by/4.03.2.4 Meta-Analysen und deren Synthese Kontextes und möglicher Wechselwirkun-
Die Mehrebenenstruktur der „Konstellati- gen in keiner Weise“ (S. 10) abgebildet
onen von Einflussfaktoren unter welchen werden.
Rahmenbedingungen die gewünschten Die Nicht-Berücksichtigung der Streu-
Wirkungen begünstigen“ (S. 136) kann ung wird durch mehrfache Aggregation
nach Pant eine Meta-Analyse nicht abbil- maximiert: Es werden nicht nur bereits ge-
den: Anhand nur eines Kennwerts (hier: mittelte Effekte aus Primärstudien in einer
Effektstärke) wird über alle Einzelstudien Meta-Analyse aggregiert, sondern mehre-
hinweg das prognostische Potenzial der re Meta-Analysen einer dritten Aggregation
Faktoren für das Kriterium (hier: Schüler- (Synthese) unterzogen. Eine vierte Aggre-
leistung) angegeben. Die auf Ebene der gation ergibt sich mit der Verrechnung der
Primärstudien ermittelten Effektstärken Effekte der Einzelfaktoren zu Effekten der
werden durch das arithmetische Mittel ag- Hauptfaktoren. Kritisch kommentiert Rost:
gregiert. Dabei werden i.d.R. Einzelstudien Hatties „Elefantenanalyse bietet [...] nicht
proportional zu deren Stichprobenumfang viel mehr als ganz allgemeine Zielgrößen.
gewichtet, worauf Hattie verzichtet, wie Durch das außergewöhnlich hohe Abs-
Pant (S. 143) am Faktor ‚Direct Instructi- traktionsniveau gehen [...] wichtige Rah-
on‘ zeigt: Während die größte Meta-Ana- meninformationen und Differenzierungen
lyse über 232 Primärstudien die geringste einfach unter“ (S. 44). Zwar sei es nach
Effektstärke (d = 0.21) aufweist, ist Hatties Helmke der Anspruch von Hattie zu agg-
über alle vier relevanten Metaanalysen ge- regieren: „Wenn ich Aussagen über Obst
mittelte Effektstärke (d = 0.59) viel größer. machen will, dann muss ich Unterschiede
Snook et al. pointieren: „large effect sizes zwischen Äpfeln und Birnen ignorieren“
from small samples are […] positively dan- (S. 11), aber in Hatties Synthese wird
gerous when lumped together with other diesem Bild zufolge Obst nicht länger
studies“ (S. 94). von Gemüse unterschieden. Auch erfolgt
Ist die Streuung der Effektstärken in nach Snook et al. keine Differenzierung
den Primärstudien klein, so repräsentiert nach Schulart, Alter oder Geschlecht: „All
die aggregierte Effektstärke den tatsäch- these complexities are lost in an average
lichen Effekt gut; ist die Streuung der effect size“ (S. 97). Es bleibe offen, ob
primären Effekte groß oder divergieren z.B. Merkmale der Klassenkomposition
die Vorzeichen, so ist die aggregierte Ef- oder Institution kontrolliert wurden, so De-
fektstärke kaum als ‚wahrer Effekt‘ zu mantowsky und Waldis (S. 104). Hatties
interpretieren, so Pant (S. 138). Standard- Vorgehen lässt sich als Interesse an ma-
mäßig werden daher Homogenitätstests ximaler Parsimonität (Sparsamkeit, keine
durchgeführt und bei Heterogenität wird Redundanz bei der Bestimmung) im Ver-
nach Moderatoren (Personenmerkmale, gleich zu einer Überbestimmung fassen.
Schulstufen usw.) gesucht, die Varianz Terhart sieht in der „kompilisatorischen
zwischen Effekten erklären.24 Nach Pant und synthetisierenden Leistung“ (S. 20)
sei dies nicht erfolgt (S. 142) und Hattie der Hattie-Studie daher „zugleich den
markiert das Problem selbst: „meta-analy- Keim für seine Schwäche“ (ebd.). Hattie
sis seeks the big facts and often does not entscheidet sich in seiner Synthese für
explain the complexity nor appropriately Bandbreite (Spektrum) und vernachlässigt
seek the moderators“ (S. 10), doch seien dabei Fidelity (Genauigkeit). Probleme er-
Aussagen über erfolgreiche Interventionen geben sich daraus dann, wenn von Hattie
Helmke zufolge dann unangemessen, weil selbst oder in der Rezeption Aussagen
„die Komplexität der Bedingungen, des getroffen werden, die Fidelity erfordern,
398 Pädagogische Rundschau 4 / 2021
Die Online-Ausgabe dieser Publikation ist Open Access verfügbar und im Rahmen der Creative Commons Lizenz CC-BY 4.0
wiederverwendbar. http://creativecommons.org/licenses/by/4.0obwohl nur Bandbreite vorhanden ist. Brü- eine Standardabweichung bedeuten.
gelmann zufolge ergebe sich das Problem Cohen’s d ist eine kontinuierliche Variable,
der „Entscheidung für Wald oder Bäume nimmt positive und negative Werte an und
[in der Fotografie]: Entweder gewinnt man ihr Wertebereich ist unbegrenzt.
einen guten Überblick [...] oder es gelingt, Hattie passt Benchmarks von Cohen
einzelne Aspekte genauer in den Blick (1988) an und definiert einen Effekt von
zu nehmen“ (S. 40). Helmke spricht von 0.2 ≤ d < 0.4 als klein, 0.4 ≤ d < 0.6 als
der „Durchschnittsfalle“ (S. 12). Bereits mittel und d ≥ 0.6 als groß (S. 9); die
Meta-Analysen seien Pant zufolge „häufig Schwelle (‚hinge-point‘) von d = 0.4 mar-
gezwungen, hinter den empirischen Dif- kiert (ir)relevante Effekte (S. 17). Pant
ferenzierungsgrad methodisch ausge- beschreibt diese Schwelle als höhere
feilter Primärstudien zurückzugehen“ „durchschnittliche Leistung derjenigen
(S. 138). Hattie reflektiert diese Restriktion Gruppe, die eine Intervention erhalten hat,
(S. 10–15), ignoriert sie aber in der Ergeb- [...] als die Leistung von zwei Dritteln der
nisdarstellung (3.2.6). Teilnehmer aus der Gruppe ohne diese In-
Weiterhin ist keine Auskunft über die tervention“ (S. 137). Es wird von Snook et
Zusammenhänge der einzelnen Effekte al. kritisch angemerkt: „Selecting a cut-off
möglich: Die Effekte der Einzelfaktoren point is a hazardous exercise, as it means
auf die Schülerleistung sind Pant zufolge that potentially important effects may be
voneinander isoliert (S. 138). So besteht overlooked“ (S. 94) und Hattie interpretiert
die Gefahr, dass Faktoren für sich genom- entgegen eigener Setzungen z.B. auch
men zwar von hoher Bedeutung sind, sich einen Effekt von d = 0.41 kontextspezifisch
im Wechselspiel mit anderen Faktoren als wenig bedeutsam (S. 195). 95% der
aber als irrelevant erweisen könnten. Trotz Effekte auf die Schülerleistung sind positiv
Bandbreite gelingt es Hattie der Metapher und Hattie unterstreicht: „Almost everything
aus der Fotografie zufolge nicht, ein Ge- works“ (S. 15). Köller und Baumert gehen
samtbild zu generieren, in dem die Relati- von einem mittleren Leistungszuwachs in
on der Objekte klar wird. den Kernfächern zwischen 0.3 < d < 0.5
pro Schuljahr aus – geringe positive Effek-
3.2.5 Effektstärke Cohen’s d te können daher nicht als relevant für die
Die Berechnung der Effektstärke Schülerleistung interpretiert werden.25
(Cohens’s d) aus den Metaanalysen er- Bei der Ergebnisdarstellung bleibt
möglicht, die dort berichteten Effekte auf diese Limitation aufgrund Hatties pauscha-
eine gemeinsame Metrik zu transformie- lisierendem Duktus unbeachtet: „take two
ren. Die Effektstärke ist definiert durch students of the same ability and it matters
die Mittelwertdifferenz aus Experiment- less to which school they go than the in-
algruppe und Kontrollgruppe bzw. aus fluences of the teacher, curricula program,
zwei Messzeitpunkten, relativiert an der or teaching they experience“ (S. 18). Das
Standardabweichung: d = (AMt2 - AMt1) / Postulat eindeutiger Effekte suggeriert, die
SD. Das Maß kann aus unterschiedlichen Befunde hätten generell Aussagekraft für
Angaben gewonnen werden. Hat z.B. ein die Ebene des individuellen Lernenden,
Prädiktor die Effektstärke d = 1.0, ist die doch: „Dass eine Maßnahme weltweit im
Schülerleistung im Mittel um eine Stan- Durchschnitt einen bestimmten Effekt hat
dardabweichung erhöht, d = 0.0 würde oder wirkungslos ist, ist im konkreten Fall
auf keinen Effekt hinweisen und d = -1.0 kein Imperativ, diese Maßnahme zu un-
würde eine Reduktion der Leistung um terlassen. Das wäre [nach Helmke] ein
naives empiristisches Missverständnis,
4 / 2021 Pädagogische Rundschau 399
Die Online-Ausgabe dieser Publikation ist Open Access verfügbar und im Rahmen der Creative Commons Lizenz CC-BY 4.0
wiederverwendbar. http://creativecommons.org/licenses/by/4.0ein illegitimer Fehlschluss von einem Ge- die Sensitivität solcher datenreicher Ana-
samtergebnis auf eine konkrete Situation“ lysen ausreichend transparent gemacht
(S. 11). wird“ (S. 144). Dass die Effektstärken in
der Interpretation sprachlich zu kausalen
3.2.6 Darstellung der Ergebnisse Effekten werden, ist problematisch. Of-
Die von Hattie gewählte Visualisierung fenbar wird implizit unterstellt, der Zusam-
eines „barometer of influences“ (S. 18) – menhang von Faktoren und Lernleistung
vermeintlich so intuitiv abzulesen wie ein gleiche einem Billard-Spiel, bei dem der
Druckmesser – ist Ausdruck des Willens Lauf der Kugel unter Kontrolle von Rich-
zur Parsimonität (3.2.4), stellt aber für die tung, Stärke des Stoßes und Drall der
Rezeption (z.B. durch die Bildungspolitik) Kugel vorhergesagt werden könne, ob-
ein Problem dar. Der Standardfehler als wohl das bearbeitete Forschungsfeld auch
Maß der Messgenauigkeit – im Vergleich Elemente eines Fußballspiels aufweist, in
zur Effektstärke nicht intuitiv zu interpre- dem Taktik, Unvorhersehbarkeit usw. den
tieren – wird nur beiläufig in einer Daten- Spielverlauf bestimmen.
tabelle dargestellt: Nach Pant suggeriert
Hattie, „dass diese ‚finale‘ Effektgröße 3.3 Inhaltliche Kritik
den ‚wahren‘ Effekt des betrachteten
Schul- und Unterrichtsfaktors wiedergibt“ Die inhaltliche Kritik von Visible Learning
(S. 143). Hattie geht nur selektiv auf den schließt an die methodologische Kritik
Standardfehler ein und unterstreicht a pri- (3.2) an, etwa wenn trotz methodologi-
ori die Bedeutung des Barometers: „We scher Restriktionen eine Überbewertung
need a barometer that addresses whether des Erkenntnisgewinns zu beobachten ist.
the various teaching methods, school re-
forms, and so on are worthwhile relative to 3.3.1 Überschätzung des Innovationspo-
possible alternatives. We need clear goal- tenzials
posts of excellence for all in our schools“ Viele der Ergebnisse konsolidieren den
(S. 18). Forschungsstand, implizieren aber kaum
Hattie wird den Restriktionen seiner neue Erkenntnisse. So seien etwa Klas-
Studie in der Undifferenziertheit der Er- sengröße und jahrgangsübergreifender
gebnisdarstellung nicht gerecht. Vielmehr Unterricht längst als wenig bedeutsam
beansprucht der Barometer eine Inter- oder das Sitzenbleiben als problematisch
pretationshilfe zu sein, die eine direkte diskutiert worden, worauf etwa Helmke
Relevanz der Effektstärke für Gestal- (S. 12), Köller (S. 27–29) oder Terhart
tungsfragen von Schule, Unterricht sowie (S. 21) hinweisen. Reviews und Meta-Ana-
Lehrerinnen- und Lehrerbildung sugge- lysen zeigen vergleichbare Befunde26:
riert: „The development of this barometer Sichtstrukturen von Unterricht seien für
began not by asking whether this or that die Erklärung von Schülerleistung eher di-
innovation was working, but whether this stal (Seidel & Shavelson, 2007). Auch die
teaching worked better than possible alter- Synthese von Metaanalysen und diese als
natives“ (S. 19). So stellt Brügelmann die Grundlage für ‚evidence-based teaching‘
Frage: „Warum dann aber ‚Barometer‘, heranzuziehen, wird bereits anderenorts
in denen differenzierte Forschungsergeb- verfolgt.27 Mit immer neu hinzukommen-
nisse auf wenig aussagekräftige Durch- den Auswertungen28 ohne signifikante
schnittswerte schrumpfen?“ (S. 41) und Korrektur ursprünglicher Befunde stellt
Pant beklagt, es „wäre zu diskutieren, ob sich die Frage nach Aufwand und Ertrag
400 Pädagogische Rundschau 4 / 2021
Die Online-Ausgabe dieser Publikation ist Open Access verfügbar und im Rahmen der Creative Commons Lizenz CC-BY 4.0
wiederverwendbar. http://creativecommons.org/licenses/by/4.0des Langfristvorhabens. Mit Blick auf die „emotionale und das soziale Lernen [...]
aus Visible Learning resultierenden Er- marginalisiert“ (S. 121). Hier wird der An-
kenntnisse wendet etwa Herzog kritisch spruch artikuliert, es müssten weitere Er-
ein, dass Hatties „Forderungen an des träge von Schule und Unterricht abgebildet
Lehrerhandeln nicht einlösbar sind“29 und werden, doch nach Beywl und Zierer kann
sich Hattie dem letztlich auch bewusst sei. „Hattie [kann] nicht alle Aspekte des Bil-
dungsgeschehens abdecken“ (S. XI–XII).
3.3.2 Vermeintlich einfache Hattie erachtet die Qualifikation als zen-
Interpretation der Effekte trale Funktion von Schule und führt aus:
Hatties Barometer (3.2.6) legt die eine „Of course there are many outcomes of
einfache Rezeption der Ergebnisse nahe. schooling [...]. This book focuses on stu-
Nur einen Effekt auszuweisen, erscheint dent achievement and that is a limitation“
unterkomplex und die Visualisierung ge- (S. 6). Snook et al. schreiben: „Hattie is
radezu irreführend. Zugleich fällt seine concerned not with achievement but with
Interpretation einiger besonders starker achievement that is amenable to quantita-
Faktoren zurückhaltend aus. Zu ‚piageti- tive measurement“ (S. 95) und weisen auf
an programs‘ (Rang 2 von 138) schreibt komplexe Leistungsziele hin, die (noch)
Hattie z.B. nur einen knappen Absatz. Zu nicht operationalisiert wurden.30
‚television‘ (Rang 137 von 138) sind die Als erhebliche inhaltliche Limitation auf
Ausführungen irritierend: Während der Seite der Faktoren wird das Fehlen der so-
Barometer schlicht einen negativen Effekt zialen Herkunft (PISA 2000) diskutiert: „It
von Fernsehen auf die Lernleistung sugge- is not a book about what cannot be influen-
riert, findet sich im Subtext, dass Fernse- ced in schools – thus critical discussions
hen bis zehn Stunden in der Woche sogar about class, poverty, resources in families,
einen positiven Effekt habe. Völlig offen health in families, and nutrition are not in-
bleibt die Frage nach der Qualität des cluded but this is NOT because they are
Fernsehangebots: Vielleicht sehen gerade unimportant, indeed they may be more im-
diejenigen Schülerinnen und Schüler ‚Bil- portant than many of the issues discussed
dungsfernsehen‘, die nur wenig schauen in this book. It is just that I have not in-
(dürfen)? Auch ergeben sich Interpretati- cluded these topics in my orbit“, so Hattie
onsfehler bei der Effektstärke selbst, wie (S. VIII–IX). Doch wie kann die Bedeutung
etwa bei Meyer: „Wenn für eine bestimmte von Hatties Faktoren letztlich angemessen
Unterrichtsvariable eine hohe Effektstärke beurteilt werden, wenn entscheidende
nachgewiesen ist, ist offensichtlich das Faktoren von Schülerleistung nicht kont-
didaktisch-methodische Potenzial, das rolliert werden? Darin besteht nach Snook
in dieser Variable steckt, besser ausge- et al. eine Gefahr für bildungspolitische
schöpft“ (S. 124). Dies unterstellt, das Fehlinterpretationen: „That is his [Hatties]
didaktisch-methodische Potenzial aller choice; but it is easy for those seeking to
Variablen sei a priori gleich und es gebe make policy decisions to forget this signifi-
keinen empirischen bias sowie die Effekte cant qualification“ (S. 98).
seien dekontextualisiert gültig (3.3.4). Aus fachdidaktischer Sicht wird die feh-
lende fachliche Differenzierung der Befun-
3.3.3 Inhaltliche Limitationen de angemerkt. Demantowsky und Waldis
Inhaltliche Limitationen werden mit Blick zufolge suche man „vergebens nach Aus-
auf das Kriterium der Schülerleistung sagen zu eindeutig fachspezifischen Qua-
gesehen. Hattie habe nach Meyer das litätsaspekten des Unterrichts“ (S. 110).
„Am Ende ist der naturwissenschaftliche
4 / 2021 Pädagogische Rundschau 401
Die Online-Ausgabe dieser Publikation ist Open Access verfügbar und im Rahmen der Creative Commons Lizenz CC-BY 4.0
wiederverwendbar. http://creativecommons.org/licenses/by/4.0Unterricht deutlich vielschichtiger als vier Etwa von Rolff geforderte „professio-
oder fünf Komponenten, die Hattie destil- nelle Standards“ (S. 76) bei der Interpre-
liert und auch in seinen Zielen offener“31. tation werden nicht immer eingehalten.
Ein Beispiel ist der selektive Umgang mit
3.3.4 Dekontextualisierung Ergebnissen, die Argumente der Befür-
Dekontextualisierung meint die Interpre- worter eines eher lehrer- und/oder schü-
tation von Befunden unabhängig vom lerzentrierten Unterrichts stärken.33 So
Geltungsraum oder von methodischen wird etwa umgedeutet: Offener Unterricht
Limitationen. Sie lässt sich z.B. mit einer werde „als unbedeutend oder gar kon-
Kritik von Rolff32 an der Rezeption von traproduktiv bewertet. Doch ist dies so
Köller fassen, in der schulische Rahmen- überhaupt messbar und kann man sein
bedingungen als weitgehend unwirksam Konzept und seine Studie nicht auch an-
angenommen werden. Köller argumentiert ders lesen und nutzen?“34. Wieder hängt
aus Hattie heraus und bezieht sich ohne die Rezeption von der Erwartung an eine
expliziten Ausweis nur auf den anglopho- Bestätigung des selbst Präferierten ab.
nen Raum. Die Übertragung der dort ge- Die Allgemeinheit der Aussagen und spär-
ringen Wirkung von Rahmenbedingungen liche Verweise auf Restriktionen machen
auf den deutschsprachigen Raum nimmt Hattie für unzulässige Rezeptionen anfäl-
Rolff selbst vor. Er unterstellt implizit, Hat- lig, wie Snook et al. befürchten: „We are
tie (und Köller) würden verallgemeinerte concerned, however, that [...] politicians
Geltungsbehauptungen aufstellen. Doch may use his work to justify policies which
Hattie (S. 13) und die Rezeption, etwa [...] his research does not sanction [and]
Bernhard und Reiss (S. 98) berücksich- [...] teachers and teacher educators might
tigen die mangelnde national-spezifische try to use findings in a simplistic way“
Übertragbarkeit. (S. 104f.). Ähnliche Probleme können sich
Rolff kritisiert Köller weiterhin, er stelle in der Rezeption durch Lehrerinnen und
im Gefolge Hatties kleinere Klassen mit Lehrer in der Schulpraxis ergeben.35
Blick auf den Lernerfolg als „weitgehend
ertraglos“ (S. 77) dar. Solche Kritik, ähn- 3.3.5 Theoretische Einbettung
lich auch bei Meyer (S. 123), übersieht: Hattie pointiert: „The major argument is
Weder Hattie noch Köller beanspruchen, that when teaching and learning is visib-
über mehr als den Lernerfolg Auskunft zu le, there is a greater likelihood of students
geben. Gleichwohl erscheint der Verweis reaching higher levels of achievement“
auf Limitationen, wie bei Snook et al., an- (S. 38). Terhart spricht hier von einer
gemessen: „drawing policy conclusions Unterrichtstheorie, die „eine Theorie des
about the unimportance of class size may Schülerlernens als auch eine Theorie
be unwarranted and possibly very dama- des Lehrerhandelns“ (S. 15) umfasse.
ging to the education of children, parti- Rückmeldungen über die Folgen des
cularly young children and lower-ability Unterrichts nutzt die Lehrperson als Aus-
children“ (S. 103). Hattie stellt lediglich gangspunkt für Feedback an die Schü-
Vermutungen über Ursachen an: „One lerinnen und Schüler. Letztere sind nach
reason for the small effect sizes relates Hattie (S. 16) aufgefordert, Erträge und
to teachers of smaller classes adopting Schwierigkeiten des eigenen Lernens zu
the same teaching methods as they were beobachten, bewerten und verbessern.
using in larger classes“ (S. 86). Lehrende und Lernende sollen sich über
die eigenen und fremden Perspektiven
402 Pädagogische Rundschau 4 / 2021
Die Online-Ausgabe dieser Publikation ist Open Access verfügbar und im Rahmen der Creative Commons Lizenz CC-BY 4.0
wiederverwendbar. http://creativecommons.org/licenses/by/4.0durch Sichtbarmachung verständigen, exemplarisch genannten theoretischen Zu-
was einer konstruktivistischen Didaktik schreibungen an Hattie erscheinen vielfäl-
widerstrebt: „The role of the constructivist tig und letztlich beliebig.
teacher is […] almost directly opposite to
the successful recipe for teaching and le- 3.3.6 Ableitung von Handlungsempfeh-
arning“ (S. 26). Doch diese Programmatik lungen und ökonomische
lässt sich alleine auf Basis von Effektstär- Interessen
ken nicht generieren: Wenn z.B. der große Hattie selbst warnt vor der Fehlinterpre-
Einfluss der Lehrperson auf die Lernenden tation seiner Befunde als Handlungsan-
als Begründung angeführt wird, so könnte leitungen, wenn er ein Teilkapitel mit der
dies alternativ etwa dafür sprechen, dass Überschrift „An explanatory story, not a
Professionelle die besseren Garanten für ‚what works‘ recipe“ (S. 3) einführt. Er
Schülerleistungen sind als die Schülerin- warnt vor eiligen Rückschlüssen von sei-
nen und Schüler selbst. Nicht nur Theorie nen Daten auf erfolgreiches Handeln:
und Empirie erscheinen recht unverbun- „Correlates of school outcomes [...] should
den – beide sind auch weitgehend entkop- not be confused with good teaching“
pelt von Hatties Programmatik und die (zu) (S. 3). Zugleich assoziiert er Meta-Ana-
einfache Ableitung von Handlungsempfeh- lysen mit dem Anspruch nach Kausalität:
lungen bei Hattie sieht sich grundlegender „Certainly, the fundamental word in me-
Kritik ausgesetzt.36 ta-analysis, effect size, implies causation“
Hatties Ansatz ist für Beywl und Zierer (S. 237). Diese Spannung durchzieht la-
„allgemeindidaktisch“ (S. XI), weil die Ab- tent den gesamten Band und die Position
leitungen für Lehrerinnen- und Lehrerhan- Hatties zu Bedingungen und Grenzen von
deln nicht direkt aus der Empirie erfolgen Kausalität bleibt Snook zufolge ambivalent
könnten, sondern nur anhand eines inter- (S. 96).
pretativen Zwischenschritts, einer „critical Wenn auch keine Anleitungen, so wer-
reflection in light of evidence about their den zumindest Handlungsempfehlungen
teaching“ (S. 238). Auch Hatties Vorstel- auch in der Rezeption postuliert, etwa im
lungen von der idealen Lehrperson sind Band Hattie für gestresste Lehrer.38 Eine
nicht aus der Empirie zu gewinnen: Sie ‚Übersetzungshilfe‘ für Lehrpersonen
seien „dedicated, passionate people“ und ohne methodische Expertise anzubieten ist
er ergänzt: „Passion [...] can be infecti- naheliegend, doch die notwendige Verkür-
ous, it can be taught, it can be modeled, zung bedeutet ein Risiko für eine adäqua-
and it can be learnt“ (S. 23). Meyer be- te Rezeption: Die Gefahr einer selektiven
zeichnet Hattie als einen „pragmatisch Lektüre steigt und die Restriktionen kön-
orientierten Reformpädagogen“ (S. 118), nen nicht ausgeräumt werden. Bereits die
zugleich sei er „Sammler und kein Didak- Abbildung von vier Barometern auf dem
tiker“ (S. 121) und es fehle eine „norma- Einband (auf die Angabe des Standard-
tive (in der Regel bildungstheoretische) fehlers wird verzichtet) suggeriert die ein-
Argumentationsfigur“ (ebd.). Für Olberg fache Vergleichbarkeit von Effektstärken,
ist Visible Learning eine ‚evidenzbasierte die z.B. nach Pant kritisch eingeschätzt
Didaktik‘ und es sei akzeptabel, von einer werden kann. Die noch weiter vereinfa-
„eklektischen“ Theorie zu sprechen, die chende Darstellung der durchschnittlichen
einer Anwendung psychologischer Lehr- Effektstärken der sechs Hauptfaktoren –
und Lerntheorien gleichkäme und die deren Berechnung Beywl und Zierer ande-
die Intentionalität didaktischen Handelns renorts selbst als eines der „gewagtesten
nicht berücksichtige.37 Solche hier nur
4 / 2021 Pädagogische Rundschau 403
Die Online-Ausgabe dieser Publikation ist Open Access verfügbar und im Rahmen der Creative Commons Lizenz CC-BY 4.0
wiederverwendbar. http://creativecommons.org/licenses/by/4.0Unterfangen Hatties“ (S. XIV) bezeichnen durch Hattie und in der Rezeption. Solche
– in einem Kreisdiagramm im Band von Folgerungen erscheinen aus Primärstudi-
Zierer (S. 87) greift folglich zu kurz. en teils plausibel, nicht aber aus Hatties
Terhart schreibt die Konjunktur von Synthese (große Bandbreite, aber gerin-
Visible Learning u.a. der „weltweit intensi- ge Fidelity; vgl. 3.2.4). Mit seinem Band
ven Suche nach vertrauenswürdigen und Visible Learning for Teachers aus dem
belastbaren empirischen Erkenntnissen“ Jahr 2012 schreibt Hattie seine Studie
zu, die sich mit der „Suche nach klaren, beispielsweise durch ein Lehrerhandbuch
handhabbaren Resultaten“ verbindet.39 fort. Nach Olberg wolle Hattie „Lehrkräf-
Meyer nennt als Gründe für den ‚Hype ten Vorschläge an die Hand geben und
Hattie‘ neben der „Sehnsucht nach einfa- erklären, was sie tun sollen, um bessere
chen Antworten“ (S. 118) auch die Kom- Lernergebnisse zu bewirken“ (S. 51): Die
plexitätsreduktion der Darstellung, die Vorschläge würden differenziert (http://
Bestärkung aller Lesergruppen in ihrem www.visiblelearningplus.com) und mit
Handeln, die Handlungsorientierung und einem breiten Angebot an kommerziellen
den Aufbau von ‚Drohkulissen‘, indem Fortbildungen für Lehrpersonen verbunden
bestimmte Dinge als unnötig proklamiert (S. 53–55): „Hattie hat [...] seiner empiri-
würden. schen Forschung [...] einen vermarktbaren
Am Beispiel ‚peer tutoring‘ (Einsatz Gestaltungsansatz hinzugefügt“ (S. 52).
von Mitschülern als Co-Lehrkräfte; Rang Auch formuliert Hattie affirmativ-normative
36 von 138, d = 0.55) wird der Vorwurf Einstellungen von Lehrpersonen, die sei-
von zu einfachen Antworten deutlich. nem Ansatz entgegenkämen: z.B. Freude
Hattie argumentiert: „While it is used for am eigenen Engagement für Unterricht
this purpose [move from being students (S. 182–189).
to being teachers], the major influence
is that it is an excellent method to teach 3.3.7 Die Rolle der Lehrperson im Unter-
students to become their own teachers“ richt
(S. 186) und Helmke führt aus: Nach Hat- Hatties Ergebnisdarstellung liest Terhart
tie sei „ein erfolgreicher Lehrer ein konti- als „emphatisch-optimistische Passagen
nuierlicher Diagnostiker, ein aktiver Lenker über guten Unterricht“ – es werde „ein
von Lernprozessen, ein Regisseur – der geradezu schäumender Optimismus [...]
aber genau weiß, wann er schweigen und vermittelt, der [...] angesichts [...] zum
den Schülern das Feld überlassen muss“ allergrößten Teil eher skeptisch bis pessi-
(S. 9). Warum Schülerinnen und Schüler mistisch stimmender Daten nur staunen“
jedoch (zumindest temporär) zu ihren ei- (S. 22) lasse. Hattie geht es aber nach Köl-
genen Lehrpersonen werden sollen, bleibt ler „nicht um die Rückkehr zu einem anach-
dagegen offen: Der Einsatz von Mitschü- ronistischen lehrerzentrierten Unterricht
lern als Co-Lehrkräfte ist nach Köller sehr [...]: Die gute Lehrkraft macht sich immer
effektiv (S. 33), doch dieses im Gefolge wieder Gedanken, was sie den Schüle-
Terharts als „Selbstdidaktisierung“ (S. 23) rinnen und Schülern beibringen möchte
zu bezeichnende Moment könnte eine und wie sie sicherstellen kann, dass diese
Überforderung der Schüler darstellen, auch erfolgreich lernen“ (S. 36). Der Kritik
denn Anforderungen an ‚gute‘ Lehrperso- aus Neuseeland zufolge propagiere Hattie
nen seien hoch. die „Amerikanisierung“ der Klassenzim-
Es finden sich weitere Ableitungen für mer, indem ein stark lehrerzentrierter Un-
eine ‚gute‘ Praxis in Schule, Unterricht terricht mit strikter Leistungsüberwachung
sowie Lehrerinnen- und Lehrerbildung
404 Pädagogische Rundschau 4 / 2021
Die Online-Ausgabe dieser Publikation ist Open Access verfügbar und im Rahmen der Creative Commons Lizenz CC-BY 4.0
wiederverwendbar. http://creativecommons.org/licenses/by/4.0und Rückmeldekultur favorisiert werde, so have mastered the content or skill, it is time
Terhart (S. 21). Der Dualismus aus leh- to provide a reinforcement practice. [...]. It
rer- versus schülerzentriertem Unterricht may be homework or group or individual
unterstreicht die ‚Frontlinien‘ der Rezep- work in class“ (S. 206). Die untersuchten
tion. Die Metaphorik und Visualisierung Konzepte haben Schnittmengen, weshalb
Hatties von Unterricht als „model of visible qualifizierte Vergleiche nur dann möglich
teaching – visible learning“ (S. 238) meint, wären, wenn auch die Interaktion der Ef-
Lehrpersonen sollten zwar „through the fekte untersucht worden wäre. Zumindest
eyes of the students“ sehen und Schüler erscheinen pauschale Interpretationen
„themselves as their own teachers“ verste- nach Rost selektiv: „Der in der Lehreraus-
hen, Lehrpersonen sind aber nicht ange- bildung so hochgejubelte und ideologisch
halten, sich selbst kritisch zu reflektieren. überfrachtete konstruktivistische Ansatz
Wenn nach Hattie kaum ein Effekt [...] ist nicht besonders lernwirksam.
(d = 0.04) des Faktors ‚student control over Seine angeblich hohe Lernwirksamkeit [...]
learning‘ existiert (S. 193) und die Effekt- ist [...] eher ein Mythos als eine Realität“
stärke von ‚individualised instruction‘ mit (S. 44–45). Ein direkter Vergleich von Hat-
d = 0.23 ebenfalls gering ausfällt (S. 198), ties Faktoren ‚teacher as activator‘ und
so fällt der erheblich stärkere Effekt von ‚teacher as facilitator‘ (S. 243–244) lässt
‚direct instruction‘ (d = 0.59) auf. Ein di- eine solche Interpretation kaum zu.
rekter Vergleich der Effektstärken ist zwar
formal möglich, führt aber leicht zu einer
Fehlinterpretation: Bei der Berechnung 4. Zusammenfassung
der Effekte wird nicht direkt verglichen, und Diskussion
ob etwa die Direkte Instruktion wirksamer
wäre als Freiarbeit, sondern ob die jeweili- Zusammenfassend können konform zu
ge Konzeption, wenn sie angewandt wird, den in Kapitel 3 ausgeführten Rezepti-
im Vergleich zu allen anderen Formen von onslinien und deren einzelnen Aspek-
Unterricht Vorteile zeigt. „Offene Unter- ten folgende größere Rezeptionsmuster
richtsformen sind laut Hattie im Durch- identifiziert werden, welche die Publika-
schnitt genauso lernwirksam (Effektstärke tionslage zu Visible Learning insgesamt
von Null) wie traditioneller Unterricht. Da- charakterisieren: (A) Missverständnis des
raus abzuleiten, Offenen Unterricht solle Anspruches von Parsimonität sowie Klä-
man vermeiden, ist für Helmke eine tö- rung des Verhältnisses von Bandbreite
richte Verabsolutierung des Zielkriteriums versus Fidelity (z.B. Entscheidungen be-
‚schulische Leistung‘“ (S. 13) und es gehe züglich des Abstraktionsniveaus alleine
nicht um die absolute Leistung eines be- sind kein Kriterium von Güte); (B) Ab-
stimmten Unterrichtskonzepts, sondern hängigkeit der Kritik von der Erwartungs-
um relative Leistungsvorteile, die hier nicht haltung der Rezipientin/des Rezipienten
nachgewiesen werden könnten. (z.B. Kritik häufig nicht Hattie-immanent;
Geringe Effekte von Individualisierung Erwartungshaltung geschürt durch Pro-
würden bedeuten, dass Schülerinnen minenz der Studie; fehlende Sachlich-
und Schüler in stark individualisierendem keit, z.B. methodologische Unschärfe im
Unterricht nicht mehr lernen als in einem Umgang mit Hattie; selektive Lesart); (C)
Unterricht ohne Individualisierung – aber Diskrepanz zwischen Limitationen, die
auch nicht weniger. Zugleich ist Individuali- Hattie selbst nennt und seiner Art und
sierung bei Hattie ein konstitutives Element Weise, Ergebnisse darzustellen und zu
von Direkter Instruktion: „Once students vermarkten (z.B. einfache Übertragungen
4 / 2021 Pädagogische Rundschau 405
Die Online-Ausgabe dieser Publikation ist Open Access verfügbar und im Rahmen der Creative Commons Lizenz CC-BY 4.0
wiederverwendbar. http://creativecommons.org/licenses/by/4.0von Effektstärken in Handlungsempfeh- Es werde deutlich, dass die „Schelte der
lungen); (D) Vermischung von metho- Rezensenten“, so Meyer (S. 121), im wis-
dologischer und inhaltlicher Kritik (z.B. senschaftlichen Feld ebenfalls einer kriti-
Kritik des methodologischen Vorgehens schen Prüfung auszusetzen sei. Hierfür
von Hattie aufgrund inhaltlich nicht zu- kann die heuristische Zusammenschau ein
friedenstellender Ergebnisse); (E) Gefahr Ausgangspunkt sein: Die Rezeptionslinien,
zu einfacher (z.B. bildungspolitischer) die bislang weitgehend parallel verlaufen
Schlussfolgerungen aus der Studie (z.B. (Kritik der Methode oder der Inhalte usw.),
Nichtbeachtung der Limitationen; man- können zusammengeführt werden, um ein
gelndes Verständnis (des methodischen ausgewogenes und realistisches Bild der
Vorgehens) der Studie). Potenziale und Grenzen von Visible Lear-
Das Resümieren der Rezeptionslinien ning zu gewinnen. Denn, mit Terhart: „John
von Visible Learning hat Limitationen. Es Hatties Studie ist dann ein nützliches Ins-
kann keine Vollständigkeit beansprucht trument, wenn man seine Leistungen und
werden und die Argumentation bleibt ex- Grenzen einzuschätzen weiß [...]. Kurz-
emplarisch. Aufgenommen wurden ins- schlüssige Folgerungen aus einzelnen
besondere solche Rezeptionen, die an Befunden Hatties zu ziehen ist dagegen
prominenter Stelle (z.B. in Sammelbänden, irreführend, ja gefährlich“ (S. 6).
die sich explizit mit der Hattie-Rezeption
beschäftigen) vorliegen. Für eine vollstän-
digere und kriteriengeleitete Sichtung und
systematische Auswertung der z.B. im ang-
Anmerkungen
lophonen und deutschsprachigen Raum
vorliegenden Rezeptionen könnte z.B. eine 1 Bei diesem Beitrag handelt es sich um eine
datenbankbasierte Selektion anhand defi- aktualisierte Verschriftlichung des Habilitati-
nierter Kriterien erfolgen.40 Außerdem ist onsvortrages des Autors.
jedwede Zusammenschau der Rezeptio- 2 Terhart, E. (2014). Die Hattie-Studie in der
nen Dritter bei der Auswahl der Zitate und Diskussion. Probleme sichtbar machen. Seel-
ze: Kallmeyer.
Argumente immer einer eigenen Norma-
3 Kiel, E., & Weiss, S. (2014). Hattie für die
tivität unterworfen, die nicht ausgeräumt Grundschule? Eine Einführung in den Themen-
werden kann. Der Beitrag hatte allerdings teil. Die Grundschulzeitschrift, 28(272/273),
keine Systematisierung aller Rezeptionen 4–5.
zum Ziel, sondern stellt eine Identifikation 4 Steffens, U., & Höfer, D. (2006). Lernen nach
wesentlicher Rezeptionslinien und deren Hattie. Wie gelingt guter Unterricht? Wein-
Aspekte dar, um eine Heuristik verschie- heim: Beltz.
5 Riefling, M., de Moll, F., & Zenkel, S. (2016).
dener wissenschaftlicher Interpretationen
John Hattie Superstar – ein Bildungsforscher
exemplarisch aufzumachen. Diese können rockt den öffentlichen Diskurs. Pädagogische
in weiterführender Forschung quantifiziert Rundschau, 70(2), 187–212. Gerwig, M.
werden. Damit steht der Artikel in der Tra- (2020). Hattie und die deutsche Didaktik-Traditi-
dition der ›literature review‹41 und schafft on. Eine integrale Betrachtung von Visible Lear-
durch das Offenlegen zentraler Argumente ning und der Theorie der kategorialen Bildung.
Pädagogische Rundschau, 74(2), 131–144.
der Rezeption den Ausgangspunkt für eine
6 Keller, R., & Truschkat, I. (2013). Methodo-
systematischere Auseinandersetzung mit logie und Praxis der wissenssoziologischen
der Hattie-Rezeption. Diskursanalyse. Wiesbaden: Springer VS.
Für Beywl und Zierer ist die Kritik 7 Hattie, J. (2009). Visible learning. A synthesis
an Visible Learning in der Rezeption An- of over 800 meta-analyses relating to achie-
lass für eine vertiefte Lektüre (S. XVI): vement. New York: Routledge.
406 Pädagogische Rundschau 4 / 2021
Die Online-Ausgabe dieser Publikation ist Open Access verfügbar und im Rahmen der Creative Commons Lizenz CC-BY 4.0
wiederverwendbar. http://creativecommons.org/licenses/by/4.0Sie können auch lesen
