AkademieAktuell und Forschung - Beiträge zu einer aktuellen Debatte - Bayerische Akademie der Wissenschaften
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Ausgabe 02/2014 – ISSN 1436-753X
AkademieAktuell
Zeitschrift der Bayerischen Akademie der Wissenschaften
Schwerpunkt
Evaluation in Wissenschaft
und Forschung
Beiträge zu einer aktuellen Debatte
Bayerische
Akademie der Wissenschaften
Editor i a l
Liebe Leserinnen,
liebe Leser!
Frü h e r fa n d Evalu i e ru n g von Leistung und Potential eines
Wissenschaftlers allein aus Anlass von Berufungs- und Wahlent-
scheidungen statt. Daraus resultierte dann ein Zu- und Vertrauens-
vorschuss für den Zeitraum der Verantwortungsübertragung. Heute
müssen sich Personen, Strukturen, Prozesse und Ergebnisse wissen-
schaftlicher Institutionen zusätzlich und relativ häufig diversen
Bewertungen unterziehen. Inwieweit dieser Trend der positiven
Abb.: Archiv
Qualitätsentwicklung dient, vielleicht aber auch unerwünschte
Nebenwirkungen erzeugt bis hin zur Beförderung eines dysfunktio-
nalen Konformismus, ist Gegenstand vielfältiger Debatten.
Auch die Bayerische Akademie der Wissenschaften unterzog sich kürzlich – als erste Länder-
akademie überhaupt – einer umfassenden Strukturevaluation. Aus diesem Anlass haben
wir Mitglieder und Gastautoren eingeladen, für dieses Themenheft von „Akademie Aktuell“
unterschiedliche Aspekte von Evaluationen im Wissenschaftssystem zu beleuchten.
Martin Hose wirft einen Blick in die Vergangenheit und beschreibt eine ganz besondere
Evaluation, mit der sich der griechische Philosoph Platon im 4. Jahrhundert vor Christus
beschäftigte (S. 10). Jörg Hacker und Stefan Artmann zeigen, warum Evaluationen zu den
großen wissenschaftspolitischen Herausforderungen unserer Zeit gehören (S. 16). Eine
„gute Praxis“ institutioneller Evaluationen im Wissenschaftssystem jenseits von Ritual und
Standardprozedur fordert Andreas Stucke (S. 20). Den richtigen Zeitpunkt für eine gelun-
gene Evaluation beschreibt Martin Lohse (S. 24). Akademiepräsident Karl-Heinz Hoffmann
spricht im Interview über evaluierende und evaluierte Wissenschaftler, über seine per-
sönlichen Erfahrungen und über die Strukturevaluation der Akademie (S. 30). Werden die
Schweine vom Wiegen fetter? Das fragt Jürgen Kaube und erklärt, wie sich das Publikations-
verhalten von Wissenschaftlern durch Dauerevaluation verändert (S. 35). Neue Instrumente
zur Messung exzellenter Forschungsleistungen in Rankings stellt Lutz Bornmann vor (S. 38).
Die aufwändige Sicherung der wissenschaftlichen Qualität im Akademienprogramm er-
läutern Günter Stock und Sebstian Zwies (S. 44).
Ich danke allen Autorinnen und Autoren für die Mitwirkung an dieser Ausgabe. Mögen
die Beiträge helfen, in dem höchst facetten- und folgenreichen Evaluationsgeschehen die
Orientierung zu erleichtern.
Prof. Dr. Arnold Picot – Sekretar der Philosophisch-historischen Klasse
Ausgabe 02/2014 – ISSN 1436-753X Unser Titel
AkademieAktuellZeitschrift der Bayerischen Akademie der Wissenschaften
Universitäten und außeruniversitäre Forschungseinrichtungen
konkurrieren heute um finanzielle Förderung, internationale
Schwerpunkt
Evaluation in Wissenschaft
und Forschung
Aufmerksamkeit und die besten Köpfe. Zunehmend sollen
Beiträge zu einer aktuellen Debatte
Evaluationen dabei helfen, Stärken und Schwächen im deut-
schen Wissenschaftssystem zu identifizieren und Forschung
Abb.: Uwe Zucchi/dpa
und Lehre zu verbessern. Unser Titelbild zeigt Studierende
Bayerische
an der Universität Kassel, wo das Wintersemester 2012 mit
einer Rekordzahl von über 22.000 Studierenden begann.
Akademie der Wissenschaften
02-2014 Akademie Aktuell 3
H eft 4 9 INHALT
Aus g a b e
02-2014
A ktu el l Th ema:
Evalu atio N
6 Staatsminister Spaenle in der Akademie
Am 9. Mai 2014 besuchte der Wissen- 10 Evaluation – ein Ausblick auf die
schaftsminister die Plenarsitzung der Vergangenheit
Akademie Der griechische Philosoph Platon beschäf-
tigte sich im 4. Jahrhundert vor Christus
7 Leibniz-Rechenzentrum beteiligt sich am
mit einer ganz besonderen Evaluation
„Virtuellen Alpenobservatorium“
Von Martin Hose
Wie wirkt sich der Klimawandel in der
sensiblen Alpenregion aus? 16 Riskante Abwägungen zwischen
Neugier und Nutzen
Großzügige Förderung
Evaluationen gehören zu den
Tafel im Akademiefoyer enthüllt
großen wissenschaftspolitischen
Wissenschaftspreis für Geodäsie Herausforderungen unserer Zeit
Die Deutsche Geodätische Kommission Von Jörg Hacker und Stefan Artmann
(DGK) zeichnet 2014 Dr.-Ing. Jan Dirk
20 Jenseits von Ritual und Standardprozedur:
Wegner aus
Zur „guten Praxis“ institutioneller
Evaluationen im Wissenschaftssystem
Was muss man berücksichtigen, damit
Evaluationen erfolgreich ablaufen können?
Von Andreas Stucke
24 Reif für Veränderung?
Wann Evaluationen sinnvoll sind
Überlegungen zum richtigen Zeitpunkt
für Evaluationen
Von Martin Lohse
30 „Es hat ein Nachdenken über
Evaluationen eingesetzt“
Interview mit Akademiepräsident
Karl-Heinz Hoffmann
10 Abb.: A. Heddergott; Sergey Nivens/Fotolia.com
6
4 Akademie Aktuell 02-2014
35 Werden die Schweine vom Tag u ng
Wiegen fetter?
Evaluation in der Wissenschaft: 54 Cipriano de Rore: Hüter der Tradition
Wie man sich darauf einstellt und Wegbereiter der „neuen Musik“
Von Jürgen Kaube Tagung zu Leben und Werk des
38 Die Messung von (exzellenten) flämischen Komponisten
Forschungsleistungen durch Rankings Von Katelijne Schiltz und Bernhold
Neue Instrumente geben differenziert Schmid
Auskunft über exzellente Forschung
Von Lutz Bornmann
N eu ersc h ei n u ng
44 Bedeutung und Funktion von
Evaluationen im Akademienprogramm 57 Die bayerischen Diplomaten auf
Sicherung der wissenschaftlichen dem Westfälischen Friedenskongress
Qualität im größten geisteswissen- Die Korrespondenz der bayerischen
schaftlichen Forschungsprogramm der Gesandten wird derzeit ediert
Bundesrepublik Von Gabriele Greindl
Von Günter Stock und Sebastian Zwies
P erso n en
J u n g es Ko l l e g
62 Kurz notiert
50 Britische Geschichte, Tumorforschung Akademie intern
und organische Chemie Von Gabriele Sieber
Interview mit Katharina Boehm,
Michael Hudecek
und Konrad Tiefenbacher Ru b r i k en
3 Editorial
64 Termine Juni bis Okober 2014
66 Auf einen Blick
57
Abb.: Jeff Goldberg/ESTO; National Maritime Museum/Wikimedia
38
02-2014 Akademie Aktuell 5
Aktu e l l
Staatsminister Spaenle in
der Akademie
Am 9. Ma i 201 4 besuchte Wissenschaftsminister
Ludwig Spaenle die Plenarsitzung der Akademie. The-
ma seines Gesprächs mit den Mitgliedern waren die
Pläne und die Zukunft der traditionsreichen Einrich-
tung. Der Minister bezeichnete die Akademie „als ein
Kronjuwel im Reigen der Forschungseinrichtungen des
Freistaates“. Sie habe sich als bislang „einzige große
Akademie […] vor zwei Jahren aufgeschlossen und aktiv
in ein Evaluierungsverfahren eingebracht“, würdigte
er den derzeitigen Reformprozess. Darin verknüpfe die
Akademie die Empfehlungen der Evaluierungskommis-
sion mit internen Reformbestrebungen. Um die Brücke
zum 21. Jahrhundert zu schlagen, sei eine effizientere
Struktur wichtig. Ziel müsse es sein, in der Akademie
Einheiten zu entwickeln, die forschungsgetrieben die
Verbindung von Disziplinen ermöglichen. Besonde-
re Anliegen seien dem Staatsminister u. a. auch die
Erhöhung des Frauenanteils in der Akademie und die
Verjüngung der Gelehrtengemeinschaft. Es gelte, die
besten Traditionen der Akademie fortzuentwickeln. n
Abb.: A. Heddergott (2); BAdW; Privat; UFS
Karl-Heinz Hoffmann (links oben) und Wissenschaftsminister Ludwig Spaenle
bei der Eröffnung der Plenarsitzung in der Akademie (großes Bild).
6 Akademie Aktuell 02-2014
Aktu e l l
Leibniz-Rechenzentrum
beteiligt sich am „Virtuellen
Alpenobservatorium“
W i e w i r kt s i c h d e r Klimawandel in der sensiblen
Alpenregion aus und welche Folgen hat dies für Bayern? Die
Umweltforschungsstation Schneefernerhaus auf der Zugspit-
ze liefert seit 15 Jahren Messdaten an Klimaforscher aus ganz
Deutschland. Nun gehen die Wissenschaftler noch einen
Schritt weiter: Die alpinen Höhenforschungsstationen in
Italien, Frankreich, der Schweiz, Österreich und Deutschland Großzügige Förderung
bündeln ihre Aktivitäten in einem „Virtuellen Alpenobserva-
torium“. Das Leibniz-Rechenzentrum der Bayerischen Akade- Di e Akademi e wü r digt ihre Förderer: Mit einer
mie der Wissenschaften beteiligt sich als IT-Dienstleister an Tafel im Foyer dankt sie Unternehmen, Stiftungen und
dieser Kooperation. Der Verbund verfolgt drei zentrale Ziele: Privatpersonen, die die Einrichtung in den letzten Jahren
Vernetzung der Höhenforschungsstationen im IT-Bereich, großzügig unterstützt haben. Akademiepräsident Karl-
einschließlich Qualitätssicherung und Datenspeicherung, Heinz Hoffmann lud alle Förderer Ende März 2014 zu einer
Definition und Durchführung gemeinsamer Forschungspro- kleinen Feierstunde in die Akademie. n
gramme zu den Themen Klimawandel und Anpassung sowie
schließlich die Schaffung eines internationalen Forschungs-
konsortiums im Rahmen einer Beteiligung am europäischen
Forschungsprogramm „Horizon 2020“.
„Das Virtuelle Alpenobservatorium bringt eine neue Qua-
lität in die europäische Klimaforschung“, erklärte Umwelt-
minister Marcel Huber. „Der Klimawandel macht an den
Grenzen nicht Halt. Die Bewältigung der Klimafolgen ist
für alle Alpenländer eine der größten Herausforderungen
des Jahrhunderts. Der Klimaschutz in den Alpen braucht
deshalb grenzüberschreitende Kooperation auf der Basis
vergleichbarer Daten. Das Virtuelle Alpenobservatorium
wird zum Zentrum der Klimaforschung in den Alpen.“ Im
Mittelpunkt steht ein intensiver Datenaustausch zwischen
den großen alpinen Observatorien, die zum Teil unterschied-
liche, zum Teil sich ergänzende Forschungsschwerpunkte
haben. Messdaten werden in einem zentralen Alpen-Daten-
analysezentrum zusammengeführt – etwas, das es bis heu- Wissenschaftspreis für Geodäsie
te in vergleichbarer Form nicht gibt. Die informationstech-
nische Vernetzung der Stationen miteinander erlaubt einen Di e Deutsc h e Geodätisc h e Kommission (DGK)
schnellen, komfortablen Datenaustausch nach internatio- zeichnet 2014 Dr.-Ing. Jan Dirk Wegner (ETH Zürich) mit
nalen Standards. Profitieren werden davon die Wirtschaft ihrem Wissenschaftspreis aus. Er ist ein Experte auf dem
– etwa der Tourismus-, Wasser-, Energie-, Versicherungs- und Gebiet der Mustererkennung zur automatischen Extrak-
Gesundheitssektor – aber auch die Politik, die bereits heute tion und 3D-Modellierung von Objekten für Anwendun-
Maßnahmen zur Anpassung an den Klimawandel in die gen in Photogrammetrie, Fernerkundung und Computer
Wege leiten und finanzieren muss. n Vision. Er hat in seinen Arbeiten wesentliche Beiträge zur
Entwicklung wahrscheinlichkeitstheoretischer Muster-
Das Schneefernerhaus auf der Zugspitze. erkennungsansätze geleistet, die mittels maschinellen
Lernens automatisch Kartierungen etwa von Gebäuden
oder Straßennetzwerken durchführen.
Der DGK-Preis ist mit 2.000 Euro dotiert und würdigt die
Leistung junger, hochqualifizierter Wissenschaftlerinnen
und Wissenschaftler. Er wird im Oktober 2014 in Berlin
auf der INTERGEO 2014 vergeben, der weltweit bedeu-
tendsten Messe für Geodäsie, Geoinformation und Land-
management. n
02-2014 Akademie Aktuell 7
Th ema Eva luation
Abb.: picture-Alliance/AP-Photo
8 Akademie Aktuell 02-2014
Evaluatio n Th e ma
Evaluation in
Wissenschaft
und Forschung
Beiträge zu
einer aktuellen Debatte
10 Evaluation – ein Ausblick auf die Vergangenheit
Von Martin Hose
16 Riskante Abwägungen zwischen Neugier und Nutzen
Von Jörg Hacker und Stefan Artmann
20 Jenseits von Ritual und Standardprozedur:
Zur „guten Praxis“ institutioneller Evaluationen im
Wissenschaftssystem
Von Andreas Stucke Volle Hörsäle – Alltag an deut-
24 Reif für Veränderung? Wann Evaluationen sinnvoll sind schen Universitäten, die sich
Von Martin Lohse kontinuierlich Evaluierungen und
Akkreditierungen stellen müssen.
30 „Es hat ein Nachdenken über Evaluationen eingesetzt“
Im Bild: Studierende der Human-
Interview mit Karl-Heinz Hoffmann
und Zahnmedizin hören im
35 Werden die Schweine vom Wiegen fetter? historischen Hörsaal am Institut
Von Jürgen Kaube
für Anatomie der Universität
38 Die Messung von (exzellenten) Forschungsleistungen Leipzig eine Vorlesung über Neuro-
durch Rankings anatomie, 2012.
Von Lutz Bornmann
44 Bedeutung und Funktion von Evaluationen
im Akademienprogramm
Von Günter Stock und Sebastian Zwies 02-2014 Akademie Aktuell
Th ema Eva luation 10 Akademie Aktuell 02-2014
Evaluatio n Th e ma
Antike
Evaluation – ein Ausblick
auf die Vergangenheit
Der griechische Philosoph Platon beschäftigte
sich im 4. Jahrhundert vor Christus mit einer ganz
besonderen Evaluation.
Abb.: Robert Geiss/picture alliance
Neoklassische Statue des anti-
ken griechischen Philosophen
Platon an der Akademie von
Athen. Die Akademie ist die
führende Trägerin außeruniver-
sitärer akademischer Forschung
und zentrale wissenschaftliche
Einrichtung in Griechenland.
02-2014 Akademie Aktuell 11Th ema Eva luation
Vo n M art i n Ho se
Zur Geschichte von Begriff und Konzept
D e r B e g r i f f Eva luati o n zur Bezeichnung
einer spezifischen Form von Bewertung hat eine
recht junge Geschichte. Sie beginnt, wenn ich
recht sehe, mit dem italienischen Geographen
Adriano Balbi (1782–1848), einem Spezialisten für
Statistik, der von 1821 bis 1832 in Paris lebte und
dort (als Adrien Balbi) 1829 eine Abhandlung mit
dem Titel „La population des deux mondes“ pub-
lizierte. Darin gebrauchte er die Substantivierung
des französischen Verbums évaluer: évaluation
im Sinne von „Schätzung“: „L’évaluation de
M. Le Goux de Flaix, qui estimait, il y a quelques
années, la population de l’Inde à 184 millions, est
extraordinairement exagérée.“
Ein entscheidender Schritt in der Prägung des
Begriffs verbindet sich mit dem US-amerikani-
schen Bildungsforscher Ralph W. Tyler (1902–
1994), der im Zusammenhang mit einer sich über
acht Jahre erstreckenden Untersuchung der Aus-
wirkung von Schul-Curricula auf Bildungserfolge
(„Eight-Years-Study“, 1933 bis 1941) „evaluation“ Für die letzte Frage nach der Überprüfung
als Schlüsselbegriff für eine reflektierte Beob- verwendete Tyler den Begriff Evaluation; er ist
achtung und Kontrolle der Curricula einführte. In jedoch unlösbar mit den drei vorausgehenden
seinem einflussreichen Buch „Basic Principles of Schritten verbunden und gewinnt aus dieser
Curriculum and Instruction“ (1949) formulierte Verbindung seine spezifische strukturelle Be-
er das sog. „Tyler-Rationale“, eine Strukturvorga- deutung.
be für Lehrinstitutionen und Lernprozesse, die
aus vier einfachen Fragen besteht: Es ist evident, dass dieses Rationale zwar für
1. Welche Bildungsziele soll eine Schule er- die konkrete Arbeit mit Bildungsinstitutionen
reichen? konzipiert war, doch bei entsprechender Abs-
2. Wie können Lernerfahrungen identifiziert traktion geeignet ist, auch die Effizienz anderer
werden, die für diese Ziele sinnvoll sind? (Für Institutionen und Strukturen in den Blick zu
Tylers pädagogisches Konzept ist die Vorstel- nehmen. Diesen Schritt über den Bereich der
lung zentral, dass Lernen wesentlich mit einem Bildung hinaus haben in den letzten Dezennien
Erfahren des Lernvorgangs verknüpft ist.) vor allem die Wirtschaftswissenschaften (teil-
3. Wie können Lernerfahrungen möglichst weise in der Kategorisierung als Qualitätsma-
Beide Abb.: Ohio State University
effizient organisiert werden? nagement) vollzogen, so dass sich institutionell
4. Wie kann die Effizienz der Lernerfahrungen „Evaluationsforschung“ sowohl im Rahmen der
überprüft werden? Pädagogik wie auch der Ökonomie an Univer-
sität beheimatet und darüber hinaus die in der
Wissenschaft der Moderne üblichen Organisa-
tionsformen (Fachgesellschaften und Zentren)
12 Akademie Aktuell 02-2014Evaluatio n Th e ma
luation gehört, da sie aufgrund ihrer empirischen
Methodiken, um Max Weber ins Spiel zu bringen,
vom Prinzip des Beherrschens durch Berechnung
ausgeht, mithin zum Arsenal einer „entzauber-
ten Welt“. Ferner: Durch Evaluation soll der Ein-
satz von Ressourcen optimiert werden, seien es
etwa die in einem Bildungssystem aufgewende-
ten Mittel, seien es die Ressourcen, die man mit
dem Begriff des Humankapitals zu bezeichnen
pflegt, oder seien es schließlich die Ressourcen
eines Industrieunternehmens (oder seiner Eigen-
tümer). Man kann, um Konzepte aus Ulrich Becks
Entwurf der Risikogesellschaft aufzugreifen, das
Instrument der Evaluation in dieser Verwendung
dem Feld der „Logik der Reichtumsproduktion“
zuweisen. Doch gleichzeitig gehört sie auch zu
den Instrumenten, mit denen die Risikogesell-
schaft die Produktion von Risiken zu dämpfen
versucht: Bedeutet Evaluation doch den Versuch,
Ergebnisproduktion zu steuern.
Das Unbehagen an der Evaluation
Die Evaluation, so mag es daher scheinen, hat
einen festen Ort in der Gesellschaft der Moderne,
und es ist unter den Bedingungen dieser Gesell-
schaft sinnlos oder gar töricht, auf sie verzichten
zu wollen. Dennoch ist unübersehbar, dass dieses
Instrument nicht immer als unproblematisch
angesehen wird (in der Regel von den „Evaluier-
Ralph W. Tyler prägte 1949 in ten“), obwohl die Fachforschung die Kriterien
seinem Hauptwerk das Wort für dieses Instrument zunehmend präziser und
Evaluation als Schlüssel- damit konsensfähiger formuliert hat: So habe
begriff für die Kontrolle von sich eine Evaluation auf einen klar definierten
Bildungserfolgen. Gegenstand und ein vorher festgelegtes Ziel zu
beziehen, sei von Experten durchzuführen, die
ihre Bewertungen nach exakt fest- und offen-
ausgebildet hat. Freilich scheint das Potential gelegten Kriterien vornehmen etc., wie etwa Lars
der Evaluation damit noch nicht ausgeschöpft: Balzer 2005 in seinem Werk „Wie werden Evalua-
Projekte im Rahmen der Entwicklungshilfe und tionsprojekte erfolgreich?“ forderte.
des Umweltschutzes sind Gebiete, in denen
zunehmend mit diesem Instrument gearbei- Doch liegen hier zugleich auch Schwierigkeiten.
tet wird, ferner (und davon zeugt dieses Heft) Zwar kann man ein Ziel formal präzise definieren,
werden Forschungseinrichtungen und -projekte doch bleiben – je nach Abstraktionsgrad dieser
Evaluationen unterzogen. Definition – breite Spielräume der Ausdeutung.
Man stelle sich etwa vor, eine Institution würde
Die Evaluation als Instrument der Moderne auf das Ziel „Ermöglichung und Förderung innova-
tiver Forschung“ hin untersucht. Hier bliebe u. a.
Man kann diesen Siegeszug der Evaluation mit unbestimmt, was unter „innovativ“ (disziplinär
den spezifischen Signaturen der Moderne verbin- oder interdisziplinär? Grundlagen- oder anwen-
den. Denn sie beruht, wie bereits ihr Ursprung in dungsbezogene Forschung? etc.) verstanden
Tylers Bildungsforschung zeigt, auf der Prämisse werden soll. Ferner stellt sich die Frage, wie der
der Analysierbarkeit der Welt einschließlich ihrer Begriff des „Experten“ zu fassen ist: Geht es um
sozialen Dimensionen, der Prämisse der Steuer- Experten für den jeweiligen Gegenstand oder
barkeit des Analysierten und der reflexiven für Evaluation? – Gängige Praxis scheint eine
Begleitung von Analyse und Steuerung. Die Eva- Mischung von Experten beider Kompetenzberei-
che bei der Zusammenstellung größerer Panels
von Expertengruppen zu sein, wobei wiederum
nicht immer klar ist, welche Hierarchisierung
02-2014 Akademie Aktuell 13Th ema Eva luation
der Expertenkompetenzen wäh-
rend der Evaluation waltet. Diese
Schwierigkeiten finden sich er-
staunlicherweise bereits in einem
Text entfaltet, der mehr als zwei-
tausend Jahre alt ist und – avant la
lettre – die früheste nachweisbare
(oder erhaltene) Darstellung eines
Evaluationsgeschehens bildet. Es
fehlt lediglich der terminus techni-
cus im Text.
Platon und die Evaluation
Angesichts der pointierten Fest-
stellung, dass alle Philosophie nach
Platon letztlich nur Fußnoten zu
seinen Ideen seien, kann es kaum
erstaunen, dass ein Platonischer
Dialog, der Laches, eine Evaluation
vorführt, die in einer Hinsicht die
Methodiken moderner Evaluationen
übertrifft. Es lohnt daher, auf diesen
Text aus dem 4. Jahrhundert v. Chr.
einen Blick zu werfen.
Im Laches wird folgende Konstellation
zugrundegelegt: Lysimachos und
Der Anfang des Platonischen Melesias, zwei vornehme Athener,
Laches im Codex Oxoniensis wollen ihren beiden Söhnen eine
Clarkianus 39 (Ende 9. Jahrhun- Erziehung und Bildung angedeihen
dert n. Chr.). lassen, die sie in die Lage versetzt,
mit Leistung die Ehre und damit das
Ansehen der Familie aufrechtzuer-
halten. (In der athenischen Gesellschaft ist Ehre mag hier die empirische Komponente vermissen,
das zentrale Element von Sozialprestige, und so doch kann dies aufgrund der Spezifik des Evalua-
ist die Zielsetzung der beiden Väter, die ihrerseits tionsauftrags für entbehrlich gehalten werden.
nichts zur Familienehre beigetragen haben und
dies auf Defizite ihrer Erziehung zurückführen, Die hiermit von Platon beschriebene Evaluation
im Kontext ihrer Umwelt durchaus angemes- vollzieht sich jedoch in besonderer Weise. Denn
sen.) Zu diesem Zweck wollen sie die Söhne in bevor Nikias und Laches ihre Stellungnahmen
der „Hoplomachie“, der Kampfeskunst in voller abgeben, bitten sie darum, dass ein weiterer
Rüstung, vom hierfür besten Lehrer Athens Evaluator hinzugezogen werden soll: Sokrates.
unterweisen lassen. Allerdings sind sie sich ihrer Seine spezifische Kompetenz liegt in anderen
Sache nicht wirklich sicher. Daher haben sie zwei Bereichen als die der beiden Generäle: Er soll
bedeutende Generäle Athens, Nikias und Laches, beteiligt werden, „weil er sich immer da aufhält,
hinzugezogen, von denen sie Rat erbitten, ob mit wo es irgend etwas der Art gibt, wie du es für die
Abb.: Wikimedia
der angestrebten Ausbildung durch den berühm- jungen Leute suchst, einen trefflichen Lehrge-
ten Lehrer das von ihnen definierte Ziel erreicht genstand oder eine treffliche Beschäftigung“
werden kann. Man erkennt in dieser Konstellation (180c), d. h. ihm wird eine irgendwie geartete Ver-
gleichsam eine „Urszene“ der Evaluation: Eine
Institution (der Lehrer und seine Ausbildung)
wird auf ein fest umrissenes Ziel hin (Ausbildung
zur Fähigkeit, Ehre zu erwerben) von einem Ex-
pertenpanel (Nikias und Laches) „evaluiert“. Man
14 Akademie Aktuell 02-2014Evaluatio n Th e ma
trautheit mit Lehrgegenständen zugeschrieben. von „Fach-Evaluatoren“ prädestiniert, ist nicht auf
Deutlicher wird Sokrates' Funktion, sobald Nikias ein Fachwissen gegründet. Bekanntlich zeich-
und Laches ihre Voten formuliert haben. Denn net den Platonischen Sokrates ein (reflektiertes)
der eine hält die Ausbildung in Hoplomachie Nicht-Wissen aus, ein Wissen um sein Nicht-
geeignet, um das gesteckte Ziel zu erreichen, der Wissen. Dieses spezifische (Nicht-)Wissen macht
andere hat starke Bedenken; ihm scheint der zu Sokrates zum beharrlich Fragenden, der damit
erwartende Nutzen zu gering, und unklar sei, ob das bisher nicht bewusste Nicht-Wissen seiner
es sich bei der Hoplomachie überhaupt um einen Gesprächspartner aufdeckt. Dies vollzieht sich
adäquaten Lehrgegenstand handele. Nunmehr auch im Laches. Denn zwar kann sich Sokrates mit
wird Sokrates gebeten, als Schiedsrichter zu den Evaluatoren rasch auf das Ziel der Erziehung
fungieren, und die Väter stellen in Aussicht, der einigen, die Söhne zu andreia, Mannhaftigkeit
Meinung folgen zu wollen, der Sokrates durch oder Tapferkeit, und arete, Tugend, zu führen. Doch
seinen Beitritt die Mehrheit verleiht. Einem sol- scheitern die beiden berühmten Generäle daran,
chen Verfahrensweg zur Entscheidungsfindung diese beiden Begriffe plausibel zu definieren: „Wir
widerspricht Sokrates energisch: „Nach dem Wis- haben also nicht herausgefunden, was die Tapfer-
sen nämlich, meine ich, nicht aber nach der Zahl keit ist“ (199e). So konstatiert Sokrates schließlich,
muß man entscheiden, wenn die Entscheidung und dies bedeutet zugleich, dass die Evaluatoren
richtig getroffen werden soll“ (184e). Und so keine Expertise für ihre Aufgabe besitzen. Ihre
schlägt er vor, zunächst die Kompetenz bzw. das Empfehlung an die Väter, Sokrates mit der Ausbil-
Wissen der Experten zu untersuchen und dann dung der Söhne zu betrauen, gesteht dies ein.
dem zu folgen, der sich als der Kundige erwiesen
hat – wenn aber keiner der Experten kundig sei, Eine Platonische Empfehlung?
solle man nach anderen suchen.
Das Versagen der Evaluatoren im Laches darf
Platon schildert im Laches also nicht nur eine nun nicht als antizipatorische Kritik des großen
Evaluation, er führt mit Sokrates zudem einen Philosophen an einem, wie oben ausgeführt,
Evaluator der Evaluatoren ein. Die Evaluation wichtigen Instrument des Wissenschafts- und
erhält damit eine Metaebene. Bildungsbetriebs der Gegenwart missverstan-
Denn Sokrates' den werden. Denn die Kompetenz-zerstörende
Expertentum, das Aporie, in die Nikias und Laches geraten, ließe
ihn zum Evaluator sich innerhalb des Platonischen Denk-
gebäudes auflösen. Doch lässt sich aus
dem Laches eine vielleicht nützliche
Anregung gewinnen, nämlich die
Evaluation grundsätzlich mit einer
Evaluation der Evaluation zu
verbinden, die die Evaluatoren, Der Autor
möglicherweise allein mit dem Prof. Dr. Martin Hose lehrt
Instrument des sokratischen griechische Philologie an der
Fragens, zu einem intensiveren Ludwig-Maximilians-Universität
Nachdenken über die Prämis- München. Seine Forschungs-
sen ihrer Urteile und einem schwerpunkte sind das griechi-
besseren Verstehen dessen, was sche Drama, Historiographie
sie zu evaluieren haben, führen und hellenistische Dichtung
kann. Ob eine solche Empfehlung sowie die griechische Literatur
praktikabel und durchführbar ist, der Kaiserzeit. Er ist Sprecher
steht auf einem anderen Blatt. Aber der Graduate School „Distant
man mag bezweifeln, dass ein Platon Worlds“, Vorsitzender des Senats
bei etwas von ihm als richtig Erkann- der LMU und stellvertretender
tem auf die Praktikabilität besonderen Vorsitzender ihres Hochschulrats.
Wert gelegt hätte. n Die Bayerische Akademie der
Wissenschaften wählte ihn 2001
zum ordentlichen Mitglied, seit
2013 ist er Sekretar ihrer Philoso-
phisch-historischen Klasse.
Sokrates. Römische Büste
(1. Jahrhundert n. Chr., Louvre).
02-2014 Akademie Aktuell 15Th ema Eva luation
Evaluation und Nachhaltigkeit
Riskante Abwägungen zwischen
Neugier und Nutzen
Evaluationen gehören zu den großen wissenschaftspolitischen
Herausforderungen unserer Zeit, weil sie unterschiedliche
Wertmaßstäbe verbinden müssen, um die nachhaltige Entwicklung
des Wissenschaftssystems fördern zu können.
Vo n Jö rg Hacke r u n d Ste fa n Artma n n
E i n e d er wi c h ti gsten Voraussetzungen
des wissenschaftlichen Fortschritts besteht
darin, dass es die Forscher selbst sind, die
über den Erkenntniswert von Beobachtungen,
Hypothesen und Theorien entscheiden. Indem
sie sich zu Experten für ein Forschungsge-
biet ausbilden, erwerben sie die Kompetenz,
im Allgemeinen am besten zu beurteilen, ob
eine neue Information zum wissenschaftlich
anerkannten Wissen gezählt werden sollte.
Folgerichtig gehört es zum Selbstverständnis
der sich selbst organisierenden Wissenschaft,
dass die Forscher gleichfalls darüber entschei-
den sollten, welche Personen, Projekte und
Institutionen erfolgreich gearbeitet haben und
entsprechend gute Chancen besitzen, zukünf-
tig finanziert zu werden. So förderte beispiels-
weise die Deutsche Forschungsgemeinschaft
(DFG) im Jahr 2012 laut ihrem Jahresbericht
rund 31.000 Projekte mit einer Summe von
beinahe 2,7 Mrd. Euro. Dementsprechend legt Dass solche Fragen schon auf Grund des Finanz-
sie als Selbstverwaltungsorganisation der volumens, um das es geht, gesamtgesellschaft-
deutschen Wissenschaft einen überaus großen liche Relevanz besitzen, zeigt sich an einem
Wert auf die transparente Evaluierung ihrer wichtigen Indikator: Laut einer Erhebung des
Förderprogramme, die sich an klaren Bewer- Stifterverbands für die Deutsche Wissenschaft
tungsstandards ausrichtet. vom Dezember 2013 hat der Anteil der Ausga-
ben für Forschung und Entwicklung am Brutto-
Wenn es um die Verteilung einer Ressource wie inlandsprodukt (BIP) in Deutschland mit
Geld geht, treten auch im Wissenschaftssystem 2,98 Prozent im Jahr 2012 fast das Drei-Prozent-
Konflikte auf, die analog in anderen gesellschaft- Ziel der Lissabon-Strategie des Europäischen
lichen Bereichen auf der Tagesordnung stehen. Rats erreicht. Dabei machten die Aufwendun-
Wie wichtig ist es, dass ein Forschungsprojekt die gen der öffentlichen Hand 0,96 Prozent des BIP
Neugier der Experten befriedigt, im Verhältnis zu aus – das sind über 25,5 Mrd. Euro. Diese Zahlen
dem Nutzen, den dasselbe Projekt für die Lösung verdeutlichen die Notwendigkeit, forschungs-
drängender gesellschaftlicher Herausforderun- und innovationspolitische Maßnahmen evi-
gen gebracht hat? Wie sollten die Grundlagen- denzbasiert zu evaluieren, wie jüngst auch die
und die angewandte Forschung hinsichtlich ihrer Expertenkommission Forschung und Innova-
längerfristigen Konsequenzen für das Gemein- tion (EFI) in ihrem diesjährigen Gutachten zu
wohl bewertet werden? Welche Wertmaßstäbe Forschung, Innovation und technologischer
sollten überhaupt bei Evaluationen eine Rolle Leistungsfähigkeit Deutschlands betonte.
spielen und wie sollten sie zueinander in Bezie-
hung gesetzt werden?
16 Akademie Aktuell 02-2014Evaluatio n Th e ma
wird, zu einer differenzierten Bilan- Bewährt oder falsifiziert – oft
zierung des Erkenntnisfortschritts dauert es Jahrzehnte, bis theo-
führen: Wenn es darum geht zu be- retische Annahmen bestätigt
werten, welche Forschungsprojekte werden können, etwa die
erfolgreich gewesen sind, könnte es Existenz des Higgs-Teilchens. Im
zum Beispiel angeraten sein, dieje- Bild: der Teilchenbeschleuniger
nigen Ergebnisse nicht überzube- LHC des Kernforschungszent-
werten, die direkt zum gegenwär- rums CERN bei Genf, wo Physi-
tigen Wissensstand beigetragen, ker 2012 vermutlich das neue
aber womöglich nur geringe neue Elementarteilchen aufspürten.
Forschungsaktivitäten angeregt
haben. Ungewöhnliche Beobach-
tungen, gewagte Hypothesen und
kühne Theorien, die zwischenzeit-
lich bereits falsifiziert worden sind,
könnten eine nachhaltige, aber indi-
rekte positive Rolle gespielt haben
– etwa wenn ihre Falsifikation zu
bedeutsamen Resultaten geführt
hat, die ansonsten vermutlich erst
später bekannt geworden wären.
Lässt sich wissenschaftliche Relevanz
messen? Impact und Reputation
Der Anspruch, den relativen Wert
bewährter und falsifizierter Theo-
rien für den Erkenntnisfortschritt
differenziert abzuschätzen, führt
zu dem Problem, ob die inner-
wissenschaftliche Relevanz von
Forschungsresultaten eine mess- Kühne Hypothesen können
bare Größe ist. Diese Frage hat zur die Wissenschaft oftmals am
Entwicklung von heute weitver- weitesten voranbringen:
breiteten Indikatoren Karl R. Popper (1902–1994).
wie dem Journal
Wahrheit als grundlegender wissenschaftlicher Impact Factor (JIF) angeregt. Er
Wertmaßstab beansprucht, die Relevanz einer
Zeitschrift zu messen; sein Wert
Auf welchen Wertmaßstab bezieht sich wissen- ist, vereinfacht ausgedrückt, gleich
schaftliches Handeln? Die Antwort scheint auf der durchschnittlichen Anzahl von
der Hand zu liegen: Wissenschaftler orientieren Zitationen, die ein in der Zeitschrift
sich, wenn sie eine neue Theorie beurteilen, an der veröffentlichter Beitrag während
Unterscheidung zwischen wahr und falsch – oder, der jeweils vorhergehenden zwei
wie es Karl R. Popper in seinem Werk „Logik der Jahre in anderen Zeitschriften auf-
Forschung“ formulierte, an der Unterscheidung weist. Die Erfolgsgeschichte des JIF
zwischen bewährt und falsifiziert. Sagt eine hat mit einem Bedürfnis nach Eva-
Theorie zum Beispiel experimentelle Beobach- luation begonnen: Amerikanische
tungen korrekt voraus, dann hat sie sich bewährt; Hochschulbibliothekare wollten
widersprechen ihr diese Beobachtungen aber, die Bedeutung von Zeitschriften
dann gilt sie als falsifiziert. Dabei richtet sich an für den wissenschaftlichen Diskurs
Abb.: picture-alliance/Empics; Wikimedia
die Begründungen solcher Urteile wiederum die quantifizieren, um ihre Entschei-
Forderung, mittels desselben Wertmaßstabs ein- dungen über Subskriptionen objek-
schätzbar zu sein. So muss die Falsifizierung einer tiv begründen zu können.
Theorie durch die Angabe einer Beobachtung, die
ihr widerspräche, selbst falsifizierbar sein.
Diese Eigenart des wissenschaftlichen Wissens
sollte, wenn sie in Evaluationen ernstgenommen
02-2014 Akademie Aktuell 17Th ema Eva luation
Bei der Forschungsevaluation werden ver- das, was er messen soll. […] Die einzige Methode,
schiedene quantitative Indikatoren eingesetzt, um diesem Paradox zu entrinnen und dennoch
beispielsweise der Hirsch-Faktor, der den Einfluss Leistungsindikatoren beizubehalten, wären
eines Wissenschaftlers bibliometrisch erfassen deren ständige Veränderungen und Anpassun-
soll, oder die Summe der Drittmitteleinwer- gen durch die betroffenen Fachleute“ (M. Oster-
bungen eines Instituts in einem bestimmten loh, Das Paradox der Leistungsmessung und
Zeitraum. Unabhängig von der konkreten die Nachhaltigkeit der Forschung, in: J. Hacker
Ausgestaltung der Rankings und Ratings, die auf (Hrsg.), Nachhaltigkeit in der Wissenschaft.
Indikatoren-Clustern beruhen, tragen sie alle Leopoldina-Workshop am 12. November 2012 in
dazu bei, wissenschaftliche Reputation als bere- Berlin, Halle (Saale) und Stuttgart, 2013, S. 104).
chenbare Größe erscheinen zu lassen. Reputation
bezeichnet, so der Soziologe Niklas Luhmann Im Sinne einer nachhaltigen Evaluationskultur
in seinem Werk „Die Wissenschaft der Gesell- sollten quantitative Reputationsmaße daher
schaft“, „die Leistung der Erstkommunikation von immer wieder innerhalb der verschiedenen
Wissen“ und macht es einfacher, die Relevanz Fachdisziplinen mittels einer differenzierten
von Forschungsresultaten einzuschätzen: Je Beurteilung der Relevanz relativiert werden, wel-
höher die Reputation eines Wissenschaftlers ist, che die Forschungsergebnisse der betreffenden
desto stärker haben seine bisherigen Publikatio- Wissenschaftler für den Erkenntnisfortschritt
nen im Urteil der Fachkollegen die Wissenschaft besitzen. In diese Richtung zielt zum Beispiel
vorangebracht, so dass seine aktuellen Resultate das so genannte „Informed Peer Review“ im
eine entsprechende Aufmerksamkeit verdienen. Forschungsrating des Wissenschaftsrats. Solche
anspruchsvolleren Verfahren sind für die evalu-
Gegenwärtig findet weltweit eine Debatte über ierenden Gremien gewiss in dem Sinne riskant,
Sinn und Unsinn der Objektivierung von Reputa- dass sich die Bewertung der Produktivität eines
tion durch quantitative Evaluationsindikatoren falsifizierbaren Forschungsresultats jederzeit
statt. Im Bereich der Zitationsindices hat diese ändern kann – aber dieses Risiko bewusst auf
Debatte Anfang 2013 zur San Francisco Declara- sich zu nehmen, macht die Verantwortung der
tion On Research Assessment (DORA) geführt, evaluierenden gegenüber den evaluierten Wis-
die von der American Society for Cell Biology ini- senschaftlern aus.
tiiert worden ist (am.ascb.org/dora). Sie schlägt
Maßnahmen gegen die Überbewertung des Nachhaltigkeit als Wertmaßstab für Forschung
JIF vor und wurde bis Mitte März 2014 von fast
11.000 Wissenschaftlerinnen und Wissenschaft- Die Frage nach der Relevanz von Forschungser-
lern sowie Organisationen unterzeichnet. Die gebnissen wird vermehrt mit Blick auf die Bezie-
wichtigsten Argumente wider den überzogenen hungen zwischen dem Wissenschaftssystem und
Einsatz solcher Reputationsmaße warnen davor, anderen gesellschaftlichen Bereichen gestellt.
dass die Wirkungen, die sie auf das Verhalten Dann tritt neben die Bedeutung wissenschaft-
der evaluierten Wissenschaftler ausüben, den licher Resultate für den Erkenntnisfortschritt
Nutzen des Reputationsbegriffs in der wissen- ihr außerwissenschaftlicher Nutzen. Im umfas-
schaftlichen Praxis konterkarieren können. Die sendsten Sinne geschieht dies, wenn gefragt
Ökonomin Margit Osterloh weist darauf hin, wird, welchen Beitrag die Wissenschaft für die
dass die Zerstörung von Reputation als sinnvoller nachhaltige Entwicklung der Menschheit leistet.
Wertmaßstab für Forschungsleistungen und da- Wer bestritte ernsthaft, dass die Wissenschaften
mit die praktische Falsifikation von quantitativen ganz wesentlich dabei helfen können, globale
Reputationsindikatoren der Logik des „Paradoxes Herausforderungen wie Klimawandel und Seu-
der Leistungsmessung“ folgt: Wenn Wissen- chenausbreitung zu meistern? Dieser Konsens
schaftler sich mit einer Forschungsfrage vor allein reicht aber nicht aus, wenn sich Politik,
allem oder ausschließlich deshalb beschäftigen, Zivilgesellschaft und Wissenschaft darüber
weil sie hoffen, dass sie ihre Ergebnisse in den verständigen wollen, wie wissenschaftliche Er-
führenden Zeitschriften veröffentlichen können, kenntnisprozesse, öffentliche Meinungsbildung
dann überlagert die extrinsische Motivation des und demokratische Entscheidungsfindung im
Reputationsgewinns die intrinsische Motivation Sinne der Nachhaltigkeit am besten miteinander
der Wahrheitssuche, deren Erfolg eigentlich zu verknüpfen sind. Denn die Beteiligten folgen
gemessen werden sollte. durchaus unterschiedlichen Wertmaßstäben –
selbst wenn es darum geht, ein gemeinsames
Die Objektivierung von Reputation zu Bewer- Ziel zu verwirklichen.
tungszwecken droht das evaluierte Handeln zu
pervertieren, falls die Evaluation „[…] den Fokus
auf den Leistungsindikator legt und nicht auf
18 Akademie Aktuell 02-2014Evaluatio n Th e ma
eine Koordination gesundheitspolitisch gesetzter
Anreize, ergebnisoffener Grundlagenforschung
(zum Beispiel in der Synthetischen Biologie) und
ökonomischer Verwertung fördern? Ein weite-
res Beispiel ist die langfristige Bedeutung von
Disziplinen wie der Taxonomie, deren konti-
nuierliche Forschungsarbeit zwar nur selten
Schlagzeilen produziert, die aber für Fortschritte
in den Lebenswissenschaften (z. B. Biodiversitäts-
forschung) und der Medizin (z. B. Personalisierte
Medizin) unabdingbar ist. Hierzu hat eine Ar-
beitsgruppe der Leopoldina im Juni dieses Jahres
eine Stellungnahme vorgelegt.
Forschungsevaluation mit
Zweitens sollten Wissenschaftler neugieriger auf Gemeinwohlorientierung: die
die Herausforderung gemacht werden, nutzenstif- Stellungnahme „Antibiotika-
tende Anwendungen für ihre Forschungsergeb- Forschung: Probleme und Pers-
nisse zu entwickeln und schädlichen Anwendun- pektiven“ (2013) der Akademie
gen entgegenzuarbeiten. Hier ist beispielsweise der Wissenschaften in Hamburg
an das Stichwort „Dual use“ zu denken: Wie kön- und der Nationalen Akademie
nen Wissenschaftler Forschungsvorhaben etwa der Wissenschaften Leopoldina.
zu hochpathogenen Grippeviren, die potentiell so-
wohl nützliche als auch schädliche Anwendungen
nahelegen, so durchführen, dass sie die Gefahr
Die allermeisten Wissenschaftler zeigen sich des Missbrauchs minimieren? Eine Arbeitsgruppe
skeptisch, wenn Interessenvertreter aus Politik der DFG (federführend) und der Leopoldina hat
und Zivilgesellschaft im Namen des Gemein- jüngst Leitlinien zum Umgang mit Forschungs-
wohls fordern, direkte Relevanz für nachhaltige freiheit und Risiken in der Wissenschaft erarbeitet.
Entwicklung zu einem neuen allgemeinen Auch für gesamtgesellschaftliche Vorhaben wie
Kriterium der Forschungsevaluation zu erheben. die Energiewende ist es von großer Relevanz, dass
Würde damit nicht eine Entwicklung einsetzen, sich Wissenschaftler damit beschäftigen, realisti-
an deren Ende die Unterordnung der Wissen- sche Handlungsalternativen zu beschreiben und
schaft unter ihre unmittelbare gesellschaftliche systematisch zu erforschen – nicht zuletzt, um
Nützlichkeit stünde? Das erste Opfer wäre ge- vor scheinbar vielversprechenden Irrwegen zu
wiss die Grundlagenforschung, bei der niemand warnen. Letzteres ist etwa bei der Nutzung der
vorherzusagen weiß, für welche gesellschaftli- Bioenergie der Fall, wie die Leopoldina 2013 in der
chen Probleme ihre Ergebnisse einmal relevant Stellungnahme „Bioenergie – Möglichkeiten und
werden könnten. Nachhaltige Entwicklung, die Grenzen“ erläuterte.
Generationen überspannt, und kurzsichtige
Wissenschaftsevaluation, die auf den Nachweis Die Strategien der nützlichen Neugier und der
eines unmittelbaren Nutzens fixiert ist, passen Neugier auf den Nutzen sollen dazu beitragen,
nicht zusammen. Daher ist es eine der größten dass gerade angesichts zunehmender Forderun- Die Autoren
wissenschaftspolitischen Herausforderungen gen nach mehr Nachhaltigkeit in der Wissen- Prof. Dr. Jörg Hacker ist Mikro-
unserer Zeit, das Verhältnis zwischen den Wert- schaft keine unüberbrückbaren Spannungen biologe und seit 2010 Präsident
maßstäben der Wahrheit, der Reputation und der zwischen den Erwartungen entstehen, die aus der Deutschen Akademie der
Nachhaltigkeit immer wieder neu auszutarieren. dem Wissenschaftssystem und den anderen Naturforscher – Nationale
Bereichen der Gesellschaft auf die Forschung ge- Akademie der Wissenschaften
Nützliche Neugier und Neugier auf den Nutzen richtet werden. Differenzierte und risikobewuss- Leopoldina. Er wurde 2006
te Evaluationen können bei dem notwendigen als ordentliches Mitglied in die
An Themen, zu denen momentan solche kom- Interessensausgleich sehr hilfreich sein, indem Bayerische Akademie der
plexen Abwägungen stattfinden, mangelt es sie verdeutlichen, dass Nutzen und Neugier Wissenschaften gewählt und ist
wahrlich nicht. Dabei lassen sich zwei wichtige einander nicht widersprechen: Sie entdecken den seit 2008 korrespondierendes
Strategien erkennen. Erstens ist es notwendig, potentiellen Nutzen in der von Neugier getriebe- Mitglied.
die Politik und die Zivilgesellschaft, aber auch die nen Forschung und wecken die Neugier auf nutz-
Wissenschaft kontinuierlich darauf hinzuwei- bringende Anwendungen wissenschaftlicher PD Dr. Stefan Artmann ist Phi-
sen, dass die von Neugier getriebene Forschung Expertise. n losoph und seit 2014 Leiter des
Abb.: Leopoldina
nachhaltigen Nutzen stiften kann. Dies ist etwa Präsidialbüros der Nationalen
bei der Entwicklung dringend notwendiger Akademie der Wissenschaften
neuer Antibiotika der Fall: Wie lässt sie sich durch Leopoldina.
02-2014 Akademie Aktuell 19Th ema Eva luation
Wissenschaftsrat
Jenseits von Ritual My old mother always used to say (…),
und Standardprozedur: that facts are like cows.
Zur „guten Praxis“
If you stare them in the face hard enough,
they generally run away.
institutioneller (Dor othy Say e r s)
Evaluationen im Wissen-
schaftssystem 1990er Jahre, nach der Evaluation sämtlicher
Bund-Länder-finanzierten Einrichtungen der
„Blauen Liste“ durch den Wissenschaftsrat,
wurde, auch mit Verweis auf Entwicklungen in
Evaluationen in der Wissenschaft sind seit Großbritannien und den Niederlanden, in regel-
einigen Jahren massiver Kritik ausgesetzt – anders, mäßigen Evaluationen der Königsweg gesehen,
um verkrustete Strukturen im Wissenschafts-
als noch in den 1990er Jahren. Was muss man system aufzubrechen. Die in Teilen schwache in-
berücksichtigen, damit sie trotzdem erfolgreich ternationale Konkurrenzfähigkeit des deutschen
Wissenschaftssystems – so die breit geteilte
ablaufen können? Der Wissenschaftsrat hat Wahrnehmung damals – sei auch Ergebnis einer
dazu Empfehlungen vorgelegt. zu großzügigen staatlichen Grundfinanzierung
ohne ausreichende Qualitätskontrolle. Ausgeru-
fen wurde deshalb eine „Kultur der Evaluation“
Vo n An dreas Stu cke in Deutschland. Keine zehn Jahre später hat sich
die öffentliche Bewertung praktisch umgekehrt.
Institutionelle Evaluationen finden zwar weiter
statt, wahrscheinlich sogar mit steigender
I c h v e rmute , ic h b i n auch deshalb um Intensität, aber nun mit deutlich schlechterem
einen Beitrag zum aktuellen Themenheft der Gewissen aller Beteiligten. In den öffentlichen
Bayerischen Akademie der Wissenschaften Debatten steht die Befürchtung im Vordergrund,
gebeten worden, weil der Wissenschaftsrat als Evaluation könne wissenschaftliche Innovation
Akteur mit ausreichend Erfahrungswissen zum nicht fördern, sondern würde sie geradezu
Thema wahrgenommen wird. Und in der Tat: Der verhindern, weil sie Forscher und Einrichtungen
Wissenschaftsrat hat schon zu Zeiten institu- von deren eigentlicher Aufgabe, Forschung zu
tionell begutachtet, als der Begriff „Evaluation“ betreiben, ablenke, notwendig den wissenschaft-
noch nicht gängig war. Er wurde später im Zuge lichen Mainstream und nicht Originalität beloh-
der Vereinigung der beiden deutschen Wissen- ne und in der Summe bestenfalls ein Ritual von
schaftssysteme zu der zentralen, öffentlich auch Qualitätssicherung und damit Symbolpolitik sei,
so apostrophierten „Evaluationsinstanz“ und hat schlechtestenfalls aber nur bereits beschlossene
danach bis in die Gegenwart großflächig ganze Budgetkürzungen legitimieren solle. Mitunter
Teile der institutionell verfassten Wissenschaft, werden Evaluationen sogar in die Nähe von pein-
etwa die Einrichtungen der „Blauen Liste“ oder lichen Befragungen durch die Heilige Inquisition
der Ressortforschung, begutachtet bzw. zu gerückt. Zwei Welten – oder Ausdruck notwendi-
einzelnen Wissenschaftsorganisationen, wie der ger Zielspannungen zwischen wissenschaftlicher
Helmholtz-Gemeinschaft, „Systemevaluationen“ Selbststeuerung und externer Kontrolle?
durchgeführt.
Gegenstand wissenschaftspolitischer
Abb.: Dudarev Mikhail/Fotolia.com
Evaluation in der Wissenschaft: Königsweg der Kontroversen
Qualitätskontrolle oder Heilige Inquisition?
Es wird niemanden verwundern, wenn ein
Evaluation hat ungebrochen Konjunktur im Thema wie Evaluation, mit dem auch das Ver-
Wissenschaftssystem, sie wird zunehmend hältnis zwischen Wissenschaft und Politik neu
nachgefragt und angeboten – auch vom Wissen- bestimmt wird, früher oder später Gegenstand
schaftsrat. Radikal verändert hat sich demgegen- wissenschaftspolitischer Kontroversen wird.
über der öffentliche Diskurs über Evaluation: Hier
hat sich binnen weniger Jahre ein diametraler
Einstellungswandel vollzogen. Noch Ende der
20 Akademie Aktuell 02-2014Evaluatio n Th e ma
02-2014 Akademie Aktuell 21Th ema Eva luation
Insbesondere die Balance zwischen Vertrauen Kontext steht, in dem unterschiedliche Akteure
in die Wissenschaft und öffentlicher Rechen- mit ganz verschiedenen legitimen Interessen
schaftslegung der Wissenschaft für wachsende beteiligt sind und es ganz wesentlich darauf an-
staatliche Alimentierung ist störungsanfällig kommt, den Prozess der Evaluation so zu gestal-
und muss stets neu hergestellt werden. Das ten, dass der „Fall“, um den es geht, eine bestmög-
zeigt sich auch in den Aushandlungsprozes- liche Herangehensweise erfährt. Es geht also um
sen um das Thema Evaluation. Immer dann, das, was man die „soziale Pragmatik“ von Evalua-
wenn viel auf dem Spiel steht und Evaluationen tionen nennen könnte und was alle Prozess-
tatsächlich Folgen zeitigen, treten Akteure mit schritte von der Einleitung eines Evaluationsver-
ihren jeweiligen Interessen auf die Bühne. Diese fahrens über die Durchführung bis zum Abschluss
Interessenlagen sind vielfältig, etwa zwischen sowie zur Umsetzung der Ergebnisse umfasst.
Politik, die „accountability“ einklagt, und Wissen-
schaft, die Vertrauen und langfristige Absiche- Evaluationskriterien und Indikatoren sind in
rung will, zwischen Einrichtungsleitungen, die einem solchen Verfahren Orientierungsmarken,
steuern wollen, und einzelnen Wissenschaftlern, also Hilfsmittel, die Fragen anregen und zur
die in Ruhe forschen wollen, zwischen Natur- Strukturierung des Begutachtungsprozesses
und Ingenieurwissenschaftlern, die oftmals in beitragen können, aber keine kontextlosen Mess-
kooperativen Forschungsverbünden mit großen größen, die unabhängig von den Voraussetzun-
Forschungsinfrastrukturen arbeiten, und Teilen gen und Bedingungen ihrer Anwendung wis-
der Geistes- und Sozialwissenschaften, die den senschaftspolitische Bedeutung haben (sollten).
Wert der „Individualforschung“ betonen, und Die Zahl von Publikationen, Zitaten, Promotionen
– nicht zuletzt – zwischen eher disziplinär und sowie Patenten oder die Höhe der Drittmittel von
eher inter- oder transdisziplinär arbeitenden Instituten sagt für sich ebenso wenig über die
Wissenschaftlern. Letztere beklagen seit länge- relative Leistung oder Leistungsfähigkeit einer
rem, dass mit ihnen in Evaluationen oft nicht fair Einrichtung aus wie über die wissenschaftspoli-
umgegangen werde. Unterfüttert sind die Posi- tischen Schlussfolgerungen, die daraus zu ziehen
tionen mit vielen guten Argumenten, etwa von sind. So müssen Publikations- und Zitations-
Geisteswissenschaftlern, die darauf hinweisen, werte für eine seriöse qualitative Einordnung
dass weder die Zahl von Publikationen in peer- immer auf eine Bezugsgröße – die Publikations-
reviewed Journalen noch die Höhe von Drittmit- aktivitäten im Forschungsfeld bzw. den Output
teleinwerbungen per se ein gültiger Indikator für anderer vergleichbarer Einrichtungen – bezogen
Qualität oder gar Kreativität ist. Umgekehrt wird und vor dem Hintergrund der institutionellen
nicht überraschen, dass zum Beispiel Vertreter Rahmenbedingungen, unter denen publiziert
der geräteintensiven teuren Natur- und Inge- wird, bewertet werden. Hier wird man eine Res-
nieurwissenschaften gerade diese Leistungs- sortforschungseinrichtung, die neben Forschung
indikatoren hochhalten, da sie helfen, dringend vor allem Beratung und Dienstleistungen für die
benötigte Zuwächse zu begründen. Politik zu leisten hat, anders bewerten müssen
als etwa ein Max-Planck-Institut. Festgestellte
Dringend nötig: eine Reflexion der unterdurchschnittliche Leistungen einer Ein-
Evaluationspraxis richtung können zudem nicht automatisch zu
eindimensionalen Schlussfolgerungen, etwa zu
Derartige Debatten sind als „Begleitmusik“ zu viel- Ressourcenentzug oder Schließung, führen. Das
fältigen Evaluationsaktivitäten nicht nur unver- Gegenteil mag richtig sein, wenn die Leistungs-
meidlich, sie sind geradezu notwendig. Entspre- schwäche zum Beispiel an mangelnder appara-
chend hat sich der Wissenschaftsrat des Themas tiver Ausstattung oder an einer Überfrachtung
reflexiv angenommen und die Evaluationspraxen einer Einrichtung mit zu vielen externen Aufträ-
in Deutschland, auch die eigenen, einer kritischen gen durch den Zuwendungsgeber liegt. In die-
Untersuchung unterzogen. Am Ende standen sem Fall kann ein niedriger Leistungsstand sogar
Empfehlungen, die zwar auch zu einzelnen Me- der Anlass sein, für die Einrichtung eine bessere
thoden und Indikatoren Stellung beziehen – wie Ausstattung oder dauerhaft mehr Geld und Zeit
zur Bibliometrie, zum Umgang mit Publikations-, für eigene Forschung zu empfehlen.
Zitations- oder Drittmittelzahlen –, deren gemein-
samer Nenner und Stoßrichtung aber gerade
kein technizistisch-methodischer ist. Es ging dem
Wissenschaftsrat vielmehr darum, deutlich zu
machen, dass jede Evaluation in einem sozialen
22 Akademie Aktuell 02-2014Evaluatio n Th e ma
Empfehlungen des Wissenschaftsrates • Bei der Bewertung von Forschungsleistungen
sollte jegliche „Tonnenideologie“ vermieden
Daran wird deutlich: Der Vorgang der Bewertung werden. „Mehr“ ist nicht gleich „besser“. Das
ist im Kern ein interaktiver, in dem verschiedene Verfahren sollte deshalb so angelegt sein, dass
Akteure – mindestens die zu begutachtende Ein- vor allem die Qualität der Forschungsleistun-
richtung, die Bewertungsgruppe und der Auftrag- gen erfasst wird.
geber – ihre Sichtweisen darüber austauschen, • Die verwendeten Bewertungsmaßstäbe müs-
wie die Leistungen einer Einrichtung zu bewer- sen „adäquat“ sein, d. h. der jeweiligen Mission
ten sind, welche Gründe dafür verantwortlich bzw. dem Aufgabenprofil einer Einrichtung
gemacht und wie mögliche Defizite behoben wer- folgen.
den können. Je stärker dieser Tatbestand Teil der • In die (Weiter-) Entwicklung von Evaluations-
mitlaufenden Reflexion aller Beteiligten ist, desto verfahren sollten alle relevanten Akteure,
besser sind die Voraussetzungen, die Qualität des insbesondere aber die jeweiligen Fachgemein-
Evaluationsprozesses zu steigern. Damit ist im schaften einbezogen werden, um auf diese
Grunde auch die Prämisse beschrieben, die den Weise disziplinäre bzw. forschungsfeldbezoge-
Wissenschaftsrat in seinen „Empfehlungen zur ne Besonderheiten zu erfassen.
Bewertung und Steuerung von Forschungsleis- • Eine ausreichende Grundfinanzierung von
tung“ 2011 veranlasst hat, jenseits von technizis- Hochschulen und außeruniversitären For-
tischen Hinweisen zu Indikatorik und Methoden schungseinrichtungen, um „risikoreiche“,
eine Reihe von übergeordneten Handlungsemp- langfristige Forschung abzusichern, muss die
fehlungen für die Durchführung von Evaluationen Basis für steuernde Eingriffe durch Evaluatio-
zu geben. Sie unterstreichen, dass institutionelle nen sein. Evaluationen sind kein geeignetes
Evaluationen nicht als triviale Standardprozedur Instrument zur Redistribution von Mitteln bei
ablaufen dürfen, in die lediglich Zahlen und Daten fehlender Grundfinanzierung.
eingespeist und vorgestanzte Bewertungen
ausgeworfen werden, sondern in ihrem Gelingen Gemeinsames Merkmal dieser Empfehlungen ist,
davon abhängen, dass kontextsensitiv, d. h. unter dass ihre Umsetzung nicht top-down verordnet
größtmöglicher Berücksichtigung der Vorausset- werden kann. Es ist auch noch nicht viel gehol-
zungen und Besonderheiten des einzelnen Falls fen, wenn Grundsätze dieser Art die Leitfäden für
sowie bisheriger Erfahrungen, Bewertungen vor- gute Evaluationen zieren oder einfach nur büro-
genommen, Begründungen ausgetauscht, Befun- kratisch „abgearbeitet werden“. Die Empfehlun-
de erklärt und Ratschläge ausgesprochen werden gen stellen vielmehr eine Aufforderung an alle
können. Der Wissenschaftsrat ist der Auffassung: Beteiligten dar, gerade bei konkret anstehenden
• Institutionelle Evaluationen sind umso valider „Evaluationsfällen“ in einen Diskurs über die Vo- Der Autor
und wirksamer, je breiter sie auf Berichtssys- raussetzungen des Gelingens der Evaluationen Dr. Andreas Stucke leitet die
teme und Monitoring-Aktivitäten der Ein- zu treten. Weil Evaluationen nie im machtfreien Abteilung Evaluation im Wissen-
richtungen selbst aufsetzen können. Wissen- Raum stattfinden, kommt es darauf an, Begrün- schaftsrat. Der Wissenschaftsrat
schaftliche Einrichtungen sollten deshalb über dungslasten zu erzeugen bzw. zu verschieben ist eines der wichtigsten wissen-
institutionelle Formen der Selbstbeobachtung und allen Akteuren Argumente zur Verfügung zu schaftspolitischen Beratungs-
verfügen, um nach innen strategie- und ent- stellen, um, notfalls auch streitig, über Auftrag gremien in Deutschland. Er
scheidungsfähig und nach außen argumenta- und Zielsetzungen, Methoden und Bewertungs- berät die Bundesregierung und
tionsfähig zu sein. maßstäbe, Diagnosen und Therapien zu reden. die Regierungen der Länder in
• Bewertungsverfahren und Steuerungsinstru- Wie gut der Wissenschaftsrat in dieser Hinsicht Fragen der inhaltlichen und
mente sollten regelmäßig auf ihre erwünsch- seine eigenen Empfehlungen beherzigt, müssen strukturellen Entwicklung der
ten wie unerwünschten Wirkungen überprüft andere beurteilen; der Anspruch ist jedenfalls Hochschulen, der Wissenschaft
werden, sie dürfen nicht zu „schlechter Rou- gesetzt und darf eingefordert werden. n und der Forschung.
tine“ oder zum Selbstzweck werden.
• Evaluationen verursachen Aufwand und
Kosten, vor allem bei Gutachtern und den zu Literatur und WWW
evaluierenden Einrichtungen. Deshalb sollte
bei aller notwendigen Komplexität einer Evalu-
Wissenschaftsrat, Empfehlungen zur Bewertung und
ation die Aufwandsbegrenzung ein vorrangiges
Steuerung von Forschungsleistung, November 2011. Download:
Ziel sein.
www.wissenschaftsrat.de/download/archiv/1656-11.pdf
• Vielfach hat sich eine regelmäßige Rechen-
schaftslegung durch externe Evaluationen
etabliert. Diese sollte, wenn nicht besondere
Anlässe gegeben sind, einer angemessenen
Taktung folgen, d. h. im Regelfall eher großzü-
gig bemessen sein (5–10 Jahre).
02-2014 Akademie Aktuell 23Sie können auch lesen
