Wissenschaftliches Publizieren: Qualitätssicherung, Review und Impact-Messung - HOCHSCHULE FÜR ANGEWANDTE WISSENSCHAFTEN HAMBURG - scidecode
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Wissenschaftliches Publizieren:
Qualitätssicherung, Review und Impact-Messung
HOCHSCHULE FÜR ANGEWANDTE
WISSENSCHAFTEN HAMBURG
Dr. Ulrich Herb
scidecode.com
27.10.2020
Agenda
• Wie und warum wird publiziert?
• Qualitätssicherung
• Review
• Impact-Messung
Slide 2
Warm up
Bitte benutzen Sie Sticky Notes, um sich vorzustellen
• Name
• Disziplin
• Erfahrungen mit Veröffentlichungen
• Themen von besonderem Interesse für Sie
Slide 3
Warum publizieren?
Slide 4Individuelle Relevanz
Publish or Perish
• Die Karriere von Wissenschaftler*innen hängt von ihrer Reputation ab.
• Die Reputation von Wissenschaftler*innen wird durch den wissenschaftlichen
Einfluss (Impact) bestimmt.
• Der wissenschaftliche Impact wird in erster Linie durch Publikationsmuster
bestimmt.
• Wie viel wird veröffentlicht, zu welchem Thema, mit wem und wo?
Slide 5Organisatorische Relevanz
Universitäre Evaluationen und leistungsorientierte Mittelzuweisung
beeinflussen
• materielle und personelle Ressourcen für wissenschaftliche Einrichtungen
• Auswahl der Forschungsprioritäten und -themen
Gängige Kriterien
• Anzahl der Promotionen
• Volumen der eingeworbenen Drittmittel
• Publikationsmuster
Slide 6Publikationstypen
Slide 7History of Scientific publishing
Aufkommen wissenschaftlicher Journale im 17. Jahrhundert
Ursprung: Briefkorrespondenz, Almanache und Sitzungsprotokolle
wissenschaftlicher Gesellschaften
• 1665: Henry Oldenburg gründet Philosophical Transactions und verschickt
Auszüge aus eingereichten Dokumenten
• 1765: die Royal Society übernimmt die Philosophical Transactions und führt
eine formalisierte Überprüfung ein.
• Die Publikationsdichte der frühen Zeitschriften (Intervalle zwischen den
Ausgaben) hängt vom Rhythmus des Postkutschenverkehrs ab
s. Fröhlich (2009)
Slide 8Publikationstypen
• Monographien
• Zeitschriftenartikel
• Konferenzbände
• Beiträge in Konferenzbänden
• Anthologien/ Sammelbände
• Beiträge in Sammelbänden
• Festschriften
• Beiträge zu Festschriften
• Graue Literatur
• Enzyklopädie-Artikel
• Rezensionen/ Buchbesprechungen
• Interviews
Slide 9Publikationstypen
Slide 10Publikationstypen
Slide 11Publikationstypen
Sivertsen, 2016
“… publications in journals and series represent a little more than half of the
publications in the humanities and two-thirds of the publications in the social
sciences (…) . There are, however, just as wide differences within each of
the two major areas: Only 45 % of the publications in History are in journals,
compared to 61 % in Linguistics. In Sociology, only 46 % of the publications
are in journals, compared to 75 % in Economics.”
Sivertsen, 2019
Slide 12Publikationstypen
Sum up
• Der Publikationsoutput wächst in Science, Technology, Medicine (STM)
schneller als in den Sozialwissenschaften und noch schneller als in den
Geisteswissenschaften.
• Es ist eine stetige Zunahme der Anzahl und des Anteils von Publikationen in
englischer Sprache zu beobachten.
• Insgesamt ist keine generelle Verschiebung weg von
Buchveröffentlichungen zu beobachten (insbesondere in den
Geisteswissenschaften).
• In den Sozialwissenschaften ist eine Zunahme der Anzahl von
Zeitschriftenartikeln zu beobachten.
• In den Geisteswissenschaften scheint der Anteil der Buchveröffentlichungen
sogar zu steigen.
• Peer Review scheint ein wichtiges Qualitätskriterium zu sein.
Slide 13Qualitätskontrolle
Slide 14Qualitätskontrolle
für wissenschaftliche Dokumente wird in der Regel durch Peer-Review
durchgeführt:
Editorial Review
• hauptsächlich Zeitschriftenartikel, Beiträge zu Sammelbänden
Review durch Programm-Komittee
• hauptsächlich Konferenzbände, Beiträge zu Konferenzbänden
Peer Review
• hauptsächlich Zeitschriftenartikel, Beiträge zu Sammelbänden, Beiträge zu
Konferenzbänden
Slide 15Peer Review
Peer Review = Begutachtung von Einreichungen durch Experten (Peers), die
vom/von den Herausgeber(n) der Zeitschrift (Tagungsband, Sammelband)
ernannt werden.
Je nach Ergebnis der Begutachtung wird der Text abgelehnt, der/die Autor(en)
zur Überarbeitung aufgefordert oder der Text zur Veröffentlichung
angenommen (ggf. nach vorheriger Überarbeitung).
Der Zeitrahmen ist je nach Fachgebiet sehr unterschiedlich.
Slide 16Peer Review und ihre Varianten
Varianten
⚫ single blind
einreichende Autor*innen kennen Gutachter*innen nicht
Gutachter*innen kennen jedoch die einreichenden Autor*innen
⚫ double blind
einreichende Autor*innen und Gutachter*innen kennen einander nicht
⚫ triple blind
einreichende Autor*innen und Gutachter*innen sind einander unbekannt,
zusätzlich sind die Autor*innen den Herausgeber*innen unbekannt
Slide 17Peer Review Kritik: Empirische Befunde
Peer Review
bevorzugt
• Einreichungen renommierter Autor*innen,
• Einreichungen von Autor*innen renommierter Einrichtungen,
• Einreichungen, die etablierte Konzepte nicht in Frage stellen.
diskriminiert
• Einreichungen von konkurrierenden Kollegen/ Theorien/ Institutionen
• Einreichungen, nur um sie später selbst zur Veröffentlichung einzureichen
Fröhlich (2003, 2006); Ross (2006)
Slide 18Peer Review Kritik: Empirische Befunde
Einreichungen von renommierten Wissenschaftlern, die bereits in Zeitschriften
veröffentlicht wurden und als Werke unbekannter Autoren und mit leicht
veränderten Titeln erneut eingereicht werden, werden in der Regel nicht als
Wiedervorlagen anerkannt, sondern abgelehnt oder angenommen.
Bei der Einreichung fiktionaler Manuskripte werden von den Gutachtern oft
Fehler übersehen.
Fröhlich (2003, 2006); Ross (2006)
Slide 19Peer Review Kritik: Empirische Befunde
Peer Review wird beeinflusst von…
⚫ Netzwerk-Effekte
⚫ Geschlechtsspezifische Voreingenommenheit (männliche Gutachter
bevorzugen männliche Einreichungen)
⚫ Sprachliche Voreingenommenheit zugunsten englischer Muttersprachler
⚫ Altersverzerrung: Jüngere Experten urteilen strenger als ältere.
Fröhlich (2003, 2006); Ross (2006)
Slide 20Alternativen zur klassischen Peer Review?
Slide 21Open Review, ein Erfolg:
Atmospheric Chemistry and Physics
Pöschl (2004), Editor Atmospheric Chemistry and Physics ACP
Effektive klassische Peer Review ist
• in Zeiten der "least publishing unit" Strategie,
• rapide wachsender Publikationszahlen,
• immer kürzerer Zeitspannen für Reviews
kaum möglich.
Slide 22Open Review, ein Erfolg:
Atmospheric Chemistry and Physics
Open Review bei Atmospheric Chemistry and Physics
• Submissions sind Open Access verfügbar.
• Reviews sind Open Access verfügbar.
• Reviews können anonym oder nicht-anonym sein.
• Fertige Artikel werden Open Access veröffentlicht und mit Einreichungen
und Rezensionen verlinkt.
Slide 23Open Review, ein Erfolg:
Atmospheric Chemistry and Physics
Vorteile der Open Reviews (Pöschl 2004, 2006a, 2006b)
• Peer-Review-Kommentare werden Teil des wissenschaftlichen Diskurses
• Offener Zugang zu Reviews sichert die Effizienz des Reviews/ vermeidet
Doppelarbeit
• Transparenz der Veröffentlichung verhindert die Einreichung minderwertiger
Arbeiten/ führt zu höherer Effizienz
• Schutz vor Plagiaten: zitierfähige Veröffentlichung der Einreichungen sichert
Prioritätsanspruch
• schnelles Feedback aus der Gemeinschaft
Slide 24Qualitätsmessung wissenschaftlicher Publikationen
Slide 25Qualitätsmessung
Zitationsbasierte Verfahren
Journal Impact Factor & h-Index
Slide 26Bibliometrie
Qualität und Reputation werden in der Regel anhand des Impact beurteilt.
Impact wird über Zitate bestimmt …
• auf Zeitschriften, in denen Wissenschaftler*innen publizieren, z.B. Journal
Impact Factor (JIF)
• auf Publikationen von Wissenschaftler*innen, z.B. Hirsch-Index (h-Index),
Publikationshäufigkeit, normierte Anzahl der Publikationen, Anzahl der Zitate,
durchschnittliche Anzahl der Zitate pro Publikation ...
Slide 27Journal Impact Factor
Formula: JIF for journal X for the year Y
Number of times citeable and non-citeable items published in journal X in the two
preceding years before year Y were cited by indexed journals during year Y
---------------------------------------------------
Number of citeable published in the journal X in the two preceding years before
year Y
Database: Journal Citation Reports, http://apps.isiknowledge.com/
Slide 28Journal Impact Factor
Formula: JIF 2019
Number of times citeable and non-citeable items published in journal X in 2017
and 2018 were cited by indexed journals during 2019
---------------------------------------------------
Number of times citeable items published in the journal X in the 2017 and 2018
Database: Journal Citation Reports, http://apps.isiknowledge.com/
Slide 29Journal Impact Factor
Kritik:
(Campbell 2005, 2008; Dong, Loh, & Mondry 2005; Fröhlich 1999; Seglen 1997, 1998)
• Begrenzter Umfang / Ausschluss ganzer Dokumenttypen: Graue Literatur,
Bücher, die meisten Web-Publikationen.
• Nur Zeitschriften, die im Journal Citation Report JCR indexiert sind, werden
erfasst.
• Sprachliche Voreingenommenheit zugunsten englischsprachiger Zeitschriften:
Journale in anderen Sprachen haben einen niedrigeren JIF.
• JIF bezieht sich auf Zeitschriften, nicht auf Artikel: In der Regel führt eine kleine
Anzahl sehr häufig zitierter Artikel zu einem hohen Wert für die Zeitschrift
Slide 30Journal Impact Factor
Kritik:
(Campbell 2005, 2008; Dong, Loh, & Mondry 2005; Fröhlich 1999; Seglen 1997, 1998)
• Ignoranz der Zitationszyklen in verschiedenen Disziplinen: Diskriminierung von
Zeitschriften aus Disziplinen mit Zyklen > 2 Jahre (z.B. Mathematik,
Geisteswissenschaften)
• manipulierbar
• Konfundierung von Popularität und Qualität
Slide 31Hirsch-Index
Berechnung:
An author has an index h if h of his total N publications have at least h citations
each and the other (N-h) publications have less than h citations.
http://de.wikipedia.org/wiki/H-Index
Slide 32Hirsch-Index
Berechnung:
An author has an index h if h of his total N publications have at least h citations
each and the other (N-h) publications have less than h citations.
Ein Autor hat einen h-Index von 8, wenn er
8 Arbeiten veröffentlicht hat, die jeweils
mindestens 8 Mal zitiert wurden.
http://de.wikipedia.org/wiki/H-Index
Slide 33Hirsch-Index
Number of Citations per Publication
Publications Author A Author B Author C Author D
1 4 50 800 1.000
2 4 50 1 1.000
3 4 49 1 975
4 4 38 1 3
5 1 4 1 3
6 0 4 1 3
7 0 4 1 3
8 0 4 0 3
9 0 4 0 3
10 0 4 0 3
Hirsch-Index ? ? ? ?
Slide 34Hirsch-Index
Number of Citations per Publication
Publications Author A Author B Author C Author D
1 4 50 800 1.000
2 4 50 1 1.000
3 4 49 1 975
4 4 38 1 3
5 1 4 1 3
6 0 4 1 3
7 0 4 1 3
8 0 4 0 3
9 0 4 0 3
10 0 4 0 3
Hirsch-Index 4 ? ? ?
Slide 35Hirsch-Index
Number of Citations per Publication
Publications Author A Author B Author C Author D
1 4 50 800 1.000
2 4 50 1 1.000
3 4 49 1 975
4 4 38 1 3
5 1 4 1 3
6 0 4 1 3
7 0 4 1 3
8 0 4 0 3
9 0 4 0 3
10 0 4 0 3
Hirsch-Index 4 4 ? ?
Slide 36Hirsch-Index
Number of Citations per Publication
Publications Author A Author B Author C Author D
1 4 50 800 1.000
2 4 50 1 1.000
3 4 49 1 975
4 4 38 1 3
5 1 4 1 3
6 0 4 1 3
7 0 4 1 3
8 0 4 0 3
9 0 4 0 3
10 0 4 0 3
Hirsch-Index 4 4 1 ?
Slide 37Hirsch-Index
Number of Citations per Publication
Publications Author A Author B Author C Author D
1 4 50 800 1.000
2 4 50 1 1.000
3 4 49 1 975
4 4 38 1 3
5 1 4 1 3
6 0 4 1 3
7 0 4 1 3
8 0 4 0 3
9 0 4 0 3
10 0 4 0 3
Hirsch-Index 4 4 1 3
Slide 38Hirsch-Index
Vergleich h-index/JIF:
• Hirsch (h-) Index bezieht sich auf Personen, nicht auf Journale
• Datenbasis unklar definiert
Web Of Science, http://apps.isiknowledge.com
Scopus, http://ww.scopus.com
Google Scholar, http://scholar.google.com
…
Eigenarten
Vorteil: Eine einzige, viel zitierte Publikation hat keinen Effekt auf den h-Index.
Nachteil: Innovative Ansätze werden nicht berücksichtigt.
Slide 39Hirsch-Index
Kritik:
• vgl. JIF-Kritik: Vernachlässigung von Dokumentengattungen und nicht-
englischen Publikationen, Probleme mit mehreren Autoren, Messung von
Popularität oder Qualität?
• Genaue Autorenidentifikation in der Datenbank (Web of Science, Scopus, ...)
ist nicht gewährleistet
• h-index hängt von Disziplin und Alter des Autors ab
• Jensen et al. (2009): Von etwa 20 evaluierten Methoden war der h-index am
besten geeignet, Beförderungen am CNRS zu erklären: Aber Genauigkeit nur
48%.
Slide 40Ratings & Rankings
Slide 41Ratings & Ranking
Multidisziplinär
Anne Harzing‘s Journal Quality List
https://harzing.com/resources/journal-quality-list
Journal Impact Factor
https://jcr.incites.thomsonreuters.com/
Scimago Journal Rank
https://www.scimagojr.com/
GoogleScholar
https://scholar.google.de/citations?view_op=top_venues&hl=de
Slide 42Ratings & Ranking
Wirtschaftswissenschaften
Ranking des Verbands der Hochschullehrer für Betriebswirtschaft (Experten-Ranking)
http://vhbonline.org/VHB4you/jourqual/
Handelsblatt Ranking (Hybrid: Experten-/Impact-Ranking)
https://www.handelsblatt.com/politik/deutschland/journal-ranking/9665428.html
Rating der Wirtschaftsuniversität Wien (Experten-Ranking)
https://www.wu.ac.at/mitarbeitende/infos-fuer-forschende/wu-journalratings-
leistungspraemien/
IDEAS/RePEc Simple Impact Factors for Journals (VWL) (Impact-Ranking)
https://ideas.repec.org/top/top.journals.simple.html
Liste des Tinbergen Institute (VWL) (Experten-Ranking)
Weitere Informationen: https://www.wiwi.uni-rostock.de/institut-fuer-
volkswirtschaftslehre/forschung/rankings/
Seite 43Ratings & Ranking
Sozialwissenschaften
GESIS List (Mostly German):
https://www.gesis.org/fileadmin/upload/dienstleistung/fachinformationen/db_infosysteme/
Zeitschriften.pdf
ISA Journal List
https://www.isa-sociology.org/en/opportunities/publication-opportunities/list-of-the-
selected-journals
Jerry A. Jacobs: Journal Rankings in Sociology (2016)
https://sociology.sas.upenn.edu/sites/default/files/Journal%20Rankings%20in%20Sociolo
gy%20november%202015.pdf
Slide 44Ratings & Ranking
Geisteswissenschaften
European Reference Index for the Humanities (ERIH):
https://dbh.nsd.uib.no/publiseringskanaler/erihplus/
Humanities Journals Wiki
https://humanitiesjournals.fandom.com/wiki/Comparative_Literature,_Cultural_Studies_an
d_Theory_Journals
Journal Ranking of the NYU Shanghai
https://shanghai.nyu.edu/sites/default/files/media/Journal%20Ranking_Cultural%20Studie
s.pdf
MLA Directory of Periodicals
https://apps.mla.org/cgi-shl/docstudio/docs.pl?login&msg=requirelogin&xurl=dop
Slide 45Altmetrics, Profile
& akademisches quantified self
Slide 46Altmetrics
Auswertung einer Vielzahl von Nutzungsereignissen von
wissenschaftlichen Informationen aus heterogenen Datenquellen
http://altmetrics.org/manifesto/
Slide 47Altmetrics
Services:
⚫ Altmetrics.com: Fokus auf Journale
Explorer: https://www.altmetric.com/demos/plos.html
⚫ PLUM Analytics: Fokus auf der Evaluierung von Personen und
Organisationen
⚫ Impactstory: Fokus auf Personen
https://profiles.impactstory.org
Profile Björn Brembs
https://profiles.impactstory.org/u/0000-0001-7824-7650
Slide 48Profile
Profile erleichtern die Zuordnung von Zitationen und Altmetrics zu ihrer
Person
⚫ Google Scholar
⚫ ORCID, Online Researcher and Contributor ID
http://orcid.org
⚫ Scopus Author Profile
⚫ Web of Science Researcher ID
Slide 49Referenzen
Campbell, P. (2005). In praise of soft science. Nature, 435(7045), 1003. https://doi.org/10.1038/4351003a
Campbell, P. (2008). Escape from the impact factor. Ethics in Science and Environmental Politics, 8(1), 5–7.
https://doi.org/10.3354/esep00078
Deutsche Forschungsgemeinschaft. (2005). Publikationsstrategien im Wandel? Ergebnisse einer Umfrage zum Publikations- und
Rezeptionsverhalten unter besonderer Berücksichtigung von Open Access. Deutsche Forschungsgemeinschaft DFG.
https://www.dfg.de/download/pdf/dfg_im_profil/geschaeftsstelle/publikationen/studien/studie_publikationsstrategien_bericht_dt.
pdf
Dong, P., Loh, M., & Mondry, A. (2005). The „impact factor“ revisited. Biomedical digital libraries, 2(7).
https://doi.org/10.1186/1742-5581-2-7
Engels, T. C. E., Ossenblok, T. L. B., & Spruyt, E. H. J. (2012). Changing publication patterns in the Social Sciences and
Humanities, 2000–2009. Scientometrics, 93(2), 373–390. https://doi.org/10.1007/s11192-012-0680-2
Fröhlich, G. (1999). Das Messen des leicht Meßbaren: Output-Indikatoren, Impact-Maße: Artefakte der Szientometrie? In J.
Becker & W. Göhring (Hrsg.), Kommunikation statt Markt: Zu einer alternativen Theorie der Informationsgesellschaft (S. 27–
38). GMD- Forschungszentrum Informationstechnik GmbH. http://eprints.rclis.org/9115/
Fröhlich, G. (2003). Anonyme Kritik: Peer Review auf dem Prüfstand der Wissenschaftsforschung. medizin - bibliothek -
information, 3(2), 33–39.
Fröhlich, G. (2006). Plagiate und unethische Autorenschaft. Information - Wissenschaft & Praxis, 57(2), 81–89.
Fröhlich, G. (2009). Die Wissenschaftstheorie fordert Open Access. Information - Wissenschaft & Praxis, 60(5), 253–258.
27.10.2020Referenzen
Pöschl, U. (2004a). Interactive peer review enhances journal quality. Research Information, September/October.
http://www.researchinformation.info/risepoct04openaccess.html
Pöschl, U. (2004b). Interactive journal concept for improved scientific publishing and quality assurance. Learned Publishing, 17(2),
105–113. https://doi.org/10.1087/095315104322958481
Pöschl, U. (2006a). Die neue Offenheit des Wissens. MaxPlanckForschung. Das Wissenschaftsmagazin der Max-Planck-
Gesellschaft, 3, 26–31.
Pöschl, U. (2006b). Open Access & Collaborative Peer Review: Öffentliche Begutachtung und interaktive Diskussion zur
Verbesserung von Kommunikation und Qualitätssicherung in Wissenschaft und Gesellschaft. In S. Hornbostel & D. Simon
(Hrsg.), Wie viel (In-) Transparenz ist notwendig? : Peer Review revisited (iFQ Workin, S. 43–46). Institut für
Forschungsinformation und Qualitätssicherung.
Seglen, P. O. (1997). Why the impact factor of journals should not be used for evaluating research. BMJ, 314(7079), 498–502.
https://doi.org/10.1136/bmj.314.7079.497
Seglen, P. O. (1998). Citation rates and journal impact factors are not suitable for evaluation of research. Acta Orthopaedica,
69(3), 224–229. https://doi.org/10.3109/17453679809000920
Sivertsen, G. (2016). Patterns of internationalization and criteria for research assessment in the social sciences and humanities.
Scientometrics, 107(2), 357–368. https://doi.org/10.1007/s11192-016-1845-1
27.10.2020Thank you very much
for your attention.
Dr. Ulrich Herb
u.herb@scidecode.com
http://www.scidecode.com
27.10.2020Sie können auch lesen
