Auswirkungsfaktor - Impact factor

Der Impact Factor ( IF ) oder Journal Impact Factor ( JIF ) einer wissenschaftlichen Zeitschrift ist ein von Clarivate berechneter szientometrischer Index , der die jährliche durchschnittliche Anzahl der Zitationen von Artikeln widerspiegelt, die in den letzten zwei Jahren in einer bestimmten Zeitschrift veröffentlicht wurden, wie von Clarivates Web indiziert der Wissenschaft . Als Metrik auf Zeitschriftenebene wird sie häufig als Proxy für die relative Bedeutung einer Zeitschrift in ihrem Fachgebiet verwendet; Zeitschriften mit höheren Impact-Faktor-Werten werden in ihrem jeweiligen Bereich wichtiger oder angesehener als Zeitschriften mit niedrigeren Werten. Es wird zwar häufig von Universitäten und Fördereinrichtungen zur Entscheidung über Förder- und Forschungsanträge verwendet, ist jedoch in letzter Zeit wegen Verfälschung guter wissenschaftlicher Praxis angegriffen worden.

Geschichte

Der Impact Factor wurde von Eugene Garfield entwickelt , dem Gründer des Institute for Scientific Information (ISI) in Philadelphia. Für Zeitschriften, die in den Journal Citation Reports (JCR) aufgeführt sind, wurden ab 1975 jährlich Impact-Faktoren berechnet . ISI wurde 1992 von Thomson Scientific & Healthcare übernommen und wurde als Thomson ISI bekannt. Im Jahr 2018 hat sich Thomson-Reuters ausgegliedert und ISI an Onex Corporation und Baring Private Equity Asia verkauft . Sie gründeten eine neue Gesellschaft, Clarivate, die jetzt der Herausgeber der JCR ist.

Berechnung

In einem bestimmten Jahr ist der zweijährige Journal Impact Factor das Verhältnis zwischen der Anzahl der in diesem Jahr erhaltenen Zitationen für Publikationen in dieser Zeitschrift, die in den beiden Vorjahren veröffentlicht wurden, und der Gesamtzahl der in dieser Zeitschrift veröffentlichten "zitierbaren Artikel". in den beiden vorangegangenen Jahren:

Zum Beispiel hatte Natur im Jahr 2017 einen Impact Factor von 41.577:

Dies bedeutet, dass die 2015 und 2016 veröffentlichten Veröffentlichungen 2017 im Durchschnitt jeweils etwa 42 Zitate erhielten. Beachten Sie, dass 2017 Impact Factors im Jahr 2018 berichtet werden; sie können erst berechnet werden, wenn alle Publikationen des Jahres 2017 von der Indexierungsstelle bearbeitet wurden.

Der Wert des Impact-Faktors hängt davon ab, wie "Zitate" und "Publikationen" definiert werden; letztere werden oft als "citable items" bezeichnet. In der gegenwärtigen Praxis werden sowohl "Zitate" als auch "Publikationen" ausschließlich von ISI wie folgt definiert. "Publikationen" sind Artikel, die in der Datenbank des Web of Science (WoS) als "Artikel", "Rezension" oder "Proceedings Paper" klassifiziert sind; andere Elemente wie redaktionelle Beiträge, Korrekturen, Anmerkungen, Rücknahmen und Diskussionen sind ausgeschlossen. WoS ist für alle registrierten Benutzer zugänglich, die die Anzahl der zitierbaren Artikel für eine bestimmte Zeitschrift unabhängig überprüfen können. Im Gegensatz dazu wird die Anzahl der Zitate nicht aus der WoS-Datenbank extrahiert, sondern aus einer dedizierten JCR-Datenbank, die für allgemeine Leser nicht zugänglich ist. Daher ist der häufig verwendete „JCR Impact Factor“ ein proprietärer Wert, der vom ISI definiert und berechnet wird und von externen Benutzern nicht verifiziert werden kann.

Neue Zeitschriften, die ab ihrer ersten erschienenen Ausgabe indexiert werden, erhalten nach zwei Jahren Indexierung einen Impact Factor; in diesem Fall sind die Zitate zum Jahr vor Band 1 und die Anzahl der im Jahr vor Band 1 veröffentlichten Artikel bekannte Nullwerte. Zeitschriften, die mit einem anderen Band als dem ersten Band indexiert werden, erhalten erst nach drei Jahren Indexierung einen Impact Factor. Gelegentlich weist Journal Citation Reports neuen Zeitschriften mit weniger als zwei Jahren Indexierung basierend auf Teilzitierungsdaten einen Impact-Faktor zu. Die Berechnung verwendet immer zwei vollständige und bekannte Jahre der Exemplaranzahl, aber für neue Titel ist eine der bekannten Anzahlen null. Jahrbücher und andere unregelmäßige Veröffentlichungen veröffentlichen manchmal keine Artikel in einem bestimmten Jahr, was sich auf die Zählung auswirkt. Der Impact Factor bezieht sich auf einen bestimmten Zeitraum; es ist möglich, sie für jeden gewünschten Zeitraum zu berechnen. Zum Beispiel enthält die JCR auch einen Fünf-Jahres-Impact-Faktor , der berechnet wird, indem die Anzahl der Zitationen der Zeitschrift in einem bestimmten Jahr durch die Anzahl der in dieser Zeitschrift in den letzten fünf Jahren veröffentlichten Artikel geteilt wird.

Verwenden

Ursprünglich als Instrument erfunden, um Universitätsbibliothekaren bei der Entscheidung für den Kauf von Zeitschriften zu helfen, wurde der Impact Factor bald als Maß für die Beurteilung des akademischen Erfolgs verwendet. Diese Verwendung von Impact-Faktoren wurde 1998 von Hoeffel zusammengefasst:

Impact Factor ist kein perfektes Werkzeug, um die Qualität von Artikeln zu messen, aber es gibt nichts besseres und hat den Vorteil, dass es bereits existiert und ist daher eine gute Technik für die wissenschaftliche Bewertung. Die Erfahrung hat gezeigt, dass die besten Zeitschriften in jedem Fachgebiet diejenigen sind, in denen es am schwierigsten ist, einen Artikel akzeptiert zu bekommen, und dies sind die Zeitschriften, die einen hohen Impact-Faktor haben. Die meisten dieser Zeitschriften existierten lange bevor der Impact Factor entwickelt wurde. Die Verwendung des Impact-Faktors als Qualitätsmaßstab ist weit verbreitet, da er gut zu unserer Meinung passt, die wir in jedem Bereich von den besten Zeitschriften in unserem Fachgebiet haben.....Zusammenfassend können renommierte Zeitschriften Veröffentlichungen auf hohem Niveau veröffentlichen. Daher ist ihr Impact Factor hoch und nicht das Gegenteil.

Da Impact-Faktoren eher eine Metrik auf Zeitschriftenebene als eine Metrik auf Artikel- oder Personenebene sind, ist diese Verwendung umstritten. Eugene Garfield, der Erfinder des JIF, stimmte Hoeffel zu, warnte jedoch vor dem "Missbrauch bei der Bewertung von Einzelpersonen", da es "eine große Variation [von Zitaten] von Artikel zu Artikel innerhalb einer einzigen Zeitschrift" gebe. Trotz dieser Warnung hat sich die Verwendung des JIF weiterentwickelt und spielt eine Schlüsselrolle bei der Bewertung einzelner Forscher, ihrer Stellenbewerbungen und ihrer Förderanträge. Im Jahr 2005 stellte das Journal of Cell Biology Folgendes fest:

Impact-Faktor-Daten ... haben einen starken Einfluss auf die wissenschaftliche Gemeinschaft und beeinflussen Entscheidungen darüber, wo veröffentlicht werden, wen gefördert oder eingestellt werden soll, den Erfolg von Stipendienanträgen und sogar Gehaltsboni.

Eine gezieltere Forschung hat begonnen, stichhaltige Beweise dafür zu liefern, wie tief der Wirkungsfaktor in formelle und informelle Forschungsbewertungsverfahren eingebettet ist. Eine Überprüfung im Jahr 2019 untersuchte, wie oft das JIF in Dokumenten zur Überprüfung, Beförderung und Anstellung von Wissenschaftlern an US-amerikanischen und kanadischen Universitäten vorkam. Es kam zu dem Schluss, dass 40 % der Universitäten, die sich auf akademische Forschung konzentrieren, das JIF ausdrücklich als Teil solcher Überprüfungs-, Beförderungs- und Amtszeitverfahren erwähnt haben. Und eine Studie aus dem Jahr 2017 über das Verhalten von Forschern in den Biowissenschaften kam zu dem Schluss, dass „die alltägliche Entscheidungsfindung stark vom Druck bestimmt wird, in einflussreichen Zeitschriften zu veröffentlichen“. Die tief verwurzelte Natur solcher Indikatoren beeinflusst nicht nur die Forschungsbewertung, sondern auch die grundlegendere Frage, was Forschung tatsächlich betrieben wird: "Angesichts der gegenwärtigen Methoden der Evaluierung und Bewertung von Forschung stehen riskante, langwierige und unorthodoxe Projekte selten im Mittelpunkt."

Kritik

Der Einsatz von Impact-Faktoren wird vielfach kritisiert, sowohl hinsichtlich seiner statistischen Validität als auch hinsichtlich seiner Implikationen für die Durchführung und Bewertung von Wissenschaft. Eine Studie aus dem Jahr 2007 stellte fest, dass der grundlegendste Fehler darin besteht, dass Impact-Faktoren den Mittelwert von Daten darstellen, die nicht normalverteilt sind , und schlug vor, dass es angemessener wäre, den Median dieser Daten darzustellen. Es gibt auch eine allgemeinere Debatte über die Gültigkeit des Impact-Faktors als Maß für die Bedeutung von Zeitschriften und die Wirkung von Richtlinien, die Redakteure ergreifen können, um ihren Impact-Faktor zu steigern (vielleicht zum Nachteil von Lesern und Autoren). Andere Kritik konzentriert sich auf die Wirkung des Impact-Faktors auf das Verhalten von Wissenschaftlern, Redakteuren und anderen Stakeholdern. Andere haben allgemeinere Kritik geäußert und argumentiert, dass die Betonung des Impact-Faktors aus dem negativen Einfluss neoliberaler Politik auf die Wissenschaft resultiert . Diese stärker politisierten Argumente erfordern nicht nur den Ersatz des Impact-Faktors durch anspruchsvollere Metriken, sondern auch eine Diskussion über den gesellschaftlichen Wert von Forschungsbewertung und die zunehmende Unsicherheit wissenschaftlicher Karrieren in der Hochschulbildung.

Unanwendbarkeit des Impact-Faktors auf Einzelpersonen und zwischen verschiedenen Disziplinen

Es wurde festgestellt, dass Impact-Faktoren und die Zitationsanalyse im Allgemeinen von feldabhängigen Faktoren beeinflusst werden, die Vergleiche nicht nur zwischen Disziplinen, sondern sogar innerhalb verschiedener Forschungsfelder einer Disziplin ungültig machen. Auch der Anteil der gesamten Zitationen in den ersten zwei Jahren nach der Veröffentlichung variiert stark zwischen den Disziplinen von 1–3% in den mathematischen und physikalischen Wissenschaften bis zu 5–8% in den biologischen Wissenschaften. Daher können Impact-Faktoren nicht verwendet werden, um Zeitschriften fachübergreifend zu vergleichen.

Impact-Faktoren werden manchmal verwendet, um nicht nur die Zeitschriften, sondern auch die darin enthaltenen Veröffentlichungen zu bewerten, wodurch Veröffentlichungen in bestimmten Fächern abgewertet werden. Im Jahr 2004 wurde der Higher Education Funding Council for England vom Wissenschafts- und Technologieausschuss des Unterhauses aufgefordert, die Gremien für Forschungsbewertungsübungen daran zu erinnern , dass sie verpflichtet sind, die Qualität des Inhalts einzelner Artikel und nicht den Ruf der Zeitschrift zu bewerten die sie veröffentlicht werden. Andere Studien haben wiederholt festgestellt, dass der Impact Factor eine Kennzahl für Zeitschriften ist und nicht zur Bewertung einzelner Forscher oder Institutionen verwendet werden sollte.

Fragwürdige redaktionelle Richtlinien, die den Impact Factor beeinflussen

Da der Impact-Faktor allgemein als Indikator für die Forschungsqualität akzeptiert wird, übernehmen einige Zeitschriften redaktionelle Richtlinien und Praktiken, von denen einige akzeptabel und andere zweifelhaft sind, um ihren Impact-Faktor zu erhöhen. Beispielsweise können Zeitschriften einen größeren Prozentsatz von Übersichtsartikeln veröffentlichen, die im Allgemeinen häufiger zitiert werden als Forschungsberichte. Im Jahr 2020 durchgeführte Forschungen zu Zahnmedizin-Fachzeitschriften kamen zu dem Schluss, dass die Veröffentlichung von „systematischen Übersichten einen signifikanten Einfluss auf den Journal Impact Factor hat … während Veröffentlichungen klinischer Studien keinen Einfluss auf diesen Faktor haben Wirkungsfaktor."

Zeitschriften können auch versuchen, die Anzahl der „zitierbaren Items“ – dh den Nenner der Wirkungsfaktorgleichung – zu begrenzen, indem sie entweder die Veröffentlichung von Artikeln ablehnen, die wahrscheinlich nicht zitiert werden (z. B. Fallberichte in medizinischen Zeitschriften) oder indem sie Artikel ändern ( B. indem ein Abstract oder eine Bibliographie nicht zugelassen wird, in der Hoffnung, dass Journal Citation Reports es nicht als "zitierbares Element" betrachtet. Als Ergebnis der Verhandlungen über die „Zitierbarkeit“ von Items wurden Impact-Faktor-Variationen von mehr als 300 % beobachtet. Items, die als unzitierbar gelten – und daher nicht in Impact-Faktor-Berechnungen eingehen – können, wenn sie zitiert werden, trotz der Leichtigkeit, mit der solche Zitate ausgeschlossen werden könnten, dennoch in den Zählerteil der Gleichung eingehen. Dieser Effekt ist schwer einzuschätzen, denn die Unterscheidung zwischen redaktionellem Kommentar und kurzen Originalartikeln ist nicht immer offensichtlich. Zum Beispiel können Briefe an den Herausgeber Teil einer der beiden Klassen sein.

Eine andere weniger heimtückische Taktikzeitschrift ist es, einen großen Teil ihrer Aufsätze oder zumindest die Aufsätze, von denen erwartet wird, dass sie hoch zitiert werden, zu Beginn des Kalenderjahres zu veröffentlichen. Dies gibt diesen Papieren mehr Zeit, um Zitate zu sammeln. Es gibt mehrere Methoden, die nicht unbedingt mit schändlicher Absicht für eine Zeitschrift sind, um Artikel in derselben Zeitschrift zu zitieren, die den Impact-Faktor der Zeitschrift erhöhen.

Abgesehen von redaktionellen Richtlinien, die den Impact-Faktor verzerren können, können Zeitschriften offene Schritte unternehmen, um das System auszutricksen . So veröffentlichte beispielsweise die Fachzeitschrift Folia Phoniatrica et Logopaedica mit einem Impact-Faktor von 0,66 im Jahr 2007 ein Editorial, in dem alle Artikel von 2005 bis 2006 zitiert wurden, um gegen die "absurde wissenschaftliche Situation in einigen Ländern" im Zusammenhang mit der Verwendung von der Wirkungsfaktor. Durch die große Zahl der Zitationen stieg der Impact Factor dieser Zeitschrift auf 1,44. Aufgrund des Anstiegs wurde die Zeitschrift nicht in die Journal Citation Reports 2008 und 2009 aufgenommen .

Zwangszitieren ist eine Praxis, bei der ein Herausgeber einen Autor zwingt, einem Artikel überflüssige Zitate hinzuzufügen, bevor die Zeitschrift der Veröffentlichung zustimmt, um den Impact-Faktor der Zeitschrift zu erhöhen. Eine im Jahr 2012 veröffentlichte Umfrage zeigt, dass einer von fünf Forschern aus den Bereichen Wirtschaftswissenschaften, Soziologie, Psychologie und mehreren betriebswirtschaftlichen Disziplinen Zwangszitationen erlebt hat und häufiger in der Wirtschaft und in Zeitschriften mit einem geringeren Impact Factor vorkommt. Redakteure führender Wirtschaftszeitschriften schlossen sich zusammen, um die Praxis zu desavouieren. Für andere Disziplinen wurden jedoch gelegentlich Fälle von Zwangszitieren gemeldet.

Angenommene Korrelation zwischen Impact Factor und Qualität

Der Journal Impact Factor (JIF) wurde ursprünglich von Eugene Garfield als Metrik entwickelt, um Bibliothekaren zu helfen, Entscheidungen darüber zu treffen, welche Zeitschriften es wert sind, indiziert zu werden, da der JIF die Anzahl der Zitationen zu den in jeder Zeitschrift veröffentlichten Artikeln aggregiert. Seitdem ist das JIF als Zeichen für die "Qualität" der Zeitschrift bekannt geworden und hat sich stattdessen auch auf institutioneller Ebene für die Bewertung von Forschung und Forschern verbreitet. Es hat daher einen erheblichen Einfluss auf die Steuerung von Forschungspraktiken und -verhalten.

Bereits 2010 begannen nationale und internationale Forschungsförderungsinstitutionen darauf hinzuweisen, dass numerische Indikatoren wie der JIF nicht als Qualitätsmaßstab betrachtet werden sollten. Tatsächlich hat die Forschung gezeigt, dass der JIF eine stark manipulierte Metrik ist, und die Rechtfertigung für seine fortgesetzte weit verbreitete Verwendung über seinen ursprünglichen engen Zweck hinaus scheint eher in seiner Einfachheit (leicht berechenbar und vergleichbare Zahl) als in einer tatsächlichen Beziehung zur Forschungsqualität zu liegen.

Empirische Evidenz zeigt, dass der Missbrauch des JIF – und von Zeitschriftenranking-Metriken im Allgemeinen – eine Reihe negativer Konsequenzen für das wissenschaftliche Kommunikationssystem hat. Dazu gehören Lücken zwischen der Reichweite einer Zeitschrift und der Qualität ihrer einzelnen Artikel und eine unzureichende Abdeckung von Sozial- und Geisteswissenschaften sowie Forschungsergebnissen aus ganz Lateinamerika, Afrika und Südostasien. Weitere Nachteile sind die Marginalisierung der Forschung in Volkssprachen und zu lokal relevanten Themen und die Veranlassung zu unethischer Autorschaft und Zitierpraktiken. Im Allgemeinen fördern die Impact-Faktoren eine Reputationsökonomie, in der wissenschaftlicher Erfolg auf der Veröffentlichung in renommierten Zeitschriften basiert, vor den eigentlichen Forschungsqualitäten wie rigorosen Methoden, Reproduzierbarkeit und sozialer Wirkung. Es hat sich gezeigt, dass die Verwendung von Journalprestige und der JIF zur Kultivierung eines Wettbewerbsregimes in der Wissenschaft nachteilige Auswirkungen auf die Forschungsqualität hat.

Eine Reihe regionaler und internationaler Initiativen bieten jetzt alternative Forschungsbewertungssysteme an und schlagen diese vor, darunter Schlüsseldokumente wie das Leiden Manifest und die San Francisco Declaration on Research Assessment (DORA). Plan S fordert neben grundlegenden Veränderungen im wissenschaftlichen Kommunikationssystem eine breitere Übernahme und Umsetzung solcher Initiativen. Als geeignete Qualitätsmaßstäbe für Autoren und Forschung sollten Konzepte der Forschungsexzellenz um transparente Arbeitsabläufe und zugängliche Forschungsergebnisse neu gestaltet werden.

JIFs werden in vielen Ländern immer noch regelmäßig zur Bewertung von Forschungsergebnissen verwendet, was ein Problem darstellt, da eine Reihe von Problemen im Zusammenhang mit der Undurchsichtigkeit der Metrik und der Tatsache, dass sie oft von Verlagen ausgehandelt wird, bestehen bleibt.

Ausgehandelte Werte

Die Ergebnisse eines Impact Factors können sich dramatisch ändern, je nachdem, welche Items als „zitierbar“ gelten und daher im Nenner enthalten sind. Ein berüchtigtes Beispiel hierfür war 1988, als beschlossen wurde, im FASEB Journal veröffentlichte Besprechungsabstracts nicht mehr in den Nenner aufzunehmen. Der Impact-Faktor der Zeitschrift stieg von 0,24 im Jahr 1988 auf 18,3 im Jahr 1989. Verlage besprechen routinemäßig mit Clarivate, wie sie die "Genauigkeit" des Impact-Faktors ihrer Zeitschriften verbessern und somit höhere Punktzahlen erzielen können.

Solche Diskussionen produzieren routinemäßig "ausgehandelte Werte", die zu dramatischen Veränderungen der beobachteten Punktzahlen für Dutzende von Zeitschriften führen, manchmal nach nicht zusammenhängenden Ereignissen wie dem Kauf durch einen der großen fünf Verlage .

Verteilungsschiefe

Die Impact-Faktoren von Zeitschriften werden stark von einer kleinen Anzahl hochzitierter Veröffentlichungen beeinflusst. Im Allgemeinen erhielten die meisten in den Jahren 2013–14 veröffentlichten Artikel viel weniger Zitate, als der Impact-Faktor anzeigt. Zwei Zeitschriften (Nature [blau], PLOS ONE [orange]) repräsentieren jeweils eine stark zitierte und eine weniger zitierte Zeitschrift. Beachten Sie, dass die hohe Zitierwirkung von Nature von relativ wenigen häufig zitierten Artikeln abgeleitet wird. Geändert nach Callaway 2016.

Da die Anzahl der Zitationen stark verzerrte Verteilungen aufweist , ist die durchschnittliche Anzahl von Zitaten potenziell irreführend, wenn sie dazu verwendet wird, die typische Wirkung von Artikeln in der Zeitschrift und nicht die Gesamtwirkung der Zeitschrift selbst zu messen. Zum Beispiel wird etwa 90% der Natur ' s 2004 Impaktfaktor wurde auf nur ein Viertel seiner Publikationen basieren. Somit ist die tatsächliche Zahl der Zitationen für einen einzelnen Artikel in der Zeitschrift in den meisten Fällen deutlich geringer als die durchschnittliche Zahl der Zitationen über Artikel hinweg. Darüber hinaus nimmt die Stärke des Zusammenhangs zwischen Impact-Faktoren von Zeitschriften und den Zitierraten der darin enthaltenen Artikel stetig ab, seit Artikel digital verfügbar sind.

Die Wirkung von Ausreißern zeigt sich im Fall des Artikels "Eine kurze Geschichte von SHELX", der diesen Satz enthielt: "Dieses Papier könnte als allgemeine Literaturangabe dienen, wenn eines oder mehrere der quelloffenen SHELX-Programme (und die Bruker AXS Version SHELXTL) werden im Rahmen einer Kristallstrukturbestimmung" eingesetzt. Dieser Artikel erhielt mehr als 6.600 Zitate. Infolgedessen stieg der Impact Factor der Zeitschrift Acta Crystallographica Section A von 2.051 im Jahr 2008 auf 49,926 im Jahr 2009, mehr als bei Nature (31,434) und Science (bei 28,103). Der am zweithäufigsten zitierte Artikel in Acta Crystallographica Section A im Jahr 2008 hatte nur 28 Zitate.

Kritiker des JIF geben an, dass die Verwendung des arithmetischen Mittels bei seiner Berechnung problematisch ist, da das Muster der Zitationsverteilung verzerrt ist und Zitationsverteilungsmetriken als Alternative zu Impact-Faktoren vorgeschlagen wurden.

Es gab jedoch auch Plädoyer für einen differenzierteren Ansatz bei der Beurteilung der Verteilungsschiefe des Impact Factors. Waltman und Traag führten in ihrem Papier von 2021 zahlreiche Simulationen durch und kamen zu dem Schluss, dass „statistische Einwände gegen die Verwendung des IF auf der Ebene einzelner Artikel nicht überzeugend sind“ und dass „der IF ein genauerer Indikator für den Wert von einen Artikel als die Anzahl der Zitate des Artikels".

Mangelnde Reproduzierbarkeit

Während das zugrunde liegende mathematische Modell öffentlich bekannt ist, wurde der Datensatz, der zur Berechnung des JIF verwendet wurde, nicht offen geteilt. Dies führte zu Kritik: "So wie Wissenschaftler die Ergebnisse einer wissenschaftlichen Arbeit nicht akzeptieren würden, ohne die Primärdaten zu sehen, sollten sie sich nicht auf den Impact-Faktor von Thomson Scientific verlassen, der auf versteckten Daten basiert." Ein Artikel aus dem Jahr 2019 zeigte jedoch, dass „mit Zugriff auf die Daten und sorgfältiger Reinigung das JIF reproduziert werden kann“, obwohl dies viel Arbeit erforderte. Ein Forschungspapier aus dem Jahr 2020 ging noch weiter. Es zeigte sich, dass es durch Abfragen von Open-Access- oder teilweise Open-Access-Datenbanken wie Google Scholar, ResearchGate und Scopus möglich ist, ungefähre Impact-Faktoren zu berechnen, ohne Web of Science / JCR kaufen zu müssen.

Größere negative Auswirkungen auf die Wissenschaft

So wie der Impact Factor wegen verschiedener unmittelbarer Probleme im Zusammenhang mit seiner Anwendung kritisiert wurde, so wurde auch kritisiert, dass seine Anwendung den breiteren wissenschaftlichen Prozess untergräbt. Untersuchungen haben gezeigt, dass bibliometrische Zahlen, insbesondere der Impact Factor, die Qualität der Peer-Reviews, die ein Artikel erhält, eine Zurückhaltung beim Teilen von Daten, eine abnehmende Qualität von Artikeln und einen geringeren Umfang in Bezug auf das, was sie recherchieren können, verringern. „Für viele Forschende erscheinen nur solche Forschungsfragen und Projekte gangbar, die dem Anspruch gerecht werden, in Bezug auf metrische Leistungsindikatoren – und vor allem den Journal Impact Factor – gut zu punkten.“ Darüber hinaus wird der Veröffentlichungs- und Wissenschaftsprozess verlangsamt – Autoren versuchen automatisch, mit den Zeitschriften mit dem höchsten Impact Factor zu publizieren – „da Redakteure und Gutachter die Aufgabe haben, Arbeiten zu begutachten, die nicht an den am besten geeigneten Orten eingereicht wurden“.

Institutionelle Reaktionen auf Kritik am Impact Factor

Angesichts seiner zunehmenden Kritik und seiner weit verbreiteten Verwendung als Mittel zur Forschungsbewertung haben Organisationen und Institutionen begonnen, sich vom Journal Impact Factor abzuwenden. Im November 2007 gab die European Association of Science Editors (EASE) eine offizielle Stellungnahme heraus, in der sie empfahl, „Journal Impact Factors nur – und mit Vorsicht – zu verwenden, um den Einfluss ganzer Zeitschriften zu messen und zu vergleichen, nicht aber für die Bewertung einzelner Veröffentlichungen, und sicherlich nicht für die Bewertung von Forschern oder Forschungsprogrammen".

Im Juli 2008 veröffentlichte das Committee on Freedom and Responsibility in the Conduct of Science (CFRS) des International Council for Science (ICSU) eine „Erklärung zu Veröffentlichungspraktiken und -indizes sowie zur Rolle von Peer Review in der Forschungsbewertung“, in der viele mögliche Lösungen vorgeschlagen wurden. B. die Berücksichtigung einer begrenzten Anzahl von Publikationen pro Jahr, die für jeden Wissenschaftler berücksichtigt werden müssen, oder sogar die Bestrafung von Wissenschaftlern für eine übermäßige Anzahl von Publikationen pro Jahr – z. B. mehr als 20.

Im Februar 2010 hat die Deutsche Forschungsgemeinschaft (DFG) einen neuen Leitfaden veröffentlicht, um die Zahl der Publikationen, die bei der Beantragung einer Förderung eingereicht werden können, zu reduzieren: ." Sie stellten fest, dass bei Entscheidungen über „leistungsorientierte Fördermittelvergaben, Habilitationen, Berufungen oder die Begutachtung von Förderanträgen auf numerische Indikatoren wie den h-Index und den Impact Factor“ zunehmend Wert gelegt wird . Die britische Forschungsbewertungsübung für 2014 verbot auch den Journal Impact Factor, obwohl Beweise darauf hindeuteten, dass dieses Verbot oft ignoriert wurde.

Als Reaktion auf wachsende Bedenken hinsichtlich der unangemessenen Verwendung von Journal Impact Factors bei der Bewertung wissenschaftlicher Ergebnisse und der Wissenschaftler selbst hat die American Society for Cell Biology zusammen mit einer Gruppe von Herausgebern und Herausgebern wissenschaftlicher Zeitschriften die San Francisco Declaration on Research Assessment (DORA) erstellt. DORA wurde im Mai 2013 veröffentlicht und hat die Unterstützung von Tausenden von Einzelpersonen und Hunderten von Institutionen erhalten, darunter im März 2015 die League of European Research Universities (ein Konsortium von 21 der renommiertesten Forschungsuniversitäten in Europa), die das Dokument über die DORA-Website.

Auch Verlage, selbst solche mit hohen Impact Factors, erkannten die Mängel. Das Magazin Nature kritisierte die übermäßige Abhängigkeit von JIF und verwies nicht nur auf seine statistischen, sondern auch auf negative Auswirkungen auf die Wissenschaft: „Der daraus resultierende Druck und die Enttäuschung sind nichts anderes als demoralisierend und können in schlecht geführten Labors schlampige Forschungen fördern, die beispielsweise nicht getestet werden können Annahmen gründlich zu machen oder alle Daten zu berücksichtigen, bevor große Ansprüche eingereicht werden." Verschiedene Publisher verwenden mittlerweile eine Mischung aus Metriken auf ihrer Website; die Zeitschriftenreihe PLOS weist den Impact-Faktor nicht auf. Microsoft Academic vertrat eine ähnliche Ansicht und stellte fest, dass h-Index, EI/SCI und Journal Impact Factors nicht gezeigt werden, weil "die Forschungsliteratur reichlich Beweise dafür liefert, dass diese Metriken bestenfalls eine grobe Annäherung an die Forschungswirkung und den wissenschaftlichen Einfluss darstellen."

Im Jahr 2021 versprach die Universität Utrecht , alle quantitativen Bibliometrie, einschließlich des Impact-Faktors, aufzugeben. Die Universität erklärte, dass "es ein sehr krankes Modell geworden ist, das über das hinausgeht, was für die Wissenschaft wirklich relevant ist und die Wissenschaft voranbringt." Dies folgte einer Entscheidung der wichtigsten niederländischen Forschungsfördereinrichtung NWO aus dem Jahr 2018 , alle Verweise auf Journal Impact Factors und den H-Index in allen Ausschreibungstexten und Antragsformularen zu entfernen. Utrechts Entscheidung stieß auf Widerstand. Ein offener Brief, der von über 150 niederländischen Akademikern unterzeichnet wurde, argumentierte, dass das JIF, auch wenn es unvollkommen ist, immer noch nützlich ist und dass das Weglassen "zu Zufälligkeit und einer Beeinträchtigung der wissenschaftlichen Qualität führen wird".

Eng verwandte Indizes

Einige verwandte Werte, die ebenfalls von derselben Organisation berechnet und veröffentlicht wurden, umfassen:

  • Zitierte Halbwertszeit : das mittlere Alter der Artikel, die jedes Jahr in Journal Citation Reports zitiert wurden . Wenn beispielsweise die Halbwertszeit einer Zeitschrift im Jahr 2005 5 beträgt, bedeutet dies, dass die Zitationen von 2001 bis 2005 die Hälfte aller Zitate aus dieser Zeitschrift im Jahr 2005 sind und die andere Hälfte der Zitationen vor 2001.
  • Aggregierter Impact-Faktor für eine Themenkategorie: Er wird unter Berücksichtigung der Anzahl der Zitationen zu allen Zeitschriften der Themenkategorie und der Anzahl der Artikel aus allen Zeitschriften der Themenkategorie berechnet.
  • Unmittelbarkeitsindex : Die Anzahl der Zitationen, die die Artikel in einer Zeitschrift in einem bestimmten Jahr erhalten, geteilt durch die Anzahl der veröffentlichten Artikel.
  • Journal Citation Indicator ( JCI ): ein JIF, der sich an den wissenschaftlichen Bereich anpasst; es ähnelt Source Normalized Impact per Paper , berechnet auf der Grundlage der Scopus- Datenbank.

Wie beim Impact Factor gibt es auch hier einige Nuancen: Clarivate schließt beispielsweise bestimmte Artikeltypen (wie Nachrichten, Korrespondenz und Errata) aus dem Nenner aus.

Andere Maßnahmen mit wissenschaftlicher Wirkung

Zusätzliche Metriken auf Journalebene sind von anderen Organisationen erhältlich. Zum Beispiel CiteScore ist eine Metrik für die Serien Titel in Scopus im Dezember 2016 ins Leben gerufen Elsevier . Während diese Metriken nur für Zeitschriften gelten, gibt es auch Metriken auf Autorenebene wie den H-Index , die für einzelne Forscher gelten. Darüber hinaus messen Metriken auf Artikelebene die Wirkung auf Artikelebene statt auf Zeitschriftenebene.

Andere allgemeinere alternative Metriken oder " Altmetrics ", die Artikelansichten, Downloads oder Erwähnungen in sozialen Medien umfassen , bieten eine andere Perspektive auf die Auswirkungen der Forschung und konzentrieren sich mehr auf die unmittelbaren sozialen Auswirkungen innerhalb und außerhalb der akademischen Welt.

Einflussfaktoren von Fälschungen

Gefälschte Impact-Faktoren oder gefälschte Impact-Faktoren werden von bestimmten Unternehmen oder Einzelpersonen produziert. Laut einem im Electronic Physician veröffentlichten Artikel sind dies Global Impact Factor (GIF), Citefactor und Universal Impact Factor (UIF). Jeffrey Beall führte eine Liste solcher irreführender Kennzahlen. Eine weitere betrügerische Praxis besteht darin, "alternative Impact Factors" anzugeben, die als durchschnittliche Anzahl von Zitationen pro Artikel unter Verwendung anderer Zitationsindizes als JCR berechnet werden , selbst wenn sie auf seriösen Quellen wie Google Scholar basieren (z. B. "Google-based Journal Impact Factor").

Falsche Impact-Faktoren werden häufig von räuberischen Publishern verwendet . Die Master- Journalliste von Consulting Journal Citation Reports kann bestätigen, ob eine Publikation von Journal Citation Reports indiziert ist . Die Verwendung von gefälschten Wirkungsmetriken gilt als Warnsignal .

Siehe auch

Anmerkungen

Verweise

Weiterlesen