zma001104 10.3205/zma001104 urn:nbn:de:0183-zma0011042 Editorial Leitartikel Jenseits des Impact-Faktors – Was leisten alternative Metriken für Publikationen? Fabry Fabry Götz G Dr. med.

Albert-Ludwig-Universität Freiburg, Abt. für Med. Psychologie, Rheinstr. 12, D-79104 Freiburg/Brg, GermanyAlbert-Ludwig-Universität Freiburg, Abt. für Med. Psychologie, Freiburg/Brg, GermanyGMS Journal for Medical Education, Assistant Chief Editor, Erlangen, Germany

Albert-Ludwig-Universität Freiburg, Abt. für Med. Psychologie, Rheinstr. 12, 79104 Freiburg/Brg, DeutschlandAlbert-Ludwig-Universität Freiburg, Abt. für Med. Psychologie, Freiburg/Brg, DeutschlandGMS Journal for Medical Education, stellv. Schriftleiter, Erlangen, Deutschland

fabry@uni-freiburg.de author Fischer Fischer Martin R. MR Prof. Dr. med. MME

Klinikum der Universität München, Institut für Didaktik und Ausbildungsforschung in der Medizin, Ziemssenstr. 1, D-80336 München, GermanyKlinikum der Universität München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, GermanyGMS Journal for Medical Education, Chief Editor, Erlangen, Germany

Klinikum der Universität München, Institut für Didaktik und Ausbildungsforschung in der Medizin, Ziemssenstr. 1, 80336 München, DeutschlandKlinikum der Universität München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, DeutschlandGMS Journal for Medical Education, Schriftleiter, Erlangen, Deutschland

martin.fischer@med.uni-muenchen.de author German Medical Science GMS Publishing House

Düsseldorf

610 Alternative Metrics Alternative Metriken 20170426 20170426 20170426 20170515 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 2366-5017 34 2 GMS Journal for Medical Education GMS J Med Educ 27 EditorialSome of our readers might have already noticed that lately some of the articles in the JME are marked with a “donut,” a ring composed of colored, intertwined rings around a number at its center. It is the emblem of Altmetric.com [http://www.altmetric.com] a company named after the general term for indicators measuring the dissemination of scientific literature beyond the Impact Factor (“alternative metrics” or “altmetrics”) , . The donut indicates which online media refer to the respective article. The greater the number of colors in the ring, the greater the number of different media linked to the article. General news sites and newspapers, the scientific bibliographic platform Mendeley, sites for post-publication peer review (e.g. Publons, see below), references in Scopus (a bibliographic database run by Elsevier), Wikipedia, blogs, social media like Facebook and Twitter, YouTube, and a multitude of other resources are analyzed. The number in the center of the ring is the “attention score,” a weighted measure to represent the coverage of the respective article in the media analyzed (for more details on how the score is calculated, see https://goo.gl/jSLn1Y and ). A click on the emblem leads to a website that reports the exact details and the geographical distribution of the media-related activities.What is the relevance of this kind of analysis and of the alternative score? First of all, it expresses a change in scientific communication, albeit a very slow and time-delayed one . Currently, the productivity of scientists and the quality of their work are mainly measured by their publications. Despite the fact that the digital revolution permeates all aspects of our daily lives, the form of these publications has remained remarkably constant. Scientific evidence is still published in journal articles that are, in many cases, still organized in volumes and issues with page numbers even though they are only rarely printed on paper, at least in medicine and the natural sciences. Furthermore, the system of gratification for scientific achievement relies on these structures, too. The number of articles with very high impact remains of crucial importance for a career in science. To date, this impact is measured almost exclusively by the Impact Factor, a measure that specifies how often articles in a given journal are referenced by other scientific journals within the previous two years . The use of the Impact Factor as a means to evaluate research quality especially with regard to individuals has been increasingly criticized. The San Francisco Declaration on Research Assessment (DORA), launched in 2012 and so far signed by more than 500 organizations and 12,000 scientists, states that the Impact Factor and similar journal metrics should not be used to assess the quality of individual articles or their authors, nor for decisions on hiring, promotion and tenure [http://www.ascb.org/dora/], . However, there is no sign that a fundamental change will take place in the foreseeable future, despite the fact that a number of alternative strategies exist regarding the different aspects of traditional publishing conventions.In recent years, for instance, “post-publication peer review” (PPPR) has taken root as an alternative to the usual “pre-publication peer review” . The reasons are multifaceted. First of all, there is almost no evidence that traditional peer review actually increases the quality of manuscripts, in part due to the methodological challenges that can handicap research . A recently published study examined this issue by looking at journals of the BMC platform since these journals publish an article’s “pre-publication history,” meaning all reviews and author responses . The results show that the reviewers made few suggestions for changes overall. While the majority of these suggestions improved the quality of the manuscripts, there were also some suggestions that decreased the quality. Moreover, the reviewers missed many flaws and errors in the manuscripts that would have been relatively easy to detect by using simple tools such as a checklist based on the CONSORT statement . Further criticism refers to delayed publication caused by the pre-publication peer review and to the fact that the review process usually involves only two or three reviewers whose expertise is not always known or transparent .PPPR is intended to overcome these weaknesses. An example from the field of medical education is “AMEE MedEdPublish” [www.mededpublish.org] which went online very recently. Manuscripts are published immediately without prior review or, as is the case with MedEdPublish, after a more formal check by the editorial office. Readers review the manuscripts after publication. While this procedure generally can take many forms, MedEdPublish allows anyone who is registered on the platform to review and rate the article. The hope behind this rationale is that by involving a potentially unlimited number of reviewers this will increase the reliability and validity of the review. However, there is also a panel of official reviewers whose judgment is essential on whether or not an article receives a recommendation. It is the intention of the initiators that this recommendation will then lead to referencing the respective article in PubMedCentral which, in turn, would put it on par with publications from PubMed-indexed journals with traditional peer review. In some places, at least, this would also make it count toward career advancement.While this kind of PPPR is intended to replace the traditional peer review, the term also encompasses all kind of criticism and comments relating to an article after publication, even when the article has undergone the usual peer review. Publication scandals that occur time and again make it quite clear that this is indeed necessary. Flaws in publications on stem cells in highly ranked journals, for instance, were discovered by well-established bloggers and resulted in a retraction of the affected papers . Letters to the editor are in fact a long-standing possibility to criticize or comment on an article but compared to the potential of the internet, this type of scientific communication seems rather old-fashioned. If letters are published, they are often released with considerable delay and they do not always lead to a reply by the authors, let alone a reaction by the journals who – on top of it all – have a conflict of interest when it comes to publishing critical letters .In light of this, it seems obvious that the internet be used to critique and discuss scientific publications. However, what appears to be self-evident is not as trivial as it may seem: where and how, exactly, should these discussions and commentaries take place? How, for instance, to avoid the well-known difficulties of communication within social networks, e.g. polemics or hyper-criticism under the cover of anonymity or fake profiles? Who is going to participate in this discussion? What kind of motives will prompt the participants?With regard to the site of the discussion, solutions are already apparent in the form of social networks for scientists, such as ResearchGate [www.researchgate.net] and Academia [www.academia.edu]. On these platforms scientists can share their publications, read and comment on the publications of others, and engage in discussions on different topics, as in other internet forums. On ResearchGate these activities, along with the responses they trigger, are registered by calculating a specific measure (“RG score”) that – at least in the company’s view – mirrors the reputation of the individual scientist within the platform and, perhaps, even beyond. Studies examining ResearchGate revealed that, for now, the social and network-related functions are rarely used except to share scientific articles (although these have to be uploaded first which is not without problems in terms of copyright) . An interesting question in this regard is whether the number of “reads” on ResearchGate (which is also one of the components of the RG score) correlates with other measures, for instance, the number of citations. A recent study showed that “younger” articles outnumber “older” articles on the platform, and that younger articles tend to be read more often. A comparison of reads on ResearchGate with the number of citations in the database Scopus and the number of readers on the bibliographic platform Mendeley resulted in rather low correlations which, according to the authors of the study, might indeed indicate different target audiences . This could mean that the different measures of the different media and platforms do indeed measure different aspects regarding the dissemination of and the response to science which would justify their respective uses .However popular ResearchGate, Academia and Mendeley might be by now, it remains unsatisfactory from a scientific perspective that all these platforms are run by privately owned companies pursuing their own opaque, commercial agendas. In this context another initiative appears to be much more promising: in 2013 PubMed launched “PubMed Commons” a project that is open to everyone who has authored at least one publication listed in PubMed. The service can be used via the free individual NCBI account. This opens up the possibility to comment on each article indexed in PubMed. The box for the comments is placed right under the article abstract in PubMed, and the comments are visible to everyone who retrieves the article in PubMed. Thus, all articles of the JME (and the ZMA) published since 2005 are also open for comments and discussion in this manner. Evidently, this option has not yet been used, and generally the intensity of the exchange on PubMed Commons is rather modest. The reasons for this are obvious: due to a severe lack of time, only very few scientists will feel the necessity to become active, especially since there is no reward terms of career advancement aside from the fulfillment of idea-driven motives and scientific interest that might pay off it. Additional reasons that are generally known from social networks might also be relevant. Particularly scientists at the beginning of their career might question whether publicly criticizing a paper written by an established colleague might impair future career opportunities. In addition, social dynamics might have a negative impact in terms of stereotyping or gender bias . These considerations illustrate that PPPR, too, might have drawbacks which is one reason why the JME currently retains the blinded pre-publication peer review.At least with regard to the reward for preparing a scholarly peer review (pre- and post-publication), solutions are also being developed. Reviewers can create an account on the “Publons” portal [publons.com] to publicly document their activity as reviewers. Since a number of big publishers (Springer, Thieme, BMJ, etc.) support the portal, reviewers are asked to document their reviews on Publons as part of the routine reviewing process. Depending on the type of contract with the journals, different modes of documentation exist ranging from simple and anonymous documentation of the number of completed reviews to the full-text documentation of the review itself. Even if a publisher or journal has no contract with Publons yet, as is currently the case for JME, reviews can still be documented quantitatively. Publons has also installed an index measuring the quantity and quality of the reviews. It is the idea of the Publon founders that this measure might pay off in terms of career advancement or at least academic recognition .This cursory overview on some of the online activities that contribute to the Altmetric donut and score makes it clear that a multitude of opportunities for public scientific communication exist beyond journal articles and the heavily criticized Impact Factor. Currently, their potential has not yet been fully explored, and their significance cannot be fully appraised . However, it seems necessary and reasonable to track these activities and to actively contribute to them as far as individual prospects and resources allow. In this light, we invite all of our authors, reviewers and readers to refer to their work in alternative media and networks to intensify our professional discourse and, not least, to increase the attention given to the JME . LeitartikelManchen unserer Leser ist vielleicht schon aufgefallen, dass einige Artikel in der JME seit kurzer Zeit mit einem „Donut“ markiert sind, einem Ring mit ein- oder mehrfarbigen ineinander verschlungenen Strängen und einer Zahl in der Mitte. Es handelt sich dabei um das Emblem der Firma Altmetrics.com [http://www.altmetric.com], die sich nach dem Sammelbegriff für Verbreitungsindikatoren wissenschaftlicher Publikationen jenseits des Impact Faktors („alternative metrics“ oder „altmetrics“) benannt hat , . Der Donut zeigt an, in welchen Online-Medien auf den Artikel Bezug genommen wurde. Je mehr Farben der Ring enthält, desto größer ist die Zahl der verschiedenen, auf den Artikel verweisenden Medien. Ausgewertet werden dabei allgemeine Nachrichtenportale und Zeitungen, die wissenschaftliche Bibliographieplattform Mendeley, Webseiten für Post-Publication Peer Review (z.B. Publons, siehe unten), Zitationen in Scopus (der vom Verlag Elsevier betriebenen Literaturdatenbank), Wikipedia, Blogs, soziale Medien wie Facebook und Twitter, YouTube und viele andere Quellen. Die Zahl in der Mitte des Rings wird als „Aufmerksamkeits-Score“ bezeichnet und ist ein gewichtetes Maß für die Reichweite des jeweiligen Artikels in den ausgewerteten Medien (genauere Angaben zur Berechnung finden sich hier: https://goo.gl/jSLn1Y vgl. ). Ein Klick auf das Symbol führt zu einer Webseite, auf der die genaue, auch geographische Verteilung der medialen Aktivitäten aufgeschlüsselt ist.Welche Bedeutung hat diese Form der Auswertung und der alternative Score? Zunächst einmal ist er Ausdruck eines, wenn auch sehr zeitverzögert und langsam einsetzenden Wandels in der wissenschaftlichen Kommunikation . Die Produktivität und Qualität von Wissenschaftlerinnen und Wissenschaftlern wird derzeit in erster Linie an ihren Publikationen gemessen. Die Form dieser Publikationen ist trotz des ansonsten alle Bereiche unseres Lebens durchdringenden digitalen Wandels bemerkenswert konstant geblieben. Nach wie vor werden wissenschaftliche Erkenntnisse als Artikel in Zeitschriften veröffentlicht, die vielfach noch nach Bänden, Ausgaben und Seitenzahlen organisiert sind, auch wenn sie – zumindest im Bereich der Medizin und der Naturwissenschaften – kaum mehr auf Papier gedruckt werden. Und auch das wissenschaftliche Gratifikationssystem orientiert sich weiterhin an diesen Strukturen: Immer noch ist es die Zahl der Artikel mit möglichst großem Einfluss („Impact“), die für die Karriere eines Wissenschaftlers entscheidende Bedeutung hat. Gemessen wird der Einfluss bislang fast ausschließlich mit dem Impact-Faktor, einer Maßzahl, die angibt, wie häufig Artikel aus einer Zeitschrift in den vorangegangenen zwei Jahren von anderen wissenschaftlichen Zeitschriften zitiert worden sind . Der Impact-Faktor als Maß der Forschungsleistung, insbesondere einzelner Wissenschaftler wird zunehmend kritisch gesehen: In der San Francisco Declaration on Research Assessment (DORA) aus dem Jahr 2012 fordern mittlerweile über 500 Organisationen und über 12.000 Wissenschaftlerinnen und Wissenschaftler u.a., den Impact-Faktor und vergleichbare Journal-Metriken nicht zur Beurteilung der Qualität individueller Artikel oder ihrer Autoren bzw. zu deren Einstellung oder (Be-) Förderung zu nutzen [http://www.ascb.org/dora/], . Gleichzeitig ist aber kaum erkennbar, dass sich hier in absehbarer Zeit echte Veränderungen vollziehen würden, obwohl es mittlerweile zu den verschiedenen Aspekten der traditionellen Publikationspraxis durchaus alternative Vorgehensweisen gibt.So etabliert sich in den letzten Jahren das „Post Publication Peer Review“ (PPPR) als Alternative zum herkömmlichen „Pre Publication Peer Review“ . Die Gründe dafür liegen auf verschiedenen Ebenen. So gibt es bislang kaum Evidenz dafür, dass das traditionelle Peer Review-Verfahren die Qualität von Manuskripten tatsächlich verbessert, was allerdings auch an den methodischen Schwierigkeiten liegt, die eine dementsprechende Forschung erschweren . Kürzlich wurde eine Studie durchgeführt, die diese Fragestellung an den Zeitschriften der Plattform BMC untersuchte, auf der die sogenannte Pre-Publication-History, also alle Gutachten zum Manuskript sowie die Antworten der Autoren veröffentlicht werden . Dabei zeigte sich, dass die Gutachter insgesamt nur relativ wenige Änderungsvorschläge machten. Während diese Vorschläge mehrheitlich zu einer qualitativen Verbesserung der Manuskripte führte, gab es aber auch Vorschläge, die die Manuskripte verschlechterten. Außerdem übersahen die Gutachter viele Schwächen und Fehler in den Manuskripten, die bereits mit einfachen Tools, z.B. Checklisten auf Grundlage des CONSORT-Statements hätten entdeckt werden können. Weitere Kritikpunkte beziehen sich auf die Verzögerung der Publikation, die durch das vorgeschaltete Peer Review Verfahren entstehen kann, sowie auf die Tatsache, dass in der Regel nur zwei bis drei Gutachter am Begutachtungsprozess beteiligt sind, deren fachliche Expertise zudem nicht immer bekannt oder transparent ist .Mittels PPPR, für das es mit dem kürzlich online gegangenen Portal „AMEE MedEdPublish“ auch in der Medical Education Community ein Beispiel gibt [www.mededpublish.org], sollen diese Schwächen vermieden werden. Manuskripte werden dabei ohne vorherige Begutachtung bzw. wie im Fall von MedEdPublish, nach einer eher formalen, redaktionellen Prüfung, sofort veröffentlicht. Im Anschluss an die Publikation werden die Manuskripte dann von den Lesern bewertet, wobei es hier ein breites Spektrum an Vorgehensweisen gibt. Im Fall von MedEdPublish kann jeder, der sich auf der Plattform registriert hat, den Artikel begutachten und bewerten. Die damit verbundene Hoffnung ist die, dass durch die Beteiligung einer potentiell unbegrenzten Zahl von Gutachtern die Zuverlässigkeit und Validität der Bewertung zunimmt. Allerdings gibt es zusätzlich auch ein Panel von offiziellen Gutachtern, deren Bewertung nach einem festgelegten Zeitraum darüber entscheidet, ob ein Artikel eine Empfehlung erhält, die – so zumindest der Plan der Initiatoren – dann dazu führen soll, dass ein solcher Artikel in PubMed Central indexiert wird. Damit wäre er dann Publikationen in Zeitschriften mit herkömmlichem Peer Review und PubMed-Listung gleichgestellt und wäre zumindest mancherorts auch karriereförderlich verwertbar.Neben dieser Form des PPPR, die das traditionelle Peer Review ersetzen soll, wird der Begriff aber auch verwendet, um alle Formen der Kritik bzw. Kommentierung eines Artikels zu erfassen, die nach der Veröffentlichung stattfinden, auch dann, wenn der Artikel bereits ein klassisches Peer Review durchlaufen hat. Dass das durchaus notwendig ist, zeigt sich immer wieder an Publikationsskandalen. So wurden etwa Unstimmigkeiten in hochrangig publizierten Arbeiten zur Stammzellforschung von bekannten Bloggern aufgedeckt, die schließlich zur Rücknahme der Artikel führten . Zwar gibt es in Form von Leserbriefen auch bisher schon die Möglichkeit, Artikel zu kritisieren oder zu kommentieren, allerdings wirkt diese Form wissenschaftlicher Kommunikation angesichts der Möglichkeiten des Internets eher anachronistisch. Leserbriefe werden, wenn überhaupt, oft mit erheblicher Verzögerung veröffentlicht und führen auch nicht immer zu einer Antwort der Autoren, geschweige denn zu einer Reaktion der Zeitschriften, die zudem auch noch einen Interessenskonflikt haben, kritische Leserbriefe überhaupt zu veröffentlichen .Insofern ist es naheliegend, Kritik und Diskussion wissenschaftlicher Arbeiten ins Internet zu verlagern. Was sich selbstverständlich anhört ist allerdings nicht so trivial, wie es scheint. Denn wo und wie genau soll diese Diskussion und Kommentierung stattfinden? Wie soll etwa bekannten Schwierigkeiten der Kommunikation in sozialen Netzwerken (z.B. Polemik und überzogene Kritik im Schutz von Anonymität bzw. von Fake-Profilen) begegnet werden? Wer wird sich mit welcher Motivation an dieser Diskussion beteiligen?Für die Frage nach dem Ort der Diskussion zeichnen sich bereits Lösungen ab z.B. in Form sozialer Netzwerke für die Wissenschaft wie ResearchGate [www.researchgate.net] und Academia [www.academia.edu]. Auf diesen Plattformen können Wissenschaftler unter anderem ihre Publikationen zur Verfügung stellen, die Publikationen anderer lesen und kommentieren, sowie – analog zu einem Forum – verschiedene Themen diskutieren. Auf ResearchGate wird aus diesen Aktivitäten sowie der Resonanz darauf eine Maßzahl („RG Score“) berechnet, die – zumindest nach Auffassung der Firma – die Reputation des jeweiligen Wissenschaftlers innerhalb der Plattform und möglicherweise auch darüber hinaus wiedergibt. Wissenschaftliche Studien zu ResearchGate zeigen, dass die sozialen und netzwerkbezogenen Funktionen der Plattform bislang kaum genutzt werden, sondern fast ausschließlich die Möglichkeit, wissenschaftliche Artikel zu verbreiten (die dazu allerdings erst auf die Plattform hochgeladen werden müssen, was hinsichtlich des Urheberrechts in vielen Fällen nicht unproblematisch ist) . Interessant ist die Frage, in wieweit die Zahl der Lesezugriffe auf ResearchGate (die ebenfalls in den RG Score eingehen) mit anderen Maßzahlen, z.B. der Zahl der Zitationen korreliert ist. In einer kürzlich dazu durchgeführten Studie zeigte sich zum einen, dass auf der Plattform jüngere Arbeiten gegenüber älteren Arbeiten stärker vertreten sind, und dass zudem die jüngeren Arbeiten häufiger gelesen werden. Ein Vergleich der Lesezugriffe auf ResearchGate mit der Zahl der Zitationen in der Literaturdatenbank Scopus sowie der Zahl der Leser auf der wissenschaftlichen Bibliographieplattform Mendeley ergab nur niedrige Korrelationen, was die Autoren dahingehend interpretieren, dass hier möglicherweise tatsächlich unterschiedliche Zielgruppen erfasst werden . Das wiederum würde bedeuten, dass die jeweiligen Maßzahlen dieser verschiedenen Medien und Plattformen unterschiedliche Aspekte der Verbreitung und Resonanz von Wissenschaft erfassen und somit durchaus ihre jeweilige Berechtigung haben könnten .So beliebt ResearchGate, Academia und Mendeley mittlerweile auch sein mögen: Aus wissenschaftlicher Sicht unbefriedigend ist die Tatsache, dass hinter diesen Plattformen jeweils privatwirtschaftliche Unternehmen mit entsprechenden Verwertungsinteressen stehen, die hinsichtlich ihres Geschäftsgebahrens nicht transparent sind. Daher erscheint das 2013 von PubMed gestartete Projekt „PubMed Commons“ als wesentlich vielversprechender. Jeder Autor, der eine Veröffentlichung hat, die in PubMed gelistet ist, kann sich über einen kostenlos erhältlichen NCBI-Account für diesen Dienst anmelden. Dann hat man die Möglichkeit, jeden Artikel, der in PubMed verzeichnet ist, zu kommentieren. Das Kommentarfeld befindet sich unmittelbar unter dem Artikelabstract in PubMed und die Kommentare werden jedem angezeigt, der den Artikel in PubMed aufruft. Daher können auch alle Artikel des JME (bzw. der ZMA) ab dem Jahrgang 2005 auf diese Art und Weise kommentiert und diskutiert werden. Augenscheinlich wird allerdings von dieser Möglichkeit noch kein Gebrauch gemacht und auch sonst ist die Intensität des Austauschs auf PubMed Commons bisher gering. Die Gründe dafür muss man nicht lange suchen: Angesichts der notorischen Zeitknappheit werden die wenigsten Wissenschaftler die Notwendigkeit verspüren, hier aktiv zu werden, zumal es dafür – abgesehen von der Befriedigung ideeller Motive und wissenschaftlichen Interesses – keine Gratifikationen gibt, die sich karierreförderlich auswirken könnten. Darüber hinaus werden auch noch weitere Gründe diskutiert, die in ähnlicher Form auch in den sozialen Netzwerken insgesamt eine Rolle spielen. So könnten sich insbesondere junge Wissenschaftler durchaus die Frage stellen, in wieweit sie sich etwa mit der dann öffentlichen Kritik an einem Artikel bereits arrivierter Kollegen zukünftige Karrierechancen verbauen. Die soziale Dynamik könne sich zudem negativ etwa im Sinne von Stereotypisierungen oder geschlechterbezogenen Verzerrungen auswirken . Solche Überlegungen machen deutlich, dass auch das PPPR mit einigen Nachteilen einhergehen kann, was auch ein wichtiger Grund dafür ist, dass die JME derzeit noch am verblindeten Pre-Publication-Peer-Review festhält.Zumindest was die Gratifikation für das Erstellen eines wissenschaftlichen Peer Reviews angeht (sowohl für Pre- als auch für Post- Publication) wird ebenfalls an Lösungen gearbeitet. Auf dem Portal Publons [publons.com] kann man sich als Gutachter registrieren und dann seine Gutachtertätigkeit öffentlich dokumentieren. Da bereits viele große Verlage mit diesem Portal zusammenarbeiten (u.a. Springer, Thieme, BMJ) wird einem nach Abschluss der Begutachtung bereits routinemäßig angeboten, das Gutachten dort zu dokumentieren. Dabei sind je nach Vereinbarung mit den Zeitschriften verschiedene Formen der Dokumentation möglich: Von der rein quantitativen und anonymen Angabe, wie viele Reviews gemacht wurden bis hin zur Dokumentation des Volltextes des Gutachtens. Auch wenn ein Verlag oder eine Zeitschrift noch keine Absprache mit Publons getroffen hat (wie das derzeit noch für die JME der Fall ist), können die Gutachten dort quantitativ dennoch dokumentiert werden. Auch auf Publons gibt es ein Punktesystem, mit dem die Gutachtertätigkeit honoriert wird und das sich, jedenfalls nach den Vorstellungen der Firmengründer, förderlich auf die Karriere oder zumindest die Anerkennung im akademischen Umfeld auswirken soll .Dieser kursorische Überblick über einige Online-Aktivitäten, die in den Altmetrics-Donut und -Score einfließen verdeutlicht, dass sich jenseits von wissenschaftlichen Artikeln und dem vielfach kritisierten Impact-Faktor vielgestaltige wissenschaftliche Aktivitäten entfalten, deren Potential – einerseits – derzeit noch nicht ausgeschöpft wird und deren Bedeutung – andererseits – momentan noch nicht wirklich eingeschätzt werden kann . Dennoch erscheint es sinnvoll und notwendig, diese Aktivitäten zu erfassen und sich daran zu beteiligen, soweit es die eigenen Möglichkeiten und Ressourcen zulassen. In diesem Sinne möchten wir jedenfalls alle unsere Autorinnen und Autoren, Gutachterinnen und Gutachter, Leserinnen und Leser dazu auffordern, auf ihre Arbeiten in anderen Medien und Netzwerken hinzuweisen, damit die fachliche Diskussion zu intensivieren und – nicht zuletzt – die Aufmerksamkeit für die JME zu vergrößern . Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben. Buschman M Michalek A Are alternative metrics still alternative? 2013 Bull Ass Inform Sci Technol 35-39 Buschman M, Michalek A. Are alternative metrics still alternative? Bull Ass Inform Sci Technol. 2013;39(4):35-39. DOI: 10.1002/bult.2013.1720390411 http://dx.doi.org/10.1002/bult.2013.1720390411 Chisolm MS Altmetrics for medical educators 2016 Acad Psychiatry Chisolm MS. Altmetrics for medical educators. Acad Psychiatry. 2016. DOI: 10.1007/s40596-016-0639-3 http://dx.doi.org/10.1007/s40596-016-0639-3 Trueger NS Thoma B Hsu CH Sullivan D Peters L Lin M The altmetric score: a new measure for article-level dissemination and impact 2015 Ann Emerg Med 549-553 Trueger NS, Thoma B, Hsu CH, Sullivan D, Peters L, Lin M. The altmetric score: a new measure for article-level dissemination and impact. Ann Emerg Med. 2015;66(5):549-553. DOI: 10.1016/j.annemergmed.2015.04.022 http://dx.doi.org/10.1016/j.annemergmed.2015.04.022 Bartling S Friesike S Towards another scientific revolution 2014 Opening science - The evolving guide on how the internet is changing research, collaboration and scholarly publishing 3-15 Bartling S, Friesike S. Towards another scientific revolution. In: Bartling S, Friesike S (Hrsg). Opening science - The evolving guide on how the internet is changing research, collaboration and scholarly publishing. Heidelberg: Springer Open; 2014. S.3-15. https://doi.org/10.1007/978-3-319-00026-8_1 https://doi.org/10.1007/978-3-319-00026-8_1 Garfield E The history and meaning of the Journal Impact Factor 2006 JAMA 90-93 Garfield E. The history and meaning of the Journal Impact Factor. JAMA. 2006;295(1):90-93. DOI: 10.1001/jama.295.1.90 http://dx.doi.org/10.1001/jama.295.1.90 Alberts B Impact Factor Distortions 2013 Science 787 Alberts B. Impact Factor Distortions. Science. 2013;340(6134):787. DOI: 10.1126/science.1240319 http://dx.doi.org/10.1126/science.1240319 Teixeira da Silva JA Dobránszki J Problems with traditional science publishing and finding a wider niche for post-publication peer review 2015 Account Res 22-40 Teixeira da Silva JA, Dobránszki J. Problems with traditional science publishing and finding a wider niche for post-publication peer review. Account Res. 2015;22(1):22-40. DOI: 10.1080/08989621.2014.899909 http://dx.doi.org/10.1080/08989621.2014.899909 Jefferson T Rudin M Brodney Folse S Davidoff F Editorial peer review for improving the quality of reports of biomedical studies 2007 Cochrane Database Syst Rev MR000016 Jefferson T, Rudin M, Brodney Folse S, Davidoff F. Editorial peer review for improving the quality of reports of biomedical studies. Cochrane Database Syst Rev. 2007;(2):MR000016. DOI: 10.1002/14651858.mr000016.pub3 http://dx.doi.org/10.1002/14651858.mr000016.pub3 Hopewell S Collins GS Boutron I Cook J Shanyinde M Wharton R Shamseer L Altman DG Impact of peer review on reports of randomised trials published in open peer review journals: retrospective before and after study 2014 BMJ g4145 Hopewell S, Collins GS, Boutron I, Cook J, Shanyinde M, Wharton R, Shamseer L, Altman DG. Impact of peer review on reports of randomised trials published in open peer review journals: retrospective before and after study. BMJ. 2014;349:g4145. DOI: 10.1136/bmj.g4145 http://dx.doi.org/10.1136/bmj.g4145 Schulz AF Altman DG Moher D CONSORT Group CONSORT 2010 Statement: updated guidelines for reporting parallel group randomised trials 2010 BMC Med 18 Schulz AF, Altman DG, Moher D, CONSORT Group. CONSORT 2010 Statement: updated guidelines for reporting parallel group randomised trials. BMC Med. 2010;8:18. DOI: 10.1186/1741-7015-8-18 http://dx.doi.org/10.1186/1741-7015-8-18 Knoepfler P Reviewing post-publication peer review 2016 Trends Genet 221-223 Knoepfler P. Reviewing post-publication peer review. Trends Genet. 2016;31(5):221-223. DOI: 10.1016/j.tig.2015.03.006 http://dx.doi.org/10.1016/j.tig.2015.03.006 Schriger DL Altman DG Inadequate post-publication review of medical research 2010 BMJ c3803 Schriger DL, Altman DG. Inadequate post-publication review of medical research. BMJ. 2010;341:c3803. DOI: 10.1136/bmj.c3803 http://dx.doi.org/10.1136/bmj.c3803 Nicholas D Herman E Jamali H Rodríguez-Bravo B Boukacem-Zeghmouri C Dobrowolski T Pouchot S New ways of building, showcasing, and measuring scholarly reputation 2015 Learn Publ 169-183 Nicholas D, Herman E, Jamali H, Rodríguez-Bravo B Boukacem-Zeghmouri C, Dobrowolski T, Pouchot S. New ways of building, showcasing, and measuring scholarly reputation. Learn Publ. 2015;28(3):169-183. DOI: 10.1087/20150303 http://dx.doi.org/10.1087/20150303 Thelwall M Kousha K ResearchGate articles: age, discipline, audience size and impact 2017 J Ass Inform Sci Technol 468-479 Thelwall M, Kousha K. ResearchGate articles: age, discipline, audience size and impact. J Ass Inform Sci Technol. 2017;68(2):468-479. DOI: 10.1002/asi.23675 http://dx.doi.org/10.1002/asi.23675 Costas R Zahedi Z Wouters P Do "altmetrics" correlate with citations? Extensive comparison of altmetric indicators with citations from a multidisciplinary perspective 2015 J Ass Inform Sci Technol 2003-2019 Costas R, Zahedi Z, Wouters P. Do "altmetrics" correlate with citations? Extensive comparison of altmetric indicators with citations from a multidisciplinary perspective. J Ass Inform Sci Technol. 2015;66(10):2003-2019. DOI: 10.1002/asi.23309 http://dx.doi.org/10.1002/asi.23309 Bastian H A stronger post-publication culture is needed for better science 2014 PLOS Med e1001772 Bastian H. A stronger post-publication culture is needed for better science. PLOS Med. 2014;11(12):e1001772. DOI: 10.1371/journal.pmed.1001772 http://dx.doi.org/10.1371/journal.pmed.1001772 van Noorden R The scientists who get credit for peer review 2014 Nature News 9 10.1038/nature.2014 van Noorden R. The scientists who get credit for peer review. Nature News 9.10.2014; http://www.nature.com/news/the-scientists-who-get-credit-for-peer-review-1.16102 DOI: 10.1038/nature.2014.16102 http://www.nature.com/news/the-scientists-who-get-credit-for-peer-review-1.16102 DOI: 10.1038/nature.2014.16102 Bornmann L Do altmetrics point to the broader impact of research? An overview of benefits and disadvantages of altmetrics 2014 J Infometrics 895-903 Bornmann L. Do altmetrics point to the broader impact of research? An overview of benefits and disadvantages of altmetrics. J Infometrics. 2014;8:895-903. DOI: 10.1016/j.joi.2014.09.005 http://dx.doi.org/10.1016/j.joi.2014.09.005 Kwok R Altmetrics make their mark 2013 Nature 491-493 Kwok R. Altmetrics make their mark. Nature. 2013;500:491-493. DOI: 10.1038/nj7463-491a http://dx.doi.org/10.1038/nj7463-491a 0 0 0 0