zma001109 10.3205/zma001109 urn:nbn:de:0183-zma0011093 http://vg02.met.vgwort.de/na/4c5b118976454af68d5b2064cc5b874a article Artikel Publikationsaktivität in der Medizinischen Ausbildungsforschung: Eine deskriptive Analyse der Beiträge für die GMS Zeitschrift für Medizinische Ausbildung aus den Jahren 2007-2015 Matthes Matthes Jan J Dr. med. DipMedEd, Dundee

University of Cologne, Institute II, Center for Pharmacology, Gleueler Str. 24, D-50931 Cologne, Germany, Phone: +49 (0)221/478-5674, Fax: +49 (0)221/478-5022University of Cologne, Institute II, Center for Pharmacology, Cologne, Germany

Universität zu Köln, Institut II, Zentrum für Pharmakologie, Gleueler Str. 24, 50931 Köln, Deutschland, Tel.: +49 (0)221/478-5674, Fax: +49 (0)221/478-5022Universität zu Köln, Institut II, Zentrum für Pharmakologie, Köln, Deutschland

jan.matthes@uni-koeln.de author Giesler Giesler Marianne M

University of Freiburg, Medical Faculty, Office of Student Affairs, Centre for Evaluation of Teaching in Medicine Baden-Württemberg, Freiburg, Germany

Albert-Ludwigs-Universität Freiburg, Medizinische Fakultät, Kompetenzzentrum Evaluation in der Medizin BW, Freiburg, Deutschland

marianne.giesler@uniklinik-freiburg.de author Wagner-Menghin Wagner-Menghin Michaela M

Medical University of Vienna, Teaching Center, Vienna, Austria

Medizinische Universität Wien, Teaching Center, Wien, Österreich

michaela.wagner-menghin@meduniwien.ac.at author Himmelbauer Himmelbauer Monika M

Medical University of Vienna, Teaching Center, Vienna, Austria

Medizinische Universität Wien, Teaching Center, Wien, Österreich

monika.himmelbauer@meduniwien.ac.at author Preusche Preusche Ingrid I

University of Veterinary Medicine, Teaching Center, Vienna, Austria

Vetmeduni Wien, Zentrum für Studienangelegenheiten, Wien, Österreich

ingrid.preusche@vetmeduni.ac.at author Schüttpelz-Brauns Schüttpelz-Brauns Katrin K

University Medicine Mannheim, Medical Faculty Mannheim at Heidelberg University, Department of Undergraduate Education and Educational Development, Mannheim, Germany

Medizinische Fakultät Mannheim der Universität Heidelberg, Geschäftsbereich Studium und Lehrentwicklung, Mannheim, Deutschland

katrin.schuettpelz-brauns@medma.uni-heidelberg.de author German Medical Science GMS Publishing House

Düsseldorf

610 medical education education research publications data analysis medical education education research publications data analysis Medical Education Research Medizinische Ausbildungsforschung 20161011 20170601 20170626 2017081520230206 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 2366-5017 34 3 GMS Journal for Medical Education GMS J Med Educ 32 20230206A VG WORT counting pixel was added./Ein VG-WORT-Zählpixel wurde ergänzt. Zielsetzung: Der Stellenwert Medizinischer Ausbildungsforschung hat international zugenommen. In diesem Kontext haben wir untersucht, ob und ggf. wie sich die Anzahl und die Qualität der wissenschaftlichen Arbeiten verändert hat, die von der GMS Z Med Ausbild begutachtet bzw. publiziert wurden. Methodik: Es wurden Anzahl und Anteil von 2007-2015 bei der GMS Z Med Ausbild eingereichten bzw. publizierten Originalarbeiten, Projektberichten und Übersichtsarbeiten analysiert. Veröffentlichte wissenschaftliche Beiträge wurden in Bezug auf die Qualitätsmerkmale Studientyp und Art der Datenerhebung sowie Herkunft (Hochschulzugehörigkeit) der Letztautor/inn/en untersucht. Die Zitationshäufigkeit innerhalb der ersten fünf Jahre nach PubMed-Listung wurde mit der von BMC Medical Education im entsprechenden Zeitraum verglichen. Ergebnisse: Die Zahl eingereichter wissenschaftlicher Manuskripte nahm ständig zu. Bei Einreichungen und Publikationen sind Originalarbeiten der häufigste Publikationstyp. Bei Publikationen sind explorative Studien und prospektive Datenerhebungen am häufigsten. Eine Veränderung über die Zeit ist hierbei nicht erkennbar. 16% der publizierten Arbeiten stammen aus einer und 36% aus vier von insgesamt 39 durch die Letztautor/inn/en vertretenen Hochschulen. Die Entwicklung der Zitationshäufigkeit von in der GMS Z Med Ausbild veröffentlichten Artikeln ist mit der von BMC Medical Education vergleichbar. Schlussfolgerung: Die steigende Zahl an Einreichungen spricht für eine Zunahme des Stellenwerts Medizinischer Ausbildungsforschung im deutschsprachigen Raum. Die Entwicklung der Zitationszahlen spiegelt eine zunehmende Wahrnehmung der Zeitschrift wider, wie sie sich auch in der steigenden Zahl von Online-Zugriffen zeigt. Dass sich bei den publizierten Arbeiten keine Veränderung von Studienart oder Art der Datenerhebung zeigt, lässt nur sehr bedingt Rückschlüsse auf die Qualität der Forschung zu, da z.B. die Auswahl angemessener Methoden und deren adäquate Umsetzung von wesentlicher Bedeutung sind. Diese Aspekte wurden in der vorliegenden Arbeit allerdings nicht untersucht. Objectives: The significance of medical education research has increased internationally. In this context we investigated whether, and if so, how the quantity and quality of scientific papers reviewed and/or published by the GMS Zeitschrift für Medizinische Ausbildung (GMS Z Med Ausbild) changed. Methods: The quantity and ratio of original papers, project reports and reviews submitted to or published in the GMS Z Med Ausbild were analysed. Published scientific articles were investigated in regard to the quality features “study type” and “mode of data collection” as well as the background (university affiliation) of the last authors. The citation frequency within the first five years after PubMed listing was compared to the one of BMC Medical Education in the corresponding period. Results: The number of submitted scientific manuscripts increased steadily. Most of the submissions and publications are original papers. For publications explorative studies and prospective data collection are most common. A shift over time is not observed. 16% of the published works come from one and 36% from four of the in total 39 universities represented by the last authors. The development of the citation frequency of articles published in GMS Z Med Ausbild is similar to that of BMC Medical Education. Conclusion: The rising number of submissions indicates an increasing significance of medical education research in German-speaking countries. The development of the number of citations reflects the growing appreciation of GMS Z Med Ausbild also indicated by the increasing number of online accesses. Our findings that study type and mode of data collection did not change has to be interpreted with caution since among other things choice and correct application of adequate methods are crucial regarding a scientific work’s quality, too. These aspects, however, were not investigated in this paper. 1. Introduction1.1. BackgroundMedical education research has globally gained in significance over the last decades. In Germany, Austria and Switzerland it has also come to the fore: thus the German Association for Medical Education (GMA), which is part of the Association of the Scientific Medical Societies in Germany (Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften e.V., AWMF) since 1986, recorded steadily increasing numbers of members during the last 15 years . Additionally, a growing publication activity of authors from German-speaking countries in international English-language journals on medical education research can be observed . In a comparison of PubMed listed publications on medical education research from 1974-2014 Germany ranked fifth among the fifteen most frequently represented countries of origin, however, far from the leading countries USA, Great Britain and Canada .The Journal Citation Reports® [https://jcr.incites.thomsonreuters.com] issued by Thomas Reuters list internationally significant and well received journals, currently including journals like Academic Medicine, Medical Education or Medical Teacher, that all are relevant for medical education research. These journals have not only a tradition in common that goes back decades, but also share English as the only language of publication and authors mainly coming from Anglo-American countries , , . BMC Medical Education is an open access journal published in English, which was first issued in 2001. Germany contributes the freely available GMS Zeitschrift für Medizinische Ausbildung (GMS Z Med Ausbild), which represents the GMA. The journal was first issued in 1984 under the title “Medizinische Ausbildung“ and was published as a supplement to “Das Gesundheitswesen” from 1998 until 2004 . Since 2005 the journal is issued as “open access“ by the publisher German Medical Science (GMS). Formerly known as “GMS Zeitschrift für Medizinische Ausbildung“, the journal’s name is “GMS Journal for Medical Education” (GMS J Med Educ) since 2016. The declared mission of the journal is “to contribute to furthering scientific knowledge in the German-speaking countries as well as internationally and thus to foster the improvement of teaching and learning and to build an evidence base for undergraduate and graduate education” [http://www.egms.de/en/journals/zma/about.htm].In recent years the publishers focused on the internationalisation of the journal: since 2010 the journal is listed in PubMed [http://www.ncbi.nlm.nih.gov/pubmed] and since 2011 the articles are published both in German and English language while the editorial team gained members from various parts of the world . The publishers also seek for the journal to be included in the Journal Citation Reports® that is combined with the yearly attribution of the journal impact factor as the best-known bibliometric indicator .1.2. Research QuestionThe significance of medical education research was recently emphasised by a statement from the German Council of Science and Humanities (Wissenschaftsrat) regarding recommendations for further development of medical undergraduate training in Germany . The council recommended that universities and countries should “strengthen medical education research in Germany and network it systematically” [https://www.wissenschaftsrat.de/download/archiv/4017-14_Executive-Summary.pdf]. The GMA now faces the question which further steps should be taken to promote education research in German-speaking countries. In this context it is of great interest whether the increasing significance of and the growing expectations in education research are likewise reflected in German-speaking countries. Since GMS Z Med Ausbild/J Med Educ comprises most German publications on medical education research, we addressed this journal to descriptively answer the following questions:How did the number of scientific articles that were submitted to, published in and/or rejected by GMS Z Med Ausbild change over the years?Is there a change regarding the type of submission (original paper, project report and review) and the study type (e.g. explorative or experimental) in publications of the GMS Z Med Ausbild?Additionally it would be interesting to find out whether the activities of the GMS Z Med Ausbild concerning the appreciation of the journal already generated success. The answers to the following questions should provide information on that:What are the universities the last authors publishing in the GMS Z Med Ausbild are affiliated to?How did the citation frequency of GMS Z Med Ausbild articles progress in comparison to articles issued in comparable open access journals that focus on medical education research in English-speaking countries? 1. Einleitung1.1. HintergrundMedizinische Ausbildungsforschung hat in den letzten Jahrzehnten weltweit an Bedeutung gewonnen. Auch in Deutschland, Österreich und der Schweiz ist sie in den Fokus gerückt: so verzeichnete die Gesellschaft für Medizinische Ausbildung (GMA), die seit 1986 der Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften e.V. angehört, in den letzten 15 Jahren stetig zunehmende Mitgliederzahlen . Auch ist eine wachsende Publikationstätigkeit von Autor/inn/en aus deutschsprachigen Ländern in internationalen englischsprachigen Fachzeitschriften der medizinischen Ausbildungsforschung zu beobachten . Beim Vergleich PubMed-gelisteter Publikationen zur medizinischen Ausbildungsforschung der Jahre 1974-2014 lag Deutschland auf Platz 5 der fünfzehn am häufigsten vertretenen Herkunftsländer, wenn auch mit großem Abstand zu den führenden Ländern USA, Großbritannien und Kanada .Die von Thomson Reuters herausgegebenen Journal Citation Reports® [https://jcr.incites.thomsonreuters.com], die international bedeutsame und gut rezipierte Zeitschriften aufführen, beinhalten derzeit einige für die medizinische Ausbildungsforschung relevante Journale, z.B. Academic Medicine, Medical Education oder Medical Teacher. Gemeinsam ist diesen Journalen neben der jahrzehntelangen Tradition die Publikationssprache Englisch und dass die Publikationen ganz überwiegend aus dem angloamerikanischen Raum stammen , , . Seit 2001 wird BMC Medical Education herausgegeben, eine Open Access Zeitschrift, die in Englisch publiziert wird. Aus Deutschland kommt die frei verfügbare GMS Zeitschrift für Medizinische Ausbildung (GMS Z Med Ausbild), die gleichzeitig das Organ der GMA darstellt. Die Zeitschrift ging unter dem Namen „Medizinische Ausbildung“ 1984 erstmals in Druck und wurde von 1998 bis 2004 als Supplement zu „Das Gesundheitswesen“ publiziert . Seit 2005 erfolgt die „open access“- Veröffentlichung durch den Verleger German Medical Science (GMS), zunächst als „GMS Zeitschrift für Medizinische Ausbildung“, ab 2016 (33. Jahrgang) dann als „GMS Journal for Medical Education” (GMS J Med Educ). Erklärtes Ziel der Zeitschrift ist, „im deutschsprachigen Raum und international zum wissenschaftlichen Erkenntnisgewinn [beizutragen] und damit die Verbesserung von Lehre und Lernen sowie die Evidenzbasierung der Aus-, Weiter- und Fortbildung [zu] befördern“ [http://www.egms.de/de/journals/zma/about.htm]. Ein Schwerpunkt der Aktivitäten der Herausgeber war in den letzten Jahren die Internationalisierung der Zeitschrift: seit 2010 ist die Zeitschrift in PubMed [https://www.ncbi.nlm.nih.gov/pubmed] gelistet, seit 2011 werden Artikel in deutscher und englischer Sprache publiziert und das Herausgeberteam wurde um Mitglieder aus verschiedenen Teilen der Welt erweitert . Eine Aufnahme in die Journal Citation Reports®, verbunden mit der jährlichen Zuordnung des Impactfaktors als bekanntestem bibliometrischen Indikator, wird angestrebt .1.2. FragestellungDer Stellenwert der Medizinischen Ausbildungsforschung wurde kürzlich unterstrichen durch eine Aussage des Deutschen Wissenschaftsrats im Zusammenhang mit Empfehlungen zur Weiterentwicklung des Medizinstudiums in Deutschland . Universitäten und Ländern wurde empfohlen, „die medizinische Ausbildungsforschung in Deutschland zu stärken und systematisch zu vernetzen“. Damit steht die GMA vor der Frage, welche weiteren Schritte unternommen werden, um Ausbildungsforschung aus dem deutschsprachigen Raum zu fördern. In diesem Kontext ist von Interesse, ob die internationale Zunahme des Stellenwerts von und der wachsende Anspruch an Ausbildungsforschung auch im deutschsprachigen Raum Niederschlag gefunden hat. Da die GMS Z Med Ausbild/J Med Educ den Großteil an deutschsprachigen Publikationen in der Medizinischen Ausbildungsforschung umfasst, wurden an ihrem Beispiel folgende, deskriptiv zu beantwortende Fragen untersucht:Wie hat sich die Anzahl der bei GMS Z Med Ausbild eingereichten und publizierten wissenschaftlichen Beiträge bzw. die Ablehnungsquote über die Jahre entwickelt?Inwieweit ist eine Veränderung bezüglich Beitragstyp (Projektbericht, Original- und Übersichtsarbeiten) und Art der Studien (z.B. explorativ oder experimentell) in den Publikationen der GMS Z Med Ausbild festzustellen?Außerdem interessiert, ob die Aktivitäten der GMS Z Med Ausbildung hinsichtlich der Wahrnehmung der Zeitschrift bereits Erfolge zeigen. Die Antworten auf folgende Fragen sollen dazu Auskunft geben:Aus welchen Hochschulen stammen die in der GMS Z Med Ausbild publizierenden Letztautor/inn/en?Wie hat sich die Zitationshäufigkeit von Artikeln der GMS Z Med Ausbild im Vergleich zu Artikeln eines vergleichbar erscheinenden Open Access Journals, dessen Fokus auf Ausbildungsforschung in den englischsprachigen Ländern liegt, entwickelt? 2. Methods2.1. Analysed publicationsAmong all articles published as original papers, project reports, reviews or position papers in the GMS Z Med Ausbild in 2007-2015 articles addressing scientific questions, i.e. studies and “studies in a broader sense”, were identified (“studies in a broader sense” were e. g. descriptions of projects that collected, processed and reported data conforming with scientific requirements, such as the evaluation findings in ). Other publications such as editorials or book reviews were not regarded.2.2. Material and Parameters for the Publication AnalysisThe numbers of the submitted and published scientific articles (original papers, project reports and reviews) were selected from the GMS submission tool (Manuscript Operating System, MOPS) for the period 2007-2015 (for the definition of the types of publication see “Information for Authors” on the GMS Z Med Ausbild/J Med Educ website via the following link [http://www.egms.de/en/journals/zma/authors.htm]). Rejection rates were calculated with the statistics obtained from MOPS. Hereby a distinction was made between a “definite” rejection and a rejection with the option for resubmission as potential quality indicators of the submitted papers. Last authors and their university affiliation were encoded as stated in the respective articles. The MOPS system allows access to publications of the GMS Z Med Ausbild since 2007, therefore, data for the period of 2007-2015 was collected.Using the Delphi Method a checklist for the analysis of manuscripts was developed covering general information (year of publication, authors and their affiliations) and information on the type and quality of the study. Among others – based on Ringsted et al. – the theoretical framework (yes/no), study type (explorative, experimental, observational study, translational study), data collection (retrospective, prospective, not visible, inapplicable), presentation of the findings (verbalised, supported by figures, still pending, none) and scope of the findings (local, German-speaking countries, international) were taken into account . The checklist was then realised as an online format.2.3. Citation FrequencyThe citation frequency was regarded as a parameter indicating the appreciation of an article and/or a journal. Citation frequency of articles published in GMS Z Med Ausbild during the first five years after being listed on PubMed was obtained from the Web of Science® [http://apps.webofknowledge.com]. For comparison respective data for the journal BMC Medical Education (BMC Med Educ) was analysed. 2.4. Evaluation of the PublicationsThree evaluators read the abstracts and categorized the published manuscripts with the help of the checklist on an online platform. In instances where the abstracts were not conclusive regarding the criteria the full text was consulted. To determine the reliability of this data 16 articles (10% of the total of the analysed publications) were judged independently from each other by two of these evaluators.2.5. Statistical AnalysisThe agreement of the evaluators regarding the publication analysis was determined by the calculation of Kappa (κ), with values of >0.4 considered acceptable . Data on the quantity and frequency of publication types, study types and mode of data collection were analysed descriptively. Absolute and percentage frequencies were identified for this purpose. Mean values were compared using the Student’s t-test. Distributions were compared on the basis of contingency tables by means of the Fisher's exact test. P-values <0.05 were considered statistically significant. 2. Methoden2.1. Untersuchte GrundgesamtheitInnerhalb der zwischen 2007 und 2015 als Originalarbeit, Projektbericht, Übersichtsartikel oder Positionspapier in der GMS Z Med Ausbild veröffentlichten Artikel wurden wissenschaftliche Beiträge, das heißt Studien bzw. „Studie im weiteren Sinne“, identifiziert („Studie im weiteren Sinne“: z.B. Projektbeschreibungen im Rahmen derer Daten wissenschaftlichen Ansprüchen genügend erhoben, verarbeitet und berichtet wurden, wie Evaluationsergebnisse in ). Unberücksichtigt blieben andere Publikationen wie z.B. Leitartikel oder Buchbesprechungen.2.2. Material und Parameter der PublikationsanalyseDie Anzahl der eingereichten und veröffentlichten wissenschaftlichen Beiträge (Projektberichte, Original- und Übersichtsarbeiten) wurde aus dem GMS-Einreichungstool (Manuscript Operating System, MOPS) für den Zeitraum 2007-2015 ausgelesen (zur Definition der Publikationstypen siehe „Informationen für Autoren“ der GMS Z Med Ausbild/J Med Educ unter [http://www.egms.de/de/journals/zma/authors.htm]). Ablehnungsquoten wurden aus den Statistiken des MOPS berechnet. Hierbei wurde zwischen „endgültiger“ Ablehnung und Ablehnung mit möglicher Neueinreichung als potenzielle Indikatoren für die Qualität der eingereichten Arbeiten unterschieden. Letztautor/inn/en und deren Universitätszugehörigkeit wurden laut Angaben im jeweiligen Artikel kodiert. Das MOPS-System erlaubt Zugriff auf Publikationen der GMS Z Med Ausbild seit 2007, sodass Daten für den Zeitraum 2007-2015 erhoben wurden.Für die Analyse der Manuskripte wurde per Delphi-Verfahren eine Checkliste erstellt, die neben den allgemeinen Angaben (Veröffentlichungsjahr, Autor/inn/en und deren Affiliation) Angaben zu Art und Qualität der Studie enthielt. Unter anderem in Anlehnung an Ringsted et al. wurden Theoretisches Rahmenwerk (ja/nein), Art der Studie (explorativ, experimentell, Beobachtungsstudie, Übertragungsstudie), Erhebung der Daten (retrospektiv, prospektiv, nicht erkennbar, nicht anwendbar), Darstellung der Ergebnisse (verbalisiert, mit Zahlen belegt, noch ausständig, nein) und Reichweite der Ergebnisse (lokal, deutschsprachiger Raum, international) berücksichtigt . Die Checkliste wurde anschließend in ein Onlineformat umgesetzt.2.3. ZitationshäufigkeitAls Maß für die Wahrnehmung eines Artikels bzw. einer Zeitschrift wurde die Zitationshäufigkeit betrachtet. Dafür wurde im Web of Science® [http://apps.webofknowledge.com] die Zitationshäufigkeit von in der GMS Z Med Ausbild publizierten Artikeln in den fünf Jahren nach PubMed-Listung erhoben. Zu Vergleichszwecken wurden die entsprechenden Daten für die Zeitschrift BMC Medical Education (BMC Med Educ) ausgelesen.2.4. Beurteilung der PublikationenDrei Beurteiler lasen die Abstracts und gaben auf einer Online-Plattform ihre Einschätzungen ein. Wenn Abstracts bezüglich der Kriterien nicht aussagekräftig waren, wurde der Volltext zu Rate gezogen. Um die Reliabilität der Erhebung zu bestimmen, wurden 16 Artikel (10% der insgesamt analysierten Publikationen) durch zwei dieser Beurteiler unabhängig voneinander bewertet.2.5. Statistische AnalyseDie Beurteilerübereinstimmung bei der Analyse der Publikationen wurde über die Berechnung von Kappa (κ) bestimmt, wobei Werte >0,4 als akzeptabel erachtet wurden . Daten zur Zahl und Häufigkeit von Publikationstypen, Art der Studie und Form der Datenerhebung wurden deskriptiv analysiert. Hierfür wurden absolute und prozentuale Häufigkeiten ermittelt. Mittelwertsvergleiche erfolgten mittels Student t-Tests. Verteilungen wurden anhand von Kontingenztafeln mittels Fisher Exakt-Test verglichen. Ein Unterschied mit p<0,05 wurde als statistisch signifikant gewertet. 3. Results3.1. Number of Submitted and Published ManuscriptsThe number of submissions increased steadily from 2007- 2015 (see Figure 1 ). During this period a total of 269 articles were published as original papers, project reports, reviews or position papers, respectively. 161 of those were deemed to be scientific submissions and thus were further analysed. Regarding the number of publications there is a striking increase in 2010. Subsequently, however, the numbers are mostly constant (2007-2009: 23.3±1.5 per year; 2010-2015: 33.8±2.8 per year; 2007-2015: 30.3±5.7). 3.2. Rejection RatesOnly rejection rates until 2014 were considered, as there was not yet a definite decision on all of the manuscripts submitted in 2015 at the time this paper was written. Similar numbers of manuscripts submitted during 2007-2014 were rejected or accepted for publication, respectively (46±10% vs. 54±10%; see Figure 2 ). There is a strikingly low rejection rate in 2009 (25%). Of note, there was an increase in rejections without the option for resubmission from 4% in 2010 (9% of all rejections) to 26% in 2014 (48% of all rejections).3.3. Frequency of Publication TypesRegarding the type of publication predominantly original papers were submitted (70±11%). The amount of project reports and review articles was 24±10% and 6±3%, respectively. It is noteworthy that there were relatively more original papers in the years 2007-2012 than there were since 2013 (76±4% and 57±10%, respectively; p<0.01; see Figure 3 , Point A). In the comparison of both periods, however, the absolute number of submitted projects reports (9±4 vs. 28±14, p<0.05) and reviews (2±1 vs. 6±2, p<0.01) did increase, while the amount of submitted original papers stayed mostly the same (36±14 vs. 42±10, p=0.49). Original papers were the predominant publication type regarding actually published manuscripts, too (60±9%; see Figure 3 , Point B). Here the amount of project reports and reviews was 30±8% and 9±7%, respectively. Neither rapid nor steady changes can be identified here.3.4. Study Type and Mode of Data Collection of Published PapersRegarding evaluators’ agreement the parameters “study type” (κ=0.44) and “mode of data collection” (κ=0.67) were considered suitable for further analysis. The remaining three parameters (theoretical framework [κ=0.33], presentation of the findings [κ=0.32], scope of the findings [κ=0.03]) showed an insufficient inter-rater reliability and thus were not considered further. The amount of the various study types in the analysed publications was subject to heavy fluctuations from one year to the next (see Figure 4 , Point A). Overall the most frequent study type is the explorative study (59±25%). In second place comes the observational study (17±21%), with a particularly large amount in the years 2012-2014 (43±15%). For 11% of the publications considered for our analysis it is not apparent, whether the data was collected retrospectively or prospectively or this parameter is not applicable to this publication or this type of study. The remaining publications are predominantly based on prospectively collected data (59%). However, a wide variance can be seen over the whole period (see Figure 4 , Point B).3.5. University Affiliation of Last Authors Since last authors usually initiate, conceptualise and supervise a study and are most likely permanently employed their affiliations were analysed to allow for a statement on the distribution of the research activity underlying publications in GMS Z Med Ausbild. This analysis shows that 90% of all publications are from Germany, 6% from Switzerland and 4% from Austria. 39 different German-speaking universities were identified as places of origin. The number of publications coming from each university, however, differs vastly (see Figure 5 ). Of all published articles 16% can be traced back to one single university and 36% to the four most frequently contributing universities. During the considered period 12 universities (31%) were represented by only one last authorship. There was no difference regarding the frequency of each type of study and mode of data collection between the (based on last authors’ affiliations) four most frequently publishing and the remaining universities. The findings of an analysis of first authors correspond in most parts with those of the last authors (not shown). 3.6. Development of the Citation Frequency Since the year of the PubMed listing of GMS Z Med Ausbild a steady increase in citations can be observed (see Figure 6 ). The development of the number of citations in the first five years following PubMed listing was similar when comparing GMS Z Med Ausbild and BMC Med Educ. 3. Ergebnisse3.1. Anzahl eingereichter und publizierter ManuskripteDie Anzahl der Einreichungen nahm 2007-2015 regelmäßig zu (siehe Abbildung 1 ). Veröffentlicht wurden im untersuchten Zeitraum insgesamt 269 Artikel als Originalarbeit, Projektbericht, Übersichtsartikel oder Positionspapier. Davon wurden 161 als wissenschaftliche Beiträge bewertet und gingen somit in die Analysen ein. Bei den Publikationszahlen fällt eine sprunghafte Erhöhung ab 2010 auf, mit in der Folge aber weitgehend konstanten Werten (2007-2009: 23,3±1,5 pro Jahr; 2010-2015: 33,8±2,8 pro Jahr; 2007-2015: 30,3±5,7). 3.2. AblehnungsquotenEs wurden nur Ablehnungsquoten bis 2014 berücksichtigt, da zum Zeitpunkt der Abfassung dieser Arbeit noch nicht über alle in 2015 eingereichten Manuskripte endgültig entschieden worden war. Über die Jahre 2007-2014 gemittelt hielt sich der Anteil, der im jeweiligen Kalenderjahr eingereichten Manuskripte, die abgelehnt bzw. zur Publikation angenommen wurden, in etwa die Waage (46±10% vs. 54±10%; siehe Abbildung 2 ). Auffällig ist eine sehr geringe Ablehnungsquote insgesamt in 2009 (25%). Es ist ein Anstieg der Ablehnungen ohne Aufforderung zur Neueinreichung von 4% in 2010 (9% aller Ablehnungen) auf 26% in 2014 (48% aller Ablehnungen) zu verzeichnen.3.3. Häufigkeit von PublikationstypenBei den Einreichungen dominiert hinsichtlich des Publikationstyps die Originalarbeit (70±11%). Der Anteil an Projektberichten und Übersichten beträgt 24±10% bzw. 6±3%. Es fällt auf, dass der Anteil der Originalarbeiten in den Jahren 2007 bis 2012 höher war als ab 2013 (76±4% bzw. 57±10%, p<0,01; siehe Abbildung 3 , Punkt A). Im Vergleich der beiden Zeiträume ist allerdings die absolute Anzahl an eingereichten Projektbeschreibungen (9±4 vs. 28±14, p<0,05) und Übersichten (2±1 vs. 6±2, p<0,01) gestiegen, die der eingereichten Originalarbeiten hingegen weitgehend unverändert (36±14 vs. 42±10, p=0,49). Auch bei den tatsächlich veröffentlichten Manuskripten dominiert im gesamten Zeitraum die Originalarbeit als Publikationstyp (60±9%; siehe Abbildung 3 , Punkt B). Der Anteil an Projektberichten und Übersichten beträgt hier 30±8% bzw. 9±7%. Weder sprunghafte noch kontinuierliche Veränderungen sind hier zu erkennen. 3.4. Studientypen und Art der Datenerhebung in publizierten ArbeitenAuf Grundlage der Übereinstimmungsmaße wurden die Parameter „Art der Studie“ (κ=0,44) sowie „Art der Datenerhebung“ (κ=0,67) als für die Analyse geeignet erachtet. Die übrigen drei Parameter (Theoretisches Rahmenwerk [κ=0,33], Darstellung der Ergebnisse [κ=0,32], Reichweite der Ergebnisse [κ=0,03]) zeigten eine unbefriedigende Inter-Rater-Reliabilität und wurden daher nicht weiter berücksichtigt. Die Anteile der verschiedenen Studientypen in den analysierten Publikationen unterliegen von Jahr zu Jahr starken Schwankungen (siehe Abbildung 4 , Punkt A). Der insgesamt häufigste Studientyp ist die explorative Studie (59±25%). An zweiter Stelle liegt die Beobachtungsstudie (17±21%), mit besonders hohen Anteilen in den Jahren 2012-2014 (43±15%). Bei 11% der in unserer Analyse berücksichtigten Publikationen des Zeitraums 2007-2015 ist nicht erkennbar, ob die Daten retro- oder prospektiv erhoben wurden oder dieser Parameter ist auf Publikation bzw. Studientyp nicht anwendbar. Den übrigen Veröffentlichungen liegen überwiegend prospektiv erhobene Daten zugrunde (59%). Es zeigt sich allerdings eine große Varianz zwischen den einzelnen Jahrgängen (siehe Abbildung 4 , Punkt B).3.5. Hochschulzugehörigkeit der Letztautor/inn/en publizierter StudienDavon ausgehend, dass die Letztautor/inn/en üblicherweise die Arbeiten initiiert, konzipiert und supervidiert haben und ggf. eher dauerhaft beschäftigt sind, wurde deren Hochschulzugehörigkeit untersucht, um eine Aussage über die Verteilung der Forschungsaktivitäten machen zu können. Die Analyse ergab, dass die Publikationen zu 90% aus Deutschland, zu 6% aus der Schweiz und zu 4% aus Österreich kamen. 39 verschiedene deutschsprachige Universitäten konnten hierbei als Ursprungsort identifiziert werden. Die Anzahl der aus den jeweiligen Universitäten stammenden Publikationen unterscheidet sich jedoch erheblich (siehe Abbildung 5 ). So entfallen 16% der veröffentlichten Arbeiten auf eine einzelne Hochschule, 36% auf die vier publikationsstärksten Universitäten. 12 Hochschulen (31%) sind im berücksichtigten Zeitraum nur mit jeweils einer Letztautorenschaft vertreten. Zwischen den vier bezüglich der Letztautorenschaft publikationsstärksten und den übrigen Universitäten gab es keine Unterschiede bei der Häufigkeit der jeweiligen Studienarten oder der Art der Datenerhebung. Die Ergebnisse einer Analyse der Erstautorenschaften stimmen weitestgehend mit denen der Letztautor/inn/en überein.3.6. Entwicklung der ZitationshäufigkeitEs ist eine stetige Zunahme der Zitationen seit dem Jahr nach PubMed-Listung zu beobachten (siehe Abbildung 6 ). Die Gegenüberstellung der Zitationszahlen in den fünf Jahren nach jeweiliger PubMed-Listung lässt ähnliche Entwicklungen bei GMS Z Med Ausbild und BMC Med Educ erkennen. 4. DiscussionOn the background of an internationally observable increase in significance of medical education, we analysed scientific articles submitted to and/or published in GMS Z Med Ausbild in 2007-2015 in regard to study type, publication type, last authors’ affiliation and citation rates. 4.1. Submissions and PublicationsOver the investigated period the number of submissions increased steadily, while the rejection rate stayed more or less the same. However, one has to keep in mind that the year of submission, the year of the final decision as well as the date of the actual publication do not always correspond. In regard to both the submitted manuscripts and the published articles original papers are the predominant type of publication, followed by projects reports and then reviews. Matching earlier observations an increase of original papers among the published articles can be observed since 2007. Considering submissions since 2012 particularly the numbers of project reports and reviews are increasing, which mostly explains the decline of the relative amount of submitted original papers since then. The increasing number of submissions in the categories “project report” and “review” can be seen as a sign of the growing significance of medical education research: A great(er) number of people who focus on medical education, think it reasonable to present their experiences systematically. Regarding the type of publication a comparison of the GMS Z Med Ausbild with other journals on medical education research is in our opinion not purposive given the varying requirements and options. The distribution of the published papers regarding the various study types fluctuates significantly from one year to the other. In general, however, the explorative study is predominant. The high number of explorative studies might be explained by the German-speaking education research still being at a rather early stage in international comparison. However, in international English-speaking journals on medical education research 26% of publications from German-speaking countries are experimental studies, a value almost twice as high as in the GMS Z Med Ausbild . It is tempting to speculate that authors prefer to submit high quality articles to journals listed in the Journal Citation Reports® (i.e. with an impact factor).4.2. Citation FrequencyThe activities of the GMS Z Med Ausbild regarding their (national as well as international) visibility seem to show the first signs of success: within the first five years after being listed in PubMed the citation frequency of papers published in the GMS Z Med Ausbild increased steadily. This increase was similar to that of BMC Medical Education during a comparable period. Just like the GMS Z Med Ausbild this journal has not been listed in PubMed that long and it is an open access journal, too. It should be noted that the citation frequency depends on a multitude of further factors, such as the number of published articles in a certain time frame. 4.3. University Affiliation of the Last AuthorsIt is striking that (in regard to the last author) only a few universities are responsible for the majority of publications in the GMS Z Med Ausbild. This raises the question why other universities publish in this journal less or not at all. There are two evident hypotheses: Authors from other universities prefer other journals for their publications. However, Ackel-Eisnach et al. obtained results similar to ours when analysing publications in international English-speaking journals regarding first and last authors : in their and our analyses three universities rank among the five most frequently publishing universities. It cannot be ruled out that articles were alternatively published in not primarily medical education research oriented or in non-medical (e. g. education science oriented or psychological) journals. The more frequently represented universities produce more and/or higher quality manuscripts overall. In a not a priori planned analysis of subgroups for the parameters “study type” and “mode of data collection”, however, no difference between the GMS Z Med Ausbild publications from the four most represented and the other universities can be observed.To gain authors that are not from Germany, Austria or Switzerland is an important aspect of the international competitiveness of the GMS Z Med Ausbild/J Med Educ. At least regarding the last authorship in this respect no effect was (yet) observable during the period examined. Being included in the Journal Citation Reports® and thus receiving an impact factor would be an important step regarding the appeal of GMS Z Med Ausbild/J Med Educ and stays a proclaimed goal of the publisher . Nevertheless, the citation frequency itself can be incentive enough for (potential) authors to (further) publish in the GMS Z Med Ausbild/J Med Educ. The Hirsch index (h-index), for example, as another popular parameter for the evaluation of scientific relevance, relates to the citation frequency and the number of an author’s publications and is calculated independently from the impact factor , , . Of note, both the impact factor and the Hirsch index are based on the number of citations. Actually, publications are perceived considerably more often. In the case of the GMS Z Med Ausbild for example, this can be taken from the (steadily increasing) numbers of online access in the years 2010-1014 .4.4. Limitations of the ResearchThree of the five parameters that were initially intended for evaluation of the published articles could not be assessed reliably enough and thus were not regarded further. Reasons for that could have been unclear item definitions or an insufficient agreement of the evaluators in advance (“evaluator training”). Hence, interesting aspects regarding expenditure, quality and significance of education research remain open. It is also worthwhile noting, that data from only two evaluators were the basis for the calculation of evaluator agreement. A further limitation of this research is that the significance of medical education research is not only represented by the type of the published studies, but also by a number of other criteria, that were not analysed (e.g. topic of research, research question, transferability of the findings) . The quality of the published research findings cannot be judged definitely on the basis of the parameters that we investigated, e.g. as not the applied methodology itself but its adequacy is crucial. Qualitative interviews in the faculties may offer a more detailed and structurally deeper insight regarding the significance and the quality of medical education research. It is to be expected that further ideas for relevant criteria can be generated from such interviews. Another limitation is that the reception and the significance of the GMS Z Med Ausbild was evaluated on the basis of the criteria “citation frequency” and “university affiliation of the author” which is only a small selection of potentially relevant indicators. 4. DiskussionVor dem Hintergrund einer international zu beobachtenden Zunahme des Stellenwerts Medizinischer Ausbildungsforschung wurden die im Zeitraum 2007-2015 bei der GMS Z Med Ausbild eingereichten bzw. publizierten wissenschaftlichen Beiträge hinsichtlich Art der Studien, Art der Publikationen, Herkunft der Letztautor/inn/en und Zitationszahlen analysiert.4.1. Einreichungen und PublikationenDie Zahl der Einreichungen stieg im untersuchten Zeitraum regelmäßig an, während die Ablehnungsquoten im Großen und Ganzen unverändert blieben. Es ist allerdings anzumerken, dass das Jahr der Einreichung, der endgültigen Entscheidung sowie der tatsächlichen Veröffentlichung nicht immer übereinstimmen, was die Datenlage verzerrt. Sowohl bei eingereichten als auch bei publizierten Beiträgen dominierte die Originalarbeit, gefolgt von Projektberichten und danach Übersichtsarbeiten. Bei den publizierten Beiträgen ist seit 2007 eine Zunahme der Anzahl an Originalarbeiten zu beobachten, was sich mit früheren Beobachtungen deckt . Bei den Einreichungen hat sich vor allem die Zahl der Projektberichte und Übersichten seit 2012 erhöht, was die Abnahme des relativen Anteils eingereichter Originalarbeiten ab 2013 weitgehend erklärt. Die Erhöhung der Zahl der Einreichungen in den Beitragskategorien Projektberichte und Übersichten kann man als Hinweis auf die Zunahme des Stellenwerts der Medizinischen Ausbildungsforschung interpretieren: mehr Personen, die sich mit medizinischer Lehre beschäftigen, halten es für sinnvoll, ihre Erfahrungen systematisch darzustellen. Ein Vergleich der GMS Z Med Ausbild mit anderen Fachzeitschriften für Medizinische Ausbildungsforschung ist aufgrund der sehr unterschiedlichen Vorgaben bzgl. der jeweils möglichen Publikationstypen aus unserer Sicht nicht zweckmäßig. Die Verteilung der publizierten Beiträge auf die verschiedenen Studientypen schwankt zwischen den Jahrgängen erheblich, insgesamt dominiert aber die explorative Studie. Geht man davon aus, dass sich die deutschsprachige Ausbildungsforschung in einem im internationalen Vergleich eher frühen Entwicklungsstadium befindet, ist der hohe Anteil explorativer Studien gut erklärbar. Andererseits ist bei Publikationen von Autor/inn/en aus dem deutschsprachigen Raum in internationalen englischsprachigen Fachzeitschriften der medizinischen Ausbildungsforschung der Anteil experimenteller Studien mit knapp 26% gut doppelt so hoch wie in der GMS Z Med Ausbild . Man ist versucht zu spekulieren, dass die Autor/inn/en qualitativ höherwertige Arbeiten doch lieber bei in den Journal Citation Reports® geführten (das heißt: mit einem Impactfaktor versehenen) Zeitschriften einreichen.4.2. ZitationshäufigkeitenDie Aktivitäten der GMS Z Med Ausbild hinsichtlich ihrer (auch internationalen) Sichtbarkeit scheinen erste Erfolge zu zeigen: innerhalb der fünf Jahre nach PubMed-Listung stieg die Zitationshäufigkeit von Arbeiten der GMS Z Med Ausbild stetig an. Der Zuwachs war dabei mit dem von BMC Medical Education vergleichbar. Ebenso wie die GMS Z Med Ausbild ist diese Zeitschrift noch nicht sehr lange PubMed-gelistet und auch als Open-Access-Journal angetreten. Es ist zu berücksichtigen, dass die Zitationshäufigkeit von einer Vielzahl weiterer Faktoren abhängt, z.B. von der Zahl der in einem bestimmten Zeitraum veröffentlichen Arbeiten.4.3. Hochschulzugehörigkeit der Letztautor/inn/enAuffällig ist, dass (bezogen auf die Letztautor/inn/en) einige wenige Hochschulen für den Großteil der Publikationen in der GMS Z Med Ausbild verantwortlich zeichneten. Man fragt sich, warum andere Standorte hier seltener oder gar nicht publizierten. Auf der Hand liegen zwei Hypothesen: Autor/inn/en anderer Standorte zogen andere Fachzeitschriften für Veröffentlichungen vor. Allerdings kamen Ackel-Eisnach et al. in ihrer Analyse von Publikationen in internationalen englischsprachigen Fachzeitschriften auf Erst- bzw. Letztautor/inn/en bezogen zu ähnlichen Ergebnissen : drei Universitäten finden sich sowohl dort wie auch in unserer Untersuchung unter den fünf publikationsstärksten Standorten. Nicht auszuschließen ist, dass alternativ gar nicht in primär auf Medizinische Ausbildungsforschung ausgerichteten sondern fachspezifischen medizinischen oder nicht-medizinischen (z.B. bildungswissenschaftlichen oder psychologischen) Zeitschriften veröffentlicht wurde. Die häufiger vertretenen Standorte produzierten insgesamt mehr und/oder qualitativ höherwertige Manuskripte. Allerdings zeigen sich in einer nicht a priori geplanten Subgruppenanalyse für die Parameter „Art der Studie“ und „Art der Datenerhebung“ keine Unterschiede zwischen GMS Z Med Ausbild-Publikationen aus den vier am häufigsten vertretenen und den restlichen Hochschulen.Autor/inn/en auch außerhalb von Deutschland, Österreich und der Schweiz zu gewinnen, ist ein wichtiger Aspekt für die internationale Konkurrenzfähigkeit der GMS Z Med Ausbild/J Med Educ. Zumindest auf Letztautorenschaften bezogen zeigt sich im hier untersuchten Zeitraum in dieser Hinsicht aber (noch) kein Effekt. Bezüglich der Attraktivität der GMS Z Med Ausbild/J Med Educ wäre die Aufnahme in die Journal Citation Reports® und die damit verbundene Berechnung des Impactfaktors ein wichtiger Schritt und bleibt erklärtes Ziel der Herausgeber der GMS Z Med Ausbild/J Med Educ . Es sollte aber nicht vergessen werden, dass allein schon die Zitationshäufigkeit ein Anreiz für (potenzielle) Autor/inn/en sein kann, (weiter) in der GMS Z Med Ausbild/J Med Educ zu publizieren. So bezieht sich der Hirsch-Index als ebenfalls weit verbreiteter Parameter zur Bewertung der wissenschaftlichen Bedeutung auf die Zitationshäufigkeit einerseits und die Zahl eigener Publikationen andererseits und wird unabhängig vom Impactfaktor berechnet , , . Es sollte aber berücksichtigt werden, dass sich sowohl Impactfaktor als auch Hirsch-Index auf die Zahl der Zitationen beziehen. Wahrgenommen werden Publikationen aber meist deutlich häufiger. Dies zeigen im Falle der GMS Z Med Ausbild zum Beispiel die (stetig zunehmenden) Online-Zugriffszahlen der Jahre 2010-2014 .4.4. Limitationen der UntersuchungDrei der fünf ursprünglich zur Einschätzung der publizierten Arbeiten gewählten Parameter konnten nicht zuverlässig genug erhoben werden und wurden daher nicht weiter betrachtet. Gründe könnten uneindeutige Item-Formulierungen oder eine unzureichende Abstimmung der Beurteiler im Vorfeld („Beurteilerschulung“) gewesen sein. Auch daher bleiben interessante Aspekte zu Aufwand, Qualität und Stellenwert der Ausbildungsforschung aus dem deutschsprachigen Raum offen. Es ist außerdem anzumerken, dass der Beurteilerübereinstimmung die Daten von nur zwei Beurteilern zugrunde gelegt wurden. Eine weitere Limitation dieser Arbeit ist, dass sich der Stellenwert der Medizinischen Ausbildungsforschung nicht nur in der Art der publizierten Studien zeigt, sondern auch in einer Reihe anderer Kriterien, die wir hier nicht analysiert haben (z.B. Forschungsthemen, Fragestellungen, Übertragbarkeit von Ergebnissen) . Die Qualität der publizierten Forschungsergebnisse lässt sich anhand der von uns untersuchten Parameter auch daher nicht sicher einschätzen, da nicht die verwendeten Methoden per se, sondern ihre Angemessenheit entscheidend ist. Einen detaillierteren, strukturell tieferen Einblick bezüglich des Stellenwerts und der Qualität Medizinischer Ausbildungsforschung könnten qualitative Interviews direkt in den Fakultäten liefern. Es ist zu erwarten, dass aus diesen Interviews weitere Ideen für relevante Kriterien generiert werden könnten. Eine weitere Limitation ist darin zu sehen, dass die Beurteilung der Wahrnehmung bzw. des Stellenwerts der GMS Z Med Ausbild anhand der Kriterien Zitationshäufigkeit und Hochschulzugehörigkeit der Autor/inn/en lediglich einen kleinen Ausschnitt der möglicherweise relevanten Indikatoren berücksichtigt. 5. ConclusionsThe growing number of manuscripts on education research submitted to the GMS Z Med Ausbild shows that people from German-speaking countries who are involved in medical education increasingly invest time and resources to contribute to the scientific discourse of teaching and learning in medicine. The visibility of the journal rises as shown by the citation frequency and number of online access. Taking this into account GMS Z Med Ausbild/J Med Educ as a journal for medical education and education research with a focus on topics concerning German-speaking countries can be considered as well established. Important steps for the international competitiveness have been taken, including the PubMed listing, the (in the meantime renewed) application for the allocation of an impact factor as well as the improved evaluation process , , . The analysis of various bibliometric indicators beyond the impact factor, intended to compare the current position of GMS Z Med Ausbild/J Med Educ and other international journals in the area of medical education, is highly anticipated . 5. SchlussfolgerungDie wachsende Zahl an bei der GMS Z Med Ausbild eingereichten Manuskripten zur Ausbildungsforschung zeigt, dass an medizinischer Lehre Beteiligte aus deutschsprachigen Ländern zunehmend Zeit und Ressourcen investieren, um sich am wissenschaftlichen Diskurs zum Thema Lehre und Lernen in der Medizin zu beteiligen. Die Sichtbarkeit der Zeitschrift nimmt zu, wie die Zitationshäufigkeit und auch die Zahl der Online-Zugriffe zeigen. Damit kann die GMS Z Med Ausbild/J Med Educ als Fachzeitschrift für Medizinische Lehre und Ausbildungsforschung mit einem Schwerpunkt auf Themen deutschsprachiger Länder als gut etabliert erachtet werden. Wichtige Weichen für die internationale Konkurrenzfähigkeit wurden gestellt, wozu neben der PubMed-Listung und dem (mittlerweile erneut gestellten) Antrag auf Vergabe eines Impactfaktors auch die Verbesserung des Begutachtungsprozesses zu rechnen ist , , . Mit Spannung darf man die Analyse verschiedener bibliometrischer Indikatoren jenseits des Impactfaktors erwarten, mit der die gegenwärtige Positionierung der GMS Z Med Ausbild/J Med Educ mit der anderer internationaler Fachzeitschriften im Bereich Medical Education verglichen werden soll . Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben. Hahn EG GMA 800 plus 2011 GMS Z Med Ausbild Doc18 Hahn EG. GMA 800 plus. GMS Z Med Ausbild. 2011;28(1):Doc18. DOI: 10.3205/zma000730 http://dx.doi.org/10.3205/zma000730 Ackel-Eisnach K Raes P Hönikl L Bauer D Wagener S Möltner A Jünger J Fischer MR Is German Medical Education Research on the rise? An analysis of publications from the years 2004 to 2013 2015 GMS Z Med Ausbild Doc30 Ackel-Eisnach K, Raes P, Hönikl L, Bauer D, Wagener S, Möltner A, Jünger J, Fischer MR. Is German Medical Education Research on the rise? An analysis of publications from the years 2004 to 2013. GMS Z Med Ausbild. 2015;32(3):Doc30. DOI: 10.3205/zma000972 http://dx.doi.org/10.3205/zma000972 Doja A Horsley T Samspon M Productivity in medical education research: an examination of countries of origin 2014 BMC Med Educ 243 Doja A, Horsley T, Samspon M. Productivity in medical education research: an examination of countries of origin. BMC Med Educ. 2014;14:243. DOI: 10.1186/s12909-014-0243-8 http://dx.doi.org/10.1186/s12909-014-0243-8 Jaarsma D Scherpbier A van der Vleuten C ten Cate O Stimulating medical education research in the Netherlands 2013 Med Teach 277-281 Jaarsma D, Scherpbier A, van der Vleuten C, ten Cate O. Stimulating medical education research in the Netherlands. Med Teach. 2013;35(4):277-281. DOI: 10.3109/0142159X.2012.749344 http://dx.doi.org/10.3109/0142159X.2012.749344 Tutarel O Geographical distribution of publications in the field of medical education 2002 BMC Med Educ 3 Tutarel O. Geographical distribution of publications in the field of medical education. BMC Med Educ. 2002;2:3. DOI: 10.1186/1472-6920-2-3 http://dx.doi.org/10.1186/1472-6920-2-3 Hahn EG Fabry F Fischer MR 30 Years of the Zeitschrift für Medizinische Ausbildung (GMS Z Med Ausbild): heading in a good direction 2014 GMS Z Med Ausbild Doc50 Hahn EG, Fabry F, Fischer MR. 30 Years of the Zeitschrift für Medizinische Ausbildung (GMS Z Med Ausbild): heading in a good direction. GMS Z Med Ausbild. 2014;31(4):Doc50. DOI: 10.3205/zma000942 http://dx.doi.org/10.3205/zma000942 Fabry G Fischer MR German Medical Science - Journal for Medical Education: Respectable and very much in motion 2015 GMS Z Med Ausbild Doc12 Fabry G, Fischer MR. German Medical Science - Journal for Medical Education: Respectable and very much in motion. GMS Z Med Ausbild. 2015;32(1):Doc12. DOI: 10.3205/zma000954 http://dx.doi.org/10.3205/zma000954 Fabry G Fischer MR Die ZMA und der Impact Factor 2013 GMS Z Med Ausbild Doc39 Fabry G, Fischer MR. Die ZMA und der Impact Factor. GMS Z Med Ausbild. 2013;30(3):Doc39. DOI: 10.3205/zma000882 http://dx.doi.org/10.3205/zma000882 Wissenschaftsrat 2014 Empfehlungen zur Weiterentwicklung des Medizinstudiums in Deutschland auf Grundlage einer Bestandsaufnahme der humanmedizinischen Modellstudiengänge (Drs Wissenschaftsrat. Empfehlungen zur Weiterentwicklung des Medizinstudiums in Deutschland auf Grundlage einer Bestandsaufnahme der humanmedizinischen Modellstudiengänge (Drs. 4017-14). Dresden: Wissenschaftsrat; 2014. Lichtenstein N Ensmann I Haak R Hallal H Kupke J Matthes J Noack M Wicht M Stosch C "May I help you?" - Evaluation of the new student service at the reception desk during the clinical courses at the Department of Operative Dentistry and Periodontology as a part of a longitudinal curriculum of social and communicative competences for dental students 2015 GMS Z Med Ausbild Doc31 Lichtenstein N, Ensmann I, Haak R, Hallal H, Kupke J, Matthes J, Noack M, Wicht M, Stosch C. "May I help you?" - Evaluation of the new student service at the reception desk during the clinical courses at the Department of Operative Dentistry and Periodontology as a part of a longitudinal curriculum of social and communicative competences for dental students. GMS Z Med Ausbild. 2015;32(3):Doc31. DOI: 10.3205/zma000973 http://dx.doi.org/10.3205/zma000973 Ringsted C Hodges B Scherpbier A 'The research compass': an introduction to research in medical education: AMEE Guide no. 56 2011 Med Teach 695-709 Ringsted C, Hodges B, Scherpbier A. 'The research compass': an introduction to research in medical education: AMEE Guide no. 56. Med Teach. 2011;33(9):695-709. DOI: 10.3109/0142159X.2011.595436 http://dx.doi.org/10.3109/0142159X.2011.595436 Landis JR Koch GG The measurement of observer agreement for categorical data 1977 Biometrics 159-74 Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977;33(1):159-74. DOI: 10.2307/2529310 http://dx.doi.org/10.2307/2529310 Fabry G Fischer MR Zeitschrift für Medizinische Ausbildung der GMA – Erreichtes und Erwünschtes 2012 GMS Z Med Ausbild Doc60 Fabry G, Fischer MR. Zeitschrift für Medizinische Ausbildung der GMA – Erreichtes und Erwünschtes. GMS Z Med Ausbild. 2012;29(4):Doc60. DOI: 10.3205/zma000830 http://dx.doi.org/10.3205/zma000830 Costas R Bordons M The h-index: Advantages, limitations and its relation with other bibliometric indicators at the micro level 2007 J Informetr 193-203 Costas R, Bordons M. The h-index: Advantages, limitations and its relation with other bibliometric indicators at the micro level. J Informetr. 2007;1:193-203. DOI: 10.1016/j.joi.2007.02.001 http://dx.doi.org/10.1016/j.joi.2007.02.001 Egghe L The Hirsch Index and Related Impact Measures 2010 Ann Rev Informa Sci Technol 65-114 Egghe L. The Hirsch Index and Related Impact Measures. Ann Rev Informa Sci Technol. 2010;44(1):65-114. DOI: 10.1002/aris.2010.1440440109 http://dx.doi.org/10.1002/aris.2010.1440440109 Marx W Bornmann L Der Journal Impact Factor: Aussagekraft, Grenzen und Alternativen in der Forschungsevaluation 2012 Beitr Hochschulforsch 50-66 Marx W, Bornmann L. Der Journal Impact Factor: Aussagekraft, Grenzen und Alternativen in der Forschungsevaluation. Beitr Hochschulforsch. 2012;34(2):50-66. Schüttpelz-Brauns K Stosch C Matthes J Himmelbauer M Herrler A Bachmann C Huwendiek S Huenges B Kiessling C Empfehlungen zur Begutachtung eines Manuskriptes für die GMS Zeitschrift für Medizinische Ausbildung 2010 GMS Z Med Ausbild Doc75 Schüttpelz-Brauns K, Stosch C, Matthes J, Himmelbauer M, Herrler A, Bachmann C, Huwendiek S, Huenges B, Kiessling C. Empfehlungen zur Begutachtung eines Manuskriptes für die GMS Zeitschrift für Medizinische Ausbildung. GMS Z Med Ausbild. 2010;27(5):Doc75. DOI: 10.3205/zma000712 http://dx.doi.org/10.3205/zma000712 0

1 1en 1de Figure 1: Absolute number of manuscripts submitted to GMS Z Med Ausbild in the period 2007-2015. Abbildung 1: Absolute Zahl der im Zeitraum 2007 bis 2015 bei der GMS Z Med Ausbild eingereichten Manuskripte, unterschieden nach Originalarbeit, Projektbericht sowie Übersichtsarbeit.

2 2en 2de Figure 2: Acceptance and rejection rates of manuscripts submitted to GMS Z Med Ausbild in the years 2007 until 2014. Of note, a distinction is made between “rejected” and “rejection with the option for de novo submission”. Abbildung 2: Annahme- bzw. Ablehnungsquoten von bei der GMS Z Med Ausbild eingereichten Manuskripten in den Jahren 2007 bis 2014. Beachte die Differenzierung zwischen „abgelehnt“ und Ablehnung mit expliziter Aufforderungen zur Neueinreichung nach Überarbeitung.

3 3en 3de Figure 3: Publication types (original paper, project report, review article) in manuscripts submitted to (A) or published in (B) GMS Z Med Ausbild from 2007 to 2015. Abbildung 3: Anteil der Publikationstypen Originalarbeit, Projektbericht und Übersichtsarbeit von bei der GMS Z Med Ausbild 2007-2015 eingereichten (A) bzw. publizierten Arbeiten (B).

4 4en 4de Figure 4: Study type (A) and mode of data collection (B) in scientific papers published in GMS Z Med Ausbild from 2007 to 2015. Abbildung 4: Anteil der Studientypen (A) bzw. der Art der Datenerhebung (B) bei in der GMS Z Med Ausbild von 2007 bis 2015 veröffentlichten wissenschaftlichen Beiträgen.

5 5en 5de Figure 5: Number of scientific papers published in GMS Z Med Ausbild during 2007-2015 sorted according to last authors’ affiliations. Abbildung 5: Anzahl der in der GMS Z Med Ausbild publizierten wissenschaftlichen Beiträge (Originalarbeiten, Projektberichte und Übersichtsarbeiten) im Untersuchungszeitraum nach Hochschulzugehörigkeit der Letztautor/inn/en.

6 6en 6de Figure 6: Citation frequency of articles published in GMS Z Med Ausbild (black) and BMC Med Educ (grey) in the five years after their respective PubMed listing (2011-2015 and 2002-2006, respectively). Abbildung 6: Zitationshäufigkeit von in GMS Z Med Ausbild (schwarz) bzw. BMC Med Educ (grau) publizierten Artikeln in den fünf Jahren nach jeweiliger PubMed-Listung (2011-2015 bzw. 2002-2006).

6 0 0