zma00071210.3205/zma000712urn:nbn:de:0183-zma0007120Positionspapierposition paperEmpfehlungen zur Begutachtung eines Manuskriptes für die GMS Zeitschrift für Medizinische AusbildungRecommendations for reviewing a manuscript for the GMS Zeitschrift für Medizinische AusbildungSchüttpelz-BraunsSchüttpelz-BraunsKatrinKDr. rer nat.
Charité-Universitätsmedizin Berlin, Dieter Scheffner Fachzentrum, Assessment-Bereich/Progress Test Medizin, Charitéplatz 1, D-10117 Berlin, DeutschlandCharité-Universitätsmedizin Berlin, Dieter Scheffner Fachzentrum, Assessment-Bereich/Progress Test Medizin, Berlin, Deutschlandkatrin.brauns@charite.deauthorStoschStoschChristophCDr. h.c. (RUS)Universität zu Köln, Medizinische Fakultät, Studiendekanat, Köln, Deutschlandc.stosch@uni-koeln.deauthorMatthesMatthesJanJDr. med.Universität zu Köln, Institut für Pharmakologie, Köln, Deutschlandjan.matthes@uni-koeln.deauthorHimmelbauerHimmelbauerMonikaMMmag.Medizinische Universität Wien, Department für Medizinische Aus- und Weiterbildung, Wien, Österreichmonika.himmelbauer@meduniwien.ac.atauthorHerrlerHerrlerAndreasAMaastricht University, Anatomie & Embryologie, Maastricht, Niederlandea.herrler@ae.unimaas.nlauthorBachmannBachmannCadjaCDr.Universitätsklinikum Hamburg-Eppendorf, Institut für Allgemeinmedizin, Hamburg, Deutschlandc.bachmann@uke.uni-hamburg.deauthorHuwendiekHuwendiekSörenSDr. med.Universitätsklinikum Heidelberg, Zentrum für Kinder- und Jugendmedizin, Heidelberg, Deutschlandsoeren.huwendiek@med.uni-heidelberg.deauthorHuengesHuengesBertBDr. med.Ruhr-Universität Bochum, Abteilung für Allgemeinmedizin, Bochum, Deutschlandbert.huenges@rub.deauthorKiesslingKiesslingClaudiaCDr. med.Universität Basel, Medizinische Fakultät, Studiendekanat, Basel, Schweizclaudia.kiessling@unibas.chauthorGerman Medical Science GMS Publishing House
Düsseldorf
610Medical Educationreview of papersposition paperfeedback to authorsMedizinische AusbildungManuskriptbegutachtungPositionspapierAutoren-FeedbackmedicineHumanmedizin20100525201007162010072220101115germengl1860-3572275GMS Zeitschrift für Medizinische AusbildungGMS Z Med Ausbild75Ziel des vorliegenden Artikels des „Ausschusses für Methodik der Ausbildungsforschung“ der Gesellschaft für Medizinische Ausbildung ist, Empfehlungen für die Begutachtung von Manuskripten in der medizinischen Ausbildungsforschung vorzustellen. Die Empfehlungen basieren auf den Ergebnissen eines Workshops 2007 und einer Befragung von Gutachtern. Sie berücksichtigen darüber hinaus sowohl internationale Standards als auch die Situation der medizinischen Ausbildungsforschung in Deutschland. Es werden die Aufgaben eines Gutachters der GMS Z Med Ausbild dargelegt und Kriterien für den Begutachtungsprozess sowohl für die Herausgeber als auch für die Gutachter beschrieben. Sie enthalten außerdem Vorschläge für ein Autoren-Feedback. Der Kriterienkatalog für die Gutachter wird darüberhinaus in einer Checkliste abgebildet. Die vorliegenden Empfehlungen sollen dazu beitragen, die Qualität des Begutachtungsprozesses zu steigern und das nationale und internationale Ansehen der Fachzeitschrift GMS Z Med Ausbild zu verbessern. Die Transparenz des Begutachtungsprozesses dient den Autoren, einen qualitativ hochwertigen und anspruchsvollen Beitrag einzureichen.The aim of this paper, written by the committee of educational research methodology of the “Society for Medical Education” of the German-speaking countries, will give recommendations for the review process of scientific papers in medical education. The recommendations are based on the results of a workshop in 2007 and on a survey among reviewers of the journal GMS Z Med Ausbild. It reflects on international standards and research in medical education in Germany. The paper describes reviewer’s function concerning the journal of GMS Z Med Ausbild and specifies criteria for the review process with regard to the editors and reviewers; it also gives proposals for a feedback to the author. The catalogue of criteria for the reviewers is pictured in a checklist. The present recommendations shall help to increase the quality of the review process and to improve the national and international acceptance of the journal GMS Z Med Ausbild. Additionally, transparency of the review processes will support authors to submit a scientific article of high quality. EinführungSeit 5 Jahren erhöhen sich die Mitgliederzahlen der Gesellschaft für Medizinische Ausbildung (GMA) jedes Jahr um durchschnittlich 20%, sie liegen derzeit bei rund 780 Mitgliedern. Unter den Mitgliedern befinden sich u.a. Human-, Zahn- und Tiermediziner1, Psychologen, Biologen, Pädagogen und Studierende. Die Anzahl der Zugriffe auf die GMA-Zeitung der GMS Z Med Ausbild erhöhte sich von 300.000 im Jahr 2007 auf 430.000 im Jahr 2009. Um den Interessen ihrer Mitglieder gerecht zu werden, werden in der GMS Z Med Ausbild Themen aus der „Aus-, Weiter- und Fortbildung in der Medizin, Medizindidaktik, Erwachsenenbildung, Qualitätsmanagement in der Lehre, pädagogischen Psychologie (soweit für die Medizinerausbildung relevant), Bildungspolitik und Hochschullehre“ (http://www.egms.de/de/journals/zma/authors.htm) veröffentlicht. Als Zielgruppe werden „alle mit der Hochschullehre befassten Personen und die interessierte Öffentlichkeit genannt“ (http://www.egms.de/de/journals/zma/authors.htm). Die Leser und ihre Interessen werden durch den Herausgeber vertreten. Um den Herausgeber bei seiner Entscheidung zu unterstützen und die Qualität der eingereichten Manuskripte zu erhöhen , , werden Übersichten, Originalarbeiten, Projekte sowie Kommentare von engagierten Personen aus der medizinischen Ausbildung begutachtet. Ziel des Artikels ist die Darstellung der Aufgaben eines Gutachters inklusive der Empfehlungen für die Begutachtung bei der GMS Z Med Ausbild. Dieser Artikel bezieht sich als Positionspapier des Ausschusses auf internationale Standards unter besonderer Berücksichtigung der Situation der medizinischen Ausbildungsforschung in Deutschland. Er entstand in enger Zusammenarbeit mit Gutachtern der GMS Z Med Ausbild. IntroductionFor five years, membership of the German Society for Medical Education (GMA) has been increasing annually by 20%; currently, the society counts 780 members. Amongst others, the members are physicians, dentists, veterinarians, psychologists, biologists, pedagogues and students. The number of visits to the GMA online newspaper GMS Z Med Ausbild increased from 300,000 in 2007 to 430,000 in 2009. To meet the members’ interests, subject matters are published from the field of education and further training in medicine, medicine didactics, adult education, quality management of the training, pedagogical psychology (as far as it is relevant for the training of physicians), educational policy and university education” (http://www.egms.de/en/journals/zma/authors.htm). “Every person involved in university education as well as the interested public” is stated as the target group (http://www.egms.de/en/journals/zma/authors.htm). The readers and their interests are represented by the editor. In order to support the editor in decision making and to increase the quality of the submitted manuscripts , , overviews, original works, projects and comments are reviewed by committed people from the field of medical education. The aim of this article is to describe the tasks of a reviewer and to give recommendations for reviewing for the GMS Z Med Ausbild. As a position paper of the committee, this article refers to international standards especially taking into account the situation of medical education research in Germany. This article was produced in close cooperation with reviewers of the GMS Z Med Ausbild. LiteraturüberblickQualitativ hochwertige Studien erleichtern nicht nur die Beurteilung durch Fachgutachter und Herausgeber, sondern haben auch später einen höheren Nutzen für die Leser . Oft fehlt den eingereichten Manuskripten jedoch ein kritischer Überblick über die Literatur, ein konzeptuelles Rahmenwerk, eine Aussage zum Studiendesign, eine Definition der Vergleichs- bzw. Kontrollgruppe oder Anmerkungen zu ethischen Aspekten . Bordage zählte 1997 und 1998 Ablehnungs- und Annahmegründe von eingereichten Forschungsmanuskripten bei der Research in Medical Education Conference. Die am häufigsten genannten Ablehnungsgründe waren eine unzureichende Statistik (11,2%), Überinterpretation der Ergebnisse (8,7%), ungeeignete Instrumente (7,3%), zu kleine bzw. verzerrte Stichproben (5,6%), schwer lesbare Texte (3,9%), unzureichende Datenbeschreibung (3,9%), Problembeschreibung (3,4%), Literaturüberblick (3,1%), Datenpräsentation(2,7%) und Tabellen/Abbildungen (2,5%). Gründe für die Annahme von Manuskripten waren: bedeutendes Thema (20,2%), gut geschrieben (18,3%), gutes Studiendesign (10,3%), aktueller Literaturüberblick (6,7%), Stichprobe groß genug (4,4%), praktische Implikationen (4,4%), Limitationen in der Interpretation (4,4%), gut dargestelltes Problem (3,6%) und neuartiger Zugang der Analyse (3,6%).Eine Verbesserung der Qualität könnte durch die Einhaltung von Leitlinien bzw. Checklisten beim Schreiben von Manuskripten erreicht werden . Checklisten bieten nicht nur Gutachtern den Vorteil, dass sie den Artikel schneller lesen und kritisch bewerten können und die Systematik viel leichter zugänglich ist. Vielmehr können Gutachter durch die einfache Strukturierung leichter auf etwaige Mängel in der Darstellung hinweisen. Auch Autoren erhalten durch Checklisten aktive Hilfe in der Planungsphase . Checklisten für die Begutachtung gibt es bei verschiedensten Zeitschriften zum Thema medizinische Ausbildung, wie bei der Academic Medicine, Medical Education, Applied Behavioral Science, New England Journal of Medicine, The Lancet und Annals of Internal Medicine . Medical Education bietet neben einer Checkliste auch ein Mentoringprogramm für Gutachter an . Literature overviewHigh-quality studies facilitate reviews by experts and editors and offer high benefits for the readers further down the line . The submitted manuscripts often lack in critical literature overviews, conceptual frameworks, statement on study designs, definitions of the control groups or notes on ethical aspects . In 1997 and 1998, Bordage counted the grounds of acceptance and refusal of submitted research manuscripts during the Research in Medical Education Conference. The most commonly stated reasons of refusal were insufficient statistics (11.2%), over-interpretation of the results (8.7%), inadequate instruments (7.3%), too small or distorted control samples (5.6%), difficult to read texts (3.9%), insufficient data descriptions (3.9%), problem descriptions (3.4%), literature overviews (3.1%), data presentation (2.7%) and tables/figures (2.5%). Reasons for acceptance of manuscripts were: important subject matter (20.2%), well written (18.3%), good study design (10.3%), current literature overview (6.7%), control sample big enough (4.4%), practical implications (4.4%), limitations in the interpretation (4.4%), well described problem (3.6%) and innovative approach of the analysis (3.6%).Quality could be increased by adhering to guidelines or checklists when writing manuscripts [3]. Check lists have the advantage that they help reviewers read the articles more quickly, review them critically and make the approach taken more easily accessible. Rather, due to their simple structure, the reviewers can identify possible deficiencies in the presentation more easily. Even authors receive active help from checklists during the planning phase . Review checklists are offered by several medical education magazines, for example Academic Medicine, Medical Education, Applied Behavioral Science, New England Journal of Medicine, The Lancet and Annals of Internal Medicine . In addition to checklists, Medical Education also offers a mentoring programme for reviewers . Beschreibung der nationalen SituationDurch die erfreuliche Zunahme der Mitgliederzahlen in der GMA, die neuen Möglichkeiten zur Gestaltung des Medizinstudiums im Rahmen der Approbationsordnung für Ärzte von 2002 und die Verbreitung von professionellen Abschlüssen in der medizinischen Ausbildungsforschung im deutschsprachigen Raum herrscht eine gewisse „Aufbruchstimmung“ in der medizinischen Ausbildungsforschung.In den letzten Jahren ist die Anzahl eingereichter Originalarbeiten bei der GMS Z Med Ausbild und der Anteil abgelehnter Manuskripte kontinuierlich angestiegen (siehe Tabelle 1 ). Auf der Jahrestagung der GMA 2007 führte der Ausschuss für Methodik der Ausbildungsforschung einen Workshop zum Thema „Wie begutachte ich ein Manuskript zur Ausbildungsforschung in der Medizin?“ durch. Ziel dieses Workshops war es, gemeinsame Empfehlungen für die Begutachtung von Manuskripten speziell für die medizinische Ausbildungsforschung zu entwickeln. Ergebnis des Workshops war, dass Gutachter einen Bedarf an einheitlichen Kriterien zur Begutachtung von Manuskripten in der medizinischen Ausbildungsforschung sahen. Um ein genaueres Bild von den Wünschen und Bedürfnissen aller Gutachter der GMS Z Med Ausbild zu erhalten, führten wir im Anschluss an den Workshop eine Befragung der Zielgruppe durch.Im Jahr 2008 erhielten alle 119 Gutachter der GMS Z Med Ausbild einen Fragebogen (siehe Anhang 1 ). Dieser enthielt allgemeine Fragen zur Gutachtertätigkeit (seit wann sie begutachten, Anzahl begutachteter Manuskripte in den letzten zwei Jahren, Erfahrung mit Manuskripten aus der Ausbildungsforschung), Fragen zur Qualität der begutachteten Manuskripte (5-stufiges Rating von gering bis hoch), Fragen zu Mängeln begutachteter Manuskripte (5-stufiges Rating von selten bis häufig), Fragen zu Anforderungen an ein Manuskript (5-stufiges Rating von gering bis hoch) und offene Fragen zu Verbesserungspotentialen und den Wünschen für eine Optimierung des Begutachtungsprozesses.Von den 119 befragten Gutachtern schickten 24 eine Antwort. Der hauptsächliche Tätigkeitsbereich der Gutachter liegt in der Lehre, gefolgt von Klinik und Forschung. Die wenigsten Begutachter geben ihren hauptsächlichen Tätigkeitsbereich in der Vorklinik an. Die Gutachter gaben eine unterschiedliche Dauer der Erfahrung mit Begutachtungen von Manuskripten an. Nur 25% hatten weniger als 3 Jahre Erfahrung. In den letzten beiden Jahren begutachtete die Hälfte von ihnen 5-12 Manuskripte. Die Deskriptivstatistiken des Fragebogens sind in den folgenden Tabellen aufgeführt. In den Abbildungen 1 und 2 sind aufgrund des ordinalen Datenniveaus Mediane und wenn passend Perzentile aufgeführt. Das 25%-Perzentil gibt an, bis zu welchem Wert die „schlechtesten“ 25% der Antworten waren. Der Median (50%-Perzentil) gibt die mittleren Antworten an und das 75%-Perzentil zeigt die unterste Grenze der 25% „besten“ Antworten. Zur besseren Verständlichkeit der folgenden Abbildungen und Tabellen ist zusätzlich der Fragebogen als Anhang 1 angeführt.Bei den Freitextfragen wurden ähnliche Aussagen zusammengefasst und die Aussagen gezählt. Die Ergebnisse sind in Tabelle 2 abgebildet. Der GMS Z Med Ausbild steht mit dem Manuscript Operating System (MOPS) auf dem Portal der German Medical Science ein Begutachtungsformular zur Verfügung. Es beinhaltet Ratingfragen mit den Abstufungen ja-nein-unsicher-nicht anwendbar. Es werden Fragen zu Inhalt und Form gestellt. Zusätzlich enthält es Felder für allgemeine und spezifische Kommentare für den Autor/die Autorin. Dazu gehört sowohl die allgemeine wissenschaftliche Beurteilung als auch spezifische Kommentare, welche sich auf bestimmte Seiten und Zeilen des eingereichten Manuskripts beziehen. Es folgt ein Feld „Erklärung für die Redaktion“. In der abschließenden Beurteilung kann der Gutachter das Manuskript in der vorliegenden Form annehmen, nach Überarbeitung annehmen, mit Möglichkeit der Neueinreichung ablehnen oder (definitiv) ablehnen. Der Autor erhält als Rückmeldung die allgemeinen und spezifischen Kommentare. Die Begutachtungskriterien und ihre Bewertung sind ihm nicht zugänglich. Description of the national situationDue to the welcome increase in GMA memberships, the new possibilities of designing medical undergraduate studies within the Medical Licensure Act for Physicians 2002 and the extension of professional degrees in the medical education research in the German-speaking area, a certain “spirit of optimism” is now prevailing in medical education research.Within in the past years, the number of original works submitted to the GMS Z Med Ausbild and the share of refused manuscripts increased continuously (see table 1 ). At the annual GMA conference in 2007, the committee of educational research methodology ran a workshop on “How to review a manuscript on education research in medical science”. The aim of this workshop was to develop joint recommendations for reviewing manuscripts, especially for medical education research. The result of the workshops was that reviewers recognised a demand for standardised criteria for reviewing manuscripts in medical education research. In order to obtain a more detailed idea of the wishes and needs of all GMS Z Med Ausbild reviewers, subsequent to the workshop we interviewed the target group.In 2008, all of the 119 GMS Z Med Ausbild reviewers were provided with a questionnaire (see Appendix 1 ). This questionnaire contained general questions about the review activity (how long they had been reviewing, number of reviewed manuscripts in the past two years, experience with manuscripts from educational research), questions about the quality of the reviewed manuscripts (5-level rating scale from poor to high), questions on defects of reviewed manuscripts (5-level rating scale from small to grave), questions on manuscript requirements (5-level rating scale from low to high) and open questions on potentials for improvement and the wishes for improving the review process.24 of 119 interviewed reviewers sent an answer. The main activity of the reviewers consisted in teaching, followed by clinical work and research. Only a few reviewers indicated pre-clinical studies as their main field of activity. The reviewers stated different periods of experience with reviewing manuscripts, only 25% less than 3 years of experience. In the past two years, half of them reviewed 5 to 12 manuscripts. The descriptive statistics of the questionnaire are listed in the following tables. Due to the ordinal level data, Figures 1 and 2 show medians, and, where applicable, percentiles. The 25% percentile indicates up to which value were the “worst” 25% of the answers. The median (50% percentile) indicates the mean answers and the 75% percentile shows the lowest limit of the 25% best answers. For better understanding of the following figures and tables, the questionnaire is also included in Appendix 1 .As to the open questions, similar statements were summarized and the statements were counted. Table 2 shows the results. The GMS Z Med Ausbild uses a review form called Manuscript Operating System (MOPS) which is available on the portal of the German Medical Science. It contains questions and used the rating scales yes/no/unsure/not applicable. The questions refer to content and form. In addition, it contains text boxes for general and specific comments by the author. This includes the general scientific review as well as specific comments which refer to certain pages and lines of the submitted manuscript. It is followed by a field called “Explanation for the editorial office”. In the final review, the reviewer can accept the manuscript in the present form, accept it in a revised form, refuse it with the possibility of re-submission or refuse it. The general and specific comments are the feedback for the author. The author will not have access to the review criteria and the rating. Bewertung/StellungnahmeDie Ergebnisse der Umfrage unter den 24 von 119 befragten Gutachtern der GMS Z Med Ausbild zeigen, dass die Qualität der begutachteten Manuskripte im Median als mittelmäßig beurteilt wird, wobei die Erfahrungsberichte/ Projekte und die Originalarbeiten eine große qualitative Bandbreite aufweisen. Besonders häufig zeigen sich Mängel in der statistischen Auswertung und im Studiendesign, wie es auch in anderen Zeitschriften berichtet wird . Besonders wichtige Kriterien für die Gutachter sind Objektivität, Studiendesign und Schlussfolgerungen. Die befragten Gutachter gaben an, dass bei den eingereichten Manuskripten insbesondere die Darstellung von Neuem und Nützlichem in der Diskussion verbessert werden muss. Weiterhin besteht der Wunsch nach konkreten Anleitungen für die Autoren und die Beachtung der selbigen. Die dem Beurteilungsprozess zu Grunde liegenden Kriterien sollten klarer formuliert und den Autoren transparent gemacht werden. Es wäre wünschenswert, wenn die Manuskripte intensiver vorbegutachtet würden und genügend Zeit für die Bearbeitung zur Verfügung stünde. Bei der Bewertung der Umfrageergebnisse muss beachtet werden, dass die Umfrage bereits 2008 durchgeführt wurde und nur 20% aller Gutachter den Fragebogen beantwortet haben. Aufgrund der geringen Rücklaufquote können Selektionsartefakte nicht ausgeschlossen werden. Insgesamt war die Erfahrung in der spezifischen Begutachtung von Manuskripten in der medizinischen Ausbildung eher gering. Ziel der Befragung war jedoch, inhaltliche Aspekte der Begutachtung stärker zu beleuchten und weitere Anregungen für die Verbesserung des Begutachtungsprozesses zu erhalten. Insofern konnten besonders die eher qualitativen Kommentare der Antworteten dazu genutzt werden, die Ergebnisse des Workshops zu ergänzen und zu erweitern.Aus den Ergebnissen des Workshops, der Umfrage und kritischen Reflexion des bislang bestehenden MOPS-Formulars konnten folgende Wünsche an ein Positionspapier abgeleitet werden: Definition der Aufgaben eines Gutachters der GMS Z Med Ausbild, Empfehlungen für den Begutachtungsprozess, Überarbeitung des Beurteilungsschemas für Gutachter und Überarbeitung der Autorenrichtlinien. Die Überarbeitung der Autorenrichtlinien ist nicht Gegenstand dieses Positionspapiers. Evaluation/CommentsThe results of the survey of 24 of 119 reviewers of the GMS Z Med Ausbild surveyed show that the quality of peer-reviewed manuscripts on average will be assessed as mediocre, with experience/project reports and original works showing a particularly large spread. Especially common were deficiencies in the statistical analysis and study design, as reported in other journals . Particularly important criteria for the reviewers were objectivity, study design and conclusions. The surveyed experts surveyed said that in the submitted manuscripts in particular the presentation of new and useful things has to be improved especially in the discussion. Furthermore, the desire for specific instructions for authors and the respect of the same droplet. The reviewers surveyed said that in the submitted manuscripts, the presentation of the discussion of new and useful things must be improved in particular. Furthermore, there is a desire for concrete guides for authors and adherence to such. The criteria underlying the assessment process should be clarified and made transparent for the authors. It would be desirable if the manuscripts could be pre-reviewed more intensively and if sufficient time for processing would be available.In the evaluation of survey results it must be borne in mind that the survey was conducted in 2008 and only 20% of all reviewers answered questionnaires. Due to the low response rate, selection artefacts cannot be excluded. Overall, specific experience in reviewing manuscripts in medical education was rather low. The aim of the survey was, however, to shed more light on substantive aspects of the assessment and to formulate more suggestions for improving the reviewing process. In this respect the more qualitative comments of the reviewers who responded particularly could be used to complement and expand the results of the workshop.The following requests for a position paper could be derived from the results of the workshop, the survey and critical reflection of the existing MOPS form: Definition of the duties of a GMS Z Med Ausbild reviewer, recommendations for the reviewing process, revision of the assessment scheme for reviewers and review of the author guidelines. The revision of the guidelines for authors is not part of this position paper.EmpfehlungenAufgaben eines Gutachters Zu den Aufgaben des Gutachters zählen die Unterstützung der Entscheidung des Herausgebers, das Feedback für den Autor, die Förderung der Wissenschaftlichkeit sowie der fachwissenschaftlichen Öffentlichkeit und die Stärkung des nationalen und internationalen Ansehens der Zeitschrift (s. auch ). Der Gutachter sollte nicht nur die aktuelle Fachliteratur in seinem Spezialgebiet kennen, sondern auch sicher sein im Umgang mit der wissenschaftlichen Methodik. Für das Gutachten sollte er sich ungefähr drei Stunden Zeit nehmen , . 1. Unterstützung der Entscheidung des HerausgebersDer Gutachter hilft dem Herausgeber bei der Auswahl des Manuskripts und macht Vorschläge für die Veränderungen, die den Autoren helfen, ihre Botschaft dem Leser präzise und prägnant zu präsentieren. Der Herausgeber gewichtet die verschiedenen Meinungen der Gutachter, bewertet die Wichtigkeit und berücksichtigt einen möglichen Bias. Der Gutachter sollte das vorliegende Manuskript daher sorgfältig bewerten, seine wissenschaftliche Qualität bestimmen und in die aktuelle Literatur einordnen . Zur Unterstützung der Entscheidung des Herausgebers hat sich die Berücksichtigung bestimmter Kriterien bewährt , , . Diese decken sich mit den Anforderungen für Begutachtungsprozesse im deutschsprachigen Raum (siehe Abbildung 1 ). Sie teilen sich in Haupt- und Nebengütekriterien. Die Nicht-Einhaltung der Hauptgütekriterien muss zu einer sofortigen Ablehnung des Artikels führen, da sie Beanstandungen beschreiben, die nicht korrigiert werden können:Artikel nicht wichtig (Publikation verzichtbar, nicht zeitgemäß, irrelevant)Studiendesign ist inadäquat (z.B. Querschnittsdesign zum Nachweis von Veränderung)Methode inkl. Statistik ist inadäquat (z.B. Stichproben zu klein, Auswahl „verzerrt“) Die Nicht-Einhaltung der Nebengütekriterien bedarf einer Korrektur:Unzureichende oder unvollständige Darstellung des ProblemsMethode unzureichend beschriebenStatistik: unvollständig, unzureichend beschriebenInkonsistente oder ungenaue Darstellung der DatenDatendarstellung nicht umfangreich genug Überinterpretation der ErgebnisseKein Mehrwert für den Leser herausgearbeitet (Take-Home-Message)Schwer verständlicher oder nachzuvollziehender TextFehlerhafte Abbildungen oder TabellenUnpassende, unvollständige, ungenaue oder veraltete Literatur zitiertDie Kriterien sind immer entsprechend der Art der Publikation anzuwenden (http://www.egms.de/de/journals/zma/authors.htm). 2. Feedback für den AutorDer Gutachter soll das vorliegende Manuskript nicht nur beurteilen, sondern in sein Gutachten auch Vorschläge für die bessere Präsentation der Daten schreiben . Der Gutachter soll sein Manuskript nicht als zusammenfassendes Urteil an den Herausgeber schreiben, sondern dem Autor nützliche Hinweise geben , ]. Um ein Gutachten zu schreiben, sollte sich der Gutachter zwei grundlegende Fragen stellen: Habe ich etwas Neues gelernt? Wie kann ich dem Autor helfen, den Artikel so zu überarbeiten, dass ich die Arbeit besser verstehe ? Eine wichtige Funktion des Begutachtungsverfahrens liegt also darin, den Autorinnen und Autoren eine konstruktive Rückmeldung (Feedback) zu ihrem Manuskript zu geben. Diese Rückmeldung muss Schwächen und Stärken der Arbeit aufzeigen, so dass es dem Autor ermöglicht wird, Gutes beizubehalten und Verbesserungswürdiges zu verbessern. Hier mag die Beachtung folgender Feedback-Regeln hilfreich sein: Am Anfang sollte eine Zusammenfassung stehen, in der auch Positives beschrieben wird. Dies signalisiert Wertschätzung und mag helfen, vermeintliche Missverständnisse frühzeitig aufzudecken.Feedback geben, bedeutet Informationen zurück zu melden. Der Gutachter sollte die eigene Wahrnehmung beschreiben und darlegen, wie etwas verstanden wurde. Geeignet sind daher „Ich“- Sätze. Die Formulierungen sollten klar und eindeutig sein. Es sollten positive und problematische Aspekte genannt werden, wobei es sich empfiehlt, mit Positivem zu beginnen.Feedback wird besser angenommen, wenn es konstruktiv und konkret formuliert ist. Konkrete Beispiele sollten benannt werden, Allgemeinplätze, tief greifendes Analysieren und Interpretieren, moralische Bemerkungen oder allgemeine Deutungen sollten vermieden werden.Das Feedback sollte offen, ehrlich und nicht verletzend sein und konstruktive Verbesserungsvorschläge enthalten.Wir sind uns bewusst, dass die Begutachtung sehr zeitaufwändig ist. Dennoch ist es wünschenswert, ein Gutachten auch dann umfassend zu erstellen, wenn schon frühzeitig offensichtlich ist, dass die zu begutachtende Arbeit nicht publikationsfähig sein wird (z.B. Nichterfüllung von o.g. Hauptkriterien). 3. Förderung der Wissenschaftlichkeit und fachwissenschaftlichen ÖffentlichkeitForschung und Wissenschaft dient dem Erkenntnisgewinn. Forschungsvorhaben oder eben die Entscheidung, in einem bestimmten Bereich nicht weiter zu forschen, gründen sich maßgeblich auf bereits publizierte Daten. Dem entsprechend ist die Veröffentlichung von Forschungsergebnissen eine verantwortungsvolle Aufgabe. Daneben darf nicht vergessen werden, dass auch der Austausch von Erfahrungen und (nicht getesteten) Ideen die wissenschaftliche Diskussion bereichern kann und ggf. als Ausgangspunkt wertvoller Forschung dient. Herausgebern und Gutachtern kommen im Begutachtungsprozess also Aufgaben zu, die über eine reine „Qualitätskontrolle“ hinausgehen. Durch das Setzen von Mindest-Standards wird die Publikationsfähigkeit von Forschungsergebnissen, Konzeption und Durchführung wissenschaftlicher Arbeiten im Bereich der Medizinischen Ausbildung weiter verbessert.4. Stärkung des nationalen und internationalen Ansehens der ZeitschriftDie Zeitschrift GMS Z Med Ausbild ist das bislang einzige deutschsprachige Publikationsorgan mit rein medizindidaktischem Fokus. Diese Position gilt es zu festigen und auszubauen. Zahlreiche – teils qualitativ hochwertige - Studien mit medizindidaktischem Fokus aus dem deutschsprachigen Raum werden derzeit in internationalen Zeitschriften oder fachspezifischen Organen publiziert und entgehen somit der Aufmerksamkeit der GMA Mitglieder. Die Attraktivität zur Publikation dieser Studien in der GMS Z Med Ausbild kann dadurch gesteigert werden, dass das internationale Ansehen der Zeitschrift gesteigert wird. Dies erfordert einen den internationalen Standards entsprechenden Begutachtungsprozess, der eine gleichbleibend hohe Qualität der publizierten Studien ermöglicht. Ein deutschsprachiges Fachorgan zur Medizindidaktik dient nicht zuletzt auch dazu, die Akzeptanz dieser jungen Disziplin im deutschsprachigen Raum bei anderen medizinischen Fachgesellschaften und die Rolle der Lehre in der Medizin insgesamt zu stärken.Empfehlungen für den Begutachtungsprozess1. Vorbearbeitung durch den HerausgeberDie eingereichten Artikel werden durch den Herausgeber nach Dringlichkeit der Veröffentlichung, Einhaltung formaler Kriterien und Rechtschreibung vorbegutachtet. Der Herausgeber prüft dabei auch die Selbstangabe der Publikationsform, ggf. verändert er das Format (z.B. kann aus einer Originalarbeit ein Projekt werden). Er bestimmt die Gutachter nach dem Inhalt des Manuskripts und beachtet dabei das jeweilige Fachgebiet des Gutachters. Grundsätzlich sollten zwei Gutachter zu Rate gezogen werden. Stehen sich die Aussagen beider Gutachter diametral entgegen, sollte die Meinung eines Dritten hinzugezogen werden. Drei Wochen sollten für die Begutachtungszeit als Richtlinie festgelegt werden. 2. Schreiben von GutachtenEin exaktes Gutachten beinhaltet eine übergreifende Beurteilung, die darlegt, wie der Gutachter das Manuskript verstanden hat. Darüberhinaus werden Zusammenfassung, Einführung, Materialien und Methoden, Ergebnisse, Diskussion, Literatur, Tabellen/Abbildungen inkl. Legenden im Detail kritisch reflektiert und mit Verbesserungsvorschlägen versehen. Es folgt eine abschließende Schlussfolgerung mit dem Hinweis auf die Publikationsfähigkeit des Manuskripts. Dieser letzte Abschnitt wird vertraulich behandelt . Ein Vorschlag für eine neue Checkliste im Online-Begutachtungssystem der GMS wurde von Autoren dieses Papiers ausgearbeitet und ist als Anhang beigefügt (siehe Anhang 2 ). Die Checkliste ist im Schwerpunkt auf die Begutachtung von Originalarbeiten und Projektberichten ausgerichtet. Bei der Begutachtung anderer Formate muss möglicherweise auf das Item „nicht zutreffend“ zurückgegriffen werden. Die Checkliste umfasst in Kurzform alle relevanten, oben genannten Aspekte der Begutachtung und ist mit einer fünfstufigen Skala versehen. Sie ermöglicht es, auf einfache Art und Weise ein strukturiertes, an objektivierbaren Kriterien bemessenes Gutachten zu erstellen. Jeder einzelne Aspekt kann mit Freitextkommentaren versehen werden und bietet daher die Möglichkeit für ein detailliertes, konstruktives Feedback. Es schließt sich die Entscheidung mit einem Hinweis zur Dringlichkeit der Veröffentlichung an. Die Begutachtungskriterien, die an eine wissenschaftliche medizinische Publikation anzulegen sind, wurden bei der Entwicklung der Checkliste berücksichtigt. Die Checkliste beinhaltet zusätzlich Feedback-Regeln. Es kann sowohl den Autoren als auch der Redaktion eine Rückmeldung gegeben werden. Die Rückmeldungen an die Redaktion können unter anderem bei bestehenden Interessenskonflikten von Bedeutung sein. Der Autor erhält das gesamte ausgefüllte Begutachtungsformular zurück (exklusive der Rückmeldung an die Redaktion). Dies erhöht die Transparenz des Begutachtungsprozesses. RecommendationsReviewer DutiesThe duties of a reviewer include supporting the decisions of the editor, feedback for the author, the promotion of scientific standards and the professional scientific community and the strengthening of the national and international reputation of the journal (see also ). The reviewer should not only be familiar with the current literature in their area of expertise but also be confident in using scientific methods. They should dedicate about 3 hours to produce the review , .1. Supporting the Decisions of the EditorThe reviewer helps the editor in the selection of manuscripts and suggests changes that support the authors in presenting their message to the reader in a precise and concise fashion. The editor weighs the opinions of the various reviewers, evaluates the importance and takes potential bias into account. The reviewer should therefore carefully evaluate the manuscript in question, determine its scientific quality and fit it into current literature .In supporting the decision of the editor, observing certain criteria has proven useful , , . These are consistent with the requirements for peer review processes in the German-speaking countries (see Figure 1 ). They are divided into primary and secondary quality factors. Non-compliance with main quality criteria has to lead to immediate rejection of the article, as they constitute deficiencies that can not be corrected:Article not important (Publication expendable, not timely, irrelevant)Study design is inadequate (for example cross-sectional design to prove change)Method, incl. statistics, is inadequate (for example samples too small, “distorted” sample) In case of non-compliance with secondary quality factors, correction is needed:Inadequate or incomplete presentation of the problemMethod inadequately describedStatistics: incomplete, poorly describedInconsistent and inaccurate representation of the dataData representation is not extensive enoughOver-interpretation of the resultsNo added value produced out for the reader (take-home message)Text is difficult to understand or followIncorrect figures or tablesInadequate, incomplete, inaccurate or outdated literature citedThe criteria should always be applied depending on the type of publication (http://www.egms.de/en/journals/zma/authors.htm). 2. Feedback for the AuthorThe reviewer should not only assess the manuscript in question, but should also include proposals for better presentation of the data in their review . The reviewer should not write their review as a summary judgement for the editor but to give helpful hints to the author , . In writing a review, the reviewer should ask themselves two basic questions: Have I learned something new? How can I help the author to revise the article so that I can understand their article better ? An important feature of the assessment process is therefore to give constructive feedback to the author about their manuscript. This feedback should identify weaknesses and strengths of the work to enable the author to maintain good aspects and to work on aspects that require improvement. Observing the following feedback rules may prove to be useful:A summary should be at the beginning mentioning also positive aspects. This indicates appreciation and may help to reveal potential misunderstandings early on.Giving feedback means to report back information. The reviewer should describe their own perception and to explain how something has been understood. Suitable phrases begin with “I”. The wording should be clear and unambiguous.Positive and problematic aspects should be mentioned and it is advisable to start with the positive.Feedback will be better accepted if it is phrased constructively and in a concrete fashion. Specific examples should be given while generalisations, in-depth analyses and interpretations, moral or general comments should be avoided.Feedback should be open, honest and not hurtful and contain constructive suggestions for improvement.We are aware that the assessment process is very time consuming. However, it is desirable to create a comprehensive review even if it is quite obvious early on that the work being examined is not suitable for publication (for example non-compliance with of the above mentioned primary criteria).3. Promotion of Scientific Standards and the Professional Scientific Community Research and science serves to gain knowledge. Research projects or even the decision not to carry out further research in a particular area are based largely on previously published data. Accordingly, the publication of research results is a responsible task. In addition, it must be remembered that the exchange experience and (untested) ideas can enrich the scholarly discussion and possibly serve as a basis for valuable research. Editors and reviewers have a role in the reviewing process that goes beyond mere quality control. By setting minimum standards, the publishability of research results, design and conduct of scientific activities in the field of medical education are further improved.4. Strengthening of the National and International Reputation of the JournalThe GMS Z Med Ausbild journal to date is the only German-language journal with its sole focus on the didactics of medicine. This position is to be consolidated and expanded. Many - some high-quality - studies with a focus on the didactics of medicine from the German-speaking countries are being published in international journals or by specialised organs and thus escape the attention of GMA members. Making their publication in the GMS Z Med Ausbild can be improved by increasing the international reputation of the journal. This requires a review process which conforms with international standards, which enables consistently high quality of published studies. A key role of a German expert body for medical education is, after all, to strengthen the acceptance of this new discipline in German-speaking countries amongst other medical professional associations and to strengthen the role of medical education in general.Recommendations for the Reviewing Process1. Pre-review by the EditorThe articles are pre-reviewed by the editor according to the publication urgency, formal criteria and spelling. The editor also checks the self-specification of the type of publication and if necessary, changes the format (for example, an original work may turn into a project). They select the reviewers according to the content of the manuscript and the specialisms of the reviewer. In principle, two reviewers should be consulted. Should the assessment of both reviewers be diametrically opposed, the views of a third party should be consulted. Three weeks should be set as a guide period for the review process.2. Writing ReviewsAn accurate review contains a comprehensive assessment, which lays out how the reviewer has understood the manuscript. Furthermore, the summary, introduction, materials and methods, results, discussion, references, tables/illustrations including legends are critically evaluated in detail and suggestions for improvement made. A final conclusion follows with regard to the publishability of the manuscript. This final section will be kept confidential .A proposal for a new checklist for the online review system of the GMS was developed by the authors of this paper and is attached (see Appendix 2 ). The focus of the checklist aims at the review of original papers and project reports. When reviewing other formats, it may be necessary to fall back on the item “not applicable”.The checklist briefly covers all relevant aspects of the assessment mentioned above and has a five-point rating scale. It enables an easy way of creating a structured review based on verifiable criteria. Every individual aspect can be commented upon with free text and it thus offers an opportunity for detailed, constructive feedback. It concludes with a decision on the publication urgency. The evaluation criteria to be applied to an academic medical publication have been taken into account in developing the checklist. The checklist also includes feedback rules. It makes it possible to give feedback both to the author and the editor. The feedback to the editor may also be relevant in existing cases of a conflict of interests.The full, completed review form (excluding the feedback to the editor) is returned to the author. This increases the transparency of the review process.FazitDie vorliegenden Empfehlungen sollen dazu beitragen, den gutachterlichen Prozess in der GMS Z Med Ausbild voranzubringen und die Qualität der Begutachtung ebenso zu steigern wie die Qualität der künftig eingereichten Arbeiten. Bei der Erarbeitung der Empfehlungen sind die Meinungen und Erfahrungen der Mitglieder des GMA-Ausschusses für Methodik der Ausbildungsforschung, einer Gruppe von Gutachtern der GMS Z Med Ausbild sowie die internationale Literatur eingeflossen. Die Verbesserung der wissenschaftlichen Qualität im Bereich der Medizinischen Ausbildung ist Zukunftsaufgabe aller Mitglieder der Gesellschaft für Medizinische Ausbildung. ConclusionThese recommendations are intended to support the reviewing process in the GMS Z Med Ausbild journal and to improve both the quality of reviewing as well as the quality of future submissions. The opinions and experiences of members of the committee of educational research methodology, a group of experts of the GMS Z Med Ausbild and international literature have contributed to the development of these recommendations. The improvement of the scientific quality in medical education is the future task of all members of the Society for Medical Education.BeiträgeK. Schüttpelz-Brauns führte zusammen mit C. Kiessling und S. Schubert den Workshop durch und schrieb die Einführung. A. Herrler und K. Schüttpelz-Brauns entwickelten den Fragebogen für die Gutachter, führten die Befragung durch, werteten die Antworten aus und interpretierten sie. A. Herrler und B. Huenges beschrieben die nationale Situation. C. Stosch, J. Matthes und M. Himmelbauer erarbeiteten die Empfehlungen. C. Kiessling schrieb den Abschnitt zum Autoren-Feedback. C. Bachmann und S. Huwendiek erstellten die neue Fassung der Checkliste für Gutachter der Z Med Ausbild. K. Schüttpelz-Brauns, C. Bachmann und C. Kiessling überarbeiteten das ursprüngliche Manuskript vollständig. Alle Autoren waren an der Korrektur der endgültigen Fassung dieses Manuskripts beteiligt. ContributionsK. Schuettpelz-Brauns conducted the workshop together with C. Kiessling and S. Schubert and wrote the introduction. A. Herrler and K. Schuettpelz-Brauns designed the questionnaire for the reviewers, conducted the survey, analysed the responses and interpreted them. A. Herrler and B. Huenges described the national situation. C. Stosch, J. Matthes and M. Himmelbauer developed the recommendations. C. Kiessling wrote the section on author’s feedback. C. Bachmann and S. Huwendiek created the new version of the checklist for reviewers of the Z Med Ausbild. K. Schuettpelz-Brauns, C. Bachmann and C. Kiessling revised the original manuscript. All authors were involved in correcting the final version of this manuscript.Anmerkung1Bei Verwendung der männlichen ist selbstverständlich auch die weibliche Form gemeint.DanksagungWir danken Sebastian Schubert und Jörg Marienhagen für die Durchsicht des ersten Manuskripts und konstruktiver Vorschläge, die zu einer umfassenden Überarbeitung führten. Ebenfalls danken wir André Schüttpelz für die Erstellung der Boxplots in Matlab. ThanksWe would like to thank Sebastian Schubert and Jörg Marienhagen for reviewing the first manuscript and their constructive suggestions which led to a comprehensive review. We also thank André Schuettpelz for creating the box plots in Matlab.InteressenkonfliktDie Autoren erklären, dass sie keine Interessenkonflikte in Zusammenhang mit diesem Artikel haben. Competing interestsThe authors declare that they have no competing interests. Goodman SNBerlin JFletcher SFletcher RHManuscript quality before and after peer review and editing at Annals of Internal Medicine1994Ann Intern Med11-21Goodman SN, Berlin J, Fletcher S, Fletcher RH. Manuscript quality before and after peer review and editing at Annals of Internal Medicine. Ann Intern Med. 1994;121(1):11-21.Cook DABeckman TJBordage GQuality of reporting of experimental studies in medical education: a systematic review2007Med Educ737-745Cook DA, Beckman TJ, Bordage G. Quality of reporting of experimental studies in medical education: a systematic review. Med Educ. 2007;41(8):737-745. DOI: 10.1111/j.1365-2923.2007.02777.xhttp://dx.doi.org/10.1111/j.1365-2923.2007.02777.xMeerpohl JJBlümle AAntes Gvon Elm ELeitlinien für Forschungsberichte sind auch für Leser medizinischer Fachartikel hilfreich CONSORT, STARD, STROBE & Co2009Dtsch Med Wochenschr2078-2083Meerpohl JJ, Blümle A, Antes G, von Elm E. Leitlinien für Forschungsberichte sind auch für Leser medizinischer Fachartikel hilfreich CONSORT, STARD, STROBE & Co. Dtsch Med Wochenschr. 2009;134:2078-2083. DOI: 10.1055/s-0029-1237560http://dx.doi.org/10.1055/s-0029-1237560Bordage GReasons reviewers reject and accept manuscripts: the strengths and weaknesses in Medical Education reports2001Acad Med889-896Bordage G. Reasons reviewers reject and accept manuscripts: the strengths and weaknesses in Medical Education reports. Acad Med. 2001; 6(9):889-896. DOI: 10.1097/00001888-200109000-00010http://dx.doi.org/10.1097/00001888-200109000-00010Ziegler ALeitlinien für Forschungsberichte: Fluch oder Segen? Dtsch Med Wochenschr2009Ziegler A. Leitlinien für Forschungsberichte: Fluch oder Segen? Dtsch Med Wochenschr. 2009;134:2077. DOI: 10.1055/s-0029-1237559http://dx.doi.org/10.1055/s-0029-1237559Academic MedicineAppendix 3: Sample Review Forms2001Acad Med963-975Academic Medicine. Appendix 3: Sample Review Forms. Acad Med. 2001;76(9):963-975.Eva KWThe reviewer is always right: peer review of research in Medical Education2009Med Educ2-4Eva KW. The reviewer is always right: peer review of research in Medical Education. Med Educ. 2009;43(1):2-4. DOI: 10.1111/j.1365-2923.2008.03243.xhttp://dx.doi.org/10.1111/j.1365-2923.2008.03243.xShea JACaelleigh ASPangaro LSteinecke AReview Process2001Acad Med911-914Shea JA, Caelleigh AS, Pangaro L, Steinecke A. Review Process. Acad Med. 2001;76(9):911-914. DOI: 10.1097/00001888-200109000-00015http://dx.doi.org/10.1097/00001888-200109000-00015Polak JFThe role of the manuscript reviewer in the peer review process1995AJR685-688Polak JF. The role of the manuscript reviewer in the peer review process. AJR. 1995;165(3):685-688.Black Nvan Rooyen SGodlee FSmith REvans SWhat makes a good reviewer and a good review for a general medical journal?1998JAMA231-233Black N, van Rooyen S, Godlee F, Smith R, Evans S. What makes a good reviewer and a good review for a general medical journal? JAMA. 1998;280(3):231-233.Greenhalgh TTaylor RPapers that go beyond numbers (qualitative research)1997BMJ740-743Greenhalgh T, Taylor R. Papers that go beyond numbers (qualitative research). BMJ. 1997;315:740-743.Steinecke AShea JAReview Form2001Acad Med916-918Steinecke A, Shea JA. Review Form. Acad Med. 2001;76(9):916-918. DOI: 10.1097/00001888-200109000-00017http://dx.doi.org/10.1097/00001888-200109000-00017Goldbeck-Wood SWhat makes a good reviewer of manuscripts?1998BMJ86Goldbeck-Wood S. What makes a good reviewer of manuscripts? BMJ. 1998;316:86.
11de1en
Tabelle 1: Veröffentlichungen und Ablehnungen der GMS Z Med Ausbild (2005-2009)
Table 1: Publications and refusals by the GMS Z Med Ausbild (2005 – 2009)
22de2en
Tabelle 2: Verbesserungspotential
Table 2: Potential for improvement
211de1en
Abbildung 1: Erfahrungen mit der Qualität von Manuskripten aus der Ausbildungsforschung
Figure 1: Experience with the quality of manuscripts from the education research area
22de2en
Abbildung 2: Erfahrungen mit der Häufigkeit von Mängeln bei Manuskirpten und den Anforderungen an ein gutes Manuskript aus der Ausbildungsforschung
Figure 2: Experiences with the frequency of defects in manuscripts and the requirements for a good manuscript in education research
2011de1enFragebogen an die Gutachter der ZMAQuestionnaire for ZMA Assesors22de2enVorschlag für die Anpassung des Online-Begutachtungsverfahrens der GMS Z Med Ausbild im Manuscript Processing System (MOPS)Proposal for Amending the Online Evaluation Process of the GMS Z Med Ausbild in the Manuscript Processing System (MOPS)2