zma001806 10.3205/zma001806 urn:nbn:de:0183-zma0018065 research article Forschungsarbeit Was ist Medizinische Ausbildungsforschung? Eine Analyse und Begriffsbestimmung von Gegenständen, Zielen und Typen der Forschung anhand von Artikeln, die einen Peer-Review-Prozess durchlaufen haben Schüttpelz-Brauns Schüttpelz-Brauns Katrin K PD Dr.

Heidelberg University, Medical Faculty Mannheim, Theodor-Kutzer-Ufer 1-3, D-68167 Mannheim, GermanyHeidelberg University, Medical Faculty Mannheim, Mannheim, Germany

Medizinische Fakultät Mannheim der Universität Heidelberg, Theodor-Kutzer-Ufer 1-3, 68167 Mannheim, DeutschlandMedizinische Fakultät Mannheim der Universität Heidelberg, Mannheim, Deutschland

katrin.schuettpelz-brauns@medma.uni-heidelberg.de author Schneider Schneider Achim A

University of Ulm, Medical Faculty, Ulm, Germany

Universität Ulm, Medizinische Fakultät, Ulm, Deutschland

author Fabry Fabry Götz G

University Freiburg, Medical Faculty, Freiburg i. Brsg., Germany

Universität Freiburg, Medizinische Fakultät, Freiburg i. Brsg., Deutschland

author Matthes Matthes Jan J

University of Cologne, Faculty of Medicine, Cologne, Germany

Universität zu Köln, Medizinische Fakultät, Köln, Deutschland

author Himmelbauer Himmelbauer Monika M

Medical University of Vienna, Vienna, Austria

Medizinische Universität Wien, Wien, Österreich

author Buss Buss Beatrice B

Bern University of Applied Sciences, Department of Health, Bern, Switzerland

Berner Fachhochschule, Department Gesundheit, Bern, Schweiz

author Giesler Giesler Marianne M

Freiburg i. Brsg., Germany

Freiburg i. Brsg., Deutschland

author German Medical Science GMS Publishing House

Düsseldorf

610 medical education research medical education basic research applied research use-inspired basic research Ausbildungsforschung Forschung Medizinische Ausbildung Grundlagenforschung angewandte Forschung anwendungsorientierte Grundlagenforschung foundations Grundlagen 20241025 20250221 20250416 20260115 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 2366-5017 43 1 GMS Journal for Medical Education GMS J Med Educ Research in Health Profession Education/Ausbildungsforschung in Gesundheitsberufen 12 Hintergrund: Medizinische Ausbildungsforschung (MAF) soll einen Beitrag zum Erkenntnisgewinn sowie zur Weiterentwicklung der Ausbildungspraxis leisten. Seit Jahren wird jedoch die mangelnde Relevanz der in diesem Bereich durchgeführten Studien kritisiert. In der vorliegenden Arbeit sollen daher die Aufgaben und Ziele der MAF sowie die Art und Weise der Forschung in diesem Bereich geklärt werden. Hierzu werden die bisher in der MAF üblichen Gegenstände, Ziele und Typen der Forschung analysiert und Kategorien für diese entwickelt.Methode: Die Entwicklung der Kategorien für Gegenstände und Forschungsziele erfolgte iterativ in drei Phasen mit mehreren Durchgängen anhand von Stichproben peer-begutachteter Artikel. Je nach Durchgang waren zwei bis sechs Personen in die unabhängige Kategorisierung, Konsentierung und Weiterentwicklung der Kategorien involviert. Zeitgleich wurden Forschungstypen für die MAF definiert. Ergebnisse: 169 Artikel wurden beurteilt. Elf Gegenstandskategorien sowie acht Kategorien von Forschungszielen wurden identifiziert und vier als relevant erkannte Forschungstypen definiert.Diskussion: Die gefundenen Kategorien für Gegenstände decken sich z. T. mit vorhandenen Kategoriensysteme, erweitern diese jedoch. Die identifizierten Forschungsziele sind spezifischer formuliert als es bisher der Fall war und präzisieren somit den Interpretationsspielraum. Schlussfolgerung: Die entwickelten Kategoriensysteme können helfen, Gegenstände und Forschungsziele der Medizinischen Ausbildungsforschung genauer zu definieren sowie die Forschungstypen und ihre Bedeutung voneinander abzugrenzen. Zudem sind über die gefundenen Kategorien auch Trends und kurzlebige Phänomene abbildbar. Background: Medical education research (MER) seeks to contribute to the scientific knowledge in this area and to the further development of educational practice. However, the lack of relevance of the studies conducted in this field has been criticized for years. The present work therefore aims to clarify the tasks and objectives of MER and the nature of research in this area. To this end, the subjects, objectives, and types of research that are common to MER are analyzed and categories for these are developed. Method: The categories for research subjects and research objectives were developed iteratively in three phases with multiple rounds based on samples of peer-reviewed articles. Depending on the round, two to six people were involved in the independent categorization, finding mutual consent, and further development of the categories. At the same time, research types were defined for MER. Results: 169 articles were assessed. Eleven subject categories and eight categories of research objectives were identified, and four types of research were defined as relevant.Discussion: The categories found for research subjects partly coincide with existing category systems but also broaden them. The research objectives identified are more specific than they have been before, which limits the scope for interpretation. Conclusion: The category systems developed can help to define the subjects and objectives of medical education research more precisely and to differentiate between the research types and their significance. In addition, trends and temporary phenomena can also be depicted using the categories found. 1. IntroductionResearch in higher education originated in the United States in the 1920s . In medicine, it became established there from the 1950s under the name medical education research , . Medical education research was a reaction to various socio-historical factors, such as “...the increasing importance of scientific research, the availability of funds for MER [medical education research], the explosive growth of medical knowledge, and concerns about accountability for, and control of, medical education.” For years, international journals have repeatedly criticized the lack of relevance of research in medical education research, which can be summarized as a lack of contribution to science in terms of knowledge gain and a lack of implications for practice. The criticism of the lack of scientific knowledge gain relates, e.g., to irrelevant topics or the lack of generalizability of results, the criticism of the lack of practical implications relates, e.g., to the applicability of the results to practice, but also to the measured outcomes. The criticisms are presented and explained in table 1 . To understand how research projects in medical education research could contribute to scientific knowledge or how to further develop practice, it is worth taking a closer look at medical education research. The first question to ask is what specific topics or subjects are being researched in medical education research (research subjects). Also, of relevance is what types of research objectives are pursued (research objectives) and what types of research (research type) are conducted. These three areas of medical education research are examined in more detail in the following sections.1.1. Subjects of medical education researchLooking at relevant textbooks, the wide range of subjects of medical education research becomes apparent , , , . This diversity is also reflected in articles in which the subjects of medical education research studies are systematically analyzed and categorized , . These categories are not always congruent. Moreover, since each research subject can be viewed or researched from different perspectives, a one-dimensional enumeration of the research subjects is difficult to achieve. Since, to our knowledge, there is no generally accepted classification of research subjects in studies of medical education research, a structural model developed in educational psychology could be helpful for future categorization of subjects in medical education research. In this model, the subjects of educational psychology research are arranged along three dimensions. These are the functional areas of research, counselling, prevention, intervention as well as monitoring and evaluation, the educational career, which covers the entire lifespan and thus emphasizes lifelong learning, and the activity levels (micro, meso, macro) at which the tasks are to be performed. Based on this model, the subjects of medical education research such as student selection, learning, teaching, examination, curriculum could be assigned to the dimension of functional areas, which could be scientifically analyzed at different levels (individual, group, organization), but also in relation to the educational career (undergraduate education, post-graduate education, further education). 1.2. Research objectives of medical education researchIn medical education, there are two frameworks that address corresponding research objectives of medical education research. According to Cook et al., studies aim to describe (description, focus on observation), justify (justification, “How does an intervention work?”) or explain (clarification, “How does something work?”, “Why does something work?”) . In their research compass, Ringsted et al. summarize the research objectives under the categories of modelling, justifying, predicting and implementing . However, both papers focus on the type of data collection or study design to answer these questions. How the categories of research objectives were developed is left open. 1.3. Types of research in medical educationLooking at the literature on the classification of research types in medical education, there are several researchers who place them on a one-dimensional continuum. For example, Albert, who analyzed the discussions in medical education research from a sociological perspective using the field concept of Pierre Bourdieu, found that medical education research is conducted by two interest groups . One group seeks to expand and deepen the knowledge of the research field (epistemic interest). This interest group represents basic research. Studies of this type of research aim to fundamentally understand general phenomena and their relationships , , . The aim is to deepen the knowledge and understanding of learning and training within the framework of medical education research . The focus here is on the question “Why does something work?” , . The derivation of the research question must therefore be embedded in the existing knowledge on the topic and, if applicable, in a theoretical framework. The other interest group seeks to solve practical problems in medical education with the help of research (application interest). This group represents applied research. Studies of this type of research aim to solve problems for practice . These can concern both the effectiveness of measures on learning , as well as the effect of measures on society or patients , , , . The relevance of research from the perspective of applied researchers is primarily concerned with the practical implications of research findings for improving medical education .The one-dimensional view with the extremes of epistemic interest vs. application interest also exists in other research disciplines and has been described in detail by Stokes . However, Stokes points out that the objectives of studies should be considered two dimensionally. These dimensions represent the presence or absence of the quest for fundamental understanding and considerations of use. In his two-dimensional quadrant model, three different types of research with different objectives can be distinguished . Pure basic research is the study of phenomena in a scientific field in order to understand them. It is driven solely by trying to understand without thought of practical use . Pure applied research is aimed at an individual, group- or society-related need or application. This is purely for the sake of application with no claim to gain knowledge . The two-dimensional representation generates a third quadrant in which both quest for fundamental understanding and considerations of use are high. This quadrant represents use-inspired basic research. In this type of research, unknown basic principles are tested, and society-related needs are met .Stokes gives concrete examples for three of the quadrants. Although the fourth quadrant is unnamed, it is by no means empty. Stokes assigns research to this quadrant that is not inspired by the goal of understanding nor by the goal of use, but instead systematically investigates certain phenomena , . 1.4. Aim and research questionsPrevious attempts to describe medical education research in more detail on the basis of its subjects, objectives and types of research, in order to ultimately demonstrate the significance of its studies in terms of their contributions to knowledge and implications for practice, has revealed a number of gaps. For example, due to the diversity of topics and subjects, there are no uniform subject categories in medical education research. Similarly, there are no concrete categories of research objectives that are or should generally be pursued in medical education research. And even if the assignment of studies in medical education research to Stokes’ four possible categories appears to be feasible, there is no precise knowledge of the type of research conducted in medical education research. To fill these gaps, this study aims to clarify the subjects and objectives of medical education research and the nature of research in this area. To do this, we need to answer the following three questions:What subjects are researched in medical education?What are the objectives of medical education research?Which types of research listed in Stokes' quadrant model can be derived for medical education research 1. EinführungDie Ausbildungsforschung an Hochschulen hat ihre Anfänge in den USA der 1920er Jahre . In der Medizin hat sie sich dort ab den 50er Jahren unter der Bezeichnung medical education research etabliert , . Medical Education Research war eine Reaktion auf verschiedene soziohistorische Faktoren, wie „…the increasing importance of scientific research, the availability of funds for MER [medical education research], the explosive growth of medical knowledge, and concerns about accountability for, and control of, medical education.“ . Seit Jahren wird in internationalen Zeitschriften immer wieder die mangelnde Relevanz der in der Medizinischen Ausbildungsforschung betriebenen Forschung kritisiert, die zusammenfassend betrachtet einerseits im fehlenden Beitrag zur Wissenschaft im Sinne eines Erkenntnisgewinns, andererseits im Fehlen von Implikationen für die Praxis zum Ausdruck kommt. Die Kritik am fehlenden Erkenntnisgewinn bezieht sich z. B. auf irrelevante Themen oder auf die fehlende Generalisierbarkeit von Ergebnissen, die Kritik der fehlenden praktischen Implikationen z. B. auf die Anwendbarkeit der Ergebnisse auf die Praxis, aber auch auf die gemessenen Outcomes. In Tabelle 1 sind die einzelnen Kritikpunkte dargestellt und erläutert.Um nachvollziehen zu können, wie Forschungsvorhaben der Medizinischen Ausbildungsforschung zum wissenschaftlichen Erkenntnisgewinn bzw. zur Weiterentwicklung der Praxis beitragen könnten, lohnt es sich, die Medizinische Ausbildungsforschung näher zu betrachten. Als erstes stellt sich die Frage nach den konkreten Themen bzw. Gegenständen, die in der Medizinischen Ausbildungsforschung beforscht werden (Gegenstände). Auch ist von Relevanz, welche Arten von Forschungszielen verfolgt werden (Forschungsziele) und welche Arten von Forschung (Forschungstyp) betrieben wird. In den nachfolgenden Abschnitten werden diese drei Bereiche der Medizinischen Ausbildungsforschung näher beleuchtet.1.1. Gegenstände der Medizinischen AusbildungsforschungSchaut man sich einschlägige Lehrbücher an, dann wird die große Bandbreite von Gegenständen der Medizinischen Ausbildungsforschung ersichtlich , , , . Diese Vielfalt zeigt sich auch in Artikeln, in denen die Gegenstände von Studien der Medizinischen Ausbildungsforschung systematisch analysiert und kategorisiert werden , . Nicht immer sind diese Kategorien deckungsgleich. Da zudem einzelne Gegenstände aus unterschiedlichen Perspektiven betrachtet bzw. beforscht werden können, ist eine eindimensionale Aufzählung der Gegenstände schwer möglich. Da es unseres Wissens nach keine allgemein anerkannte Systematik von Gegenständen in Studien der Medizinischen Ausbildungsforschung gibt, könnte für eine künftige Kategorisierung von Gegenständen in der Medizinischen Ausbildungsforschung ein in der Bildungspsychologie entwickeltes Strukturmodell hilfreich sein. In diesem Modell sind die Gegenstände der Bildungspsychologie entlang von drei Dimensionen angeordnet. Diese sind: die Aufgabenbereiche Forschung, Beratung, Prävention, Intervention sowie Bildungsmonitoring und Evaluation, die Bildungskarriere, die die gesamte Lebensspanne umfasst und somit das lebenslange Lernen hervorhebt, sowie die Handlungsebenen (Mikro, Meso, Makro), auf denen die Aufgaben zu leisten sind. Ausgehend von diesem Modell könnten die Gegenstände der Medizinischen Ausbildungsforschung wie beispielsweise Studierendenauswahl, Lernen, Lehren, Prüfung, Curriculum der Dimension Aufgabenbereiche zugeordnet werden, die jeweils auf unterschiedlichen Ebenen (Individuum, Gruppen, Organisation) aber auch bezogen auf die Bildungskarriere (Ausbildung, Fortbildung, Weiterbildung) wissenschaftlich analysiert werden könnten.1.2. Forschungsziele der Medizinischen AusbildungsforschungIn der medizinischen Ausbildung gibt es zwei Rahmenwerke, die Forschungsziele der Medizinischen Ausbildungsforschung aufgreifen. Nach Cook et al. zielen Studien auf die Beschreibung (Description, Konzentration auf die Beobachtung), die Rechtfertigung (Justification, „Wie wirkt eine Maßnahme?“) oder die Erklärung (Clarification, „Wie funktioniert etwas?“, „Warum funktioniert etwas?“) ab . In ihrem Research Compass fassen Ringsted et al. die Forschungsziele unter den Kategorien Modellierung (Modelling), Rechtfertigung (Justifying), Vorhersage (Predicting) und Implementierung (Implementing) zusammen . In beiden Beiträgen liegt der Fokus jedoch auf der Art der Datenerhebung bzw. des Studiendesigns, mit denen diese Fragen beantwortet werden sollen. Wie die Kategorien der Forschungsziele entstanden sind, wird offengelassen. 1.3. Forschungstypen der Medizinischen AusbildungsforschungBetrachtet man die Literatur zur Einordnung von Forschungstypen in der Medizinischen Ausbildungsforschung, so gibt es eine Reihe von Forschenden, die diese auf einem eindimensionalen Kontinuum anordnen. So stellte Albert, der die Diskussionen in der Medizinischen Ausbildungsforschung aus soziologischer Sicht unter Zuhilfenahme des Feldkonzepts von Pierre Bourdieu analysierte, fest, dass Medizinische Ausbildungsforschung von zwei Interessengruppen betrieben wird . Die eine Gruppe strebt danach, das Wissen des Forschungsgebietes zu erweitern und zu vertiefen (Erkenntnisinteresse). Diese Interessengruppe repräsentiert die Grundlagenforschung. Studien dieses Forschungstyps zielen darauf ab, allgemeine Phänomene und ihre Beziehungen grundlegend zu verstehen , , . Damit soll im Rahmen der Medizinischen Ausbildungsforschung das Wissen und das Verständnis von Lernen und Ausbildung vertieft werden . Der Fokus liegt hierbei auf der Frage „Warum funktioniert etwas?“ , . Die Ableitung der Forschungsfrage muss daher in das bisherige Wissen zu dem Thema und ggf. auch in einen theoretischen Rahmen eingebettet sein. Die andere Interessengruppe ist bestrebt, mit Hilfe von Forschung praktische Probleme in der medizinischen Ausbildung zu lösen (Anwendungsinteresse). Diese Gruppe repräsentiert die angewandte Forschung. Studien dieses Forschungstyps zielen darauf ab Probleme für die Praxis zu lösen . Diese können sowohl die Effektivität der Maßnahmen auf das Lernen betreffen , als auch die Wirkung von Maßnahmen auf die Gesellschaft bzw. auf die Patient*innen , , , . Bei der Relevanz der Forschung aus Sicht der angewandt Forschenden geht es vor allem um die praktischen Implikationen der Forschungsergebnisse zur Verbesserung der medizinischen Ausbildung . Die eindimensionale Betrachtung mit den Extremen Erkenntnisinteresse vs. Anwendungsinteresse gibt es auch in anderen Forschungsdisziplinen und wurde von Stokes ausführlich beschrieben . Stokes weist jedoch darauf hin, dass die Ziele von Studien zweidimensional betrachtet werden sollten. Diese Dimensionen repräsentieren das Vorhandensein bzw. das Nichtvorhandensein von Erkenntnisinteresse und Anwendungsinteresse. In seinem zweidimensionalen Quadrantenmodell lassen sich zunächst drei unterschiedliche Forschungstypen unterscheiden, mit denen verschiedene Ziele verfolgt werden . In der reinen Grundlagenforschung (pure basic research) werden Studien durchgeführt, um Phänomene im wissenschaftlichen Feld zu verstehen. Hier geht es um den reinen Erkenntnisgewinn ohne Anspruch auf praktische Anwendung . Die angewandte Forschung (pure applied research) zielt auf einen individuellen, Gruppen- oder gesellschaftlichen Bedarf oder die Anwendung ab. Hier geht es um das reine Anwendungsinteresse ohne Anspruch eines Erkenntnisgewinns . Durch die zweidimensionale Darstellung entsteht ein dritter Quadrant, bei dem sowohl Erkenntnisinteresse als auch Anwendungsinteresse hoch sind. Dieser Quadrant repräsentiert die anwendungsorientierte Grundlagenforschung (use-inspired basic research). Bei diesem Forschungstyp werden unbekannte Grundlagen getestet und gesellschaftliche Bedürfnisse erfüllt . Für drei der Quadranten gibt Stokes konkrete Beispiele an. Der vierte Quadrant ist zwar unbenannt, aber keineswegs leer. Diesem Quadranten ordnet Stokes Forschungsarbeiten zu, die weder von Erkenntnis- noch von Anwendungsinteresse inspiriert sind, sondern stattdessen bestimmte Phänomene systematisch erforschen , . 1.4. Zielsetzung und ForschungsfragenDie vorangegangenen Versuche, die Medizinische Ausbildungsforschung anhand ihrer Gegenstände, Forschungstypen und Forschungsziele näher zu beschreiben, um so letztendlich die Bedeutung ihrer Studien bezogen auf ihre Beiträge zur Erkenntnisgewinn und Implikationen für die Praxis aufzuzeigen, hat einige Lücken sichtbar gemacht. So existieren aufgrund der Themen- bzw. Gegenstandsvielfalt keine einheitlichen Gegenstandskategorien in der Medizinischen Ausbildungsforschung. Ebenso wenig existieren konkrete Kategorien von Forschungszielen, die im Allgemeinen in der Medizinischen Ausbildungsforschung angestrebt werden bzw. angestrebt werden sollten. Und auch wenn die Zuordnung der Studien der Medizinischen Ausbildungsforschung zu den vier möglichen Kategorien von Stokes gut machbar zu sein scheint, liegen keine genauen Kenntnisse vor über die Art der Forschung, die in der Medizinischen Ausbildungsforschung betrieben wird. Um diese Lücken zu füllen, sollen in der vorliegenden Studie die Gegenstände und Ziele der Medizinischen Ausbildungsforschung sowie die Art und Weise der Forschung in diesem Bereich geklärt werden. Hierzu sollen folgende drei Fragen beantwortet werden:Welche Gegenstände werden in der medizinischen Ausbildung beforscht?Welche Forschungsziele werden mit der Medizinischen Ausbildungsforschung verfolgt?Welche im Quadrantenmodell nach Stokes aufgeführten Forschungstypen lassen sich für die Medizinische Ausbildungsforschung ableiten? 2. MethodsIt can be assumed that peer-reviewed medical education research articles reflect the possible range of research subjects, research objectives and types of research from the perspective of the authors, reviewers and editors. To test this assumption, a method based on document analysis was chosen. In three phases with multiple reviews and samples, selected articles were categorized according to area of research subject, research objective and type of research. In phase 1 (inductive approach ), categories were developed for these areas to which the studies could be assigned. Phase 2 (deductive approach ) was used to revise the categories. In phase 3 (fine-tuning), the categories and their explanations were refined. Table 2 provides an overview of all phases.2.1. SamplesIn total, there were five samples of articles (SP1 to S5) that differed in terms of source as well as inclusion and exclusion criteria.The samples were drawn independently of each other to be able to cover as broad a field as possible when developing categories or reviewing them. Towards the end of the second phase, it became apparent that a further sampling of additional articles would not have led to any new findings, so the articles from S1 to S5 were transferred to a single file. Duplicate articles were identified using the DOI and removed. Articles were then randomly selected from the resulting file, excluding studies from purely medical journals. A detailed description of the sample selection can be found in attachment 1 . 2.2. ProcedureThe categories were developed iteratively (see figure 1 ) over several rounds (see table 2 ). The categories for research subjects and research objectives were developed in terms of content, while the categories for the types of research according to Stokes only had to be adapted for medical education.The professional background of four researchers involved in this study is psychology (MG, MH, AS, KSB), two researchers studied medicine (GF, JM) and one physiotherapy (BB). 2.2.1. Phase 1: Inductive approach (round 1 – round 2)Round 1 aimed to find initial categories for research objectives and to assign articles to the research types according to Stokes (see table 2 ). For this purpose, two authors (MG, KSB) independently paraphrased the research objective of the article, the epistemic interest and the application interest. The research type was derived from the combination of epistemic and application interest. Discrepancies in the assignment of research objectives or research types addressed were discussed until agreement was reached. The inductive method was chosen to develop research objectives independently of the categories of Cook and Ringsted and, if necessary, to validate these with different methods in the sense of triangulation. The aim of round 2 was to review the categories for research subjects, research objectives and research types by five independent researchers (BB, MH, JM, AS, KSB). The categories for subjects and objectives as well as the classification into research types were predetermined. The structural model of educational psychology described above formed the basis for the development of the initial categories for subjects of medical education research. Each dimension of this model was assigned to the study subjects commonly used in medical education research (see table 3 ). The categories for the research objectives were derived from the results of round 1. Since it was assumed that the research objectives could be assigned to the categories of the research types, the respective assignment of the research objectives to the research types was predetermined. For reasons of research economy, the allocation of articles to be categorized was based on a balanced plan (see attachment 2 ).Mismatches in the assignment to the categories were identified. If possible, the categories were subsequently reassigned, considering the comments on each subject or objective.2.2.2. Phase 2: Deductive approach (round 3 – round 8)Round 3 to round 5 were used to further develop the categories for research subjects, research objectives and classification into research types (see table 2 ). The categories were predefined and derived from the results of the respective previous round. Two researchers (MG, KSB) independently assigned the articles to the categories. Non-matches between the categories were discussed, categories were renamed and reorganized if necessary, and explanations were added to each category. The aim of round 6 was to review the categories agreed in round 5, including the explanations for subjects and objectives as well as the classification of research types. For this purpose, five researchers (MG, MH, JM, AS, KSB) independently assessed the articles. Again, for research economic reasons, a balanced plan was used to assign the articles. This plan is equivalent to the one in round 2, only that six articles were assessed in each cell instead of five. In both round 7 and round 8, the categories were discussed and adjusted by MG, MH, JM, AS and KSB if they did not match. Prior to round 8, MG and GF respectively analyzed from a psychological and medical point of view, which articles were considered critical, i.e. those articles were reviewed that had an overlap of several types of research. The focus was on research objectives and their relationship to research types.2.2.3. Phase 3: Fine-tuning (round 9 – round 11)In the fine-tuning phase, the categories and explanations for research subjects, research objectives and research types were refined (see table 2 ). Here, too, several rounds took place with discussion of non-agreement, revision resp. refining of the categories and independent assessment, each with three researchers (MG, AS, KSB). 2.3. Analysis of rater agreementKappa measures were calculated to determine rater agreement, which are to be regarded as adjusted for chance , . Cohen’s kappa (κ) was calculated to determine the agreement of two raters and Fleiss κ to determine the agreement of more than 2 raters.In phases 1 and 2, Cohen’s κ was calculated for the assessments of the ten and 18 pairs evaluated respectively. These were calculated for all categories of the research subjects, research objectives and research types. In a second step, the median of these values was determined for all areas as an estimate of the average agreement between all raters, as the median in this case is the measure that best characterizes the entire sample . In phase 1, the results section does not state the significance, as the k values determined are based on the assessments of only five articles. In phase 3, Fleiss κ was calculated, as the given items had to be assessed by three researchers. This measure can be used to determine not only the rater agreement of the entire category system, but also for each single category.According to Landis and Koch, the following values are used to interpret the degree of agreement: κ<0.00 as poor, 0.00-0.20 as slight, 0.21-0.40 as fair, 0.41-0.60 as moderate, 0.61-0.80 as substantial and 0.81-1.00 as almost perfect . In the assessments with three people, the assessment rounds were conducted until sufficient assessment agreement was achieved. 2. MethodenEs ist anzunehmen, dass peer-reviewte Artikel aus der Medizinischen Ausbildungsforschung, die mögliche Bandbreite von Gegenständen, Forschungszielen und Forschungstypen aus Sicht der verfassenden, begutachtenden und herausgebenden Personen wiedergeben. Um diese Annahme zu überprüfen, wurde ein an die Dokumentenanalyse angelehntes Verfahren gewählt. In drei Phasen mit mehreren Durchgängen und Stichproben wurden ausgewählte Artikel den Bereichen Gegenstand, Forschungsziele und Forschungstypen zugeordnet. In Phase 1 (induktives Vorgehen ) wurden für diese Bereiche Kategorien entwickelt, denen die Studien zugeordnet werden konnten. Phase 2 (deduktives Vorgehen ) wurde genutzt, um die Kategorien mehrfach zu überarbeiten. In Phase 3 (Feinjustierung) wurden die Kategorien und ihre Erläuterungen geschärft. Ein Überblick über alle Phasen gibt Tabelle 2 . 2.1. StichprobenInsgesamt gab es fünf Stichproben (SP1 bis SP5) von Artikeln, die sich bezüglich der Quelle sowie den Einschluss- und Ausschlusskriterien unterscheiden.Die Stichproben wurden jeweils unabhängig voneinander gezogen, um bei der Weiterentwicklung von Kategorien bzw. deren Überprüfung ein möglichst breites Feld abdecken zu können. Gegen Ende der zweiten Phase stellte sich heraus, dass eine wiederholte Ziehung weiterer Artikel zu keinen neuen Erkenntnissen geführt hätte, sodass die Artikel aus SP1 bis SP5 in einer Datei zusammengefasst wurden. Dabei wurden doppelt vorhandene Artikel anhand der DOI identifiziert und entfernt. Aus der resultierenden Datei wurden im weiteren Verfahren jeweils zufällig Artikel ausgewählt unter Ausschluss der Studien aus rein medizinischen Fachzeitschriften. Eine detaillierte Beschreibung der Stichprobenauswahl befindet sich in Anhang 1 . 2.2. VorgehenDie Entwicklung der Kategorien erfolgte iterativ (siehe Abbildung 1 ) über mehrere Durchgänge (DG) hinweg (siehe Tabelle 2 ). Die Kategorien für Gegenstände und Forschungsziele wurden dabei inhaltlich erarbeitet, während die Kategorien für die Forschungstypen nach Stokes vorgegeben waren, und lediglich für die Medizinische Ausbildung angepasst werden mussten.Vier der beurteilenden Personen kommen aus der Psychologie (MG, MH, AS, KSB), zwei aus der Medizin (GF, JM) und eine aus der Physiotherapie (BB). 2.2.1. Phase 1: Induktives Vorgehen (DG1-DG2)DG1 zielte darauf ab, Anfangskategorien für Forschungsziele zu finden und Artikel den Forschungstypen nach Stokes zuzuordnen (siehe Tabelle 2 ). Hierzu wurden zunächst von zwei Autorinnen (MG, KSB) unabhängig voneinander jeweils das Forschungsziel des Artikels, das Erkenntnisinteresse sowie das Anwendungsinteresse paraphrasiert. Aus der Kombination aus Erkenntnis- und Anwendungsinteresse wurde der Forschungstyp abgeleitet. Nicht-Übereinstimmungen bei den Forschungszielen bzw. adressierte Forschungstypen wurden diskutiert, bis eine Einigung in den Einschätzungen erzielt wurde. Das induktive Verfahren wurde gewählt, um unabhängig von den Kategorien von Cook und Ringsted Forschungsziele zu entwickeln und ggf. diese mit unterschiedlichen Methoden im Sinne einer Triangulation zu validieren. Das Ziel für DG2 war die Überprüfung der Kategorien für Gegenstände, Forschungsziele und Forschungstypen durch fünf unabhängige beurteilende Personen (BB, MH, JM, AS, KSB). Die Kategorien für Gegenstände und Forschungsziele sowie die Einteilung in die Forschungstypen waren dabei vorgegeben. Das oben beschriebene Strukturmodell der Bildungspsychologie bildete die Basis der Entwicklung der Anfangskategorien für Gegenstände der Medizinischen Ausbildungsforschung. Den einzelnen Dimensionen dieses Modells wurden die in der Medizinischen Ausbildungsforschung gängigen Studiengegenstände zugeordnet (siehe Tabelle 3 ). Die Kategorien für die Forschungsziele ergaben sich aus den Ergebnissen aus DG1. Da davon auszugehen war, dass sich die Forschungsziele den Kategorien der Forschungstypen zuordnen lassen, war die jeweilige Zuordnung der Forschungsziele zu den Forschungstypen vorgegeben. Auf forschungsökonomischen Gründen erfolgte die Zuordnung von Artikeln zu beurteilenden Personen nach einem balancierten Plan (siehe Anhang 2 ).Nicht-Übereinstimmungen der Zuordnung zu den Kategorien wurden identifiziert. Falls möglich, wurden die Kategorien unter Berücksichtigung der Anmerkungen zu den einzelnen Gegenständen bzw. Forschungszielen im Nachgang neu zugeordnet.2.2.2. Phase 2: Deduktives Vorgehen (DG3-DG8)DG3-DG5 dienten der Weiterentwicklung der Kategorien für Gegenstände, Forschungsziele sowie der Einordnung in die Forschungstypen (siehe Tabelle 2 ). Die Kategorien waren vorgegeben und ergaben sich aus den Ergebnissen des jeweiligen vorherigen DG. Zwei Beurteilerinnen (MG, KSB) ordneten unabhängig voneinander die Artikel jeweils den Kategorien zu. Nicht-Übereinstimmungen der Kategorien wurden diskutiert, Kategorien ggf. umbenannt und neu geordnet sowie Erläuterungen zu den einzelnen Kategorien eingefügt. Ziel von DG6 war es, die in DG5 konsentierten Kategorien inklusive der Erläuterungen für Gegenstände und Forschungsziele sowie die Einordnung zu den Forschungstypen zu überprüfen. Hierfür beurteilten fünf Personen (MG, MH, JM, AS, KSB) unabhängig voneinander die Artikel. Auch hier wurde aus forschungsökonomischen Gründen ein balancierter Plan für die Zuordnung der Beurteilerinnen und Beurteiler zu Artikeln verwendet. Dieser Plan ist äquivalent mit dem aus DG2, nur, dass in jeder Zelle sechs statt fünf Artikel beurteilt wurden. Sowohl in DG7 als auch in DG8 wurden die Kategorien bei Nicht-Übereinstimmung von MG, MH, JM, AS und KSB besprochen und angepasst. Vor DG 8 analysierten MG und GF jeweils aus psychologischer und medizinischer Sicht, die als kritisch angesehenen Artikel, d.h., solche Artikel, die eine Überschneidung von mehreren Forschungstypen aufwiesen. Der Fokus lag dabei auf den Forschungszielen und ihren Zusammenhang mit den Forschungstypen. 2.2.3. Phase 3: Feinjustierung (DG9-DG11)In der Phase der Feinjustierung wurden die Kategorien und Erläuterungen für Gegenstände, Forschungsziele und Forschungstypen geschärft (siehe Tabelle 2 ). Auch hier erfolgten mehrere DG mit Diskussion der Nicht-Übereinstimmungen, Überarbeitung bzw. Schärfung der Kategorien und unabhängige Beurteilung jeweils mit drei Beteiligten (MG, AS, KSB). 2.3. Analyse der BeurteilungsübereinstimmungenZur Feststellung der Beurteilungsübereinstimmung wurden Kappa-Maße berechnet, die als zufallsbereinigt anzusehen sind , . Zur Ermittlung der Übereinstimmung von zwei beurteilenden Personen wurde Cohens Kappa (κ) berechnet und zur Ermittlung der Übereinstimmung von mehr als 2 Personen Fleiss κ.In Phasen 1 und 2 wurden für die Einschätzungen der zehn bzw. 18 bewerteten Paare Cohens κ ermittelt. Diese wurden für alle Kategorien des Bereichs Gegenstände, der Forschungsziele und der Forschungstypen berechnet. In einem zweiten Schritt wurde für alle Bereiche jeweils der Median dieser Werte als Schätzung der durchschnittlichen Übereinstimmung zwischen allen beurteilenden Personen bestimmt, da der Median in diesem Fall das Maß ist, das die Gesamtstichprobe am besten charakterisiert . In Phase 1 wird im Ergebnisteil auf die Angabe der Signifikanzen verzichtet, da die ermittelten k-Werte lediglich jeweils auf den Einschätzungen von fünf Artikeln beruhen. In Phase 3 wurde Fleiss κ berechnet, da die vorgegebenen Artikel durch drei Personen einzuschätzen waren. Mit diesem Maß kann nicht nur die Beurteilungsübereinstimmung des gesamten Kategoriensystems bestimmt werden, sondern auch für jede einzelne Kategorie.Als Interpretationshilfe zur Beurteilung des Ausmaßes an Übereinstimmung gelten nach Landis und Koch folgende Angaben: κ<0,00 schlechte Übereinstimmung, 0,00-0,20 geringe Übereinstimmung, 0,21-0,40 ausreichende Übereinstimmung, 0,41-0,60 mittelmäßige Übereinstimmung, 0,61-0,80 beachtliche Übereinstimmung und 0,81-1,00 fast vollkommene Übereinstimmung . Bei den Beurteilungen mit drei Personen wurden die Beurteilungsrunden so lange durchgeführt bis ausreichende Beurteilungsübereinstimmungen erreicht wurden. 3. Results3.1. Sample characteristicsIn total, 197 articles were selected. Of these, 28 were included in two samples. Therefore, a total of 169 articles were assessed. During the assessment process, two articles were identified that did not meet the criteria for a study: One article presented a research method and its application in medical education. The other article was a letter to the editor. Both articles were excluded from further analysis. Table 4 provides information on the articles in each sample. 3.2. Development of the categoriesAs an iterative approach was adopted in this study, the results of each phase are not only reported in a descriptive manner, as is usual in scientific studies, but are also used to justify the further procedure. At the end of phase 1, the following rater agreements were identified for ten rater pairs:Subject areasFunctional areas category: κ=-0.111-0.737; κMd=0.143Educational career category: κ=-0.250-1.000; κMd=0.302Activity levels category: κ=-0.071-0.412; κMd=0.185 Research objectives: κ=-0.087-0.800; κMd=0.243 Research types: κ=-0.364-0.444; κMd=0.000.During the inductive phase (phase 1), it became apparent that the research subjects assigned to the dimensions of the structural model of educational research (functional areas, educational career, activity levels) sometimes overlapped. For example, the subjects teaching, learning and curriculum could not always be clearly distinguished from one another. Additionally, some subjects could not be clearly assigned to the dimensions of activity level and educational career. Based on these overlaps, which may have partly caused the low level of rater-agreements, the concept of three dimensions was abandoned and all research subjects were grouped into one subject area. The categories for both the research subjects and the research objectives were gradually adapted in the consensus procedure in the rounds of phase 2. This concerned the categories themselves as well as the explanations for them. Reaching a consensus proved to be particularly difficult, as the researchers of this study had different ideas about science due to their different professional socialization. Additionally, there was a lack of clarity in the terms as well as missing and overlapping categories. It also became apparent that the dimensions quest for fundamental understanding and considerations of use in the quadrant model according to Stokes can be interpreted differently. With the help of additional literature , , , , and the discussion of specific studies, the research types were more clearly distinguished from one another.For the final round of phase 2, the following Cohen's Kappa were calculated for 18 rater pairs:Research subjects: κ=-0.053-0.722; κMd=0.214 Research objective: κ=-0.111-0.643; κMd=0.268 Research type: κ=-0.176-1.000; κMd=0.354While fine-tuning, the fourth quadrant was renamed background research as suggested by Bush . This change was accompanied by higher level of rater agreement. At the end of this phase, the rater agreements were as follows: for research subject κFleiss=0.63, p<0.001, for research objective κFleiss=0.52, p<0.001 and for research type κFleiss=0.58, p<0.001. The results for each category are listed in attachment 3 , tables A1-A3.3.3. Subjects, objectives and types of research in medical education researchAfter completion of the three phases, eleven research subject categories, eight categories of research objectives and explanations of the research types are now available (see table 5 , table 6 and table 7 ). 3. Ergebnisse3.1. StichprobenbeschreibungÜber alle Stichproben hinweg wurden 197 Artikel ausgewählt, wovon 28 in zwei Stichproben vorhanden waren. Daher wurden insgesamt 169 Artikel beurteilt. Im Laufe des Beurteilungsprozesses wurden zwei Artikel identifiziert, die nicht den Kriterien einer Studie entsprachen: In einem Artikel wurden eine Forschungsmethode und ihre Anwendung in der Medizinischen Ausbildung dargestellt. Bei dem anderen Artikel handelte es sich um einen Brief an den Herausgeber. Beide Artikel wurden aus den weiteren Analysen ausgeschlossen. Angaben zu den Artikeln aus den einzelnen Stichproben finden sich in Tabelle 4 . 3.2. Entwicklung der KategorienDa in dieser Studie ein iteratives Vorgehen gewählt wurde, werden die Ergebnisse der einzelnen Phasen an dieser Stelle, nicht wie in wissenschaftlichen Studien üblich, nur beschreibend berichtet, sondern genutzt, um das weitere Vorgehen zu begründen. Am Ende von Phase 1 wurden für zehn Paare, die Artikel bewertet haben, die folgenden Beurteilungsübereinstimmungen ermittelt:GegenstandsbereicheKategorie Aufgabenbereiche: κ=-0,111-0,737; κMd=0,143 Kategorie Bildungskarriere: κ=-0,250-1,000; κMd=0,302 Kategorie Handlungsebenen: κ=-0,071-0,412; κMd=0,185 Forschungsziele: κ=-0,087-0,800; κMd=0,243 Forschungstypen: κ=-0,364-0,444; κMd=0,000.Während der Phase des induktiven Vorgehens (Phase 1) zeigte sich, dass sich teilweise die den Dimensionen des Strukturmodells der Bildungsforschung (Aufgabenbereiche, Bildungskarriere, Handlungsebenen) zugeordneten Gegenstände überschnitten. So waren z. B. die Gegenstände Lehren, Lernen und Curriculum nicht immer trennscharf voneinander zu unterscheiden. Zudem konnten einige Gegenstände den Dimensionen Handlungsebene und Bildungskarriere nicht eindeutig zugeordnet werden. Ausgehend von diesen Überschneidungen, die zum Teil die geringen Beurteilungsübereinstimmungen verursacht haben könnten, wurde das Konzept von drei Dimensionen aufgegeben und alle Gegenstände zu einem Gegenstandsbereich zusammengefasst. Sowohl für die Gegenstände als auch für die Forschungsziele wurde in den Durchgängen der Phase 2 die Kategorien sukzessive im Konsensverfahren angepasst. Dies betraf die Kategorien selbst als auch die Erläuterungen zu diesen. Als besonders schwierig erwies sich die Konsensfindung, da die Beurteilerinnen und Beurteiler dieser Studie wegen ihrer unterschiedlichen fachlichen Sozialisation verschiedene Vorstellungen über Wissenschaft hatten. Daneben gab es Unschärfen bei den Begriffen sowie fehlende und sich überschneidende Kategorien. Zudem zeigte sich, dass die Dimensionen Erkenntnis- und Anwendungsinteresse im Quadrantenmodell nach Stokes unterschiedlich interpretiert werden können. Unter Zuhilfenahme von zusätzlicher Literatur , , , , und der Diskussion konkreter Studien wurden die Forschungstypen stärker voneinander abgegrenzt.Für den letzten Durchgang von Phase 2 wurden für 18 Paare, die Artikel bewertet haben, folgende Cohens Kappa berechnet: Gegenstände: κ=-0,053–0,722; κMd=0,214 Forschungsziel: κ=-0,111–0,643; κMd=0,268 Forschungstyp: κ=-0,176–1,000; κMd=0,354Im Zuge der Feinjustierung wurde der vierte Quadrant wie von Bush vorgeschlagen als background research (Hintergrundforschung) umbenannt. Diese Änderung ging mit einer höheren Beurteilungsübereinstimmung einher. Am Ende dieser Phase waren die Beurteilungsübereinstimmungen wie folgt: für Gegenstände κFleiss=0,63, p<0,001, für Forschungsziel κFleiss=0,52, p<0,001 und für Forschungstyp κFleiss=0,58, p<0,001. Die Ergebnisse zu den einzelnen Kategorien sind in Anhang 3 , Tabellen A1-A3 aufgeführt.3.3. Gegenstände, Forschungsziele und Forschungstypen der Medizinischen AusbildungsforschungNach Abschluss der drei Phasen stehen nunmehr elf Gegenstandskategorien, acht Kategorien von Forschungszielen sowie Erläuterungen zu den Forschungstypen zur Verfügung (siehe Tabelle 5 , Tabelle 6 und Tabelle 7 ). 4. DiscussionThe starting point for this study is the often-lamented lack of relevance of medical education research: Medical education research is often criticized for contributing little to the advancement of knowledge in this field or for producing findings that have little practical implication.To better understand how research projects in medical education research can contribute to science in terms of gaining knowledge or further developing practice, the following questions were asked in this study:What subjects are researched in medical education?What are the objectives of medical education research?Which types of research listed in Stokes' quadrant model can be derived for medical education research? To answer these questions, research articles that have undergone peer-review were used and analyzed accordingly. This was done in an iterative process in which initial categories of each area were reviewed and adjusted. This process of independently reviewing and adjusting categories alternated until a satisfactory rater agreement was achieved. The categories found for the research subjects partly correspond to previous categories. For example, Raes et al. use similar categories with a slightly different sorting, but in our case, the teaching-learning methods of Raes et al. are divided into teaching methods and traits, motivation and behavior of learners and teachers. We were able to replicate all, but two of Raes et al.’s seven research subjects. In the present categorization, the research subject faculty development can be assigned to the category’s curriculum, quality criteria and indicators or positions, functions, roles, careers, depending on the topic. Correspondingly, the subject of social competence can be assigned to the category traits, motivation and behavior of students and teachers. Compared to the subject categories described by Rotgans , no matches could be found, as the categories we have developed are formulated in a more general way. For example, the research subjects listed by Rotgans, which are issues in student assessment, objective structured clinical examination, clinical competence assessment, can be assigned to the category with the heading of measuring instruments. The category system developed for research subjects in the present study therefore fits in well into previous categorization attempts but also broadens them and has the advantage that new research subjects can also be included in this categorization. As far as the research objectives of medical education research are concerned, previous classifications leave room for interpretation. Both Cook and Ringsted list categories for research objectives. However, they neither explain how these research objectives are arrived at nor what they actually mean. Some of the studies we examined can be assigned to Cook’s category description. For example, there are studies in which phenomena are described that cannot be explained by current theories. These studies provide a starting point for the further development and empirical testing of theories. On the other hand, other studies, which, for example, describe the spread of certain teaching or examination formats without any theoretical or practical implications, would also fall into the description category according to Cook et al.’s categorization. In the present categorization for research objectives, however, such studies are assigned to the category of presentation of a status quo. In summary, the research objectives we have identified can be roughly categorized according to previous classifications. However, they are formulated so specifically that they are more likely to guarantee a clear classification, as the scope for interpretation has been largely restricted. Furthermore, additional research objectives were identified which relate to the (further) development and verification of measurement instruments and data analysis methods as well as the development of consensus-based, normative guidelines and recommendations. Regarding the types of research considered relevant for medical education research, three types of research were derived in our study: use-inspired basic research, pure applied research and background research. However, a category of pure basic research could not be identified. Referring to the requirements of Eva and Ringsted, this result appears to be partially consistent, because according to their explanations, medical education research should relate to use-inspired basic research, i.e. address both quest for fundamental understanding and considerations of use. Ringsted writes: “Research in medical education seeks to deepen the knowledge and understanding of learning, teaching and education. It is neither about solving concrete, local problems nor about providing general, universal solutions” (, p.695). Eva is primarily concerned with understanding phenomena that are of practical relevance (“identify phenomena of interest (and practical relevance)”... “imperative of understanding”, , p.295). To understand these practically relevant phenomena, we need to examine the processes of learning, teaching and education. Since these processes are not directly observable, testable theories that can explain these processes come to the fore. However, these theories are the subject of pure basic research . In medical education research, however, pure basic research is still carried out far too rarely. In their systematic review, Tolsgaard et al. assigned only 2% of randomized studies to the Bohr quadrant (=pure basic research) . The rarity of the occurrence of such studies may therefore be one reason why no studies were found in the present investigation that can be assigned to pure basic research. Due to the importance of this category, as described above, the research types were supplemented with the category of pure basic research.4.1. Strengths and weaknesses of the studyThe strength of our study lies in the fact that previous classifications of research objectives have a strong focus on the research methodology. Yet the choice of research methodology should only take place after a relevant research question has been identified. However, research methodology did not play a role in our discussions and classifications, so we were able to identify the research objectives regardless of the choice of the “right” method. It should be emphasized that peer-reviewed articles, which were assumed to be representative of relevant research, were subject to a procedure based on document analysis. An iterative approach was used to develop the categories and their explanations, alternating between phases of finding mutual consent and verification of agreement. Additionally, researchers from different knowledge cultures were involved. Through the iterative process of sampling, categorization, finding mutual consent, checking of rater agreement, revision of the categorization on further articles, etc., it was possible to develop categories that also withstand trends and time-limited topics. Thus, topics such as artificial intelligence or the COVID-19 pandemic are not literally listed in the categories, but are nevertheless implicitly present, e.g. as teaching or examination format or change in student motivation.The study also has some weaknesses. Particularly in the fine-tuning phase (phase 3), some poorly designed studies complicated the categorization process because, for example, research subjects and research objectives were not explicitly named or were not stringently addressed in different parts of the articles (e.g. abstract vs. full text). These inconsistencies presumably had a negative effect on the rater agreements. Another problem was the different use of the terms theory and model in some articles. On the one hand, these terms were used to describe natural processes, which were then tested using empirical data (epistemic meaning). On the other hand, the terms theory and model were used without claiming to explain or describe behavior and experience. Instead, the aim of these studies was to agree on uniform guidelines (normative meaning). The classification of research types was also sometimes affected by shortcomings or ambiguities in the articles. Sometimes research objectives were described that could have been assigned to use-inspired basic research but could not be because of the lack of theoretical reference. In summary, such flaws can limit the extent of rater agreements.Another possible weakness of the present study is that some categories were chosen less frequently to categorize the articles. This could be because studies that fit into these categories are actually less common. Furthermore, it cannot be ruled out that our explanations of these categories are still too imprecise. Our approach was focused on the development of the categories and their explanations, not on determining and considering the actual occurrence of the studies in the individual categories. 4. DiskussionAusgangspunkt für diese Studie ist die oftmals beklagte fehlende Relevanz der Medizinischen Ausbildungsforschung. Denn der Medizinischen Ausbildungsforschung wird häufig vorgeworfen mit ihren Studien kaum zum Erkenntnisgewinn in diesem Bereich beizutragen oder aber auch Erkenntnisse zu produzieren, die wenig praxisbezogen sind.Um besser nachvollziehen zu können, wie Forschungsvorhaben in der Medizinischen Ausbildungsforschung Beiträge zur Wissenschaft im Sinne von Erkenntnisgewinn oder zur Weiterentwicklung der Praxis leisten können, wurden in dieser Studie folgende Fragen gestellt:Welche Gegenstände werden in der medizinischen Ausbildung beforscht?Welche Forschungsziele werden mit der Medizinischen Ausbildungsforschung verfolgt?Welche im Quadrantenmodell nach Stokes aufgeführten Forschungstypen lassen sich für die Medizinische Ausbildungsforschung ableiten? Um diese Fragen zu beantworten, wurden Forschungsartikel, die Peer-Reviews durchlaufen haben, herangezogen und entsprechend analysiert. Dies geschah in einem iterativen Prozess, in dem Ausgangskategorien der einzelnen Bereiche überprüft und angepasst wurden. Dieser Prozess der unabhängigen Überprüfung der Kategorien und Anpassung wechselten einander ab, bis eine zufriedenstellende Beurteilungsübereinstimmung erreicht wurde. Die gefundenen Kategorien zu den Gegenständen decken sich zum Teil mit bisherigen Kategorien. So verwenden Raes et al. ähnliche Kategorien mit einer etwas anderen Sortierung, z. B. sind die Lehr-Lernmethoden von Raes et al. bei uns aufgeteilt in Lehrmethoden und Eigenschaften, Motivation und Verhalten von Lernenden und Lehrenden. Die sieben Forschungsthemen von Raes et al. konnten wir bis auf zwei replizieren. Der Gegenstand Fakultätsentwicklung kann in der vorliegenden Kategorisierung je nach Thema den Kategorien Curriculum, Qualitätskriterien und -indikatoren oder Positionen, Funktionen, Rollen, Karriere zugeordnet werden. Entsprechend kann der Gegenstand soziale Kompetenz der Kategorie Eigenschaften, Motivation und Verhalten von Lernenden und Lehrenden zugeordnet werden. Verglichen mit den von Rotgans beschriebenen Gegenstandskategorien sind keine Übereinstimmungen festzustellen, da die von uns entwickelten Kategorien übergeordnet formuliert sind. So können der Rubrik Messinstrumente die von Rotgans aufgeführten Gegenstände „Issues in student assessment, objective structured clinical examination, clinical competence assessment“ zugeordnet werden. Das in der vorliegenden Arbeit für Gegenstände entwickelte Kategoriensystem fügt sich somit gut in die bisherigen Kategorisierungsversuche ein, erweitert diese jedoch und hat den Vorteil, dass auch neue Gegenstände in diese Kategorisierung aufgenommen werden können. Was die Forschungsziele der Medizinischen Ausbildungsforschung betrifft, lassen bisherige Klassifikationen Interpretationsspielraum. Sowohl bei Cook als auch bei Ringsted werden zwar Kategorien für Forschungsziele aufgelistet. Es wird jedoch weder dargestellt, wie man auf diese Forschungsziele kommt, noch, was diese konkret bedeuten. So können einige der von uns untersuchten Studien der Kategorie Beschreibung von Cook zugeordnet werden. Beispielsweise gibt es Studien, in denen Phänomene beschrieben werden, die mit bisherigen Theorien nicht zu erklären sind. Diese Studien liefern damit einen Ausgangspunkt für die Weiterentwicklung und empirische Prüfung von Theorien. Andere Studien wiederum, in denen beispielsweise die Verbreitung bestimmter Lehr- oder Prüfungsformate ohne theoretische oder praktische Implikationen dargestellt werden, können gemäß der Kategorisierung von Cook et al. ebenfalls der Kategorie Beschreibung zugeordnet werden. In der vorliegenden Kategorisierung für Forschungsziele werden jedoch solche Studien der Kategorie Darstellung eines Status quo zugeordnet. Zusammenfassend betrachtet lassen sich die von uns identifizierten Forschungsziele, zwar grob in die bisherigen Klassifikationen einordnen. Sie sind jedoch so spezifisch formuliert, dass sie eher eine eindeutige Zuordnung garantieren, da der Interpretationsspielraum weitestgehend eingeschränkt wurde. Zudem wurden weitere Forschungsziele identifiziert, die sich auf die (Weiter-) Entwicklung und Überprüfung von Messinstrumenten und Datenanalyseverfahren sowie auf die Entwicklung von konsensbasierten, normativen Vorgaben und Empfehlungen beziehen. Bezogen auf die für die Medizinische Ausbildungsforschung als relevant erachteten Forschungstypen ließen sich in unserer Untersuchung drei Forschungstypen ableiten: anwendungsorientierte Grundlagenforschung, angewandte Forschung und Hintergrundforschung. Eine Kategorie Grundlagenforschung konnte dagegen nicht identifiziert werden. Bezugnehmend auf die Forderungen von Eva und Ringsted scheint dieses Ergebnis partiell stimmig zu sein, denn gemäß ihren Ausführungen sollte sich die Medizinische Ausbildungsforschung auf die anwendungsorientierte Grundlagenforschung beziehen, also sowohl das Erkenntnis- als auch das Anwendungsinteresse adressieren. So schreibt Ringsted „Research in medical education seeks to deepen the knowledge and understanding of learning, teaching and education. It is neither about solving concrete, local problems nor about providing general, universal solutions“ (, p.695). Eva geht es vor allem um das Verstehen von Phänomenen, die praktisch relevant sind („identify phenomena of interest (and practical relevance)“… „imperative of understanding“, , p.295). Um diese praktisch relevanten Phänomene zu verstehen, müssen wir die Prozesse des Lernens, Lehrens und der Bildung untersuchen. Da diese Prozesse nicht direkt beobachtbar sind, treten prüfbare Theorien in den Vordergrund, die diese Prozesse erklären können. Diese Theorien sind jedoch Gegenstand der reinen Grundlagenforschung . In der Medizinischen Ausbildungsforschung wird reine Grundlagenforschung jedoch noch viel zu selten betrieben. Tolsgaard et al. ordneten in ihrem systematischen Review lediglich 2% der randomisierten Studien dem Bohr-Quadranten (=reine Grundlagenforschung) zu . Die Seltenheit des Vorkommens solcher Studien mag daher ein Grund sein, warum in der vorliegenden Untersuchung keine Studien gefunden wurden, die der reinen Grundlagenforschung zuzuordnen sind. Aufgrund der bereits oben beschriebenen Bedeutung dieser Kategorie, wurden die Forschungstypen um die Kategorie Grundlagenforschung ergänzt. 4.1. Stärken und Schwächen der StudieDie Stärke unserer Studie liegt darin, dass bisherige Klassifikationen für Forschungsziele einen starken Fokus auf die Forschungsmethodik haben. Die Auswahl der Forschungsmethodik sollte jedoch erst erfolgen, wenn eine relevante Forschungsfrage identifiziert ist. Bei unseren Diskussionen und Zuordnungen spielte die Forschungsmethodik jedoch keine Rolle, sodass wir unabhängig von der Wahl der „richtigen“ Methode die Forschungsziele identifizieren konnten. Hervorzuheben ist, dass peer-begutachtete Artikel, von denen anzunehmen war, dass sie relevante Forschung repräsentieren, einem an eine Dokumentenanalyse angelehnten Verfahren unterzogen wurden. Zur Entwicklung der Kategorien und ihren Erläuterungen wurde iterativ vorgegangen, indem sich Phasen der Konsensfindung und der Prüfung der Beurteilungsübereinstimmung abwechselten. Zudem wurden Personen aus unterschiedlichen Wissenskulturen einbezogen. Durch den iterativen Prozess der Stichprobenziehung, Kategorisierung, Konsentierung, Übereinstimmungskontrolle, Überarbeitung der Kategorisierung an weiteren Artikeln etc. konnten Kategorien entwickelt werden, die auch Trends und zeitlich begrenzten Themen standhalten. So werden Themen wie Künstliche Intelligenz oder COVID-Pandemie zwar nicht wörtlich in den Kategorien aufgeführt, sind jedoch dennoch implizit vorhanden, z. B. als Lehr- oder Prüfungsformat bzw. Veränderung von Studierendenmotivation. Die Studie weist auch einige Schwächen auf. Vor allem in der Phase der Feinjustierung (Phase 3) erschwerten einige schlecht konzipierte Studien die Kategorienbildung, weil z.B. Gegenstände und Forschungsziele nicht explizit benannt oder in verschiedenen Teilen der Artikel (z.B. Abstract vs. Volltext) nicht stringent adressiert wurden. Diese Inkonsistenzen wirkten sich vermutlich negativ auf die Beurteilungsübereinstimmung aus. Ein weiteres Problem stellte die unterschiedliche Verwendung der Begriffe Theorie und Modell in manchen Artikeln dar. Zum einen wurden diese Begriffe zur Beschreibung natürlicher Prozesse herangezogen, um diese dann anhand empirischer Daten zu prüfen (epistemische Bedeutung). Zum anderen wurden die Begriffe Theorie und Modell verwendet, ohne jedoch den Anspruch zu verfolgen, Verhalten und Erleben zu erklären bzw. zu beschreiben. Stattdessen war das Ziel dieser Studien, sich auf einheitliche Vorgaben zu einigen (normative Bedeutung). Auch die Zuordnung zu den Forschungstypen wurde manchmal durch Mängel bzw. Uneindeutigkeiten in den Artikeln beeinträchtigt. Es wurden mitunter Forschungsziele beschrieben, die eigentlich der anwendungsorientierten Grundlagenforschung hätten zugeordnet werden können, aber wegen des fehlenden Theoriebezugs nicht zugeordnet werden konnten. Zusammenfassend betrachtet, können solche Mängel zu einer Einschränkung des Ausmaßes der Beurteilungsübereinstimmung führen.Eine weitere mögliche Schwäche der vorliegenden Studie ist, dass einige Kategorien seltener zur Kategorisierung der Artikel gewählt wurden. Dies könnte daran liegen, dass Studien, die sich solchen Kategorien zuordnen lassen, tatsächlich seltener durchgeführt werden. Nicht auszuschließen ist zudem, dass unsere Erläuterungen dieser Kategorien noch zu ungenau sind. Unser Vorgehen war auf die Entwicklung der Kategorien und ihren Erläuterungen fokussiert und nicht darauf, das tatsächliche Vorkommen der Studien in den einzelnen Kategorien festzustellen und zu berücksichtigen. 5. ConclusionOur category systems can help define research subjects and research objectives of medical education research more precisely as well as better distinguish between the research types and their significance. This should make it possible to formulate relevant research questions and choose an approach in which explanatory theories play a role or in which the (general) problem of practice is in the foreground, depending on the type of research in question. The next step is to select the research methodology in such a way that the research question can be answered with the help of the data collected and analyzed. Additionally, the terms used, and in particular their meaning, should be discussed and agreed upon, so that those involved in future studies mean the same thing and their work can contribute more effectively to the gain of knowledge in medical education and ultimately to the further development of practice. 5. FazitUnsere Kategoriensysteme können helfen, Gegenstände und Forschungsziele der Medizinischen Ausbildungsforschung genauer zu definieren sowie die Forschungstypen und ihre Bedeutung besser voneinander abzugrenzen. Damit sollte es möglich sein, relevante Forschungsfragen zu formulieren und ein Vorgehen zu wählen, in dem erklärende Theorien eine Rolle spielen bzw. das (allgemeine) Problem der Praxis im Vordergrund steht, je nachdem, um welchen Forschungstyp es sich handelt. Erst im nächsten Schritt sollte die Forschungsmethodik so gewählt werden, dass mit Hilfe der erhobenen und ausgewerteten Daten die Forschungsfrage beantwortet werden kann. Zusätzlich sollten die verwendeten Begriffe und vor allen deren Bedeutung diskutiert und konsentiert werden, damit zukünftig die Beteiligten das Gleiche meinen und ihre Studien besser zum Erkenntnisgewinn in der Medizinischen Ausbildung und schließlich zur Weiterentwicklung der Praxis beitragen können. AcknowledgementsWe would like to thank Olivia Steiger, cand. med. for her contributions to the literature. DanksagungWir danken cand. med. Olivia Steiger für die Zuarbeiten bei der Literatur. Authors’ ORCIDsKatrin Schüttpelz-Brauns: [0000-0001-9004-0724]Achim Schneider: [0000-0002-8602-8535]Götz Fabry: [0000-0002-5393-606X]Jan Matthes: [0000-0003-2754-1555]Monika Himmelbauer: [0000-0001-5516-1993]Beatrice Buss: [0000-0001-7270-382X]Marianne Giesler: [0000-0001-9384-2343] ORCIDs der Autor*innenKatrin Schüttpelz-Brauns: [0000-0001-9004-0724]Achim Schneider: [0000-0002-8602-8535]Götz Fabry: [0000-0002-5393-606X]Jan Matthes: [0000-0003-2754-1555]Monika Himmelbauer: [0000-0001-5516-1993]Beatrice Buss: [0000-0001-7270-382X]Marianne Giesler: [0000-0001-9384-2343] Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autor*innen erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben. McKeachie WJ Research on College Teaching: The Historical Background 1990 J Educ Psychol 189-200 McKeachie WJ. Research on College Teaching: The Historical Background. J Educ Psychol. 1990;82(2):189-200. DOI: 10.1037/0022-0663.82.2.189 https://doi.org/10.1037/0022-0663.82.2.189 Norman G Fifty years of medical education research: waves of migration 2011 Med Educ 785-791 Norman G. Fifty years of medical education research: waves of migration. Med Educ. 2011;45(8):785-791. DOI: 10.1111/j.1365-2923.2010.03921.x https://doi.org/10.1111/j.1365-2923.2010.03921.x Schmidt HH Mamede S How cognitive psychology changed the face of medical education research 2020 Adv Health Sci Educ Theory Pract 1025-1043 Schmidt HH, Mamede S. How cognitive psychology changed the face of medical education research. Adv Health Sci Educ Theory Pract. 2020;25(5):1025-1043. DOI: 10.1007/s10459-020-10011-0 https://doi.org/10.1007/s10459-020-10011-0 Kuper A Albert M Hodges BD The origins of the field of medical education research 2010 Acad Med 1347-1353 Kuper A, Albert M, Hodges BD. The origins of the field of medical education research. Acad Med. 2010;85(8):1347-1353. DOI: 10.1097/ACM.0b013e3181dce9a7 https://doi.org/10.1097/ACM.0b013e3181dce9a7 Meyer HS Durning SJ Sklar DP Maggio LA Making the first cut: an analysis of academic medicine editors’ reasons for not sending manuscripts out for external peer review 2018 Acad Med 464-470 Meyer HS, Durning SJ, Sklar DP, Maggio LA. Making the first cut: an analysis of academic medicine editors’ reasons for not sending manuscripts out for external peer review. Acad Med. 2018;93(3):464-470. DOI: 10.1097/ACM.0000000000001860 https://doi.org/10.1097/ACM.0000000000001860 Prystowsky JB Bordage G An outcomes research perspective on medical education: the predominance of trainee assessment and satisfaction 2001 Med Educ 331-336 Prystowsky JB, Bordage G. An outcomes research perspective on medical education: the predominance of trainee assessment and satisfaction. Med Educ. 2001;35(4):331-336. DOI: 10.1046/j.1365-2923.2001.00910.x https://doi.org/10.1046/j.1365-2923.2001.00910.x Biesta GJJ van Braak M Beyond the medical model: Thinking differently about medical education and medical education research 2020 Teach Learn Med 449-456 Biesta GJJ, van Braak M. Beyond the medical model: Thinking differently about medical education and medical education research. Teach Learn Med. 2020;32(4):449-456. DOI: 10.1080/10401334.2020.1798240 https://doi.org/10.1080/10401334.2020.1798240 Whitcomb ME Research in medical education: what do we know about the link between what doctors are taught and what they do? 2002 Acad Med 1067-1068 Whitcomb ME. Research in medical education: what do we know about the link between what doctors are taught and what they do? Acad Med. 2002;77(11):1067-1068. DOI: 10.1097/00001888-200211000-00001 https://doi.org/10.1097/00001888-200211000-00001 Albert M Hodges B Regehr G Research in medical education: balancing service and science 2007 Adv Health Sci Educ Theory Pract 103-115 Albert M, Hodges B, Regehr G. Research in medical education: balancing service and science. Adv Health Sci Educ Theory Pract. 2007;12(1):103-115. DOI: 10.1007/s10459-006-9026-2 https://doi.org/10.1007/s10459-006-9026-2 Gruppen LD Improving medical education research 2007l Teach Learn Med 331-335 Gruppen LD. Improving medical education research. Teach Learn Med. 2007l;19(4):331-335. DOI: 10.1080/10401330701542370 https://doi.org/10.1080/10401330701542370 Norman G Editorial - how bad is medical education research anyway? 2007 Adv Health Sci Educ Theory Pract 1-5 Norman G. Editorial - how bad is medical education research anyway? Adv Health Sci Educ Theory Pract. 2007;12(1):1-5. DOI: 10.1007/s10459-006-9047-x https://doi.org/10.1007/s10459-006-9047-x Cook DA Bordage G Schmidt HG Description, justification and clarification: a framework for classifying the purposes of research in medical education 2008 Med Educ 128-133 Cook DA, Bordage G, Schmidt HG. Description, justification and clarification: a framework for classifying the purposes of research in medical education. Med Educ. 2008;42(2):128-133. DOI: 10.1111/j.1365-2923.2007.02974.x https://doi.org/10.1111/j.1365-2923.2007.02974.x Raes P Bauer D Schöppe F Fischer MR The active participation of German-speaking countries in conferences of the Association for Medical Education in Europe (AMEE) between 2005 and 2013: A reflection of the development of medical education research? 2014 GMS Z Med Ausbild Doc28 Raes P, Bauer D, Schöppe F, Fischer MR. The active participation of German-speaking countries in conferences of the Association for Medical Education in Europe (AMEE) between 2005 and 2013: A reflection of the development of medical education research? GMS Z Med Ausbild. 2014;31(3):Doc28. DOI: 10.3205/zma000920 https://doi.org/10.3205/zma000920 Leif M Semarad N Ganesan V Selting K Burr J Svec A Clements P Talmon G The Quality Of Evidence In Preclinical Medical Education Literature: A Systematic Review 2019 Adv Med Educ Pract 925-933 Leif M, Semarad N, Ganesan V, Selting K, Burr J, Svec A, Clements P, Talmon G. The Quality Of Evidence In Preclinical Medical Education Literature: A Systematic Review. Adv Med Educ Pract. 2019;10:925-933. DOI: 10.2147/AMEP.S212858 https://doi.org/10.2147/AMEP.S212858 Lurie SJ Raising the passing grade for studies of medical education 2003 JAMA 1210-1212 Lurie SJ. Raising the passing grade for studies of medical education. JAMA. 2003;290(9):1210-1212. DOI: 10.1001/jama.290.9.1210 https://doi.org/10.1001/jama.290.9.1210 Bolander Laksov K Dornan T Teunissen PW Making theory explicit - An analysis of how medical education research(ers) describe how they connect to theory 2017 BMC Med Educ 18 Bolander Laksov K, Dornan T, Teunissen PW. Making theory explicit - An analysis of how medical education research(ers) describe how they connect to theory. BMC Med Educ. 2017;17(1):18. DOI: 10.1186/s12909-016-0848-1 https://doi.org/10.1186/s12909-016-0848-1 Colliver JA McGaghie WC The reputation of medical education research: quasi-experimentation and unresolved threats to validity 2008 Teach Learn Med 101-103 Colliver JA, McGaghie WC. The reputation of medical education research: quasi-experimentation and unresolved threats to validity. Teach Learn Med. 2008;20(2):101-103. DOI: 10.1080/10401330801989497 https://doi.org/10.1080/10401330801989497 Swanwick T Forrest K O’Brien BC 2018 Understanding Medical Education: Evidence, Theory, and Practice, 3rd ed Swanwick T, Forrest K, O’Brien BC, editors. Understanding Medical Education: Evidence, Theory, and Practice, 3rd ed. Hoboken (NJ): Wiley Blackwell; 2018. DOI: 10.1002/9781119373780 https://doi.org/10.1002/9781119373780 Dent J Harden R Hunt D 2021 A practical guide for medical teachers Dent J, Harden R, Hunt D, editors. A practical guide for medical teachers. 6th ed. London, UK: Elsevier; 2021. Norman GR Vleuten CP Newble DI Dolmans DH Mann KV Rothman A Curry L 2012 International Handbook of Research in Medical Education Norman GR, Vleuten CP, Newble DI, Dolmans DH, Mann KV, Rothman A, Curry L, editors. International Handbook of Research in Medical Education. Dordrecht: Springer; 2012. Fabry G 2023 Medizindidaktik. Für eine kompetenzorientierte, praxisrelevante und wissenschaftlich fundierte Ausbildung Fabry G. Medizindidaktik. Für eine kompetenzorientierte, praxisrelevante und wissenschaftlich fundierte Ausbildung. 2. vollst. überarb. Aufl. Bern: Hogrefe; 2023. DOI: 10.1024/85852-000 https://doi.org/10.1024/85852-000 Rotgans JI The themes, institutions, and people of medical education research 1988-2010 2012 Adv Health Sci Educ Theory Pract 515-527 Rotgans JI. The themes, institutions, and people of medical education research 1988-2010. Adv Health Sci Educ Theory Pract. 2012;17(4):515-527. DOI: 10.1007/s10459-011-9328-x https://doi.org/10.1007/s10459-011-9328-x Spiel C Wagner P Götz T Lüftenegger M Schober B Bildungspsychologie: Konzeption, Strukturmodell, Stellenwert und Perspektiven 2022 Bildungspsychologie – ein Lehrbuch 11-30 Spiel C, Wagner P, Götz T, Lüftenegger M, Schober B. Bildungspsychologie: Konzeption, Strukturmodell, Stellenwert und Perspektiven. In: Spiel C, Götz T, Wagner P, Lüftenegger M, Schober B, editors. Bildungspsychologie – ein Lehrbuch. 2. vollst. überarb. Aufl. Göttingen: Hogrefe; 2022. p.11-30. DOI: 10.1026/03108-000 https://doi.org/10.1026/03108-000 Ringsted C Hodges B Scherpbier A 'The research compass': an introduction to research in medical education: AMEE Guide no. 56 2011 Med Teach 695-709 Ringsted C, Hodges B, Scherpbier A. 'The research compass': an introduction to research in medical education: AMEE Guide no. 56. Med Teach. 2011;33(9):695-709. DOI: 10.3109/0142159X.2011.595436 https://doi.org/10.3109/0142159X.2011.595436 Albert M Understanding the debate on medical education research: a sociological perspective 2004 Acad Med 948-954 Albert M. Understanding the debate on medical education research: a sociological perspective. Acad Med. 2004;79(10): 948-954. DOI: 10.1097/00001888-200410000-00009 https://doi.org/10.1097/00001888-200410000-00009 Eva K Broadening the debate about quality in medical education research 2009 Med Educ 294-296 Eva K. Broadening the debate about quality in medical education research. Med Educ. 2009;43(4):294-296. DOI: 10.1111/j.1365-2923.2009.03342.x https://doi.org/10.1111/j.1365-2923.2009.03342.x Eva K Publishing during COVID-19: Lessons for health education research 2021 Med Educ 278-280 Eva K. Publishing during COVID-19: Lessons for health education research. Med Educ. 2021;55(3):278-280. DOI: 10.1111/medu.14450 https://doi.org/10.1111/medu.14450 Regehr G It's NOT rocket science: rethinking our metaphors for research in health professions education 2010 Med Educ 31-39 Regehr G. It's NOT rocket science: rethinking our metaphors for research in health professions education. Med Educ. 2010;44(1):31-39. DOI: 10.1111/j.1365-2923.2009.03418.x https://doi.org/10.1111/j.1365-2923.2009.03418.x Stokes DE 1997 Pasteur’s Quadrant. Basic Science and Technological Innovation Stokes DE. Pasteur’s Quadrant. Basic Science and Technological Innovation. Washington, D.C.: Brookings Institution Press; 1997. Jovanović M 2011 Fußspuren in der Publikationslandschaft: Einordnung wissenschaftlicher Themen und Technologien in grundlagen- und anwendungsorientierte Forschung mithilfe bibliometrischer Methoden Jovanović M. Fußspuren in der Publikationslandschaft: Einordnung wissenschaftlicher Themen und Technologien in grundlagen- und anwendungsorientierte Forschung mithilfe bibliometrischer Methoden. Stuttgart: Frauenhofer-Verlag; 2011. Hoffmann N 2017 Dokumentenanalyse in der Bildungs- und Sozialforschung. Überblick und Einführung Hoffmann N. Dokumentenanalyse in der Bildungs- und Sozialforschung. Überblick und Einführung. Weinheim: Beltz Juventa; 2017. Flick U 2000 Qualitative Forschung. Theorie, Methoden, Anwendung in Psychologie und Sozialwissenschaften Flick U. Qualitative Forschung. Theorie, Methoden, Anwendung in Psychologie und Sozialwissenschaften. 5. Aufl. Reinbek bei Hamburg: Rowohlt; 2000. Wirtz M Caspar F 2002 Beurteilerübereinstimmung und Beurteilerreliabilität. Methoden zur Bestimmung und Verbesserung der Zuverlässigkeit von Einschätzungen mittels Kategoriensystemen und Ratingskalen Wirtz M, Caspar F. Beurteilerübereinstimmung und Beurteilerreliabilität. Methoden zur Bestimmung und Verbesserung der Zuverlässigkeit von Einschätzungen mittels Kategoriensystemen und Ratingskalen. Göttingen: Hogrefe; 2002. Landis RJ Koch GG The measurement of observer agreement for categorical data 1977 Biometrics 159-174 Landis RJ, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977;33(1):159-174. Nichols TR Wisner PM Cripe G Gulabchand L Putting the Kappa Statistic to Use 2010 Qual Assur J 57-61 Nichols TR, Wisner, PM, Cripe G, Gulabchand L. Putting the Kappa Statistic to Use. Qual Assur J. 2010;13:57-61. DOI: 10.1002/qaj.481 https://doi.org/10.1002/qaj.481 Brüggemann A Bromme R Anwendungsorientierte Grundlagenforschung in der Psychologie: Sicherung von Qualität und Chancen in den Beurteilungs- und Entscheidungsprozessen der DFG 2006 Psycholog Rundschau 112-118 Brüggemann A, Bromme R. Anwendungsorientierte Grundlagenforschung in der Psychologie: Sicherung von Qualität und Chancen in den Beurteilungs- und Entscheidungsprozessen der DFG. Psycholog Rundschau. 2006;57(2):112-118. Döring N Bortz J 2016 Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften Döring N, Bortz J. Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften. 5. vollst. überarb. aktual. und erweit. Aufl. Berlin: Springer; 2016. DOI: 10.1007/978-3-642-41089-5 https://doi.org/10.1007/978-3-642-41089-5 Reinders H Gräsel C Ditton H Praxisbezug Empirischer Bildungsforschung 2011 Empirische Bildungsforschung. Gegenstandsbereiche 221-233 Reinders H, Gräsel C, Ditton H. Praxisbezug Empirischer Bildungsforschung. In: Reinders H, Ditton H, Gräsel C, Gniewosz B, editors. Empirische Bildungsforschung. Gegenstandsbereiche. Wiesbaden: VS Verl. für Sozialwiss. 2011. p.221-233. DOI: 10.1007/978-3-531-93021-3_19 https://doi.org/10.1007/978-3-531-93021-3_19 Fischer F Waibel M Wecker C Nutzenorientierte Grundlagenforschung im Bildungsbereich 2005 Zeitschr Erzwiss 427-442 Fischer F, Waibel M, Wecker C. Nutzenorientierte Grundlagenforschung im Bildungsbereich. Zeitschr Erzwiss. 2005;8(3):427-442. Bush V 2020 Science: The Endless Frontier; A report to the President on a Program for Postwar Scientific Research Bush V. Science: The Endless Frontier; A report to the President on a Program for Postwar Scientific Research. Reprint anlässlich des 75. Jahrestages. National Science Foundation; 2020. Zugänglich unter/available from: https://www.nsf.gov/about/history/EndlessFrontier_w.pdf https://www.nsf.gov/about/history/EndlessFrontier_w.pdf Souvignier E Gold A Wirksamkeit von Lehrmethoden 2006 Leistung und Leistungsdiagnostik 146-166 Souvignier E, Gold A. Wirksamkeit von Lehrmethoden. In: Schweizer K, editor. Leistung und Leistungsdiagnostik. Berlin: Springer; 2006. p.146-166. DOI: 10.1007/3-540-33020-8_10 https://doi.org/10.1007/3-540-33020-8_10 Tenorth HE Tippelt R 2007 Lexikon Pädagogik 137f Tenorth HE, Tippelt R, editors. Lexikon Pädagogik. Weinheim: Beltz; 2007. p.137f. Döring N 2023 Forschungsmethoden und Evaluation in Sozial- und Humanwissenschaften Döring N. Forschungsmethoden und Evaluation in Sozial- und Humanwissenschaften. 6. Aufl. Berlin: Springer; 2023. DOI: 10.1007/978-3-662-64762-2 https://doi.org/10.1007/978-3-662-64762-2 Ellaway RH Hecker KG What role does basic research have in an applied field? 2022 Adv Health Sci Educ Theory Pract 289-292 Ellaway RH, Hecker KG. What role does basic research have in an applied field? Adv Health Sci Educ Theory Pract. 2022;27(2):289-292. DOI: 10.1007/s10459-022-10117-7 https://doi.org/10.1007/s10459-022-10117-7 Tolsgaard MG Medical education research in obstetrics and gynecology 2019 Am J Obst Gyn 121 Tolsgaard MG. Medical education research in obstetrics and gynecology. Am J Obst Gyn. 2019;220(1):121. DOI: 10.1016/j.ajog.2018.09.013 https://doi.org/10.1016/j.ajog.2018.09.013 11en1de

Table 1: Points of criticism of studies in medical education research

Tabelle 1: Kritikpunkte von Studien der Medizinischen Ausbildungsforschung

22en2de

Table 2: Overview of the phases and rounds of the study

Tabelle 2: Überblick über die Phasen und Durchgänge der Studie

33en3de

Table 3: Initial categories for subjects in medical education research

Tabelle 3: Anfangskategorien für Gegenstände in der Medizinischen Ausbildungsforschung

44en4de

Table 4: Description of the samples

Tabelle 4: Beschreibung der einzelnen Stichproben

55en5de

Table 5: Subjects of medical education research incl. explanations

Tabelle 5: Gegenstände der Medizinischen Ausbildungsforschung inkl. Erläuterungen

66en6de

Table 6: Objectives of medical education research including explanations and examples

Tabelle 6: Forschungsziele der Medizinischen Ausbildungsforschung inkl. Erläuterungen und Beispielen

77en7de

Table 7: Possible types of research in medical education including explanations

Tabelle 7: Mögliche Forschungstypen der Medizinischen Ausbildungsforschung inkl. Erläuterungen

7

1 1en 1de Figure 1: An Iterative approach for the development of categories for subjects and objectives of medical education research Abbildung 1: Iteratives Vorgehen bei der Entwicklung der Kategorien für Gegenstände und Forschungsziele der Medizinischen Ausbildungsforschung

1 0 1 1en 1de Description of the sample selection Beschreibung zur Stichprobenauswahl 2 2en 2de Balanced plan of 50 articles that were used in phase 1 in the second round to review the categories found Balancierter Plan von 50 Artikeln, die in Phase 1 im zweiten Durchgang zur Überprüfung der gefundenen Kategorien dienten 3 3en 3de Assessment agreements at the end of the study Beurteilungsübereinstimmungen zum Abschluss der Studie 3