Optimization of descriptors and cross-references across the different versions of the German National Competence Based Catalogue of Learning Objectives for Undergraduate Medical Education (NKLM)

zma001809 10.3205/zma001809 urn:nbn:de:0183-zma0018099 research article Forschungsarbeit Optimization of descriptors and cross-references across the different versions of the German National Competence Based Catalogue of Learning Objectives for Undergraduate Medical Education (NKLM) Optimierung der Deskriptoren und Querverbindungen zwischen den verschiedenen Versionen des Nationalen Kompetenzbasierten Lernzielkatalogs Medizin (NKLM) Rech Rech Till T

Charité – Universitätsmedizin Berlin, Institute of Medical Informatics, LOOOP Research Team, Berlin, Germany Charité – Universitätsmedizin Berlin, Department of Neonatology, Berlin, Germany

Charité – Universitätsmedizin Berlin, Institut für Medizinische Informatik, LOOOP-Forschungsteam, Berlin, Deutschland Charité – Universitätsmedizin Berlin, Klinik für Neonatologie, Berlin, Deutschland

author Jennebach Jennebach Jacqueline J

German Association of Medical Faculties, Berlin, Germany

Medizinischer Fakultätentag der Bundesrepublik Deutschland, Berlin, Deutschland

author Fischer Fischer Martin R. MR

LMU University Hospital, LMU Munich, Institute of Medical Education, Munich, Germany

LMU Klinikum, LMU München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, Deutschland

author Balzer Balzer Felix F

Charité – Universitätsmedizin Berlin, Institute of Medical Informatics, LOOOP Research Team, Berlin, Germany

Charité – Universitätsmedizin Berlin, Institut für Medizinische Informatik, LOOOP-Forschungsteam, Berlin, Deutschland

author Sugiharto Sugiharto Firman F

Duke-NUS Graduate Medical School, Department for Technology-Enhanced Learning and Innovation, Singapore

Duke-NUS Graduate Medical School, Department for Technology-Enhanced Learning and Innovation, Singapur

author Dittmar Dittmar Martin M

Charité – Universitätsmedizin Berlin, IT Department, Berlin, Germany

Charité – Universitätsmedizin Berlin, Geschäftsbereich IT, Berlin, Deutschland

author Wyszynski Wyszynski Vincent V

Charité – Universitätsmedizin Berlin, Institute of Medical Informatics, LOOOP Research Team, Berlin, Germany Charité – Universitätsmedizin Berlin, Department of Anesthesiology and Intensive Care Medicine CCM/CVK, LOOOP Research Team, Berlin, Germany

author Fritze Fritze Olaf O

University of Tübingen, Medical Faculty, TIME - Tübingen Institute for Medical Education, Tübingen, Germany Brandenburg Medical School Theodor Fontane, Faculty of Health Sciences Brandenburg, Institute of Research in Health Sciences Education, Neuruppin, Germany

Universität Tübingen, Medizinische Fakultät, TIME - Tübingen Institute for Medical Education, Tübingen, Deutschland Medizinische Hochschule Brandenburg Theodor Fontane, Fakultät für Gesundheitswissenschaften Brandenburg, Institut für Gesundheitswissenschaftliche Ausbildungsforschung, Neuruppin, Deutschland

author Drees Drees Simon S

Charité – Universitätsmedizin Berlin, Department of Anesthesiology and Intensive Care Medicine CCM/CVK, LOOOP Research Team, Berlin, Germany

Charité – Universitätsmedizin Berlin, Klinik für Anästhesiologie und Intensivmedizin CCM/CVK, LOOOP-Forschungsteam, Berlin, Deutschland

author Ahlers Ahlers Olaf O Prorf. Dr. med. MME

Brandenburg Medical School Theodor Fontane, Faculty of Health Sciences Brandenburg, Institute of Research in Health Sciences Education, Fehrbelliner Str. 38, D-16816 Neuruppin, GermanyCharité – Universitätsmedizin Berlin, Institute of Medical Informatics, LOOOP Research Team, Berlin, GermanyBrandenburg Medical School Theodor Fontane, Faculty of Health Sciences Brandenburg, Institute of Research in Health Sciences Education, Neuruppin, Germany

Medizinische Hochschule Brandenburg Theodor Fontane, Fakultät für Gesundheitswissenschaften Brandenburg, Institut für Gesundheitswissenschaftliche Ausbildungsforschung, Fehrbelliner Str. 38, 16816 Neuruppin, DeutschlandCharité – Universitätsmedizin Berlin, Institut für Medizinische Informatik, LOOOP-Forschungsteam, Berlin, DeutschlandMedizinische Hochschule Brandenburg Theodor Fontane, Fakultät für Gesundheitswissenschaften Brandenburg, Institut für Gesundheitswissenschaftliche Ausbildungsforschung, Neuruppin, Deutschland

olaf.ahlers@mhb-fontane.de author German Medical Science GMS Publishing House

Düsseldorf

610 curriculum competency-based medical education frameworks LOOOP Curriculum kompetenzbasierte medizinische Ausbildung Rahmenwerke LOOOP learning objectives Lernziele 20241231 20250613 20250910 20260217 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 2366-5017 43 2 GMS Journal for Medical Education GMS J Med Educ 15 Hintergrund: Der Nationale Kompetenzbasierte Lernzielkatalog Medizin (NKLM) wurde seit 2009 als curriculares Rahmenwerk entwickelt und 2015 in der Version 1.0 veröffentlicht. Eine Optimierung der klinischen Erkrankungs-Deskriptoren und der zugehörigen Querverbindungen (QV) im Sinne einer präziseren Definition der zu erlernenden Inhalte ist essenziell, um die Handhabbarkeit und Übersichtlichkeit des NKLM zu verbessern. Die vorliegende Arbeit untersucht, ob diese Optimierung durch gezielte Interventionen während der Weiterentwicklung vom NKLM 1.0 über die Zwischenversionen „NKLM 1.0 (neo)“ und „NKLM 2.0“ zum „NKLM 2.1“ erreicht werden konnte.Methoden: Die Überarbeitung des NKLM wurde unterstützt durch strukturierte Interventionen wie die Umwandlung von Freitext in QV, die Einführung essenzieller und nicht-essenzieller QV sowie die Verbindung klinischer Deskriptoren ausschließlich mit ausgewählten Lernzielkapiteln. Im Anschluss wurde analysiert, ob sich die Zahl der Deskriptoren und der zugehörigen QV reduziert hat und ob eine lückenlose Definition der zu erlernenden klinischen Kompetenzen erfolgt ist.Ergebnisse: Die Zahl der gesetzten klinischen Deskriptoren pro Erkrankung wurde signifikant reduziert (bei Diagnostik um 29%, bei Therapie um 17%, bei Notfallmaßnahmen um 75% und bei Prävention/Rehabilitation um 66%). Auch die Zahl der QV konnte signifikant reduziert werden. Gleichzeitig wurden alle vorliegenden Lücken im Netzwerk (aus klinischen Deskriptoren und zugehörigen QV zu Lernzielen) geschlossen.Schlussfolgerung: Mit Hilfe der vorgenommenen Interventionen entstand ein übersichtlicheres Netzwerk aus Deskriptoren und QV, das die zu erlernenden Inhalte präziser definiert. Damit kann der NKLM seinen Nutzen im Hinblick auf das constructive alignment von Lernen, Lehren und Prüfen mutmaßlich besser erfüllen. Background: The National Competence Based Catalogue of Learning Objectives for Undergraduate Medical Education (NKLM) has been developed as a curricular framework since 2009 and was published in version 1.0 in 2015. Refining the clinical disease descriptors and their associated cross-references (CR) is necessary to improve the clarity and usability of the NKLM. This study examines whether this optimization could be achieved through targeted interventions during the further development of the NKLM 1.0 via the intermediate versions NKLM 1.0 (neo) and NKLM 2.0 to NKLM 2.1..Methods: The revision of the NKLM was supported by structured interventions such as the conversion of free text into CR, the introduction of essential and non-essential CR, and the linking of clinical descriptors exclusively to selected learning objective chapters. Subsequently, an analysis was performed to determine whether the number of descriptors and associated CR had been reduced and whether the clinical competencies were completely specified.Results: The number of clinical descriptors set per disease was significantly reduced (by 29% for diagnostics, 17% for therapy, 75% for emergency measures, and 66% for prevention/rehabilitation). The number of CR was also significantly reduced. At the same time, all existing gaps in the network (consisting of clinical descriptors and associated CR for learning objectives) were closed.Conclusion: The interventions resulted in a clearer network of descriptors and CR, providing a more precise definition of the content to be learned. This means that the NKLM can presumably better fulfill its purpose with regard to the constructive alignment of learning, teaching, and assessment. 1. Introduction1.1. BackgroundInternationally, it is recommended that medical curricula are mapped to overarching frameworks that define the competencies to be acquired by students , , . Among other things, this enables the so-called constructive alignment of learning, teaching, and assessment as a central quality criterion for outcome- and competency-based curricula . The National Competence Based Catalogue of Learning Objectives for Undergraduate Medical Education (NKLM) was developed under the auspices of the German Society for Medical Education (GMA) and the German Association of Medical Faculties (MFT) and published in version 1.0 in 2015. This national framework defines the competencies that medical students in Germany are expected to acquire , , . As part of a German master plan for Medical Education , the NKLM was further developed by approximately 800 experts with a view to future binding force by a new Medical Licensing Regulation (ÄApprO). This development was carried out in coordination with the development of a competence-oriented catalogue for the German national state exams. It has been published in 2021 as NKLM 2.0 . Based on a standardized evaluation process involving 38 medical faculties , a further revision to version 2.1 was started in 2022. Due to the complexity of the revision process, it was divided into two phases. Approximately 50% of NKLM 2.0 was revised by 100 experts in eleven “focus groups” (FG) to create version 2.1. The revision process for this version has progressed sufficiently to allow the analyses presented here. The NKLM, including the remaining 50%, will be revised to version 3.0 after the release of version 2.1.Ease of use and clarity are essential both for the revision process described above and for the subsequent use and acceptance of the NKLM in medical faculties . For example, for each disease, it should be clearly identifiable which therapeutic procedures students are expected to learn . The revision of the NKLM has therefore been taking place since 2018 as part of a collaboration with the LOOOP network for Research in Health Sciences Education, which has been developing concepts for curricular mapping since 2004 , , and has been jointly coordinated by Charité – Universitätsmedizin Berlin and Brandenburg Medical School Theodor Fontane (MHB) since 2023. This network has incorporated the LOOOP concepts into the NKLM and provided an online platform for the NKLM revision.1.2. Chapters and cross-references within the NKLMThe NKLM consists of various chapters (sections) that either list keywords or learning objectives (LO). References between chapters are established via links called cross-references (CR). CR are possible between all chapters.The following section introduces the chapters and CR relevant to the context of this work. The terms, some of which have been renamed in the course of the various catalogue versions, are used in accordance with the latest catalogue version, NKLM 2.1.1.2.1. Diseases and associated descriptorsThe chapter “diseases” contains a list of diseases for which competencies are to be acquired. These competencies are defined using six so-called descriptors. Four of these descriptors correspond to learning objectives formulated in other chapters and are therefore the subject of this paper:Diagnosis (D)Therapy (T)Emergency measures (N)Prevention/ Rehabilitation (P)For each descriptor, the depth of competence (hereinafter referred to as “depth”) is used to define whether, during the course of study,Knowledge (K) or Competence to act (A)is to be acquired during the course of study (example: [https://nklm.looop-network.org/objective/list/objective/10006348]).1.2.2. Learning objectives and associated study sectionsFormulated LO are listed in the NKLM embedded in (partial) competencies. These LO also represent different depths, with a finer granularity than the descriptors. Both the K category and the A category consist of two possible depths each, resulting in a total of four possible depths: Factual knowledge (depth 1), Acting and reasoning knowledge (depth 2), Competence to act under supervision (depth 3a), Competence to act unsupervised (depth 3b). These depths are assigned to one or more study sections, defining which aspects of a long-term project should be learned in which study section at the latest (example: [https://nklm.looop-network.org/objective/list/objective/10006728]). The rationale behind this definition of study sections is the above mentioned constructive alignment with the state exams that conclude the study sections.A group of LO covers the content of the above-mentioned clinical sub-aspects D, T, N, and P. The four chapters in which these LO are located are referred to below as “target chapters”.1.2.3. Cross-references between diseases and clinical learning objectivesThe assignment of set descriptors to specific content is done via CR between the respective disease and the corresponding clinical LO. This CR defines which content should be learned in what depth and by which stage of study at the latest. On the one hand, this means that each set descriptor must be assigned at least one LO with sufficient depth of competence. So, for example, if the descriptor D defines a competence to act, at least one diagnostic learning objective with competence to act must also be cross-linked. This interaction between descriptors and learning objectives is referred to below as “congruence”. On the other hand, the number of descriptors set and thus the associated CR must take into account that the content mapped in this way (“network”) has to be implemented in a local curriculum in context with each other (i.e., usually in the same courses).1.2.4. Structural features of the NKLM versionsNKLM 1.0: For each disease, the four descriptors were implicitly assigned with at least the level Knowledge (K). Only the descriptor Competence to act (A) was explicitly marked. References between chapters could be established via two free text categories (1. “examples”, 2. “reasons for consultation/diseases”) that were not cross-referenced to other NKLM content. This made navigation and thus the usability of the catalogue more difficult, which in turn reduced the urgently needed acceptance of the work , .NKLM 2.0 and 2.1Each descriptor had to be set individually. References between chapters were established exclusively via CR.1.3. Aim of this work and questionsBased on NKLM 1.0, the total number of descriptors and CR was to be reduced through gradual interventions. The aim was to create a coherent and homogeneous network of disease descriptors and cross-referenced clinical LO (CR-LO). This aligns with the recommendation made by the authors of the 2015 NKLM. Completing the cross-references and reviewing the interaction between diseases and the other parts of the NKLM in particular will be an important part of the trial phase under the responsibility of the medical faculties .In addition, the following questions should be answered:How many cross-references can be generated by converting the free text of NKLM 1.0?How does the number of descriptors change across the different catalogue versions?How does the number of cross-references change, and how completely is the network of descriptors and associated cross-references represented in the different catalogue versions? 1. Einleitung1.1. HintergrundInternational wird die Kartierung („Mapping“) medizinischer Curricula gegen übergeordnete Rahmenwerke empfohlen, welche die von den Studierenden zu erwerbenden Kompetenzen definieren , , . Dies ermöglicht u.a. das so genannte constructive alignment von Lernen, Lehren und Prüfen als zentrales Qualitätskriterium für Outcome- und Kompetenz-basierte Curricula . Der unter Koordination der Gesellschaft für Medizinische Ausbildung (GMA) und des Medizinischen Fakultätentages (MFT) entwickelte und im Jahr 2015 in der Version 1.0 veröffentlichte „Nationale Kompetenzbasierte Lernzielkatalog Medizin“ (NKLM) empfahl erstmals die von Medizinstudierenden in Deutschland zu erwerbenden Kompetenzen , , . Im Rahmen des „Masterplans Medizinstudium 2020“ wurde der NKLM mit Hinblick auf eine künftige Verbindlichkeit durch eine neue Ärztliche Approbationsordnung (ÄApprO) gemeinsam mit dem kompetenzorientierten Gegenstandskatalog der Staatsprüfungen von ca. 800 Expert*innen weiterentwickelt und 2021 als NKLM 2.0 veröffentlicht . Auf Basis eines standardisierten Bewertungsprozesses unter Beteiligung von 38 medizinischen Fakultäten wurde 2022 eine weitere Überarbeitung zur Version 2.1 begonnen. Aufgrund des aufwändigen Überarbeitungsprozesses wurde diese Überarbeitung in zwei Pakete unterteilt: Ca. 50% des NKLM 2.0 wurden durch 100 Expert*innen in elf so genannten Schwerpunktgruppen (SpG) inhaltlich zur Version 2.1 überarbeitet. Die Finalisierung dieser Version ist nun so weit fortgeschritten, dass die hier vorgestellten Analysen durchgeführt werden konnten. Der NKLM, inkl. der übrigen 50%, wird nach Veröffentlichung der Version 2.1 zur Version 3.0 überarbeitet werden.Sowohl für den beschriebenen Überarbeitungsprozess als auch für den späteren Einsatz und die Akzeptanz des NKLM an den medizinischen Fakultäten ist eine gute Handhabbarkeit und Übersichtlichkeit essenziell . So muss beispielsweise klar erkennbar sein, für welche Therapieverfahren bei einer Erkrankung eine Handlungskompetenz erworben werden soll . Die Überarbeitung des NKLM findet daher seit 2018 im Rahmen einer Kooperation mit dem LOOOP-Ausbildungsforschungsnetzwerk statt, das seit 2004 Konzepte zur curricularen Kartierung entwickelt , , und seit 2023 gemeinsam von der Charité – Universitätsmedizin Berlin und der Medizinischen Hochschule Brandenburg Theodor Fontane (MHB) koordiniert wird. Dieses Netzwerk hat sowohl die LOOOP-Konzepte in den NKLM eingebracht als auch eine Online-Plattform für die NKLM-Überarbeitung bereitgestellt.1.2. Kapitel und Querverbindungen innerhalb des NKLMDer NKLM besteht aus verschiedenen Kapiteln, in denen entweder Auflistungen von Stichworten oder ausformulierte Lernziele (LZ) aufgeführt sind. Bezüge zwischen den Kapiteln werden über Verknüpfungen durch so genannte Querverbindungen (QV) hergestellt. QV sind zwischen allen Kapiteln möglich.Im Folgenden wird in die im Kontext dieser Arbeit relevanten Kapitel und QV eingeführt. Die im Verlauf der verschiedenen Katalogversionen z.T. umbenannten Termini werden dabei entsprechend der neuesten Katalogversion NKLM 2.1 verwendet.1.2.1. Erkrankungen und zugehörige DeskriptorenDas Kapitel „Erkrankungen“ enthält die Liste derjenigen Erkrankungen, zu denen Kompetenzen erworben werden sollen. Diese Kompetenzen werden über sechs so genannte Deskriptoren definiert. Vier dieser Deskriptoren haben Entsprechungen in ausformulierten Lernzielen anderer Kapitel und sind deshalb Gegenstand dieser Arbeit:Diagnostik (D)Therapie (T)Notfallmaßnahmen (N)Prävention/Rehabilitation (P)Bei jedem Deskriptor wird über die Angabe einer Kompetenztiefe (nachfolgend „Tiefe“) definiert, ob während des Studiums hierzuWissen (W) oder Handlungskompetenz (H)erworben werden soll (Beispiel: [https://nklm.looop-network.org/objective/list/objective/10006348]).1.2.2. Lernziele und zugehörige StudienabschnitteAusformulierte LZ werden im NKLM jeweils eingebettet in (Teil-)Kompetenzen aufgeführt. Diese LZ bilden ebenfalls verschiedene Tiefen ab, wobei die Granularität feiner ist als bei den Deskriptoren. Sowohl die Kategorie W als auch die Kategorie H bestehen hier aus jeweils zwei möglichen Tiefen, sodass sich insgesamt vier mögliche Tiefen ergeben: Faktenwissen (Tiefe 1), Handlungs- und Begründungswissen (Tiefe 2), Handlungskompetenz unter Anleitung (Tiefe 3a), selbstständige Handlungskompetenz (Tiefe 3b). Diese Tiefen werden jeweils einem oder mehreren Studienabschnitten zugeordnet, sodass definiert wird, welche Aspekte eines LZ in welchem Studienabschnitt spätestens erlernt werden sollten (Beispiel: [https://nklm.looop-network.org/objective/list/objective/10006728]). Hintergrund dieser Definition der Studienabschnitte ist das geplante „constructive alignment“ mit den Staatsexamina, welche die Studienabschnitte abschließen.Ein Teil der LZ bildet Inhalte der o.g. klinischen Teilaspekte D, T, N und P ab. Die vier Kapitel, in denen diese LZ verortet sind, werden im Folgenden „Zielkapitel“ genannt.1.2.3. Querverbindungen zwischen Erkrankungen und klinischen LernzielenDie Zuordnung gesetzter Deskriptoren zu konkreten Inhalten erfolgt über QV zwischen der jeweiligen Erkrankung und entsprechenden klinischen LZ. Über diese QV wird definiert, welche Inhalte in welcher Tiefe bis zu welchem Studienabschnitt spätestens erlernt werden sollen. Dies bedeutet einerseits, dass jedem gesetzten Deskriptor mindestens ein LZ mit einer ausreichenden Kompetenztiefe zugeordnet werden muss. Wenn also z.B. der Deskriptor D Handlungskompetenz definiert, muss auch mindestens ein Diagnostiklernziel mit Handlungskompetenz querverbunden sein. Dieses Zusammenspiel zwischen Deskriptoren und Lernzielen wird nachfolgend als ‚Kongruenz‘ bezeichnet. Andererseits muss bei der Zahl der gesetzten Deskriptoren und damit der zugehörigen QV berücksichtigt werden, dass die so abgebildeten Inhalte (‚Netzwerk‘) in einem lokalen Curriculum im Kontext miteinander (also in der Regel in den gleichen Lehrveranstaltungen) umsetzbar sind.1.2.4. Strukturelle Besonderheiten der NKLM-VersionenNKLM 1.0Bei jeder Erkrankung war implizit jeder der vier genannten Deskriptoren mindestens mit W markiert. Nur H erhielt eine gesonderte Markierung. Bezüge zwischen den Kapiteln konnten hier statt durch QV auch über zwei Freitextkategorien (1. „Anwendungsbeispiele“, 2. „Beratungsanlässe/Krankheiten“) hergestellt werden, die nicht mit anderen NKLM-Inhalten verknüpft waren. Dies erschwerte die Navigation und damit die Nutzbarkeit des Katalogs, was wiederum die dringend notwendige Akzeptanz des Werkes , reduzierte.NKLM 2.0 und 2.1Jeder Deskriptor musste einzeln gesetzt werden. Bezüge zwischen Kapiteln wurden ausschließlich über QV hergestellt.1.3. Ziel dieser Arbeit und FragestellungenAusgehend vom NKLM 1.0 sollte durch schrittweise Interventionen die Gesamtzahl der Deskriptoren und QV reduziert werden. Dabei sollte ein schlüssiges und homogenes Netzwerk aus Erkrankungs-Deskriptoren und querverbundenen klinischen LZ (QV-LZ) entstehen. Dies entspricht einem expliziten Auftrag der Autor*innen des 2015 publizierten NKLM: „Eine Vervollständigung der“ Querverbindungen „und eine Überprüfung des Wechselspiels insbesondere zwischen“ Erkrankungen „und den übrigen Teilen des NKLM werden wichtiger Teil der Erprobungsphase in der Verantwortung der Medizinischen Fakultäten sein.“ .Außerdem sollten folgende Fragen beantwortet werden:Wie viele Querverbindungen lassen sich durch Umwandlung der Freitexte des NKLM 1.0 generieren?Wie verändert sich die Zahl der Deskriptoren über die verschiedenen Katalogversionen?Wie verändert sich die Zahl der Querverbindungen und wie vollständig ist das Netzwerk aus Deskriptoren und zugehörigen Querverbindungen in den verschiedenen Katalogversionen abgebildet? 2. Methods2.1. Step 1 (2016): Conversion of free text into cross-references for NKLM 1.0 (neo)The references in NKLM 1.0, which were only available as free text (often as lists), were first divided into meaningful individual entries and then converted into CR (“mapping”) if there was matching, referable content in the catalogue. First, a pilot assignment was carried out using 280 examples. Based on this experience, rules were developed inductively for the subsequent mapping of the entire data set:No additional related topics were introduced; cross-references were created only when the existing term matched an existing item in the catalogue.Entries were only mapped if all CR (in total) could achieve complete coverage of the term’s content.Based on these rules, all references available in text form were then mapped. To reduce the workload, the catalogue was divided into chapters between authors TR and SD. For each CR, it was noted whether it was an original CR (links category 1), a previous “example” (links category 2), or a previous entry under “reasons for consultation/diseases” (links category 3). Step 1 was carried out by the LOOOP research team before the start of the cooperation with the MFT. The supplemented NKLM version is referred to below as NKLM 1.0 (neo) [https://nklm-10-neo.looop-network.org].2.2. Step 2 (2018-2021): Transfer of results and development of NKLM 2.0The NKLM 1.0 (neo) formed the basis for the development of the NKLM 2.0. One goal of this development was to reduce the total number of descriptors set per disease and also the number of descriptors with competence to act. The FG experts therefore critically and systematically reflected on which aspects of a disease should be learned by all students nationwide and where competence to act actually needs to be acquired during their studies. In some cases, larger disease groups were divided up in order to be able to assign more differentiated descriptors. In addition, there was a requirement to assign at least one corresponding LO to each descriptor (“essential” CR) in order to correctly map the network. Furthermore, the necessity of the pre-existing CR between all other chapters was to be critically reflected upon.2.3. Step 3 (since 2022): Development of the NKLM 2.1Since many experts still considered the number of CR to be too extensive, the CR were divided into two groups: Group 1 contained only those CR that are indispensable for the usability of the NKLM. This was primarily the portion of the “essential” QVs already described that had a direct connection to D, T, N, or P. while all other CR were defined as “non-essential” and deactivated throughout the NKLM. Only essential CR were revised in terms of content by the FG experts for NKLM 2.1.For the diseases, a mandatory link between a set descriptor and the corresponding target chapter was now specified, although it was still possible to create several CR for a descriptor.Furthermore, it was defined that general medical history taking and physical examination are automatically required for each disease and therefore do not require a descriptor marking or a CR for the learning objectives that remain in the catalogue.2.4. AnalysesFor step 1, an analysis was performed of the CR available for all three reference categories. Since some CR in reference category 1 in NKLM 1.0 had been created in only one direction (unidirectional) and others bidirectionally (i.e., the same CR existed twice), all CR were created bidirectionally for the analysis in order to standardize them. In addition, the number of free texts that could not be converted into CR was determined. Subsequently, the absolute number of bidirectional CR before and after mapping was determined and visualized for all chapters using cross tables.For the subsequent analyses, only essential CR were considered unidirectionally: The number of diseases, descriptors, and assigned CR were evaluated for the various catalogue versions after the interventions had been carried out. The completeness of the network of descriptors and associated LOs was also analysed. For this purpose, two variants were calculated for NKLM 1.0 (neo) and NKLM 2.0: Variant 1 only took into account references to the target chapters later defined as such. Variant 2 also took into account references to other chapters.Chi-square tests were performed to determine significant differences (defined by a p<0.05) between the catalogue versions. All calculations were performed in Excel (version 2411) or R (version 4.4.1 [https://www.R-project.org/]). 2. Methoden2.1. Schritt 1 (2016): Umwandlung von Freitext in Querverbindungen für NKLM 1.0 (neo)Die lediglich als Freitext (oft als Aufzählung) vorliegenden Verweise des NKLM 1.0 wurden in einem ersten Schritt in sinntragende Einzeleinträge aufgeteilt und dann in QV umgewandelt („Kartierung“), sofern es im Katalog einen dazu passenden, verweisbaren Inhalt gab. Zuerst erfolgte eine Pilot-Zuordnung anhand von 280 Beispielen. Aufgrund dieser Erfahrungen wurden induktiv Regeln für die spätere Kartierung des gesamten Datensatzes entwickelt:Es wurden keine Erweiterungen um verwandte Themen vorgenommen, sondern nur QV angelegt, die inhaltlich dem bestehenden Begriff entsprachen.Einträge wurden nur kartiert, wenn durch alle QV (in Summe) eine vollständige inhaltliche Abdeckung des Begriffs erreicht werden konnte.Auf Basis dieser Regeln erfolgte anschließend die Kartierung aller als Text vorliegenden Verweise. Hierzu wurde der Katalog kapitelweise zur Reduktion der Arbeitslast unter den Autoren TR und SD aufgeteilt. Es wurde bei jeder QV festgehalten, ob es sich um eine originale QV handelte (Verweiskategorie 1), um ein vorheriges Anwendungsbeispiel (Verweiskategorie 2) oder einen vorherigen Eintrag bei „Beratungsanlass/Krankheit“ (Verweiskategorie 3). Schritt 1 wurde vor Beginn der Kooperation mit dem MFT vom LOOOP-Forschungsteam durchgeführt, die so ergänzte NKLM-Version wird nachfolgend als NKLM 1.0 (neo) bezeichnet [https://nklm-10-neo.looop-network.org].2.2. Schritt 2 (2018-2021): Übertragung der Ergebnisse und Entwicklung des NKLM 2.0Der NKLM 1.0 (neo) bildete die Grundlage zur Entwicklung des NKLM 2.0. Ein Ziel dieser Entwicklung war es, die Gesamtzahl der gesetzten Deskriptoren pro Erkrankung und auch die Zahl der Deskriptoren mit Handlungskompetenz zu reduzieren. Von den Expert*innen der SpG wurde daher kritisch und systematisch reflektiert, welche Teilaspekte einer Erkrankung bundesweit von allen Studierenden erlernt werden sollen und wo tatsächlich schon im Studium Handlungskompetenz erworben werden muss. Dabei wurden teilweise größere Erkrankungsgruppen aufgeteilt, um differenzierter Deskriptoren zuordnen zu können. Zudem gab es die Auflage, jedem gesetzten Deskriptor mindestens ein korrespondierendes LZ zuzuordnen („essentielle QV“), um das Netzwerk korrekt abzubilden. Darüber hinaus sollte auch die Notwendigkeit der vorbestehenden QV zwischen allen anderen Kapiteln kritisch reflektiert werden.2.3. Schritt 3 (seit 2022): Entwicklung des NKLM 2.1Da viele Expert*innen die Zahl der QV noch immer als zu umfangreich empfanden, wurden nun die QV in 2 Gruppen unterteilt: Gruppe 1 enthielt nur noch diejenigen QV, die für die Nutzbarkeit des NKLM unabdingbar sind. Dies war v.a. derjenige Anteil an den bereits beschriebenen „essentiellen“ QV, der einen direkten Bezug zu D, T, N oder P hatte, alle übrigen QV wurden als „nicht-essenziell“ definiert und im gesamten NKLM deaktiviert. Nur essenzielle QV wurden inhaltlich von den Expert*innen der SpG für den NKLM 2.1 überarbeitet.Bei den Erkrankungen wurde nun eine zwingende Verknüpfung zwischen einem gesetzten Deskriptor und dem zugehörigen Zielkapitel vorgegeben, wobei es weiterhin möglich war, mehrere QV zu einem Deskriptor anzulegen.Des Weiteren wurde definiert, dass die allgemeine Anamnese und körperliche Untersuchung automatisch bei jeder Erkrankung vorausgesetzt werden und damit weder einer Deskriptormarkierung noch einer QV zu den im Katalog weiterhin vorhandenen Lernzielen bedürfen.2.4. AnalysenFür Schritt 1 erfolgte eine Analyse der für alle drei Verweiskategorien vorliegenden QV. Da manche QV der Verweiskategorie 1 im NKLM 1.0 nur in eine Richtung (unidirektional) angelegt worden waren und andere bidirektional (also zweimal die gleiche QV existierte), wurden für die Analyse zur Vereinheitlichung alle QV bidirektional erstellt. Zusätzlich wurde die Zahl der Freitexte ermittelt, die nicht in QV umgewandelt werden konnten. Anschließend wurde die absolute Zahl der bidirektionalen QV vor und nach Kartierung bestimmt und mittels Kreuztabellen für alle Kapitel visualisiert.Für die nachfolgenden Analysen wurden dann nur noch essenzielle QV unidirektional berücksichtigt: Die Zahl der Erkrankungen sowie der gesetzten Deskriptoren und der zugeordneten QV wurde nach den erfolgten Interventionen für die verschiedenen Katalogversionen ausgewertet. Ebenso wurde die Vollständigkeit des Netzwerks aus Deskriptoren und zugehörigen LZ analysiert. Hierzu wurden für den NKLM 1.0 (neo) und NKLM 2.0 jeweils zwei Varianten berechnet: Variante 1 berücksichtigte nur Verweise in die später als solche definierten Zielkapitel. Variante 2 berücksichtigte auch Verweise in andere Kapitel.Es wurden Chi-Quadrat-Tests durchgeführt, um signifikante Unterschiede (definiert durch ein p<0,05) zwischen den Katalogversionen zu ermitteln. Alle Berechnungen wurden in Excel (Version 2411) bzw. in R (Version 4.4.1 [https://www.r-project.org/]) durchgeführt. 3. Results3.1. Conversion of free text into cross-references for NKLM 1.0 (neo)55% of the CR (categories 2 and 3) created by separating the term lists into individual terms could be mapped against other NKLM entries. Overall, this process step led to a 368% increase in CR. Figure 1 shows the absolute numbers.The CR between the chapters of NKLM 1.0 and NKLM 1.0 (neo) are plotted in figure 2 . There is a clear increase in the density of the (also bidirectional) CR, although the chi-square test continues to show an inhomogeneous distribution in NKLM 1.0 (neo). NKLM 1.0: p<0.001/Cramer’s V: 0.513, NKLM 1.0 (neo): p<0.001/Cramer’s V: 0.387.3.2. Number of descriptors usedThe number of diseases represented in the NKLM varies across catalogue versions:NKLM 1.0/NKLM 1.0 (neo): 441 diseasesNKLM 2.0: 598 diseasesNKLM 2.1: 555 diseasesDespite these increases in the number of diseases (especially in NKLM 2.0), the absolute number of descriptors set decreased across the catalogue versions, with the reduction varying in severity depending on the descriptor (see figure 3 ).After standardizing the descriptors set in terms of the number of diseases, a different pattern of reduction was observed for the individual descriptors, as shown in figure 4 . All descriptors had significant differences in frequency across the catalogue versions in the chi-square test (p<0.001 everywhere, Cramer’s V for D: 0.4232; for T: 0.3529; for N: 0.4433; for P: 0.3818). 3.3. Number of cross-links and completeness of the network of descriptors and cross-linksFor a better overview, the number of CR is also shown for NKLM 1.0 in figure 5 . The number increased across the catalogue versions, but was reduced back below the initial level of NKLM 1.0 by defining the essential CR in NKLM 2.1. At the same time, the congruence of the set descriptors with the assigned CR was gradually increased up to NKLM 2.1. Figure 6 shows this for the descriptors with depth A, as only these were explicitly set in NKLM 1.0 (neo) and therefore only these are comparable across all catalogue versions. It can be seen that there were still large gaps in both NKLM 1.0 (neo) and NKLM 2.0, both in variant 1 (only CR to the target chapter) and in variant 2 (additional consideration of CR to other chapters). The results of the chi-square test for all descriptors of the different catalogue versions are shown in table 1 .In addition, figure 7 shows that within NKLM 2.0, not only were many CR completely missing from the target chapters despite the descriptors set, but also that even where CR did exist, the depth A required for congruence with the descriptor was often not achieved. Both points are now 100% correctly represented in NKLM 2.1. 3. Ergebnisse3.1. Umwandlung von Freitext in Querverbindungen für NKLM 1.0 (neo)55% der durch Trennung der Begriffsaufzählungen in Einzelbegriffe entstandenen QV (Kategorien 2 und 3) konnten gegen andere NKLM-Einträge kartiert werden. Insgesamt führte dieser Prozessschritt zu einer Steigerung der QV um 368%. Abbildung 1 stellt die absoluten Zahlen dar.Die QV zwischen den Kapiteln des NKLM 1.0 bzw. NKLM 1.0 (neo) sind in Abbildung 2 aufgetragen. Es zeigt sich eine deutliche Steigerung der Dichte der (ebenfalls bidirektionalen) QV, wobei sich im Chi-Quadrat-Test auch im NKLM 1.0 (neo) weiterhin eine inhomogene Verteilung findet. NKLM 1.0: p<0,001/Cramer-V: 0,513, NKLM 1.0 (neo): p<0,001/Cramer-V: 0,387.3.2. Anzahl der gesetzten DeskriptorenDie Anzahl der im NKLM abgebildeten Erkrankungen schwankt über die Katalogversionen:NKLM 1.0/NKLM 1.0 (neo): 441 ErkrankungenNKLM 2.0: 598 ErkrankungenNKLM 2.1: 555 ErkrankungenTrotz dieser Steigerungen der Zahl der Erkrankungen (v.a. zum NKLM 2.0) reduzierte sich die absolute Zahl der gesetzten Deskriptoren über die Katalogversionen, wobei die Reduktion je nach Deskriptor unterschiedlich stark ausgeprägt war (siehe Abbildung 3 ).Nach Normierung der gesetzten Deskriptoren bzgl. der Anzahl der Erkrankungen zeigte sich ein unterschiedliches Muster der Reduktion bei den einzelnen Deskriptoren, das in Abbildung 4 dargestellt wird. Allen Deskriptoren gemeinsam waren signifikante Unterschiede in der Häufigkeit über die Katalogversionen im Chi-Quadrat-Test (überall p<0,001, Cramer-V bei D: 0,4232; bei T: 0,3529; bei N: 0,4433; bei P: 0,3818). 3.3. Anzahl der Querverbindungen und Vollständigkeit des Netzwerks aus Deskriptoren und QuerverbindungenDie Zahl der QV wird in Abbildung 5 zur besseren Übersicht auch für den NKLM 1.0 dargestellt. Die Zahl stieg über die Katalogversionen an, konnte aber durch die Definition der essentiellen QV im NKLM 2.1 wieder unter das Ausgangsniveau des NKLM 1.0 reduziert werden. Gleichzeitig wurde die Kongruenz der gesetzten Deskriptoren mit den zugeordneten QV bis zum NKLM 2.1 schrittweise angehoben. Abbildung 6 zeigt dies exemplarisch für die Deskriptoren mit H, da nur diese im NKLM 1.0 (neo) explizit gesetzt wurden und daher auch nur diese über alle Katalogversionen vergleichbar sind. Es zeigt sich, dass hier sowohl im NKLM 1.0 (neo) als auch im NKLM 2.0 sowohl in der Variante 1 (nur QV in Zielkapitel) als auch in Variante 2 (zusätzliche Berücksichtigung der QV in andere Kapitel) noch große Lücken existierten. Die Ergebnisse des Chi-Quadrat-Tests für alle Deskriptoren der verschiedenen Katalogversionen sind in Tabelle 1 dargestellt.Ergänzend ist in Abbildung 7 erkennbar, dass innerhalb des NKLM 2.0 nicht nur viele QV in die Zielkapitel trotz gesetzter Deskriptoren gänzlich fehlten, sondern dass auch bei existierenden QV oft eine hinsichtlich Kongruenz mit dem Deskriptor erforderliche Tiefe H nicht erreicht wurde. Beide Punkte sind im NKLM 2.1 inzwischen zu 100% korrekt abgebildet. 4. DiscussionTo facilitate adoption of the NKLM by medical faculties , , two actions had to be taken: first, the total number of descriptors and CR needed to be reduced. Second, the learning content for each disease needed to be clearly defined , which required filling gaps in the reference network by a targeted, selective increase in the number of CR. The latter, in turn, required filling the gaps in the network, i.e., a targeted, selective increase in the number of CR. Overall, the results of this work indicate that the interventions were successful in terms of these two seemingly contradictory goals throughout the various process steps. The results are discussed below.4.1. Conversion of free text into cross-references for NKLM 1.0 (neo)The conversion of the text-based examples in NKLM 1.0 into actual CR led to a significant increase in CR within NKLM 1.0 (neo). This closed many gaps in the CR between the individual chapters. However, even after this optimization, there were still no corresponding CR in the respective target chapters for many assigned As. Thus, for many assigned descriptors, it was still unclear which specific content they were meant to represent.4.2. Number of descriptors setThe reduction in descriptors described above may be due to various effects, as the individual interventions had different impacts on the respective descriptors and their depth of competence. For example, due to the introduction of CR descriptors for clearly defined target chapters, many LO had to be moved between chapters, adapted, or recreated in order to enable CR that complied with the rules. Overall, this necessary review of the LO affected led to the experts discussing the initially intended content more critically than before, resulting in a reduction in descriptors. This was facilitated by the division of disease groups, which is the main reason for the increase in the number of diseases, as it allowed for a more differentiated marking of competence.In the case of diagnostics and therapy, contrary to the overall trend, an increase in the depth of competence knowledge can be observed. However, in most cases, no additional descriptors were marked, but rather, as part of the more critical expert discussion and the rule-related adaptations, previously set competence to act was reduced to knowledge. From the authors’ point of view, this has the following reasons:A CR-LO must at least demonstrate the required depth of competence described in the descriptor. Although it would have been possible to raise the depth of competence of the CR-LO to competence to act, adapting the LO generally presents a greater hurdle than marking a descriptor, as the intended content must be explicitly described there.In NKLM 2.1, general medical history taking and physical examination were no longer considered sufficient justification for marking a diagnostic descriptor. As a result, the corresponding cross-references were removed, although they had previously accounted for a large proportion of the competencies classified as “competence to act”.In the case of the descriptors emergency measures and prevention/rehabilitation, there has been a particularly sharp decline in marked descriptors. A likely reason for this is the implicit setting of all descriptors with the competence depth of knowledge in NKLM 1.0 (neo). Apparently, emergency measures and prevention/rehabilitation were less relevant for students after detailed discussion among experts (if there were any emergency or prevention aspects to the respective disease at all).At first glance, the shift from practical skills to knowledge in diagnostics and therapy described above contradicts the intention of the above mentioned master plan for Medical Education 2020 , which calls for more practical relevance in medical studies. However, the opposite is true: the elimination of descriptors (and associated cross-references) for basic medical skills simplifies practical learning because it can potentially take place in the context of any disease. This also facilitates curriculum development. In the context of the above-mentioned critical expert discussion, when marking descriptors with knowledge competence, it was explicitly questioned whether students should master procedures more theoretically or actually be able to perform them themselves.4.3. Number of cross-references and completeness of the network of descriptors and cross-referencesDuring the development of NKLM 1.0 and 2.0, some experts misunderstood the catalogue rules and created CR as non-binding examples rather than as mandatory entries. This contributed to the inhomogeneity of the CR. In the course of the interventions presented here, efforts were made to achieve homogenization of the catalogue reference structure through clear regulation. The separation between essential and non-essential CR greatly improved the clarity of the catalogue, as the latter must be displayed separately on the online platform if necessary. Essential CR were thus created according to clear guidelines and are presumably also of higher quality, as the individual CR were scrutinized more closely by the experts. The definition of target chapters and the resulting narrower definition of the content descriptor justifications has resulted in a further refinement of the CR structure, which has contributed to a reduction in the total number of CR. This can be seen from the fact that the total number of CR (even without separating them into essential and non-essential) decreased from NKLM 2.0 to NKLM 2.1.4.4. LimitationsWhen creating NKLM 1.0 (neo), differences in understanding of terms between individuals may have influenced the mapping results. However, the rules developed on the basis of the pilot study should have contributed to a certain degree of objectivity.The effects of the interventions carried out in the course of the NKLM revisions may also have been influenced by unrelated circumstances. For example, the working method for NKLM 2.1 has changed, as work was now carried out across chapters, enabling the experts to better understand the content networks.Finally, it should be mentioned that the further development process for NKLM 2.1 has not yet been fully completed. However, based on the rules described, only minor adjustments to the descriptors or CR are to be expected. 4. DiskussionUm die Umsetzung des NKLM an den Fakultäten zu erleichtern und damit letztlich auch die Akzeptanz zu erhöhen , , war einerseits grundsätzlich eine Reduktion der gesetzten Deskriptoren und zugehörigen QV notwendig. Auf der anderen Seite mussten die bzgl. einer Erkrankung zu erlernenden Inhalte klar erkennbar sein . Letzteres erforderte wiederum ein Füllen der Lücken im Netzwerk, also eine gezielte, punktuelle Erhöhung der Zahl der QV. Die Ergebnisse dieser Arbeit deuten insgesamt darauf hin, dass die Interventionen im Verlauf der verschiedenen Prozessschritte im Hinblick auf diese beiden – auf den ersten Blick widersprüchlichen Ziele – erfolgreich waren. Nachfolgend werden die Ergebnisse noch einmal eingeordnet.4.1. Umwandlung von Freitext in Querverbindungen für NKLM 1.0 (neo)Die Umwandlung der in Textform vorliegenden Beispiele des NKLM 1.0 in echte QV führte zu einer deutlichen Erhöhung der QV innerhalb des NKLM 1.0 (neo). Damit wurden viele Lücken bei den QV zwischen den einzelnen Kapiteln geschlossen. Allerdings waren auch nach dieser Optimierung noch immer für viele vergebene H keine entsprechenden QV in die jeweiligen Zielkapitel vorhanden. Somit war weiterhin bei vielen gesetzten Deskriptoren unklar, welche Inhalte damit intendiert waren.4.2. Anzahl der gesetzten DeskriptorenDie beschriebene Reduktion der gesetzten Deskriptoren kann durch verschiedene Effekte bedingt sein, da die einzelnen Interventionen unterschiedliche Auswirkungen auf die jeweiligen Deskriptoren bzw. deren Kompetenztiefen hatten. So mussten beispielsweise aufgrund der Einführung der QV von Deskriptoren zu klar definierten Zielkapiteln viele LZ zwischen den Kapiteln verschoben oder adaptiert bzw. neu angelegt werden, damit regelkonforme QV möglich waren. Insgesamt führte diese notwendige Befassung mit den betroffenen LZ dazu, dass initial intendierte Inhalte durch die Expert*innen kritischer diskutiert wurden als zuvor und deshalb Deskriptoren reduziert wurden. Dies wurde durch das Aufteilen von Erkrankungsgruppen erleichtert, welche die Hauptursache für den Anstieg der Zahl der Erkrankungen ausmacht, da Handlungskompetenz somit differenzierter markiert werden konnte.Im Falle von Diagnostik und Therapie ist – entgegen dem Gesamttrend – eine Zunahme der Kompetenztiefe Wissen zu beobachten. Dabei wurden aber meist keine zusätzlichen Deskriptoren markiert, sondern im Rahmen der kritischeren Expert*innen-Diskussion sowie der regelbedingten Adaptionen vorher gesetzte Handlungskompetenz zu Wissen reduziert. Dies hat aus Sicht der Autor*innen folgende Gründe:Ein QV-LZ muss mindestens die geforderte Deskriptor-Kompetenztiefe aufweisen. Es wäre zwar möglich gewesen, die Kompetenztiefe der QV-LZ auf Handlungskompetenz anzuheben, eine Adaption von LZ stellt allerdings generell eine größere Hürde dar als die Markierung eines Deskriptors, da die intendierten Inhalte dort explizit beschrieben werden müssen.Im Rahmen der Intervention zum NKLM 2.1 hat die allgemeine Anamnese und körperliche Untersuchung keine Markierung von Diagnostik mehr gerechtfertigt (und somit auch keine entsprechende QV, die zuvor einen großen Anteil der definierten Handlungskompetenz ausmachten).Im Falle der Deskriptoren Notfallmaßnahmen und Prävention/Rehabilitation ist ein besonders starker Rückgang markierter Deskriptoren zu sehen. Ein wahrscheinlicher Grund dafür ist die implizite Setzung aller Deskriptoren mit der Kompetenztiefe Wissen im NKLM 1.0 (neo). Offenbar waren Notfallmaßnahmen und Prävention/ Rehabilitation nach konkreter Expert*innen-Diskussion für Studierende seltener relevant (wenn es überhaupt Notfall- oder Präventionsaspekte zu der jeweiligen Erkrankung gab).Die beschriebene Verschiebung von Handlungskompetenz zu Wissen bei Diagnostik und Therapie widerspricht auf den ersten Blick der Intention des Masterplans Medizinstudium 2020 , der mehr Praxisbezug im Medizinstudium fordert. Das Gegenteil ist aber der Fall: Durch den Wegfall der Deskriptoren (und zugehöriger Querverbindungen) zu ärztlichen Basisfertigkeiten wird das praktische Erlernen vereinfacht, weil es potenziell im Kontext jeder Erkrankung stattfinden kann. Dies erleichtert auch die Curriculumsentwicklung. Im Rahmen der o.g. „kritischen Expert*innen-Diskussion“ wurde bei der Markierung von Deskriptoren mit Wissenskompetenz explizit hinterfragt, ob Studierende Prozeduren eher theoretisch beherrschen oder tatsächlich selbst durchführen können sollten.4.3. Anzahl der Querverbindungen und Vollständigkeit des Netzwerks aus Deskriptoren und QuerverbindungenBei der Erstellung des NKLM 1.0 und 2.0 wurden QV von den Expert*innen aufgrund eines Missverständnisses bei den Katalogregeln teilweise im Sinne unverbindlicher Beispiele angelegt. Dies trug zur Inhomogenität der QV bei. Im Zuge der hier vorgestellten Interventionen wurde darauf hingearbeitet, durch klare Reglementierung eine Homogenisierung der Katalog-Verweisstruktur zu erreichen. Durch die Trennung zwischen essenziellen und nicht-essenziellen QV wurde die Übersichtlichkeit des Kataloges stark verbessert, da letztere bei Bedarf gesondert in der Online-Plattform eingeblendet werden müssen. Essenzielle QV wurden damit nach einer klaren Vorgabe und mutmaßlich auch qualitativ hochwertiger angelegt, da die einzelnen QV durch die Expert*innen genauer hinterfragt wurden. Durch die Festlegung der Zielkapitel und damit die schärfere Eingrenzung der inhaltlichen Deskriptor-Begründungen hat sich eine zusätzliche Schärfung der QV-Struktur ergeben, die zu einer Reduktion der Gesamtanzahl der QV beitrug. Dies ist daraus ersichtlich, dass die Gesamtanzahl der QV (auch ohne Auftrennung nach essenziell und nicht-essenziell) vom NKLM 2.0 zum NKLM 2.1 gesunken ist.4.4. LimitationenBei der Erstellung des NKLM 1.0 (neo) kann ein interindividuell unterschiedliches Begriffsverständnis das Kartierungsergebnis beeinflusst haben. Die auf Basis der Pilotierung erarbeiteten Regeln sollten jedoch zu einer gewissen Objektivierung beigetragen haben.Die Effekte der im Verlauf der NKLM-Überarbeitungen durchgeführten Interventionen können auch durch davon unabhängige Umstände beeinflusst worden sein. So hat sich die Arbeitsweise zum NKLM 2.1 verändert, da nun kapitelübergreifend gearbeitet wurde und somit inhaltliche Netzwerke durch die Expert*innen besser durchdrungen werden konnten.Zuletzt ist zu erwähnen, dass der Weiterentwicklungsprozess zum NKLM 2.1 noch nicht vollständig abgeschlossen ist. Es ist aber auf Grund der beschriebenen Regeln lediglich eine geringfügige Anpassung der Deskriptoren bzw. QV zu erwarten. 5. Conclusions and outlookThe intention already formulated for NKLM 1.0 to transparently define what a newly licensed physician should really know and be able to do, e.g., with regard to diabetes mellitus has been formally achieved with NKLM 2.1. This is also in line with the mentioned master plan for Medical Education 2020, which calls for teaching to be geared toward the transfer of physician-related skills . The NKLM 2.1 is scheduled to be published in 2026, which will be followed by a further revision process to NKLM 3.0 and will hopefully bring further improvements. Future research projects should examine the feasibility and manageability of the NKLM at the faculties. 5. Schlussfolgerungen und AusblickDie bereits für den NKLM 1.0 formulierte Intention, transparent festzulegen, „was denn nun ein frisch approbierter Arzt bzw. eine frisch approbierte Ärztin z.B. zum Diabetes mellitus wirklich wissen und können soll“ , wurde mit dem NKLM 2.1 formal erreicht. Dies steht auch im Einklang mit dem Masterplan Medizinstudium 2020, der fordert, dass die Lehre „an der Vermittlung arztbezogener Fähigkeiten ausgerichtet“ wird . Der NKLM 2.1 soll 2026 veröffentlicht werden, woran sich ein weiterer Überarbeitungsprozess zum NKLM 3.0 anschließen und hoffentlich weitere Verbesserungen mit sich bringen wird. In künftigen Forschungsprojekten sollte die Umsetzbarkeit und Handhabbarkeit des NKLM fakultätsübergreifend untersucht werden. AcknowledgementsThe authors would like to thank all the experts involved in the various versions of the NKLM, who invested a great deal of (leisure) time in developing the catalogue. We would also like to thank all members of the MFT committees (especially the spokespersons of the NKLM coordination group) and all employees of the MFT office, who are working with great commitment to improve the catalogue. We would also like to thank all the staff of the LOOOP research and support team at Charité and MHB, as well as the many colleagues within the international LOOOP network for Research in Health Sciences Education, without whose ideas and support the development described here would not have been possible. DanksagungDie Autor*innen danken allen an den verschiedenen NKLM-Versionen beteiligten Expert*innen, die ein großes Maß an (Frei-)Zeit in die Katalogentwicklung investiert haben. Des Weiteren möchten wir uns bei allen Mitgliedern der MFT-Gremien (insbesondere bei den Sprecher*innen der NKLM-Arbeitsgruppen) sowie bei allen Mitarbeitenden der MFT-Geschäftsstelle bedanken, die mit großem Engagement an einer Verbesserung des Katalogs arbeiten. Wir danken auch allen Mitarbeitenden des LOOOP-Forschungs- und Supportteams an Charité und MHB sowie den vielen Kolleg:innen innerhalb des internationalen LOOOP-Ausbildungsforschungsnetzwerks, ohne deren Ideen und Unterstützung die hier beschriebene Entwicklung nicht möglich gewesen wäre. AuthorsEquivalent authorshipTill Rech and Jacqueline Jennebach contributed equally.Simon Drees and Olaf Ahlers contributed equally.Authors’ ORCIDsTill Rech: [0000-0002-7451-9038]Jacqueline Jennebach: 80009-0006-1572-8725]Martin R Fischer: [0000-0002-5299-5025]Felix Balzer: [0000-0003-1575-2056]Firman Sugiharto: [0000-0002-6874-5549]Martin Dittmar: [0000-0002-4288-564X]Vincent Wyszynski: [0009-0007-2157-4352]Olaf Fritze: [0000-0002-3825-3703]Simon Drees: [0000-0003-2693-8796]Olaf Ahlers: [0000-0003-1528-7182] Autor*innenGleichwertige AutorenschaftTill Rech und Jacqueline Jennebach haben zu gleichen Teilen beigetragen.Simon Drees und Olaf Ahlers haben zu gleichen Teilen beigetragen.ORCIDs der Autor*innenTill Rech: [0000-0002-7451-9038]Jacqueline Jennebach: [0009-0006-1572-8725]Martin R Fischer: [0000-0002-5299-5025]Felix Balzer: [0000-0003-1575-2056]Firman Sugiharto: [0000-0002-6874-5549]Martin Dittmar: [0000-0002-4288-564X]Vincent Wyszynski: [0009-0007-2157-4352]Olaf Fritze: [0000-0002-3825-3703]Simon Drees: [0000-0003-2693-8796]Olaf Ahlers: [0000-0003-1528-7182] Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autor*innen erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben. Crossley JG Addressing learner disorientation: Give them a roadmap 2014 Med Teach 685-691 Crossley JG. Addressing learner disorientation: Give them a roadmap. Med Teach. 2014;36(8):685-691. DOI: 10.3109/0142159X.2014.889813 https://doi.org/10.3109/0142159X.2014.889813 Willett TG Current status of curriculum mapping in Canada and the UK 2008 Med Educ 786-793 Willett TG. Current status of curriculum mapping in Canada and the UK. Med Educ. 2008;42(8):786-793. DOI: 10.1111/j.1365-2923.2008.03093.x https://doi.org/10.1111/j.1365-2923.2008.03093.x Harden RM AMEE Guide No. 21: Curriculum mapping: a tool for transparent and authentic teaching and learning 2001 Med Teach 123-137 Harden RM. AMEE Guide No. 21: Curriculum mapping: a tool for transparent and authentic teaching and learning. Med Teach. 2001;23(2):123-137. DOI: 10.1080/01421590120036547 https://doi.org/10.1080/01421590120036547 Pangaro L ten Cate O Frameworks for learner assessment in medicine: AMEE Guide No. 78 2013 Med Teach e1197-e210 Pangaro L, ten Cate O. Frameworks for learner assessment in medicine: AMEE Guide No. 78. Med Teach. 2013;35(6):e1197-e210. DOI: 10.3109/0142159X.2013.788789 https://doi.org/10.3109/0142159X.2013.788789 Fischer MR Bauer D Mohn K Projektgruppe NKLM Finally finished! National Competence Based Catalogues of Learning Objectives for Undergraduate Medical Education (NKLM) and Dental Education (NKLZ) ready for trial 2015 GMS Z Med Ausbild Doc35 Fischer MR, Bauer D, Mohn K; Projektgruppe NKLM. Finally finished! National Competence Based Catalogues of Learning Objectives for Undergraduate Medical Education (NKLM) and Dental Education (NKLZ) ready for trial. GMS Z Med Ausbild. 2015;32(3):Doc35. DOI: 10.3205/zma000977 https://doi.org/10.3205/zma000977 MFT Medizinischer Fakultätentag der Bundesrepublik Deutschland e.V. Gesellschaft für Medizinische Ausbildung e.V. 2015 Nationaler Kompetenzbasierter Lernzielkatalog Medizin MFT Medizinischer Fakultätentag der Bundesrepublik Deutschland e.V.; Gesellschaft für Medizinische Ausbildung e.V. Nationaler Kompetenzbasierter Lernzielkatalog Medizin. Berlin: MFT; 2015. Zugänglich unter/available from: https://medizinische-fakultaeten.de/wp-content/uploads/2021/06/nklm_final_2015-12-04.pdf https://medizinische-fakultaeten.de/wp-content/uploads/2021/06/nklm_final_2015-12-04.pdf Fritze O Griewatz J Narci E Shiozawa T Wosnik A Zipfel S Lammerding-Koeppel M How much GK is in the NKLM? A comparison between the catalogues of exam-relevant topics (GK) and the German National Competence-based Learning Objectives Catalogue for Undergraduate Medical Education (NKLM) 2017 GMS J Med Educ Doc9 Fritze O, Griewatz J, Narci E, Shiozawa T, Wosnik A, Zipfel S, Lammerding-Koeppel M. How much GK is in the NKLM? A comparison between the catalogues of exam-relevant topics (GK) and the German National Competence-based Learning Objectives Catalogue for Undergraduate Medical Education (NKLM). GMS J Med Educ. 2017;34(1):Doc9. DOI: 10.3205/zma001086 https://doi.org/10.3205/zma001086 Bundesministerium für Gesundheit 2017 Masterplan Medizinstudium 2020 Bundesministerium für Gesundheit. Masterplan Medizinstudium 2020. Berlin: Bundesministerium für Gesundheit; 2017. Zugänglich unter/available from: https://www.bundesgesundheitsministerium.de/presse/pressemitteilungen/presse/archiv/pressemitteilungen-der-vorherigen-legislaturperioden/2017/1-quartal/masterplan-medizinstudium-2020.html https://www.bundesgesundheitsministerium.de/presse/pressemitteilungen/presse/archiv/pressemitteilungen-der-vorherigen-legislaturperioden/2017/1-quartal/masterplan-medizinstudium-2020.html Medizinischer Fakultätentag (MFT) 2021 Medizinische Fakultäten veröffentlichten die Neufassung des Nationalen Kompetenzbasierten Lernzielkatalogs Medizinischer Fakultätentag (MFT). Medizinische Fakultäten veröffentlichten die Neufassung des Nationalen Kompetenzbasierten Lernzielkatalogs. Berlin: MFT; 2021. Zugänglich unter/available from: https://medizinische-fakultaeten.de/medien/presse/medizinische-fakultaeten-veroeffentlichen-die-neufassung-des-nationalen-kompetenzbasierten-lernzielkatalogs/ https://medizinische-fakultaeten.de/medien/presse/medizinische-fakultaeten-veroeffentlichen-die-neufassung-des-nationalen-kompetenzbasierten-lernzielkatalogs/ Mikuteit M Just I Steffens S Evaluation of the National Competence Based Catalogue of Learning Objectives (NKLM 2.0) for undergraduate medical education at the Medical School Hannover 2023 GMS J Med Educ Doc68 Mikuteit M, Just I, Steffens S. Evaluation of the National Competence Based Catalogue of Learning Objectives (NKLM 2.0) for undergraduate medical education at the Medical School Hannover. GMS J Med Educ. 2023;40(6):Doc68. DOI: 10.3205/zma001650 https://doi.org/10.3205/zma001650 Steffens S Paulmann V Mecklenburg J Bttner K Behrends M Perceived usability of the National Competence Based Catalogue of Learning Objectives for Undergraduate Medical Education by medical educators at the Hannover Medical School 2018 GMS J Med Educ Doc16 Steffens S, Paulmann V, Mecklenburg J, Bttner K, Behrends M. Perceived usability of the National Competence Based Catalogue of Learning Objectives for Undergraduate Medical Education by medical educators at the Hannover Medical School. GMS J Med Educ. 2018;35(2):Doc16. DOI: 10.3205/zma001163 https://doi.org/10.3205/zma001163 Balzer F Hautz WE Spies C Bietenbeck A Dittmar M Sugiharto F Lehmann L Eisenmann D Bubser F Stieg M Hanfler S Georg W Tekian A Ahlers O Development and alignment of undergraduate medical curricula in a web-based, dynamic Learning Opportunities, Objectives and Outcome Platform (LOOOP) 2016 Med Teach 369-377 Balzer F, Hautz WE, Spies C, Bietenbeck A, Dittmar M, Sugiharto F, Lehmann L, Eisenmann D, Bubser F, Stieg M, Hanfler S, Georg W, Tekian A, Ahlers O. Development and alignment of undergraduate medical curricula in a web-based, dynamic Learning Opportunities, Objectives and Outcome Platform (LOOOP). Med Teach. 2016;38(4):369-377. DOI: 10.3109/0142159X.2015.1035054 https://doi.org/10.3109/0142159X.2015.1035054 Treadwell I Ahlers O Botha G Initiating curriculum mapping on the web-based, interactive learning opportunities, objectives and outcome platform (LOOOP) 2019 Afr J Health Professions Educ 27-31 Treadwell I, Ahlers O, Botha G. Initiating curriculum mapping on the web-based, interactive learning opportunities, objectives and outcome platform (LOOOP). Afr J Health Professions Educ. 2019;11(1):27-31. DOI: 10.7196/AJHPE.2019.v11i1.1 https://doi.org/10.7196/AJHPE.2019.v11i1.1 Smalley S Bruza-Augatis M Colletti T Heistermann P Mahmud A Song D Juarez L Tshotetsi L Fahringer D Smith J Ahlers O Showstark M Curricula Mapping of Physician Associate/Physician Assistant-Comparable Professions Worldwide Using the Learning Opportunities, Objectives, and Outcomes Platform 2024 J Physician Assist Educ 108-115 Smalley S, Bruza-Augatis M, Colletti T, Heistermann P, Mahmud A, Song D, Juarez L, Tshotetsi L, Fahringer D, Smith J, Ahlers O, Showstark M. Curricula Mapping of Physician Associate/Physician Assistant-Comparable Professions Worldwide Using the Learning Opportunities, Objectives, and Outcomes Platform. J Physician Assist Educ. 2024;35(1):108-115. DOI: 10.1097/JPA.0000000000000571 https://doi.org/10.1097/JPA.0000000000000571 Lammerding-Koeppel M Giesler M Gornostayeva M Narciss E Wosnik A Zipfel S Griewatz J Fritze O Monitoring and analysis of the change process in curriculum mapping compared to the National Competency-based Learning Objective Catalogue for Undergraduate Medical Education (NKLM) at four medical faculties. Part II: Key factors for motivating the faculty during the process 2017 GMS J Med Educ Doc6 Lammerding-Koeppel M, Giesler M, Gornostayeva M, Narciss E, Wosnik A, Zipfel S, Griewatz J, Fritze O. Monitoring and analysis of the change process in curriculum mapping compared to the National Competency-based Learning Objective Catalogue for Undergraduate Medical Education (NKLM) at four medical faculties. Part II: Key factors for motivating the faculty during the process. GMS J Med Educ. 2017;34(1):Doc6. DOI: 10.3205/zma001083 https://doi.org/10.3205/zma001083 11en1de

1 1en 1de Figure 1: Representation of the number of links before and after the first interventionSome of the “examples” (links type 2) and “reason for consultation/diseases” (links type 3) could not be mapped because there was no corresponding content in NKLM 1.0 Abbildung 1: Darstellung der Anzahl von Verweisen vor und nach der ersten InterventionEin Teil der Anwendungsbeispiele (Kategorie 2) und Texte aus „Beratungsanlass/Krankheiten“ (Kategorie 3) konnte nicht kartiert werden, da es keine inhaltliche Entsprechung im NKLM 1.0 gab.

2 2en 2de Figure 2: Cross tables of cross-connections between chapters before and after the first intervention, NKLM 1.0 on the left, NKLM 1.0 (neo) on the rightCross-references between all relevant chapters are shown. The brightness scale at the bottom shows the logarithmic correlation of the brightness levels with the number of cross-references Abbildung 2: Kreuztabellen der Querverbindungen zwischen den Kapiteln vor und nach der ersten Intervention, links NKLM 1.0, rechts NKLM 1.0 (neo)Dargestellt sind die Querverbindungen zwischen allen relevanten Kapiteln. Die Helligkeits-Skala am unteren Rand zeigt die logarithmische Korrelation der Helligkeitsstufen mit der Zahl der Querverbindungen

3 3en 3de Figure 3: Absolute number of descriptors set across the three catalog versions NKLM 1.0 (neo), NKLM 2.0, and NKLM 2.1For each descriptor set, the number of knowledge (K) and competences to act (A) is indicated. D (blue): Diagnostics, T (yellow): Therapy, N (orange): Emergency Measures, P (green): Prevention/Rehabilitation Abbildung 3: Absolute Zahl der gesetzten Deskriptoren über die drei Katalogversionen NKLM 1.0 (neo), NKLM 2.0 und NKLM 2.1Für jeden gesetzten Deskriptor wird jeweils die Zahl der Wissens- (W) und Handlungskompetenzen (H) angegeben. D (blau): Diagnostik, T (Gelb): Therapie, N (orange): Notfallmaßnahmen, P (grün): Prävention/Rehabilitation

4 4en 4de Figure 4: Relative number of descriptors set across the three catalog versions NKLM 1.0 (neo), NKLM 2.0, and NKLM 2.1For each descriptor used, the proportion of knowledge (K) and action skills (A) is specified Abbildung 4: Relative Anzahl der gesetzten Deskriptoren über die drei Katalogversionen NKLM 1.0 (neo), NKLM 2.0 und NKLM 2.1Für jeden gesetzten Deskriptor wird jeweils der Anteil der Wissens- (W) und Handlungskompetenzen (H) angegeben.

5 5en 5de Figure 5: Absolute number of cross-references across catalog versions NKLM 1.0, NKLM 1.0 (neo), NKLM 2.0, and NKLM 2.1 Abbildung 5: Absolute Zahl der Querverbindungen über die Katalogversionen NKLM 1.0, NKLM 1.0 (neo), NKLM 2.0 und NKLM 2.1

6 6en 6de Figure 6: Proportion of A (competence to act) set across the three catalog versions NKLM 1.0 (neo), NKLM 2.0, and NKLM 2.1For each descriptor type, the proportion of coverage by cross-references is indicated. Left: variant 1 (only cross-references to the target chapters), right: variant 2 (additional cross-references to other chapters) Abbildung 6: Anteil der gesetzten H über die drei Katalogversionen NKLM 1.0 (neo), NKLM 2.0 und NKLM 2.1Für jeden Deskriptortyp wird jeweils der Anteil der Abdeckung durch Querverbindungen angegeben. Links: Variante 1 mit ausschließlicher Berücksichtigung der Zielkapitel, rechts: Variante 2 mit Berücksichtigung auch anderer Kapitel

7 7en 7de Figure 7: Number of descriptors set in NKLM 2.0 for diseases with missing cross-refrerences, cross- refrerences of insufficient depth, and cross-refrerences of sufficient depthD: Diagnostics, T: Therapy, N: Emergency Measures, P: Prevention/Rehabilitation Abbildung 7: Anzahl der bei Erkrankungen im NKLM 2.0 gesetzten Deskriptoren mit fehlenden Querverbindungen, Querverbindungen unzureichender Tiefe und Querverbindungen ausreichender TiefeD: Diagnostik, T: Therapie, N: Notfallmaßnahmen, P: Prävention/ Rehabilitation 7 0 0