zma00165010.3205/zma001650urn:nbn:de:0183-zma0016507articleArtikelEvaluation of the National Competence Based Catalogue of Learning Objectives (NKLM 2.0) for undergraduate medical education at the Medical School HannoverBewertung des Nationalen Kompetenzbasierten Lernzielkatalog Medizin an der Medizinischen Hochschule Hannover MikuteitMikuteitMarieMHannover Medical School, Dean’s Office, Hannover, GermanyMedizinische Hochschule Hannover, Studiendekanat, Hannover, Deutschlandmikuteit.marie@mh-hannover.deauthorJustJustIngoIHannover Medical School, Dean’s Office, Hannover, GermanyMedizinische Hochschule Hannover, Studiendekanat, Hannover, Deutschlandjust.ingo@mh-hannover.deauthorSteffensSteffensSandraSProf. Dr. med.
Hannover Medical School, Dean’s Office, Carl-Neuberg-Str. 1, D-30625 Hannover, Germany, Phone: +49 (0)511/532-9014Hannover Medical School, Dean’s Office, Hannover, Germany
Medizinische Hochschule Hannover, Studiendekanat, Carl-Neuberg-Str. 1, 30625 Hannover, Deutschland, Tel.: +49 (0)511/532-9014Medizinische Hochschule Hannover, Studiendekanat, Hannover, Deutschlandsteffens.sandra@mh-hannover.deauthorGerman Medical Science GMS Publishing House
Düsseldorf
610National Competence Based Catalogue of Learning Objectives for Undergraduate Medical Education (NKLM)evaluationphase onephase twoteachingcurriculumNationaler Kompetenzbasierter Lernzielkatalog Medizin (NKLM)EvaluationPhase einsPhase zweiLehreCurriculumcompetency based medical educationKompetenzorientiertes Medizinstudium20230505202307142023082820231115englgermThis is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License.Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung).2366-5017406GMS Journal for Medical EducationGMS J Med Educ68Hintergrund: Der Nationale Kompetenzbasierte Lernzielkatalog Medizin (NKLM) dient als Grundlage für die curriculare Lehre der medizinischen Ausbildung in Deutschland. Die neue Version des NKLM 2.0 wurde 2021 eingeführt und medizinische Fakultäten evaluieren nun die Lernziele. Dieser Artikel beschreibt den Evaluationsprozess an der Medizinischen Hochschule Hannover (MHH).Methoden: Der Evaluationsprozess war in drei Schritte strukturiert. Die Lernziele wurden mit „unverändert erhalten“, „Inhalt anpassen“ oder „komplett streichen“ bewertet. Zuerst wurden die 1133 Lernziele mit dem NKLM Mapping der MHH von 2017 abgeglichen. Dann führte ein kleines Team aus dem Bereich der Curriculumentwicklung eine Vor-Evaluation der 1133 Lernziele durch. Anschließend entschied eine Gruppe von klinischen Expert*innen und Studierenden über die Bewertungen.Ergebnisse: Bei 868 Lernzielen wurden ein oder mehrere Äquivalente im NKLM Mapping gefunden, wohingegen 265 Lernziele noch nicht vorhanden waren und entsprechend als neu eingestuft wurden. In der ersten Bewertung wurden 779 Lernziele beibehalten, 300 wurden modifiziert (davon 172 aufgrund der Sprache oder Formulierung), 45 wurden verworfen und für 9 Lernziele erfolgte keine Bewertung. Die Expert*innengruppe änderte 47 der Vor-Evaluationsentscheidungen. Die endgültige Bewertung lautete, 738 Lernziele zu erhalten, 356 zu modifizieren und 39 zu verwerfen.Schlussfolgerung: Diese Methode gestaltete die Bewertung der Lernziele des NKLM 2.0 effektiv unter Berücksichtigung von Expert*innenwissen und einem Überblick über das Curriculum.Background: The National Competence-Based Catalogue of Learning Objectives for Undergraduate Medical Education (NKLM) serves as the foundation for curricular development in undergraduate medical education in Germany. A new version of the NKLM was launched in 2021, and medical faculties are now evaluating the learning objectives (LOs). This paper describes the evaluation process used at Hannover Medical School.Methods: The evaluation process was structured in three steps. LOs were rated as “keep”, “modify” or “delete”. First, the 1133 LOs were compared with the mapping of the Hannover curriculum from 2017. Then, a small team from the Curricular Development Department conducted a pre-evaluation of the 1133 LOs. Finally, a group of clinical experts and students discussed and agreed on the ratings.Results: For 868 LOs, one or more counterparts were found in the mapping, but 265 new LOs were not found and thus, classified as new. In the first rating, 779 LOs were kept, 300 were modified (172 due to wording), 45 were deleted, and there was no rating for 9 LOs. The expert group changed 47 of the pre-evaluation decisions. The final rating was to keep 738 LOs, modify 356, and delete 39 LOs.Conclusion: This method effectively evaluated the LOs from NKLM 2.0 while balancing expert knowledge and an overview of the curriculum.IntroductionIn April 2021, a new version of the National Competence-Based Catalogue of Learning Objectives for Undergraduate Medical Education (NKLM 2.0) was released [https://nklm.de/zend/menu]. The development process was led by the Medizinischer Fakultätentag (MFT) and involved experts from medical schools university medicine, research, and various medical societies. The development was based on the LOOOP interactive platform , which was used by expert groups to discuss learning objectives (LOs) in different specialties.The NKLM 2.0 will serve as the basis for medical curricula in the new German Medical practice regulations (ApprO), which is currently under radical revision and is set to be approved in 2027 . The current “Gegenstandskatalog” defines the subjects of national medical exams, whereas the NKLM comprises practical skills and medical competencies in subjects such as collaboration and communication, leadership or science . In the future, the NKLM should define what is taught and tested in medical education. The competence level (factual knowledge, know-how, action competence) and proposed semester for teaching each LO are stated in the NKLM. The catalog can be applied to map the entire curriculum, modify or conceptualize novel courses . Medical educators recognize the relevance and the chances of a national LO catalogue but application is difficult to realize .The MFT is overseeing the improvement process for the current NKLM 2.0. Editing of the 2814 LOs has been divided up into four phases, with 1133 LOs in phases 1 and 2 combined. The medical faculties suggested to divide the process into four phases, so that each phase comprises a manageable amount of LOs. During these editing phases, the faculties evaluate the LOs and decide whether to keep, modify, or delete them. There is no designated evaluation procedure, but regular online meetings with the MFT and the faculties accompany the process, during which different evaluation methods are discussed. In the rating process, expert knowledge of the different medical disciplines and knowledge of the entire medical curriculum must be balanced. The evaluations by the faculties will be processed by expert groups who will create a 2.1 version of the NKLM.In this paper, we present the evaluation model used for the learning objectives of phases 1 and 2 of the NKLM 2.0 at Hannover Medical School.EinführungIm April 2021 wurde eine neue Version des Nationalen Kompetenzbasierten Lernzielkatalogs Medizin (NKLM 2.0) veröffentlicht [https://nklm.de/zend/menu]. Der Entwicklungsprozess wurde vom Medizinischen Fakultätentag (MFT) geleitet und involvierte Expert*innen aus medizinischen Fakultäten, Universitätsmedizin, Forschung und verschiedenen medizinischen Fachgesellschaften. Die Entwicklung basierte auf der interaktiven Plattform LOOOP , die von Expert*innengruppen genutzt wurde, um Lernziele in verschiedenen Fachrichtungen zu diskutieren. Der NKLM 2.0 wird als Grundlage für medizinische Lehrpläne in der neuen Approbationsordnung für Ärzt*innen (ApprO) dienen, die derzeit grundlegend überarbeitet wird und voraussichtlich 2027 neu verabschiedet wird . Der aktuelle „Gegenstandskatalog“ definiert die Themen der medizinischen Staatsexamina, während der NKLM praktische Fähigkeiten und medizinische Kompetenzen in Themen wie Zusammenarbeit, Kommunikation, Führung oder Wissenschaft umfasst . In Zukunft soll der NKLM festlegen, was in der medizinischen Ausbildung gelehrt und geprüft wird. Das Kompetenzniveau (Fachwissen, Handlungswissen, Handlungskompetenz) und das vorgesehene Semester für den Unterricht jedes Lernziels sind im NKLM angegeben. Der Katalog kann auf das gesamte Curriculum angewendet werden, um Lehrpläne zu erstellen, zu modifizieren oder neue Kurse zu konzipieren . Medizinische Lehrende erkennen die Relevanz und Chancen eines nationalen Lernzielkatalogs, aber die Einbindung gestaltet sich schwierig . Der MFT begleitet den Verbesserungsprozess für den aktuellen NKLM 2.0. Die Bearbeitung der 2814 Lernziele wurde in vier Phasen unterteilt, wobei insgesamt 1133 Lernziele in den Phasen 1 und 2 bewertet werden. Die medizinischen Fakultäten schlugen vor, den Prozess in vier Phasen aufzuteilen, damit jede Phase eine überschaubare Anzahl von Lernzielen umfasst. Während dieser Bearbeitungsphasen bewerten die Fakultäten die Lernziele und entscheiden, ob sie sie beibehalten, modifizieren oder verwerfen wollen. Es gibt kein festgelegtes Bewertungsverfahren, aber regelmäßige Online-Meetings mit dem MFT und den Fakultäten, bei denen verschiedene Evaluierungsmethoden diskutiert werden, begleiten den Prozess. Im Bewertungsprozess müssen Expert*innenwissen der verschiedenen medizinischen Disziplinen und Kenntnisse des gesamten medizinischen Lehrplans abgewogen werden. Die Bewertungen der Fakultäten werden danach von bundesweit übergreifenden Fach-Expert*innen bearbeitet, um so eine Version 2.1 des NKLM zu erstellen. In diesem Paper stellen wir das Evaluierungsmodell für die Lernziele der Phasen 1 und 2 des NKLM 2.0 an der Medizinischen Hochschule Hannover (MHH) vor.MethodsThe evaluation process for the learning objectives of combined phase 1 and 2 of the National Competence Based Catalogue of Learning Objectives for Undergraduate Medical Education (NKLM 2.0) was operated by the responsible persons in charge of the NKLM and curriculum development at Hannover Medical School in collaboration with the faculty. The process comprises three steps, as illustrated in figure 1 . The possible ratings focusing on the text of the learning objectives were “keep”, “modify” or “delete”. Modifications involve alterations in wording, removal of interconnections with other learning objectives, splitting of the learning objective into sub-objectives, or aggregation of detailed objectives into higher-level one. Learning objectives covering specialist knowledge or belonging to the elective field have to be deleted.In the first step, 1133 learning objectives of phases 1 and 2 were matched one-by-one with the mapping results of the NKLM 1.0 . The mapping was performed in 2017 at MHH and each module of the medical course stated which LO are taught. A LO was counted as “taught”, if at least one module stated to teach it explicitly in the mapping of 2017. For each learning objective from the NKLM 2.0, the LOOOP platform provided information on its status compared to the NKLM 1.0. This information indicates that the objective was either a novel one, based on one or more old objectives, or a direct takeover from the NKLM 1.0. For all objectives with a counterpart in NKLM 1.0, additional information was collected on which modules the objective was taught and at which competence level. Since the NKLM 1.0 did not provide any interconnections, we focused on the text of the LOs.Next, the responsible persons at Hannover Medical School conducted a first rating of the learning objectives of phases 1 and 2, assigning a rating of “keep”, “modify”, or “delete”. Learning objectives that were taught in more than one module according to the mapping from 2017 and novel objectives with useful additions were kept. The objectives were checked for redundancies across all chapters and, if necessary, merged. Objectives that were too detailed were put together with other objectives. The wording was stringently adapted to gender-sensitive language or to better match the competence level of the objective. The competence level was also checked if it was deemed too high or low, and interconnections were adjusted accordingly. Objectives that were redundant, not taught according to the mapping from 2017, or assed irrelevant (such as specialty knowledge) were deleted.In the final step, the critical learning objectives were discussed with a group of experts from various medical disciplines and students. The group comprised 18 experts and five students covering disciplines such as anesthesia, pediatrics, radiology, biochemistry, gynecology, general practice, pharmacology, medical informatics, rehabilitation, dermatology, surgery, medical psychology, and rheumatology. All new objectives, regardless of the initial rating, were discussed. Additionally, objectives with a rating of “delete” were also discussed. The criteria used in the rating and discussion are displayed in table 1 .MethodenDer Evaluationsprozess für die kombinierten Lernziele der Phasen 1 und 2 des Nationalen Kompetenzbasierten Lernzielkatalogs (NKLM 2.0) wurde von den Verantwortlichen für den NKLM und der Curriculumentwicklung an der Medizinischen Hochschule Hannover (MHH) in Zusammenarbeit mit der Fakultät durchgeführt. Wie in Abbildung 1 dargestellt, umfasst der Prozess drei Schritte. Die möglichen Bewertungen, die sich auf den Text der Lernziele konzentrierten, waren „unverändert erhalten“, „Inhalt anpassen“ oder „komplett streichen“. Modifikationen umfassen Änderungen in der Formulierung, das Entfernen von Querverbindungen zu anderen Lernzielen, die Aufteilung des Lernziels in Unterziele oder die Zusammenfassung detaillierter Ziele in ein gemeinsames, übergreifendes Ziel. Lernziele, die Expert*innenwissen abdecken oder zum Wahlpflichtbereich gehören, sollten gestrichen werden. Im ersten Schritt wurden die 1133 Lernziele der Phasen 1 und 2 eins zu eins mit den Ergebnissen des Mapping des NKLM 1.0 in Hannover verglichen . Das Mapping wurde 2017 an der MHH durchgeführt, und für jedes Modul des Medizinkurses wurden die unterrichteten Lernziele erfasst. Ein Lernziel galt als „unterrichtet“, wenn mindestens ein Modul explizit angab, es gemäß der Bewertung von 2017 zu behandeln. Für jedes Lernziel des NKLM 2.0 lieferte die LOOOP-Plattform Informationen zu seinem Status im Vergleich zum NKLM 1.0. Diese Informationen zeigten an, ob das Ziel entweder neu war, auf einem oder mehreren alten Zielen basierte oder einer direkten Übernahme aus dem NKLM 1.0 entsprach. Für alle Ziele mit einem Gegenstück im NKLM 1.0 wurden zusätzliche Informationen darüber gesammelt, in welchen Modulen das Ziel unterrichtet wurde und auf welchem Kompetenzniveau es gelehrt wurde. Da das NKLM 1.0 keine Querverbindungen aufweist, konzentrierten wir uns auf den Inhalt der Lernziele. Anschließend führten die Verantwortlichen an der Medizinischen Hochschule Hannover eine erste Bewertung der Lernziele der Phasen 1 und 2 durch und ordneten sie als „unverändert erhalten“, „Inhalt anpassen“ oder „komplett streichen“ ein. Lernziele, die laut des Mappings von 2017 in mehr als einem Modul unterrichtet wurden, und neue Lernziele mit nützlichen Ergänzungen wurden beibehalten. Die Ziele wurden auf Redundanzen in allen Kapiteln überprüft und gegebenenfalls zusammengeführt. Ebenso wurde mit Lernzielen verfahren, die zu detailliert waren. Die Formulierungen wurden konsequent an geschlechtersensible Sprache und an das Kompetenzniveau des jeweiligen Ziels angepasst. Das Kompetenzniveau wurde auch überprüft, wenn es als zu hoch oder zu niedrig angesehen wurde, und Querverbindungen wurden entsprechend angepasst. Ziele, die redundant waren, laut des Mapping von 2017 nicht unterrichtet wurden oder als irrelevant angesehen wurden (wie Expert*innenwissen), wurden gestrichen. Im letzten Schritt wurden die fraglichen Lernziele mit einer Gruppe von Expert*innen aus verschiedenen medizinischen Fachdisziplinen und Studierenden diskutiert. Die Gruppe bestand aus 18 Expert*innen, die Fachrichtungen wie Anästhesie, Pädiatrie, Radiologie, Biochemie, Gynäkologie, Allgemeinmedizin, Pharmakologie, Medizinische Informatik, Rehabilitation, Dermatologie, Chirurgie, Medizinische Psychologie und Rheumatologie abdeckten, und fünf Studierenden. Alle neuen Ziele wurden unabhängig von der anfänglichen Bewertung diskutiert. Zusätzlich wurden Lernziele mit der Bewertung „komplett streichen“ ebenfalls diskutiert. Die in der Bewertung und Diskussion verwendeten Kriterien sind in Tabelle 1 dargestellt.ResultsThree people were involved in the first two stages of evaluating the NKLM 2.0 at Hannover Medical School, each working for a total of 20 hours. An expert discussion was held with 18 participants, and 30 hours were spent in total preparing and verifying the results.In the first step, the new LOs were compared to those of the NKLM 1.0. All LOs from the NKLM 2.0 had at least one equivalent LO in the NKLM 1.0 that was covered by modules at MHH according to the 2017 mapping. The majority of LOs were taught by more than one module. 264 LOs of NKLM 2.0 had no equivalent in NKLM 1.0 and were thus classified as new. In the second step, the NKLM team performed a pre-rating. Of the total of 1133 LOs, 778 (68.7%) were rated as to be “kept”, 300 (26.5%) as to be modified (of which 172 (57.3%) were “modified” because of the wording), and 45 (3.9%) were rated as to be “deleted”. Most LOs were changed due to wording issues or were merged with similar LOs. Nine (0.8%) LOs were not rated due to a lack of expert knowledge.In the third step, the 264 new LOs and the 45 LOs with pre-rating “delete” were discussed within a group of medical experts and students. The pre-rating was changed in 72 cases, see table 2 and figure 2 for detailed information.Finally, 738 LOs were rated to be kept, 356 to be modified, and 39 to be deleted (see table 3 ). Overall, the percentage of the ratings “keep”, “modify” and “delete” differed between the chapters (see table 2 and table 3 ).During the evaluation process, several general issues came up. First, the wording was not consistent in terms of gender-sensitive language. It was unclear how to handle LOs with similar topics but in different chapters (e.g., consultation and diseases). Redundancies were often encountered, but they were distributed across different chapters. Identifying these LOs takes time but reduction of redundancy is crucial to reduce the extent of NKLM. Another issue was that several new LOs based on the same old LO were not in the same rating phase, making it difficult for faculties to comprehend the modifications. Finally, there were no recommendations for teaching LOs from chapters VII.01 and VII.02 in higher semesters (milestones with competency level per semester). This is particularly relevant for study programs where the theoretical and clinical parts of the curriculum are closely interconnected (“Modellstudiengänge”), as selected basic LOs can be taught in higher semesters.ErgebnisseDrei Personen waren in den ersten beiden Phasen der Evaluierung des NKLM 2.0 an der Medizinischen Hochschule Hannover (MHH) beteiligt und arbeiteten jeweils insgesamt 20 Stunden. Es fand eine Expert*innendiskussion mit 18 Teilnehmenden statt, und insgesamt wurden 30 Stunden für die Vorbereitung und Überprüfung der Ergebnisse aufgewendet. Im ersten Schritt wurden die neuen Lernziele mit denen des NKLM 1.0 verglichen. Alle Lernziele des NKLM 2.0, die ein äquivalentes Lernziel im NKLM 1.0 aufwiesen, wurden von mindestens einem Modul an der MHH abgedeckt. Die Mehrheit der Lernziele wurde von mehr als einem Modul unterrichtet. 264 Lernziele des NKLM 2.0 hatten kein Äquivalent im NKLM 1.0 und wurden entsprechend als neu klassifiziert. Im zweiten Schritt führte das NKLM-Team eine Vor-Bewertung durch. Von den insgesamt 1133 Lernzielen wurden 778 (68,7%) „unverändert erhalten“, bei 300 (26,5%) wurde der „Inhalt angepasst“ (davon 172 (57,3%) aufgrund der Sprache) und 45 (3,9%) wurden „komplett gestrichen“. Die meisten Lernziele wurden aufgrund der Formulierung geändert oder mit ähnlichen Lernzielen zusammengeführt. Neun (0,8%) Lernziele wurden aufgrund mangelnden Domänenwissens zunächst nicht bewertet. Im dritten Schritt wurden die 264 neuen Lernziele und die 45 Lernziele mit der Vor-Bewertung „komplett streichen“ in einer Gruppe von medizinischen Expert*innen und Studierenden diskutiert. Die Vor-Bewertung wurde in 72 Fällen geändert, siehe Tabelle 2 und Abbildung 2 für detaillierte Informationen. Schließlich wurden 738 Lernziele als „unverändert erhalten“, 356 als „Inhalt anpassen“ und 39 als „komplett streichen“ bewertet (siehe Tabelle 3 ). Insgesamt unterschieden sich die Prozentsätze der Bewertungen „unverändert erhalten“, „Inhalt anpassen“ und „komplett streichen“ zwischen den Kapiteln (siehe Tabelle 2 und Tabelle 3 ). Während des Evaluierungsprozesses traten mehrere allgemeine Probleme auf. Erstens war die Formulierung in Bezug auf geschlechtersensible Sprache nicht konsequent. Außerdem war unklar, wie mit Lernzielen zu verfahren ist, die ähnliche Themen abdecken, aber in verschiedenen Kapiteln eingeordnet werden (z. B. Konsultation und Krankheiten). Redundanzen traten oft auf, aber sie verteilten sich auf verschiedene Kapitel. Die Identifizierung dieser Lernziele erfordert Zeit, aber die Minimierung von Redundanzen ist entscheidend, um den Umfang des NKLM zu reduzieren. Ein weiteres Problem war, dass mehrere neue Lernziele, die auf demselben alten Lernziel basierten, nicht in derselben Bewertungsphase waren, was es für Fakultäten schwierig machte, die Modifizierungen nachzuvollziehen. Schließlich gab es keine Empfehlungen, Lernziele aus den Kapiteln VII.01 und VII.02 in höheren Semestern (Meilensteine mit Kompetenzniveau pro Semester) zu unterrichten. Dies ist insbesondere relevant für Modellstudiengänge, in denen der theoretische und der praktisch-klinische Teil des Lehrplans eng miteinander verbunden sind, da ausgewählte grundlegende Lernziele in höheren Semestern unterrichtet werden können.DiscussionIn this article, we reported on the evaluation process of Learning Objectives from the National Competence-Based Catalogue for Undergraduate Medical Education (NKLM) at Hannover Medical School. The evaluation process consisted of three steps: comparison of the mapping of the NKLM 1.0 in Hannover with the new learning objectives (LOs) of NKLM 2.0, a pre-rating conducted by the persons responsible for curricular development, and finally a discussion in a team of medical experts and students to reach a consensus on the rating. The process was performed within 2,5 personnel months. Ultimately, 738 LOs were rated to be kept, 356 to be modified, and 39 to be deleted.The evaluation process faced several challenges. In a previous study at Hannover Medical School, 30% of the medical educators stated that they were not familiar with the catalogue . Those persons will encounter difficulties in finding a valid rating for differences between the old and the new NKLM. For this reason, we decided to focus on the text of the LOs and not on the even more complex interconnections. Previous studies from southern Germany reported that faculty members were not per se willing to deal with the NKLM due to its complexity, but supportive administrational structure was favorable for motivation to take part in the rating process , .To address these issues, the complete process was conceived comprising three steps. To increase willingness of faculty experts to participate in the rating process, a time-consuming pre-rating was established. In this pre-rating redundancies were identified and omitted. Additionally, issues related to wording were identified and changed if necessary. This pre-rating-based clearing up allowed the expert und student teams to focus on specific content aspects. In fact, the 18 medical experts and five students discussed and consensually decided on keeping, modifying and deleting in a way not distracted by purely formal questions. The chapters of the NKLM 2.0 were written by different authors with differing levels of details in the LOs. In our process, we noticed different percentages of the ratings for the chapters. Our rating included for example to summarize many LOs in chapter VII.2 since each LO described a very specific diagnostic procedure. In the NKLM 1.0, these procedures were condensed, making the NKLM more appropriable. This underlines the importance of an overall review process, to adapt a comparable level of details for each chapter. The strengths of our performed evaluation process include structured organization of the process, effective time management, clearing up of formal questions and the consideration of both overview knowledge and expert knowledge. The pre-rating allowed a more effective and result-oriented discussion. Inclusion of students in this rating-process was in line with our previous positive experiences . Students are not experts per se but they gave a new perception of some aspects.Overall, the MFTs’ goal of a significant decrease of LOs was not met. This could be the case because the single LOs are difficult to rate, if similar LOs are not in the same rating phase. Also, an overview of interconnections could lead to a reduction of LOs. Still, our experiences can serve as a basis for the upcoming evaluation process of phases 3 and 4 of the NKLM, especially for faculties with time-intense rating processes. Therefore, a focus on the reduction of LOs and interconnections might be necessary. Also In an international context, catalogues with learning objectives gain more importance. The description of our rating process can be adapted for similar developments in different countries. DiskussionIn diesem Artikel haben wir über den Evaluationsprozess der Lernziele des Nationalen Kompetenzbasierten Lernzielkatalogs Medizin (NKLM) an der Medizinischen Hochschule Hannover (MHH) berichtet. Der Evaluationsprozess bestand aus drei Schritten: Vergleich der Abbildung des NKLM 1.0 in Hannover mit den neuen Lernzielen des NKLM 2.0, eine Vor-Bewertung, die von den für die Curriculums-Entwicklung Verantwortlichen durchgeführt wurde und schließlich eine Diskussion in einem Team von medizinischen Expert*innen und Studierenden, um einen Konsens bei der Bewertung der Lernziele zu erreichen. Der Prozess wurde innerhalb von 2,5 Personenmonaten durchgeführt. Letztendlich wurden 738 Lernziele „unverändert erhalten“, bei 356 wurde der „Inhalt angepasst“ und 39 wurden „komplett gestrichen“. Der Evaluationsprozess stand vor mehreren Herausforderungen. In einer vorangegangenen Studie an der MHH gaben 30% der medizinischen Lehrenden an, dass sie mit dem Katalog nicht vertraut waren . Diese Personen werden Schwierigkeiten haben, eine stichhaltige Bewertung für Unterschiede zwischen dem alten und dem neuen NKLM zu finden. Aus diesem Grund haben wir beschlossen, uns auf den Text der Lernziele zu konzentrieren und nicht auf die noch komplexeren Querverbindungen. Frühere Studien aus Süddeutschland berichteten, dass Fakultätsmitglieder aufgrund der Komplexität nicht per-se bereit waren, sich mit dem NKLM zu befassen, wobei aber eine unterstützende Verwaltungsstruktur förderlich für die Motivation war, am Bewertungsprozess teilzunehmen , . Um diese Probleme anzugehen, wurde der gesamte Prozess in drei Schritte gegliedert. Um die Bereitschaft der Fakultätsexperten zur Teilnahme am Bewertungsprozess zu erhöhen, wurde eine zeitaufwändige Vor-Bewertung eingeführt. In dieser Vor-Bewertung wurden Redundanzen identifiziert und gestrichen. Darüber hinaus wurden Formulierungsproblematiken identifiziert und bei Bedarf geändert. Diese auf der Vor-Bewertung basierende Optimierung ermöglichte es den Expert*innen und Studierenden, sich auf spezifische inhaltliche Aspekte zu konzentrieren, ohne dabei von rein formalen Fragen abgelenkt zu werden. Die Kapitel des NKLM 2.0 wurden von verschiedenen Autor*innen mit unterschiedlichen Detailtiefen der einzelnen Lernziele verfasst. In unserem Prozess stellten wir unterschiedliche Prozentsätze der Bewertungen für die jeweiligen Kapitel fest. Unsere Einstufung umfasste zum Beispiel die Zusammenfassung vieler Lernziele im Kapitel VII.2, da jedes dieser Lernziele ein sehr spezifisches diagnostisches Verfahren beinhaltete. Im NKLM 1.0 wurden diese Verfahren zusammengefasst, was den NKLM besser anwendbar machte. Dies unterstreicht die Bedeutung eines umfassenden, allgemeinen Überprüfungsprozesses, um ein entsprechendes Detailniveau in jedem Kapitel anzupassen. Die Stärken unseres durchgeführten Evaluationsprozesses umfassen eine strukturierte Organisation des Prozesses, effektives Zeitmanagement, Klärung formaler Fragen und die Berücksichtigung sowohl des Studiengang-übergreifenden Wissens als auch des Expert*innenwissens. Die Vor-Bewertung ermöglichte eine effektivere und zielgerichtetere Diskussion. Die Einbeziehung von Studierenden in diesen Bewertungsprozess stand im Einklang mit unseren bisherigen positiven Erfahrungen . Studierende sind per se keine Expert*innen, dennoch brachten sie eine neue Sichtweise auf einige Aspekte ein. Insgesamt wurde das Ziel des MFT, die Anzahl der Lernziele signifikant zu reduzieren, nicht erreicht. Ein Grund dafür könnte die Zuordnung ähnlicher Lernziele in verschiedenen Bewertungsphasen sein. Auch eine Übersicht über Querverbindungen zwischen den einzelnen Lernzielen könnte zu einer Reduzierung der Lernziele insgesamt führen. Dennoch können unsere Erfahrungen als Grundlage für den bevorstehenden Evaluierungsprozess der Phasen 3 und 4 des NKLM dienen, insbesondere für Fakultäten mit zeitintensiven Bewertungsprozessen. Dafür könnte es notwendig werden, den Fokus auf die Reduzierung von Lernzielen und die Querverbindungen zwischen ihnen zu legen. Auch in einem internationalen Kontext gewinnen Lernzielkataloge an Bedeutung. Die Beschreibung unseres Bewertungsprozesses kann für ähnliche Entwicklungen in verschiedenen Ländern angepasst werden.ConclusionIn conclusion, our evaluation process of LOs of NKLM 2.0 was based on a structured procedure allowing the effective and motivated involvement the faculty experts. Prepared by experts familiar with both, the NKLM and the overall medical curriculum, the process allowed detection of redundancies and the identification of LOs within the current curriculum. Medical faculty experts and students became also involved in the evaluation process, ensuring a high quality of the rating-process. SchlussfolgerungZusammenfassend basierte unser Evaluationsprozess für Lernziele des NKLM 2.0 auf einem strukturierten Verfahren, das die effektive und motivierte Einbindung der Fakultätsexpert*innen ermöglichte. Der Prozess, vorbereitet von Lehrenden, die sowohl mit dem NKLM als auch mit dem gesamten medizinischen Curriculum der MHH vertraut sind, ermöglichte die Identifizierung von Redundanzen und die Verbindung zu Lernzielen im aktuell bestehenden Lehrplan. Expert*innen der medizinischen Fakultät und Studierende waren ebenfalls am Bewertungsprozess beteiligt und stellten so eine hohe Qualität des Bewertungsprozesses sicher.AcknowledgementsSpecial thanks to Sandra Friesen for her support in documentation and preparation of the process. DanksagungEin besonderer Dank geht an Sandra Friesen für ihre Unterstützung bei der Dokumentation und Vorbereitung des Prozesses.Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autor*innen erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben.Medizinischer Fakultätentag (MFT)2021Medizinische Fakultäten veröffentlichen die Neufassung des nationalen kompetenzbasierten LernzielkatalogsMedizinischer Fakultätentag (MFT). Medizinische Fakultäten veröffentlichen die Neufassung des nationalen kompetenzbasierten Lernzielkatalogs. Berlin: MFT; 2021. Zugänglich unter/available from: https://medizinische-fakultaeten.de/medien/presse/medizinische-fakultaeten-veroeffentlichen-die-neufassung-des-nationalen-kompetenzbasierten-lernzielkatalogs/https://medizinische-fakultaeten.de/medien/presse/medizinische-fakultaeten-veroeffentlichen-die-neufassung-des-nationalen-kompetenzbasierten-lernzielkatalogs/Balzer FHautz WESpies CBietenbeck ADittmar MSugiharto FLehmann LEisenmann DBubser FStieg MHanfler SGeorg WTekian AAhlers ODevelopment and alignment of undergraduate medical curricula in a web-based, dynamic Learning Opportunities, Objectives and Outcome Platform (LOOOP)2016Med Teach369-377Balzer F, Hautz WE, Spies C, Bietenbeck A, Dittmar M, Sugiharto F, Lehmann L, Eisenmann D, Bubser F, Stieg M, Hanfler S, Georg W, Tekian A, Ahlers O. Development and alignment of undergraduate medical curricula in a web-based, dynamic Learning Opportunities, Objectives and Outcome Platform (LOOOP). Med Teach. 2016;38(4):369-377. DOI: 10.3109/0142159X.2015.1035054https://doi.org/10.3109/0142159X.2015.1035054Richter-Kuhlmann EÄrztliche Approbationsordnung: Neuer Anlauf für überfällige Reform2023Dtsch ArzteblA-906/B-778Richter-Kuhlmann E. Ärztliche Approbationsordnung: Neuer Anlauf für überfällige Reform. Dtsch Arztebl. 2023;120(20):A-906/B-778Fritze OGriewatz JNarciß EShiozawa TWosnik AZipfel SLammerding-Koeppel MHow much GK is in the NKLM? A comparison between the catalogues of exam-relevant topics (GK) and the German National Competence-based Learning Objectives Catalogue for Undergraduate Medical Education (NKLM)2017GMS J Med EducDoc9Fritze O, Griewatz J, Narciß E, Shiozawa T, Wosnik A, Zipfel S, Lammerding-Koeppel M. How much GK is in the NKLM? A comparison between the catalogues of exam-relevant topics (GK) and the German National Competence-based Learning Objectives Catalogue for Undergraduate Medical Education (NKLM). GMS J Med Educ. 2017;34(1):Doc9. DOI: 10.3205/zma001086https://doi.org/10.3205/zma001086Sterz JHoefer SHJanko MBender BAdili FSchreckenbach TSeifert LBRuesseler MDo they teach what they need to? An analysis of the impact of curriculum mapping on the learning objectives taught in a lecture series in surgery2019Med Teach417-421Sterz J, Hoefer SH, Janko M, Bender B, Adili F, Schreckenbach T, Seifert LB, Ruesseler M. Do they teach what they need to? An analysis of the impact of curriculum mapping on the learning objectives taught in a lecture series in surgery. Med Teach. 2019;41(4):417-421. DOI: 10.1080/0142159X.2018.1481282https://doi.org/10.1080/0142159X.2018.1481282Steffens SPaulmann VMecklenburg JBüttner KBehrends MPerceived usability of the National Competence Based Catalogue of Learning Objectives for Undergraduate Medical Education by medical educators at the Hannover Medical School2018GMS J Med EducDoc16Steffens S, Paulmann V, Mecklenburg J, Büttner K, Behrends M. Perceived usability of the National Competence Based Catalogue of Learning Objectives for Undergraduate Medical Education by medical educators at the Hannover Medical School. GMS J Med Educ. 2018;35(2):Doc16. DOI: 10.3205/zma001163https://doi.org/10.3205/zma001163Behrends MSteffens SMarschollek MThe Implementation of Medical Informatics in the National Competence Based Catalogue of Learning Objectives for Undergraduate Medical Education (NKLM)2017Stud Health Technol Inform18-22Behrends M, Steffens S, Marschollek M. The Implementation of Medical Informatics in the National Competence Based Catalogue of Learning Objectives for Undergraduate Medical Education (NKLM). Stud Health Technol Inform. 2017;243:18-22. Lammerding-Koeppel MGiesler MGornostayeva MNarciss EWosnik AZipfel SGriewatz JFritze OMonitoring and analysis of the change process in curriculum mapping compared to the National Competency-based Learning Objective Catalogue for Undergraduate Medical Education (NKLM) at four medical faculties. Part I: Conducive resources and structures2017GMS J Med EducDoc7Lammerding-Koeppel M, Giesler M, Gornostayeva M, Narciss E, Wosnik A, Zipfel S, Griewatz J, Fritze O. Monitoring and analysis of the change process in curriculum mapping compared to the National Competency-based Learning Objective Catalogue for Undergraduate Medical Education (NKLM) at four medical faculties. Part I: Conducive resources and structures. GMS J Med Educ. 2017;34(1):Doc7. DOI: 10.3205/zma001084https://doi.org/10.3205/zma001084Lammerding-Koeppel MGiesler MGornostayeva MNarciss EWosnik AZipfel SGriewatz JFritze OMonitoring and analysis of the change process in curriculum mapping compared to the National Competency-based Learning Objective Catalogue for Undergraduate Medical Education (NKLM) at four medical faculties. Part II: Key factors for motivating the faculty during the process2017GMS J Med EducDoc6Lammerding-Koeppel M, Giesler M, Gornostayeva M, Narciss E, Wosnik A, Zipfel S, Griewatz J, Fritze O. Monitoring and analysis of the change process in curriculum mapping compared to the National Competency-based Learning Objective Catalogue for Undergraduate Medical Education (NKLM) at four medical faculties. Part II: Key factors for motivating the faculty during the process. GMS J Med Educ. 2017;34(1):Doc6. DOI: 10.3205/zma001083https://doi.org/10.3205/zma001083Mikuteit MSteffens SGrigull LKühnle LBehrends MSchmidt RMücke URapid development of a digital module during the Covid 19 pandemic in undergraduate medical education of pediatrics by teachers and students2020GMS J Med EducDoc66Mikuteit M, Steffens S, Grigull L, Kühnle L, Behrends M, Schmidt R, Mücke U. Rapid development of a digital module during the Covid 19 pandemic in undergraduate medical education of pediatrics by teachers and students. GMS J Med Educ. 2020;37(7):Doc66. DOI: 10.3205/zma001359https://doi.org/10.3205/zma001359
11en1de
Table 1: Criteria for the evaluation of NKLM Learning objectives
Tabelle 1: Kriterien für die Bewertung der NKLM Lernziele
22en2de
Table 2: Expert rating of the Learning objectives per NKLM chapter
Tabelle 2: Bewertung der Expert*innen der NKLM Lernziele nach Kapiteln
33en3de
Table 3: Rating of learning objectives of the phases 1 and 2 of NKLM 2.0 before and after Expert rating per chapter
Tabelle 3: Bewertung der Lernziele der Phasen 1 und 2 des NKLM 2.0 vor und nach der Bewertung durch Expert*innen pro Kapitel
311en1de
Figure 1: Three steps of the evaluation process of NKLM 2.0 at Hannover medical School. The comparison is based on the mapping process of the NKLM 1.0 from 2017 at MHH. A LO was counted as “taught”, if at least one module stated to teach it explicitly.
Abbildung 1: Drei Schritte des Evaluationsprozesses des NKLM 2.0 der Medizinischen Hochschule Hannover. Der Vergleich basiert auf dem Mappingprozess des NKLM 1.0 in der MHH. Ein Lernziel wurde als unterrichtet gewertet, wenn mindestens ein Modul es explizit angegeben hat.
22en2de
Figure 2: Rating of the Learning objectives of phases 1 and 2 before and after the expert rating per NKLM chapter
Abbildung 2: Bewertung der Lernziele der Phase eins und zwei vor und nach der Bewertung durch Expert*innen pro NKLM Kapitel