zma001797 10.3205/zma001797 urn:nbn:de:0183-zma0017978 commentary Kommentar Patientenbezogene Ergebnismessungen in der medizinischen Ausbildungsforschung Wijnen-Meijer Wijnen-Meijer Marjo M Prof. Dr.

Technische Universität Dresden, Medizinische Fakultät Carl Gustav Carus, Institut für Didaktik und Lehrforschung in der Medizin, Fetscherstr. 74, D-01307 Dresden, GermanyTechnische Universität Dresden, Medizinische Fakultät Carl Gustav Carus, Institut für Didaktik und Lehrforschung in der Medizin, Dresden, Germany

Technische Universität Dresden, Medizinische Fakultät Carl Gustav Carus, Institut für Didaktik und Lehrforschung in der Medizin, Fetscherstr. 74, 01307 Dresden, DeutschlandTechnische Universität Dresden, Medizinische Fakultät Carl Gustav Carus, Institut für Didaktik und Lehrforschung in der Medizin, Dresden, Deutschland

marjo.wijnen-meijer@tu-dresden.de author Norcini Norcini John J

Foundation for Advancement of International, Medical Education and Research, Philadelphia, USA

Foundation for Advancement of International, Medical Education and Research, Philadelphia, USA

jnorcini@faimer.org author German Medical Science GMS Publishing House

Düsseldorf

610 medical education research patient-related outcomes patient-reported outcome measures (PROMs) medizinische Lehrforschung patientenbezogene Daten patient-reported outcome measures (PROMs) perspectives Perspektiven 20241106 20250206 20250327 20260115 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 2366-5017 43 1 GMS Journal for Medical Education GMS J Med Educ Research in Health Profession Education/Ausbildungsforschung in Gesundheitsberufen 3 Die Verwendung von patientenbezogenen Ergebnissen in der medizinischen Bildungsforschung hat in den letzten 25 Jahren an Bedeutung gewonnen, wird jedoch weiterhin nur unzureichend genutzt. Im Jahr 2001 enthielten weniger als 7% der Publikationen in der medizinischen Bildungsforschung patient:innenbezogene Ergebnisse, obwohl das Ziel die Ausbildung von hochqualifizierten Gesundheitsdienstleistern ist. Dieser Kommentar erörtert häufige Quellen von Patient:innenergebnisdaten, deren Anwendungen und Herausforderungen. Verwaltungsdatenbanken und Patient-Reported Outcome Measures (PROMs) sind wichtige Datenquellen, wobei PROMs die direkten Berichte der Patien:innten über ihren Gesundheitszustand erfassen. PROMs sind besonders nützlich, wenn administrative Daten knapp sind, wie zum Beispiel in Europa. Sie können eingesetzt werden, um eine Vielzahl von Bildungswirkungen zu bewerten, einschließlich des Effekts der ärztlichen Erfahrung auf die Patient:innenzufriedenheit und Ergebnisse sowie der Fehlerquoten bei Diagnose und Behandlung.Zu den Herausforderungen bei der Verwendung solcher Daten gehören die schwierige Identifizierung adäquater Ergebnisse und die Zuordnung der Ergebnisse zu einzelnen Anbietern angesichts patient:innenspezifischer Faktoren und der wachsenden Bedeutung der teambasierten Versorgung.Infolgedessen sind große Patient:innenzahlen erforderlich, um aussagekräftige Ergebnisse zu erzielen. Trotz dieser Herausforderungen bieten PROMs vielversprechende Ansätze zur Verbesserung der medizinischen Ausbildung, indem sie den Fokus auf das legen, was am wichtigsten ist – die Ergebnisse für die Patient:innen. The use of patient-related outcomes in medical education research has gained traction over the past 25 years, yet it remains underutilized. In 2001, less than 7% of medical education publications included patient outcomes, despite the goal being the production of high-quality healthcare providers. This commentary discusses common sources of patient outcome data, their applications, and challenges. Administrative databases and Patient-Reported Outcome Measures (PROMs) are key sources of data, with PROMs capturing patients’ direct reports of their health status. PROMs are particularly useful when administrative data are scarce, such as in Europe. They can be employed to assess a variety of educational impacts, including the effect of physician experience on patient satisfaction and outcomes, as well as error rates in diagnosis and treatment. Challenges in using such data include difficulty identifying appropriate outcomes and attribution of results to individual providers given patient-specific factors and the growing importance of team-based care. Consequently, large numbers of patients are needed to produce meaningful results. Despite these challenges, PROMs hold promise for improving medical education by focusing on what is most important – outcomes for patients. IntroductionIn 2001, a review of 599 research papers in medical education journals found that less than 7% of the publications incorporated patient outcomes . Given that the primary aim of medical education is to produce doctors who provide high quality care, this deficency was striking and it led to calls for a research agenda that evaluated educational interventions in light of their impact on health . Over the past 25 years, this has created increasing interest in, and use of, clinical outcomes in educational research. In this commentary, we will describe the common sources of informaton about patient outcomes, offer examples of their potential applications in educational research and identify some of the challenges of using such data.The most common source of information on patient outcomes is administrative databases. Although developed mainly for billing purpose, they now contain sufficient information to be the basis for judgments about quality of care. In some countries, this information is de-identifed and available for research purposes. In education, such data have been used to study areas such as the association of duty hours and licensure examination performance with patient outcomes ,. Alternatively, Patient-Reported Outcome Measures (PROMs) have become increasingly important in medical research and practice in recent years. PROMs are reports of a patient's health status that come directly from the patient and they may include symptoms, quality of life, functional status, and so on. PROMs are based on standardised questionnaires that collect data from patients. These instruments are designed to systematically capture and quantify patients' subjective and objective experiences. EinleitungIm Jahr 2001 ergab eine Analyse von 599 Forschungsarbeiten in Fachzeitschriften der medizinischen Ausbildung, dass weniger als 7% der Publikationen patientenbezogene Ergebnisse berücksichtigten . Da das Hauptziel der medizinischen Ausbildung darin besteht, Ärzt*innen auszubilden, die eine qualitativ hochwertige Versorgung bieten, war dieses Defizit auffällig und führte zu Forderungen nach einer Forschungsagenda, die bildungsbezogene Interventionen im Hinblick auf ihre Auswirkungen auf die Gesundheit bewertet . In den letzten 25 Jahren hat dies ein wachsendes Interesse und die Nutzung klinischer Ergebnisse in der Bildungsforschung geschaffen. In diesem Kommentar werden wir die etablierten Informationsquellen über Patient*innenergebnisse beschreiben, Beispiele für ihre potenziellen Anwendungen in der Bildungsforschung aufzeigen und einige der Herausforderungen bei der Nutzung solcher Daten identifizieren.Die häufigste Quelle für Informationen zu Patient*innenergebnissen sind administrative Datenbanken. Obwohl sie hauptsächlich zu Abrechnungszwecken entwickelt wurden, enthalten sie inzwischen ausreichend Informationen, um als Grundlage für Bewertungen der Versorgungsqualität zu dienen. In einigen Ländern sind diese Informationen anonymisiert und für Forschungszwecke verfügbar. In der Bildungsforschung wurden solche Daten genutzt, um Themen wie den Zusammenhang zwischen Arbeitsstunden und Prüfungsleistungen bei der Zulassung sowie deren Auswirkungen auf Patient*innenergebnisse zu untersuchen , .Alternativ dazu haben Patient-Reported Outcome Measures (PROMs) in den letzten Jahren zunehmend in der medizinischen Forschung und Praxis an Wichtigkeit erhalten. PROMs sind Berichte über den Gesundheitszustand eines Patient*innen, die direkt vom Patient*innen stammen und Symptome, Lebensqualität, funktionalen Status und weitere Aspekte umfassen können. PROMs basieren dabei auf standardisierten Fragebögen, die Daten von Patient*innen erheben. Diese Instrumente sind darauf ausgelegt, die subjektiven und objektiven Erfahrungen der Patient*innen systematisch zu erfassen und zu quantifizieren. ExamplesIn the Europen context, large administrative databases are rarely available for research purposes. Hence, we will focus our examples on the potential uses of PROMs. Comparison of patient satisfaction with treatment by trainees versus experienced physicians A comparison of patient satisfaction and treatment outcomes between patients treated by students/residents under supervision and those treated by experienced physicians illustrates the utility of PROMs. Specifically, studies in interprofessional training wards (ITW) have shown that patient satisfaction in this setting is higher than in conventional wards in terms of interaction and communication with the same quality of care . While confidence in clinical decision-making skills is increased by participating in a training programme on an ITW, communication skills in particular do not appear to differ between students with and without experience on an ITW . The article by Scheffer et al. also shows that patients are positive about treatment by students, under supervision. Patients appreciate the extra time students have for patients, as well as their way of communicating and their empathy .Comparison of error rate by trainees versus experienced physiciansAnother area that illustrates the power of PROMs is an analysis of whether students and residents make more errors in the prescription of medication or diagnosis than experienced doctors, and importantly which errors these are. This provides useful information about any shortcomings in the curriculum. A good example is the study by Kalfsvel et al (2023), which investigated the effect of physician experience on the occurrence of prescribing errors .Exploring the effects of the introduction of a curriculum on patient-related outcomes (PROMs)Another potential area of application is investigation of the effects of incorporating PROMs into the clinical decision-making curricula of medical students. As PROMs have not yet been widely used in this setting, it might be important and pioneering work. Unfortunately, examinations in medical education often focus on easily measureable facts and not clinical reasoning. Oral examinations also tend to concentrate on quickly verifiable aspects of a subject, while aspects of presentation, joint decision-making, and patient welfare are neglected. A possible study design could compare two groups of student in the final phase of medical school. One group would receive specific learning situations with the use of PROMs, the other group without this use. At the end of medical school the clinical decision-making skills of both groups could be evaluated.Involvement of patients in medical educationIn addition to the integration of patient surveys, the scientific literature reflects the growing interest in the direct integration of patients and their assessments into medical training. Over the last ten years, an increasing number of publications have appeared on this topic. For example, a systematic review by Dijk et al. (2020) highlights the role of active patient involvement in undergraduate medical education . Moreau et al. (2021) conducted an international survey that investigated patient involvement in medical education research and produced positive results . A theoretical systematic review by Bennett-Weston et al. (2022) emphasised the importance of patient involvement in health and social care education .Challenges in using patient outcomesDespite their attractiveness, the use of patient outcomes face at least three challenges . First, research using these data has often focused on hospital-based care and/or procedures where the outcomes are relatively easy to define. However, large parts of practice occur in outpatient settings where chronic conditions predominate. In these settings, patient outcomes are more difficult to identify and they often unfold over relatively long periods of time. Second, patient outcomes are rarely the exclusive result of a health care provder’s intervention. The exact nature of the problems, as well as the severity of those illnesses, strongly influence the outcomes. Likewise, factor such as the patients’ resources as well as their ability and willingness to follow the care recommentions of the provider make a difference. Finally, care is typically provided in teams and this further diminshes the ability to attribute the results to individuals.Third, most of the work on outcomes has included sizeable numbers of providers and patients. This is needed to adjust for factors other than the providers that influence the consequences of care and to generate enough power to draw reasonable conclusions. BeispieleIm europäischen Kontext sind große administrative Datenbanken selten für Forschungszwecke verfügbar. Daher konzentrieren wir uns in unseren Beispielen auf die potenziellen Einsatzmöglichkeiten von PROMs.Vergleich der Patientenzufriedenheit mit der Behandlung durch Ärzt*innen in der Ausbildung im Vergleich zu erfahrenen Ärzt*innenEin Vergleich der Patient*innenzufriedenheit und Behandlungsergebnisse zwischen Patient*innen, die von Studierenden/Assistenzärzt*innen unter Aufsicht behandelt wurden, und denen, die von erfahrenen Ärzt*innen behandelt wurden, zeigt die Bedeutung von PROMs. Insbesondere Studien auf interprofessionellen Ausbildungsstationen (ITW) haben gezeigt, dass die Patient*innenzufriedenheit, hinsichtlich Interaktion und Kommunikation, in diesem Umfeld höher ist als auf herkömmlichen Stationen, bei gleicher Versorgungsqualität . Während das Vertrauen in klinische Entscheidungsfähigkeiten durch die Teilnahme an einem Ausbildungsprogramm auf einer ITW gesteigert wird, scheint es insbesondere bei den Kommunikationsfähigkeiten keine Unterschiede zwischen Studierenden mit und ohne Erfahrung auf einer ITW zu geben . Der Artikel von Scheffer et al. zeigt, dass Patienten die Behandlung durch Studierenden unter Aufsicht positiv bewerten. Patienten schätzen die zusätzliche Zeit, die Studierenden für sie haben, sowie deren Art der Kommunikation und Empathie .Vergleich der Fehlerquote zwischen Ärzt*innen in Ausbildung und erfahrenen Ärzt*innenEin weiteres Beispiel, das die Stärke von PROMs veranschaulicht, zeigt die Analyse, ob Studierende und Assistenzärzt*innen mehr Fehler bei der Verschreibung von Medikamenten oder der Diagnose machen als erfahrene Ärzt*innen und, was noch wichtiger ist, welche Fehler dies sind. Dies liefert nützliche Informationen über etwaige Schwächen im Curriculum. Ein gutes Beispiel ist die Studie von Kalfsvel et al. (2023), die den Einfluss der ärztlichen Erfahrung auf das Auftreten von Verschreibungsfehlern untersuchte .Untersuchung der Auswirkungen der Einführung eines Curriculums auf patient*innenbezogene Ergebnisse (PROMs)Ein weiteres potenzielles Anwendungsgebiet ist die Untersuchung der Auswirkungen der Integration von PROMs in das Curriculum für klinische Entscheidungsfindung bei Medizinstudierenden. Da PROMs in diesem Kontext noch nicht weit verbreitet sind, könnte dies eine wichtige und wegweisende Arbeit sein.Leider konzentrieren sich Prüfungen in der medizinischen Ausbildung oft auf messbare Fakten und nicht auf klinisches Denken. Mündliche Prüfungen tendieren ebenfalls dazu, sich auf schnell verifizierbare Aspekte eines Themas zu konzentrieren, während Aspekte der Präsentation, gemeinsamer Entscheidungsfindung und Patient*innennutzens vernachlässigt werden. Ein mögliches Studiendesign könnte zwei Gruppen von Studierenden in der Endphase des Medizinstudiums vergleichen. Eine Gruppe würde spezifische Lernsituationen mit dem Einsatz von PROMs erhalten, die andere Gruppe ohne diese Verwendung. Am Ende des Medizinstudiums könnten die klinischen Entscheidungsfähigkeiten beider Gruppen bewertet werden.Einbindung von Patient*innen in die medizinische AusbildungNeben der Integration von Patient*innenbefragungen spiegelt die wissenschaftliche Literatur das wachsende Interesse an der direkten Einbindung von Patient*innen und ihren Einschätzungen in die medizinische Ausbildung wider. In den letzten zehn Jahren ist eine zunehmende Zahl von Veröffentlichungen zu diesem Thema erschienen. Beispielsweise hebt eine systematische Übersichtsarbeit von Dijk et al. (2020) die Rolle der aktiven Patient*innenbeteiligung in der medizinischen Ausbildung im Bachelorstudium hervor . Moreau et al. (2021) führten eine internationale Umfrage durch, die die Patientenbeteiligung in der medizinischen Bildungsforschung untersuchte und positive Ergebnisse erzielte . Eine theoretische systematische Übersichtsarbeit von Bennett-Weston et al. (2022) betonte die Bedeutung der Patient*innenbeteiligung in der Gesundheits- und Sozialpflegeausbildung .Herausforderungen bei der Verwendung von Patient*innenergebnissenTrotz ihrer Attraktivität stehen der Verwendung von Patient*innenergebnissen mindestens drei Herausforderungen gegenüber . Erstens hat sich die Forschung mit diesen Daten oft auf Krankenhauspflege und/oder Verfahren konzentriert, bei denen die Ergebnisse relativ leicht zu definieren sind. Ein großer Teil der Praxis findet jedoch in ambulanten Einrichtungen statt, in denen chronische Erkrankungen vorherrschen. In diesen Kontexten sind Patient*innenergebnisse schwerer zu identifizieren und sie entfalten sich oft über längere Zeiträume.Zweitens sind Patient*innenergebnisse selten ausschließlich das Ergebnis der Intervention eines Gesundheitsdienstleisters. Die genaue Art der Probleme sowie die Schwere der Erkrankungen beeinflussen die Ergebnisse maßgeblich. Ebenso wirken sich Faktoren wie die Ressourcen der Patient*innen sowie ihre Fähigkeit und Bereitschaft, den Behandlungsempfehlungen zu folgen, auf die Erkrankung aus. Schließlich wird die Versorgung in der Regel im Team erbracht, was die Fähigkeit zur Zuordnung der Ergebnisse zu Einzelpersonen weiter erschwert.Drittens hat die Mehrheit der Arbeiten zu Ergebnissen eine beträchtliche Anzahl von Gesundheitsdienstleistenden und Patient*innen einbezogen. Dies ist notwendig, um Faktoren zu berücksichtigen, die nicht vom Anbieter abhängen und die die Auswirkungen der Versorgung beeinflussen, sowie genügend Power zu generieren, um vernünftige Schlussfolgerungen zu ziehen. ConclusionThe integration of Patient-Reported Outcome Measures (PROMs) into medical education offers a wide range of opportunities to improve the quality of training and patient care. PROMs make it possible to focus on the patient's perspective and thus improve the communication and decision-making skills of medical students. In addition, PROMs have the potential to directly involve patients and their opinions in medical training. Despite the limited data available to date, the growing number of research studies speaks to the interest and relevance of the topic. FazitDie Integration von Patient-Reported Outcome Measures (PROMs) in die medizinische Ausbildung bietet eine Vielzahl von Möglichkeiten, die Qualität der Ausbildung und der Patient*innenversorgung zu verbessern. PROMs ermöglichen es, den Blickwinkel des Patienten in den Vordergrund zu stellen und somit die Kommunikations- und Entscheidungsfähigkeiten von Medizinstudierenden zu fördern. Darüber hinaus haben PROMs das Potenzial, Patient*innen und ihre Meinungen direkt in die medizinische Ausbildung einzubeziehen. Trotz der bisher begrenzten verfügbaren Daten spricht die wachsende Zahl an Forschungsstudien für das Interesse und die Relevanz des Themas. Authors’ ORCIDsMarjo Wijnen-Meijer: [0000-0001-8401-5047]John Norcini: [0000-0002-8464-4115] ORCIDs der Autor*innenMarjo Wijnen-Meijer: [0000-0001-8401-5047]John Norcini: [0000-0002-8464-4115] Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autor*innen erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben. Prystowsky JB Bordage G An outcomes research perspective on medical education: the predominance of trainee assessment and satisfaction 2001;22 Med Educ 331-336 Prystowsky JB, Bordage G. An outcomes research perspective on medical education: the predominance of trainee assessment and satisfaction. Med Educ. 2001;22;35(4):331-336. DOI: 10.1046/j.1365-2923.2001.00910.x https://doi.org/10.1046/j.1365-2923.2001.00910.x Chen FM Bauchner H Burstin H A call for outcomes research in medical education 2004 Acad Med 955-960 Chen FM, Bauchner H, Burstin H. A call for outcomes research in medical education. Acad Med. 2004;79(10):955-960. DOI: 10.1097/00001888-200410000-00010 https://doi.org/10.1097/00001888-200410000-00010 Silber JH Bellini LM Shea JA Desai SV Dinges DF Basner M Even-Shoshan O Hill AS Hochman LL Katz JT Ross RN Shade DM Small DY Steinberg AL Tonascia J Volpp KG Asch DA iCOMPARE Research Group Patient safety outcomes under flexible and standard resident duty-hour rules 2019 N Engl J Med 905-914 Silber JH, Bellini LM, Shea JA, Desai SV, Dinges DF, Basner M, Even-Shoshan O, Hill AS, Hochman LL, Katz JT, Ross RN, Shade DM, Small DY, Steinberg AL, Tonascia J, Volpp KG, Asch DA; iCOMPARE Research Group. Patient safety outcomes under flexible and standard resident duty-hour rules. N Engl J Med. 2019;380(10):905-914. DOI: 10.1056/NEJMoa1810642 https://doi.org/10.1056/NEJMoa1810642 Norcini J Grabovsky I Barone MA Anderson MB Pandian RS Mechaber AJ The associations between United States medical licensing examination performance and outcomes of patient care 2024 Acad Med 325-330 Norcini J, Grabovsky I, Barone MA, Anderson MB, Pandian RS, Mechaber AJ. The associations between United States medical licensing examination performance and outcomes of patient care. Acad Med. 2024; 99(3):325-330. DOI: 10.1097/ACM.0000000000005480 https://doi.org/10.1097/ACM.0000000000005480 Schlosser-Hupf S Aichner E Meier M Albaladejo-Fuertes S Ruttmann K Rusch S Michels B Mehrl A Kunst C Schmid S Müller M Evaluating the impact of interprofessional training wards on patient satisfaction and clinical outcomes: A mixed-methods analysis 2024 Front Med Schlosser-Hupf S, Aichner E, Meier M, Albaladejo-Fuertes S, Ruttmann K, Rusch S, Michels B, Mehrl A, Kunst C, Schmid S, Müller M. Evaluating the impact of interprofessional training wards on patient satisfaction and clinical outcomes: A mixed-methods analysis. Front Med. 2024;11. DOI: 10.3389/fmed.2024.1320027 https://doi.org/10.3389/fmed.2024.1320027 Brätz J Bußenius L Brätz I Grahn H Prediger S Harendza S Assessment of final-year medical students' entrustable professional activities after education on an interprofessional training ward: A case-control study. Perspect 2022 Med Educ 266-272 Brätz J, Bußenius L, Brätz I, Grahn H, Prediger S, Harendza S. Assessment of final-year medical students' entrustable professional activities after education on an interprofessional training ward: A case-control study. Perspect. Med Educ. 2022;11(5):266-272. DOI: 10.1007/s40037-022-00720-0 https://doi.org/10.1007/s40037-022-00720-0 Scheffer C Edelhäuser F Tauschel D Riechmann M Tekian A Can final year medical students significantly contribute to patient care? A pilot study about the perception of patients and clinical staff 2010 Med Teach 552-557 Scheffer C, Edelhäuser F, Tauschel D, Riechmann M, Tekian A. Can final year medical students significantly contribute to patient care? A pilot study about the perception of patients and clinical staff. Med Teach. 2010;32(7):552-557. DOI: 10.3109/01421590903437170 https://doi.org/10.3109/01421590903437170 Kalfsvel L Wilkes S Van der Kuy H Van den Broek W Zaal R Van Rosse F Versmissen J Do junior doctors make more prescribing errors than experienced doctors when prescribing electronically using a computerized physician order entry system combined with a clinical decision support system? A cross-sectional study 2023 Eur J Hosp Farm ejhpharm-2023-003859 Kalfsvel L, Wilkes S, Van der Kuy H, Van den Broek W, Zaal R, Van Rosse F, Versmissen J. Do junior doctors make more prescribing errors than experienced doctors when prescribing electronically using a computerized physician order entry system combined with a clinical decision support system? A cross-sectional study. Eur J Hosp Farm. 2023:ejhpharm-2023-003859. DOI: 10.1136/ejhpharm-2023-003859 https://doi.org/10.1136/ejhpharm-2023-003859 Dijk SW Duijzer EJ Wienold M Role of active patient involvement in undergraduate medical education: A systematic review 2020 BMJ Open e037217 Dijk SW, Duijzer EJ, Wienold M. Role of active patient involvement in undergraduate medical education: A systematic review. BMJ Open. 2020;10(7):e037217. DOI: 10.1136/bmjopen-2020-037217 https://doi.org/10.1136/bmjopen-2020-037217 Moreau KA Eady K Heath SE Patient Involvement in Medical Education Research: Results From an International Survey of Medical Education Researchers 2021 J Patient Exp 2374373520981484 Moreau KA, Eady K, Heath SE. Patient Involvement in Medical Education Research: Results From an International Survey of Medical Education Researchers. J Patient Exp. 2021;8:2374373520981484. DOI: 10.1177/2374373520981484 https://doi.org/10.1177/2374373520981484 Bennett-Weston A Gay S Anderson ES A theoretical systematic review of patient involvement in health and social care education 2022 Adv Health Sci Educ Theory Pract 279-304 Bennett-Weston A, Gay S, Anderson ES. A theoretical systematic review of patient involvement in health and social care education. Adv Health Sci Educ Theory Pract. 2022;28(1):279-304. DOI: 10.1007/s10459-022-10137-3 https://doi.org/10.1007/s10459-022-10137-3 Norcini JJ Shea JA Comprehensive recertification and relicensure 1993 Educating professionals: Responding to new expectations for competence and accountability 78-103 Norcini JJ, Shea JA. Comprehensive recertification and relicensure. In: Wergin J, Curry L, editors. Educating professionals: Responding to new expectations for competence and accountability. San Francisco: Jossey-Bass; 1993. p.78-103. 0 0 0 0