zma001135 10.3205/zma001135 urn:nbn:de:0183-zma0011351 article Artikel Arbeitsbasierte Bewertung und Modell der Co-Produktion in der postgraduierten medizinischen Weiterbildung Holmboe Holmboe Eric S. ES MD

Accreditation Council for Graduate Medical Education, ILL 60611 Chicago, USAAccreditation Council for Graduate Medical Education, Chicago, USA

Akkreditierungsrat für die medizinische Weiterbildung, ILL 60611 Chicago, USAAkkreditierungsrat für die medizinische Weiterbildung, Chicago, USA

eholmboe@acgme.org author German Medical Science GMS Publishing House

Düsseldorf

610 competency-based medical education models Co-production of assessment programmatic assessment kompetenzbasierte medizinische Aus- und Weiterbildungsmodelle Konzept der Co-Produktion programmatische Prüfungs- und Bewertungskonzepte Assessment Prüfungen 20161109 20170315 20170509 20171115 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 2366-5017 34 5 GMS Journal for Medical Education GMS J Med Educ Postgraduate education/Weiterbildung 58 Prüfungen waren schon immer ein wesentlicher Bestandteil der postgraduierten medizinischen Weiterbildung und haben sich über viele Jahre vorwiegend auf verschiedene Prüfungsformen konzentriert. Durch die Prüfung medizinischen Wissens und neuerdings klinischer Fertigkeiten mit Hilfe von standardisierten Patienten können die Leistungen des Lernenden unter kontrollierten Bedingungen bewertet und eine gewisse Qualitätssicherung für die Öffentlichkeit gewährleistet werden. Anhaltende und wachsende Bedenken bezüglich der Versorgungsqualität und Patientensicherheit weltweit haben die Bedeutung und Notwendigkeit von besseren arbeitsbasierten Bewertungen erhöht. Effektiv durchgeführt können diese die Fähigkeit der Lernenden, eine sichere, wirksame und patientenorientierte Versorgung durchzuführen, verlässlicher erfassen. Außerdem befinden wir uns in einem Zeitalter der interprofessionellen medizinischen Versorgung, in der effektive Teamarbeit zwischen verschiedenen Gesundheitsberufen ganz im Vordergrund steht. Arbeitsbasierte Bewertungsmethoden sind in einer interprofessionellen Welt der Gesundheitsversorgung unverzichtbar.Um Lernende besser auf diese neuen Kompetenzen und die zunehmende Komplexität der Gesundheitsversorgung vorzubereiten, haben viele postgraduierte medizinische Weiterbildungssysteme weltweit Outcome-basierte Weiterbildungsmodelle aufgegriffen, die sich an kompetenzorientierten Rahmenstrukturen orientieren. Dieser Artikel bietet einen kurzen Überblick über Schlüsselmethoden der arbeitsbasierten Bewertung, wie etwa die direkte Beobachtung, Multisource-Feedback, Patientenerfahrungsumfragen und Leistungsbewertungen, die in einer kompetenzbasierten Weiterbildung erforderlich sind, in der klinischen und bildungsorientierten Ergebnissen (Outcomes) ein besonderer Wert zukommt. Allerdings wird das volle Potenzial arbeitsbasierter Bewertungen erst dann ausgeschöpft, wenn postgraduierte Lernende selbst eine aktive Rolle in ihrem Prüfungsprogramm übernehmen. Voraussetzung ist ein entscheidender Kulturwandel, der nur durch aktives Handeln und eine Verhaltensänderung eintreten kann. Das Modell der Co-Produktion bietet eine praktische und philosophische Herangehensweise, um postgraduierte Lernende für eine aktive und intrinsisch motivierte Partizipation an ihrer eigenen professionellen Entwicklung zu gewinnen, dadurch die Lernkultur zu verändern und zur Verbesserung eines programmatischen Prüfungskonzeptes für die postgraduierte Weiterbildung beizutragen. Assessment has always been an essential component of postgraduate medical education and for many years focused predominantly on various types of examinations. While examinations of medical knowledge and more recently of clinical skills with standardized patients can assess learner capability in controlled settings and provide a level of assurance for the public, persistent and growing concerns regarding quality of care and patient safety worldwide has raised the importance and need for better work-based assessments. Work-based assessments, when done effectively, can more authentically capture the abilities of learners to actually provide safe, effective, patient-centered care. Furthermore, we have entered the era of interprofessional care where effective teamwork among multiple health care professionals is now paramount. Work-based assessment methods are now essential in an interprofessional healthcare world.To better prepare learners for these newer competencies and the ever-growing complexity of healthcare, many post-graduate medical education systems across the globe have turned to outcomes-based models of education, codified through competency frameworks. This commentary provides a brief overview on key methods of work-based assessment such as direct observation, multisource feedback, patient experience surveys and performance measures that are needed in a competency-based world that places a premium on educational and clinical outcomes. However, the full potential of work-based assessments will only be realized if post-graduate learners play an active role in their own assessment program. This will require a substantial culture change, and culture change only occurs through actions and changed behaviors. Co-production offers a practical and philosophical approach to engaging postgraduate learners to be active, intrinsically motivated agents for their own professional development, help to change learning culture and contribute to improving programmatic assessment in post-graduate training. BackgroundAssessment has always been an essential aspect of learning across all health professions. Assessment of learning, or more specifically of knowledge, dominated medical education in the last century . Toward the latter quarter of the 20th century important advances were made in simulation to the point approaches such as the objective structured clinical examinations (OSCEs) became a core component of some national licensing processes . In 1990 George Miller published his now iconic assessment pyramid highlighting the levels of knows, knows how, shows how and does . Assessments such as knowledge examinations and OSCEs address the knows, knows how and shows how levels and have been important in assuring the public a minimal level of competence among health professionals.However, as the use of examinations and OSCEs expanded evidence of major problems and deficiencies were also emerging around the delivery of health care. Over the last 40 plus years multiple studies have demonstrated substantial issues in patient safety, medical errors, underuse of evidence-based therapies, lack of patient-centeredness and overuse of tests, procedures and therapies that have limited to no medical value , , , . For example, the Commonwealth Fund routinely publishes comparative data from multiple countries that show all heath systems have substantial room to improve . Recently, Makary and Daniel found medical errors may be the third leading cause of death in the United States .It was against this backdrop of quality and safety concerns that the outcomes-based education movement began to take hold in a number of countries , , , . Medical education began to shift from a process model (i.e. simply completing a course of instruction and experiential activities) to an outcomes model focused on determining what graduates can actually do when caring for patients and families. This trend became particularly evident in post-graduate training programs where the predominant form of learning is experiential by caring for patients and families. Educational outcomes in postgraduate training were subsequently codified as competencies , . A competency is simply an observable ability of a health professional, integrating multiple components such as knowledge, skills, values and attitudes . Competencies provide the framework for curricula and assessment to ensure health professional can perform the key clinical activities of their discipline.The rapidly increasing complexity of both basic medical and healthcare delivery sciences mandated a reexamination of what abilities were needed by professionals for modern and future practice. In the United States, specialty postgraduate training, called residencies, typically occurs after four years of college subsequently followed by four years of medical school. Residency education in the United States has been guided by six general, or domains of, competencies since 2001: patient care, medical knowledge, professionalism, interpersonal skills and communication, practice based learning and improvement and systems-based practice . The competencies of practice-based learning and improvement and systems-based practice were specifically created to target areas such as evidence-based practice and use of clinical decision support systems and resources, quality improvement, patient safety science, care coordination, interprofessional teamwork, effective use of health information technology and stewardship of resources. Greater attention was also directed toward communication skills such as shared and informed decision making, health literacy and numeracy. It became increasingly clear that traditional methods of assessment that targeted the knows, knows how and show how levels were insufficient to assess these critical new competencies and meet the needs of patients , . Furthermore, the consequences from decades of not adequately observing and assessing the core clinical skills of medical interviewing, physical examination, informed decision making and clinical reasoning have had a major negative impact on quality of care , . This was also part of George Miller’s message of the importance of the does level of the pyramid, determining what health professionals can actually do is the ultimate goal of education and assessment . Competencies have also been difficult to implement. Faculty often weight competencies idiosyncratically, too many assessment tools presumably designed for a competency-based approach are overly reductionist (e.g. a tick box exercise) and there has been a general lack of a programmatic approach to assessment , . Finally, culture and the factors that enable learner engagement are also beginning to emerge that will have a major impact on how learners embrace assessment as active participants , . These factors, among others, have led to the push for more and better work-based assessments. HintergrundPrüfungen kam schon immer eine elementare Bedeutung für das Lernen in allen Gesundheitsberufen zu. Die Überprüfung des Lernens, oder genauer des Wissens, dominierte die medizinische Aus- und Weiterbildung im letzten Jahrhundert . Im letzten Viertel des 20. Jahrhunderts wurden wichtige Fortschritte in der Simulation erzielt, die dazu beitrugen, dass Ansätze einer strukturierten praktischen Prüfung, wie „Objective Structured Clinical Examinations“ (OSCEs), ein zentraler Bestandteil einiger nationaler Zulassungsprozesse für Gesundheitsberufe wurden . 1990 publizierte George Miller seine Prüfungspyramide, die die Ebenen „weiß“, „weiß wie“, „zeigt wie“ und „macht“ (knows, knows how, shows how and does) abbildet und mittlerweile Kultcharakter besitzt . Prüfungsformate wie Kenntnisprüfungen und OSCEs adressieren die Ebenen „weiß“, „weiß wie“, und „zeigt wie“ und wurden bedeutsam, um für die Öffentlichkeit eine Mindestanforderung an Kompetenz unter Angehörigen der Gesundheitsberufe sicherzustellen.Mit zunehmendem Einsatz von Prüfungen und OSCEs wurden allerdings auch Hinweise auf ernsthafte Probleme und Mängel in der Gesundheitsversorgung evident. In den vergangenen vierzig Jahren haben zahlreiche Studien wesentliche Belange der Patientensicherheit, Behandlungsfehler, den fehlenden Einsatz evidenzbasierter Therapieformen, einen Mangel an Patientenzentrierung sowie einen übermäßigen Einsatz medizinischer Tests, Prozeduren und Therapien mit einem begrenzten oder fehlenden medizinischen Nutzen gezeigt , , , . Der Commonwealth Fond, zum Beispiel, veröffentlicht routinemäßig Vergleichsdaten aus verschiedenen Ländern, die zeigen, dass in allen Gesundheitssystemen beträchtliches Verbesserungspotenzial besteht . Kürzlich fanden Makary und Daniel heraus, dass Behandlungsfehler möglicherweise die dritthäufigste Todesursache in den Vereinigten Staaten darstellen .Vor dem Hintergrund dieser Qualitäts- uns Sicherheitsbelange begann die Bewegung der Outcome-basierten Ausbildung in einer Reihe von Ländern Fuß zu fassen , , , . Die medizinische Aus- und Weiterbildung durchlief einen Wandel von einem Prozessmodell (d.h. einfaches Absolvieren von Kursen mit Anteilen von Instruktion und erfahrungsbasiertem Lernen) hin zu einem Outcome-basierten Modell, das festlegt, was Absolventen tatsächlich im Kontext der Versorgung von Patienten und Angehörigen können sollen. Diese Entwicklung wurde besonders deutlich in postgraduierten Weiterbildungsprogrammen, wo das Erfahrungslernen durch die Betreuung von Patienten und deren Angehörigen die vorherrschende Lernform darstellt. Die Outcome-basierten Ziele der postgraduierten Weiterbildung wurden schließlich als Kompetenzen formuliert , . Eine Kompetenz ist dabei eine beobachtbare Fähigkeit, die mehrere Komponenten wie Wissen, Fähigkeiten und Fertigkeiten, Werte und Haltungen integriert . Kompetenzen bilden die Rahmenstruktur für Curricula und Prüfungen, die sicherstellt, dass Angehörige der Gesundheitsberufe die zentralen klinischen Aktivitäten und Handlungen ihrer Fachdisziplin ausführen können.Die rasch zunehmende Komplexität der medizinischen Grundlagenwissenschaften wie auch der Gesundheitsversorgung erforderte eine neuerliche Überprüfung, welche Fähigkeiten Ärzte und Gesundheitsfachpersonal für die moderne und zukünftige Praxis benötigen. In den Vereinigten Staaten findet die postgraduierte ärztliche Spezialisierung („Residency“ = Facharztweiterbildung) nach einem vierjährigen Collegestudium und weiteren vier Jahren Studium an einer medizinischen Hochschule statt. Seit 2001 orientiert sich die Facharztweiterbildung in den Vereinigten Staaten an sechs allgemeinen Kompetenzen und Kompetenzbereichen: Patientenversorgung, medizinische Kenntnisse, Professionalität, Fertigkeiten in zwischenmenschlichem Umgang und in der Kommunikation, praxisbasiertes Lernen und kontinuierliche Verbesserung sowie systembasierte Praxis . Die Kompetenzen praxisbasiertes Lernen und kontinuierliche Verbesserung sowie systembasierte Praxis wurden speziell definiert, um stärker auf Bereiche wie evidenzbasierte Praxis und Nutzung klinischer Entscheidungsunterstützungssysteme und -ressourcen, Qualitätsverbesserung, Patientensicherheit, Koordinierung der Versorgung, interprofessionelle Teamarbeit, wirksame Nutzung der Gesundheitsinformationstechnologie und Umgang mit Ressourcen abzuzielen. Größere Aufmerksamkeit wurde auch der Kommunikationsfähigkeit, etwa in den Bereichen fundierte partizipative Entscheidungsfindung und allgemeine Gesundheitskompetenz, gewidmet.Es wurde zunehmend deutlich, dass die traditionellen Prüfungsmethoden, die die Ebenen „weiß“, „weiß wie“ und „zeigt wie“ adressieren, nicht ausreichten, um diese wichtigen neuen Kompetenzen zu bewerten und den Bedürfnissen von Patienten gerecht zu werden , . Darüber hinaus hat das jahrzehntelange Vernachlässigen einer adäquaten Beobachtung und Bewertung klinischer Kernfähigkeiten, wie Anamneseerhebung, körperliche Untersuchung, fundierte klinische Entscheidungsfindung und klinisches Denken (Clinical Reasoning), eine erhebliche negative Auswirkung auf die Qualität der Gesundheitsversorgung hinterlassen , . Das war auch Teil von George Millers Botschaft, dass gerade der Ebene ‚macht‘ der Miller-Pyramide, eine besondere Wichtigkeit zukommt, indem sie das, was Angehörige der Gesundheitsberufe tatsächlich tun, als oberstes Ziel von Aus- und Weiterbildung und Prüfungen definieren .Kompetenzen als Kern von Aus- und Weiterbildung sind bisher schwierig zu implementieren. Fakultäten gewichten Kompetenzen häufig idiosynkratisch. Zu viele Prüfungsinstrumente, die vermutlich für einen kompetenzbasierten Ansatz konzipiert wurden, sind übermäßig reduktionistisch (z.B. Liste zum Abhaken), und bisher fehlte eine an Zielen orientierte Herangehensweise an ein Prüfungskonzept , . Schließlich treten auch neue kulturelle Aspekte und Faktoren hinzu, die die aktive Teilhabe von Lernenden an Prüfungen ermöglichen. Sie werden maßgeblich Einfluss nehmen auf die Art und Weise wie bereitwillig Lernende ihre Rolle als aktive Teilnehmer in Prüfungen annehmen , . Diese Faktoren haben unter anderen zu der Forderung nach mehr und besseren arbeitsbasierten Bewertungen geführt. Emergence of Work-based AssessmentWhile work-based assessments (WBAs) have been used for a long time, they have been, and in many cases still are, used poorly and ineffectively . One example is the faculty evaluation form typically completed at the end of a clinical experience or rotation. Multiple past studies show rating problems such as range restriction, halo and leniency effects accompanied by few to no narrative comments for feedback , . Much of the ratings were and are often still based on proxies such as case presentations and rounds away from the bedside with little direct observation of the learner with patients and families. This lack of effective assessment can also lead to the “failure to fail” phenomenon where residents are promoted despite possessing significant dyscompetencies that potentially leads to patient harm .However, the last 15 years has seen the emergence of a number of new work-based assessment tools and approaches (see figure 1 ). First, research on rater cognition have deepened our understanding on what affects faculty observations along with promising techniques to help faculty perform observation more effectively . For example, Kogan and colleagues found using interactive, conversational methods to deepen understanding of key clinical competencies, known as performance dimension and frame of reference training, can actually empower faculty in their observations of medical residents and may actually transfer to improving their own personal clinical skills . While much research and evaluation remains to be done, research is beginning to provide helpful guidance on how to better prepare faculty to assess through direct observation.Another important development is the use of construct-aligned scales, especially using entrustment type anchors involving either developmental stages and/or supervision. For example, Crossly and colleagues found using scales focused on the constructs of “developing clinical sophistication and independence, or ‘entrustability’” in three assessment tools for the United Kingdom Foundation program led to better reliability and higher satisfaction among the faculty using these tools . Weller and colleagues found similar effects in anesthesia training when using an entrustment supervision scale .Multisource feedback (MSF), including the increasing use of patient experience surveys, is another important development in work-based assessment . Feedback from peers, patients, families and other members of the healthcare team can be useful and powerful aids to professional development and is especially important in reconfigured healthcare delivery that recognizes the critical importance of interprofessional teamwork to deliver safe, effective patient-centered care. Another growing area is the use of patient reported outcome measures (PROMs) that specifically target functional outcomes for patients . For example, while avoiding deep venous thrombosis and infection is paramount in the peri-operative period after joint arthroplasty, the ultimate goal is to improve physical function. The Oxford hip and knee scales are examples of PROMs currently in use and can be useful adjuncts to a program of assessments . Entwicklung arbeitsbasierter Bewertungen (AbB)Obwohl arbeitsbasierte Bewertungen (AbB) seit langem genutzt werden, wurden sie häufig schlecht und nicht effektiv eingesetzt – und das ist auch heute in vielen Fällen noch so . Ein Beispiel dafür ist der Fakultätsbewertungsbogen, der typischerweise am Ende einer klinischen Erfahrung oder Rotation ausgefüllt wird. Zahlreiche frühere Studien belegen Probleme in der Beurteilung, wie Varianzeinschränkungen, Halo-Effekte und Mildefehler, die oft noch begleitet werden von wenigen bis gänzlich fehlenden Freitextkommentaren als Feedback , . Viele der Beurteilungen basieren immer noch auf Ersatzindikatoren, wie z.B. Fallpräsentationen und Visiten abseits vom Krankenbett, die wenig direkte Beobachtung der Interaktion des Lernenden mit Patienten und ihren Familien beinhalten. Dieser Mangel an effektiven Prüfungen kann auch zum „Failure-to-Fail“-Phänomen führen, wenn Assistenzärzte trotz patientengefährdender fehlender Kompetenzen gefördert werden . In den letzten 15 Jahren wurden allerdings eine Reihe neuer arbeitsbasierter Bewertungsinstrumente und -ansätze entwickelt (siehe Abbildung 1 ). Die Forschung zur Prüferkognition und -wahrnehmung hat zum einen unser Verständnis dafür vertieft, wodurch Beobachtungen von Fakultätsmitgliedern beeinflusst werden, und weiterhin einige vielversprechende Verfahren hervorgebracht, die effektivere Beobachtungen unterstützen . Kogan und Kollegen konnten zum Beispiel zeigen, dass die Verwendung von interaktiven, dialogorientierten Methoden zur Vertiefung des Verständnisses für klinische Kernkompetenzen, sog. Leistungsdimensions- und Bezugsrahmentraining, den Fakultätslehrkörper zu einer effektiveren Beobachtung von Weiterbildungsassistenten befähigen und sogar zu einer Verbesserung der eigenen klinischen Fähigkeiten und Fertigkeiten beitragen kann Obwohl noch viele wissenschaftliche Fragen offen sind, ergeben sich aus den bisherigen Forschungsdaten erste hilfreiche Ansätze, um den Fakultätslehrkörper besser auf Prüfungen durch direkte Beobachtung vorzubereiten.Eine weitere wichtige Entwicklung ist die Verwendung von Konstrukt-angepassten Skalen, welche insbesondere Anker für Entscheidungen des Anvertrauens nutzen, die sich entweder an Entwicklungsstadien und/oder am Ausmaß der notwendigen Supervision orientieren. Crossly und Kollegen stellten zum Beispiel fest, dass die Verwendung von Skalen, die sich auf die Konstrukte „Entwicklung von klinischer Erfahrenheit und Unabhängigkeit oder ‚Anvertraubarkeit‘“ in drei Bewertungsinstrumenten für das „United Kingdom Foundation Program“ (zweijähriges Weiterbildungsprogramm nach Abschluss des Humanmedizinstudiums) konzentrierten, zu höherer Reliabilität und Zufriedenheit bei den Nutzern führte . Weller und Kollegen fanden ähnliche Effekte in der Weiterbildung im Fach Anästhesiologie bei der Verwendung einer Supervisionsskala zur Beurteilung der Anvertraubarkeit .Multi-Source-Feedback (MSF) einschließlich der zunehmenden Verwendung von Patientenerfahrungsumfragen ist eine weitere wichtige Entwicklung im Bereich arbeitsbasierter Bewertungen . Peer-Feedback, sowie Feedback von Patienten, Angehörigen und anderen Mitgliedern des Behandlungsteams, können eine nützliche und bedeutsame Hilfe für die professionelle Entwicklung sein und sind besonders wichtig in einer neu gestalteten Gesundheitsversorgung, in der interprofessioneller Teamarbeit für eine sichere und effektive Patientenversorgung entscheidende Bedeutung beigemessen wird. Zunehmende Wichtigkeit erlangen auch „Patient-Reported-Outcome-Measures“ (PROMs = Ergebnisse aus Patientenbefragungen), die speziell auf subjektiv empfundene funktionelle Patientenergebnisse ausgerichtet sind . Während zum Beispiel die Vermeidung einer tiefen Venenthrombose und Infektion in der perioperativen Periode nach einer Gelenkendoprothetik vorrangig ist, bleibt das oberste Ziel, die Verbesserung der körperlichen Funktion. Die Oxford Hüft- und Knieskalen sind Beispiele für derzeit verwendete PROMs und können hilfreiche Ergänzungen zu einem Prüfungsprogramm sein . Performance Measures in Postgraduate EducationPerformance measures “are designed to measure systems of care and are derived from clinical or practice guidelines. Data that are defined into specific measurable elements provides an organization with a meter to measure the quality of its care.” . Performance measures typically fall into four main categories (see Table 1 ) , . In addition to patient experience measures, measurement and assessment of clinical performance is now an essential component of both quality assurance and improvement efforts and will need to increasingly find their way into health professions training. One method to assess clinical performance in addition to direct observation, patient surveys and MSF is review, or audit, of the medical record . Medical records serve a number of important functions: as an archive of important patient medical information for use by other healthcare providers and patients; as source of data to assess performance in practice such as chronic medical conditions (e.g. diabetes), post-operative care or prevention; monitoring of patient safety and complications; and documentation of diagnostic and therapeutic decisions. One can readily see how the medical record can be used for educational and assessment purposes , , , , . For health professions training programs, the first three types of measures are important to examine the relationships between the quality of care provided and educational outcomes and ensure the learning environment is performing optimally. For more advanced training programs, additional experience in balanced measures (“balanced scorecards”) may be useful. For the individual learner, process and outcome measures will usually be the most useful types of measures for assessment, feedback and continuous professional development.Practice reviews are an essential method in the evaluation of the competencies of Practice-based Learning and Improvement (PBLI) and Systems-based Practice (SBP) in the United States general competency framework and the Leader role in CanMEDS . These competencies require that residents be actively involved in monitoring their own clinical practice and improving the quality of care based on a systematic review of the care they provide. Practice review, using the medical record, can promote self-reflection and support self-regulated learning, important skills needed for life-long learning. The key message here is review of clinical performance is something that learners can potentially do as a self-directed activity. Leistungsmessungen in der postgraduierten WeiterbildungLeistungsmessungen „sind so gestaltet, dass Versorgungssysteme gemessen werden können; sie sind von klinischen oder Praxisleitlinien abgeleitet. Daten, die spezifisch messbare Elemente abbilden, ermöglichen Organisationen, ihre Betreuungsqualität zu messen.“ . Leistungsmessungen lassen sich typischerweise in vier Kategorien einteilen (siehe Tabelle 1 ) , . Neben Patientenerfahrungserhebungen ist die Messung und Bewertung der klinischen Leistung heute ein wesentlicher Bestandteil sowohl der Qualitätssicherung als auch der Verbesserungsbemühungen und sollte verstärkt in die Aus- und Weiterbildung in Gesundheitsberufen integriert werden. Eine Methode zur Bewertung der klinischen Leistung neben der direkten Beobachtung, Patientenbefragungen und MSF ist die Überprüfung von Krankenakten . Sie erfüllen verschiedene wichtige Funktionen: als Archiv für wichtige Patienteninformationen zur Nutzung durch andere Gesundheitsdienstleiter und Patienten; als Datenquelle, um die Leistung in der Praxis zu bewerten, wie etwa bei chronischen Erkrankungen (z.B. Diabetes), in der postoperativen Versorgung und Prävention; Überwachung von Patientensicherheit und Komplikationen; und Dokumentation von diagnostischen und therapeutischen Entscheidungen. Es ist leicht zu erkennen, wie Krankenakten für Bildungs- und Bewertungszwecke verwendet werden können , , , , .Die ersten drei Messkategorien sind für gesundheitsberufliche Weiterbildungsprogramme wichtig, um die Beziehung zwischen der gebotenen Versorgungsqualität und den Aus- und Weiterbildungszielen zu analysieren und sicherzustellen, dass die Lernumgebung optimal funktioniert. Für fortgeschrittene Weiterbildungsprogramme könnten zusätzliche Erfahrungen in ausgleichenden Messungen („Balanced Scorecards“) hilfreich sein. Für den individuellen Lernenden sind Prozess- und Ergebnismessungen am hilfreichsten für seine Bewertung, Feedback und kontinuierliche professionelle Entwicklung.In dem allgemeinen kompetenzbasierten Bezugssystem der Vereinigten Staaten sind Praxisbewertungen eine wesentliche Bewertungsmethode für die Kompetenzen des praxisorientierten Lernens und der ständigen Verbesserung (Practice-Based Learning and Improvement (PBLI)) sowie der systembasierten Praxis (Systems-Based Practice (SBP)) und spielen die führende Rolle in CanMEDS . Diese Kompetenzen verlangen, dass Assistenzärzte aktiv in das Monitoring ihrer eigenen klinischen Praxis eingebunden sind und die Qualität ihrer ärztlichen Versorgung auf Grund einer systematischen Überprüfung ihrer aktuellen Patientenversorgung verbessern. Die Verwendung von Krankenakten für die Praxisbewertung kann die Selbstreflektion fördern und die Autonomie des Lernenden unterstützen, beides wichtige Fertigkeiten für ein lebenslanges Lernen. Die Kernaussage ist, dass Lernende die Überprüfung der eigenen klinischen Leistung potenziell selbstbestimmt durchführen können. New Concepts to Guide AssessmentsWhile the above work-based assessments are improving and being increasingly used, training programs have struggled to synthesize and integrate all this assessment data into judgments about learner progress. Four major developments have occurred as attempts to guide both curriculum and assessment (see figure 2 ). The first newer concept is entrustable professional activities (EPAs) , , . As defined by ten Cate, an EPA “can be defined as a unit of professional practice that can be fully entrusted to a trainee, as soon as he or she has demonstrated the necessary competence to execute this activity unsupervised.” , , . The second new concept is the use of milestones to describe developmental stages of individual competencies in narrative terms , . EPAs describe the actual activities health professionals do while milestones describe the abilities needed by the individual to effectively execute the activity (i.e. EPA). EPAs and competencies, described by milestones narratives, can be nicely combined to richly define an educational trajectory and guide what assessments are needed to determine learner progression . The third major development has been the push for programmatic assessment that can effectively integrate multiple assessments into decisions and judgments and that uses group process to make judgments on progress , . The combination of EPAs, milestones and programmatic assessment all provide useful frameworks and approaches to enhance the development and effective use of work-based assessments. While not necessarily a new concept, portfolios are growing in importance as an effective way to facilitate and manage programmatic assessment and track developmental progression through EPAs and milestones . Portfolios can also enhance learner engagement. However, while advances in work-based assessment methods and concepts have helped to move outcomes-based education forward, insufficient attention has been directed toward the role of the learner in assessment. Neue Konzepte als Leitlinie für BewertungenWährend die beschriebenen arbeitsbasierten Bewertungsmethoden sich ständig verbessern und zunehmend eingesetzt werden, haben Weiterbildungsprogramme sich darum bemüht, all diese Bewertungsdaten zusammenzuführen und sie in die Beurteilungen des Fortschritts der Weiterzubildenden einzubinden. Vier wesentliche Entwicklungen haben sich als Grundlage für die Gestaltung sowohl des Curriculums als auch der Prüfungskonzepte herausgebildet (siehe Abbildung 2 ). Das erste neuere Konzept ist das der „Anvertraubaren professionellen Tätigkeiten“ (APTs) , , . Wie von ten Cate definiert, kann eine APT als „eine Einheit der beruflichen Tätigkeit beschrieben werden, die gänzlich einer/m Weiterzubildenden anvertraut werden kann, sobald er oder sie die nötigen Kompetenzen nachgewiesen hat, um diese Tätigkeit unbeaufsichtigt auszuführen.“ , , . Das zweite neue Konzept ist die Verwendung von Meilensteinen, um die Entwicklungsstadien individueller Kompetenzen beschreibend darzustellen , . APTs beschreiben die tatsächlichen Tätigkeiten des Gesundheitspersonals, während Meilensteine die Fähigkeiten des Weiterzubildenden beschreiben, um die professionelle Tätigkeit effektiv auszuführen (z.B. APT). APTs und durch Meilensteine beschriebene Kompetenzen können bestens kombiniert werden, um den Verlauf einer Weiterbildung zu definieren und festzulegen, welche Prüfungen und Bewertungen notwendig sind, um den Lernfortschritt zu bestimmen . Die dritte bedeutsame Entwicklung ist die Bemühung um ein programmatisches Prüfungs- und Bewertungskonzept, das mehrfache Bewertungen effektiv in Entscheidungen und Beurteilungen einbindet und einen Gruppenprozess nutzt, um den Lern- und Trainingsfortschritt zu bewerten , . Die Kombination von APTs, Meilensteinen und einem programmatischen Prüfungskonzept liefert nützliche Rahmenstrukturen und Ansätze, um die Entwicklung und effektive Nutzung arbeitsbasierter Bewertungen zu verbessern. Portfolios, die nicht unbedingt ein neues Konzept darstellen, finden zunehmend Anwendung als ein effektives Mittel, um die programmatische Bewertung zu ermöglichen und zu verwalten, sowie die individuellen Weiterbildungsfortschritte durch ATPs und Meilensteine zu verfolgen . Portfolios können auch den individuellen Einsatz des Lernenden fördern. Allerdings wurde bisher trotz der Fortschritte im Bereich arbeitsbasierter Bewertungsmethoden und -konzepte, die geholfen haben die Outcome-basierte Aus- und Weiterbildung voranzutreiben, der Rolle des/der Lernenden in Prüfungen und Bewertungen zu wenig Aufmerksamkeit gewidmet. Activating the Learner through Co-productionIn order to achieve mastery in practice, learners need specific skills in reflection and mindful practice, self-regulated learning and informed self-assessment. Reflection on practice involves a thoughtful and deliberate review of one’s past performance (e.g. a medical record review or MSF), and is often best done in conversation with a trusted peer or advisor. This is where work-based assessment can be particularly helpful as it represents authentic work and can be reviewed in a continuous and longitudinal manner.Self-regulated learning requires that learners set specific goals, develop strategic plans, self-monitor and self-assess as they participate in their education. Self-regulated learning thereby engages learners in the three essential elements of forethought, actual performance and subsequent self-reflection . Self-regulated learning also requires awareness of the educational context and recognition that how the learner responds to and actually influences that context will affect the impact of their assessments (49). Self-regulated learning also requires substantial intrinsic motivation , . If intrinsic motivation is not a major driver for the learner, it is less likely assessment will have the intended effects. Learners should not rely on extrinsic motivators (e.g. rewards or penalties) as a successful career strategy. Incorporating the key tenets of self-regulated learning into plans is both logical and supported by educational theory .Informed self-assessment requires that learners proactively seek out assessment from faculty and members of the healthcare team, perform aspects of their own assessment such as clinical performance reviews or evidence-based practice and actively engage their assessment data for professional development as part of their own accountability , . In other words, learners need to be producers of their own learning and assessment in collaboration and partnership with faculty and the program. This is where the concept of “co-production” can be helpful in realizing the promise of outcomes-based education. Aktivierung der Lernenden durch Co-ProduktionUm ein hohes Maß an Können und Überlegenheit in der Praxis zu erreichen, benötigen Lernende spezifische Fähigkeiten zu Reflexion und achtsamer Praxis, zu selbstgesteuertem Lernen und fundierter Selbsteinschätzung. Die Reflexion eigenen Praxis erfordert eine bewusste und umsichtige Überprüfung der eigenen bisherigen Leistungen (z.B. Überprüfung von Krankenakten oder MSF) und ist oft im Gespräch mit einem vertrauten Peer oder Berater am besten umzusetzen. Hier kann die arbeitsbasierte Bewertung besonders hilfreich sein, da ein klarer Bezug zur authentische Arbeit im klinischen Kontext besteht, die so kontinuierlich und longitudinal bewertet werden kann.Selbstgesteuertes Lernen setzt voraus, dass Lernende sich während ihrer Weiterbildung spezifische Ziele setzen, strategische Pläne entwickeln, sich selbst überwachen und beurteilen. Auf diese Weise sind Lernende in den drei wesentlichen Elementen Voraussicht, eigentliche Leistung und anschließende Selbstreflexion eingebunden . Das selbstgesteuerte Lernen erfordert auch ein Verständnis für den Weiterbildungskontext und die Erkenntnis, dass die eigene Reaktion und Einflussnahme auf die Lernumgebung ihrerseits Auswirkungen auf die Wirksamkeit der Bewertungen hat . Das selbstregulierte Lernen erfordert auch eine erhebliche intrinsische Motivation , . Wenn die intrinsische Motivation nicht wesentlicher Motor für die Lernende oder den Lernenden ist, ist es weniger wahrscheinlich, dass die Bewertung die beabsichtigte Wirkung haben wird. Lernende sollten sich nicht auf extrinsische Motivatoren (z.B. Belohnungen oder Sanktionen) als erfolgreiche Karrierestrategie verlassen. Das Einbinden der zentralen Aspekte des selbstgesteuerten Lernens in die eigenen Pläne erscheint logisch und wird auch durch die Bildungstheorie unterstützt .Die fundierte Selbstbewertung verlangt, dass Lernende die Bewertung durch Fakultätsmitglieder und Mitglieder des Gesundheitsfachpersonals proaktiv einholen, einige ihrer Leistungen, wie klinische Leistungsüberprüfungen oder die Umsetzung evidenzbasierter Versorgung, selbst durchführen und ihre Bewertungsdaten aktiv und eigenverantwortlich in ihre berufliche Weiterentwicklung einbinden , . Mit anderen Worten müssen Lernende Regisseure ihres eigenen Lernprozesses und ihrer Bewertung in Zusammenarbeit und Partnerschaft mit Fakultätsmitgliedern und dem Weiterbildungsprogramm sein. Hier kann die Idee der „Co-Produktion“ bei der Verwirklichung einer Outcome-basierten Weiterbildung hilfreich sein. Co-production and Work-based AssessmentThe concept of co-production was originally developed in the context of public services and can be defined as “delivering public services in an equal and reciprocal relationship between professionals, people using services, their families and their neighbours. Where activities are co-produced in this way, both services and neighbourhoods become far more effective agents of change.” . More recently Batalden and colleagues expanded this concept for healthcare that has important implications for medical education. They defined co-production as the “interdependent work of users and professionals to design, create, develop, deliver, assess and improve the relationships and actions that contribute to the health of individuals and populations.” . In their model, professionals and patients co-produce health and healthcare through civil discourse, co-planning and co-execution within the context of supportive institutions and the larger healthcare system.It is not long reach to see how co-production can be applied within medical education and work-based assessment. Work-based assessment through a co-production lens could be defined as the “interdependent work of learners, faculty, health professionals and patients to design, create, develop, deliver, assess and improve the relationships and activities that contribute to the effective assessment and professional development of learners.” . Combining the key principles of self-regulated learning, informed self-assessment and co-production makes it clear that learners must be “active agents” in their own assessment program. Activated learners should be empowered to ask for direct observation, feedback and coaching. Activated learners also must perform some of their own assessment such as progress testing, review of their own clinical practice, pursuit and documentation of seeking answers to clinical questions through effective evidence-based practice, seeking feedback from patients and members of interprofessional care teams and developing and executing individual learning plans. Empowering residents to seek and co-produce part of their assessments is undergirded by the tenets of self-determination theory (SDT) that posits humans possess three innate psychological needs for competence, autonomy and relatedness . Equally important, SDT provides insight into how residents can internalize regulation of behavior such as assessment that has often been purely driven by faculty and the program, or in other words, more external motivators. The ultimate goal to help the resident develop autonomous, self-determined activity in assessment (54). For medicine, this will require a substantial culture change, and culture change only occurs through actions and changed behaviors. Co-Produktion und arbeitsbasierte BewertungDas Konzept der Co-Produktion wurde ursprünglich im Kontext öffentlicher Dienstleistungen entwickelt und kann definiert werden als „die Bereitstellung von öffentlichen Dienstleistungen in einem gleichberechtigten und gegenseitigen Verhältnis zwischen Experten, Dienstleistungsnutzern, ihrer Familien und Nachbarn. Dort wo Aktivitäten auf diese Weise gemeinsam produziert und gestaltet werden, werden Dienstleister und Dienstleistungsnutzer zu effektiveren Protagonisten von Veränderung.“ . Neuerdings haben Batalden und Kollegen dieses Konzept auf die Gesundheitsversorgung übertragen, was wichtige Auswirkungen auf die medizinische Weiterbildung hat. Sie definierten Co-Produktion als die „ineinandergreifende Arbeit von Nutzern und Experten, um die Beziehungen und Handlungen zu gestalten, zu entwickeln, zu bewerten und zu verbessern, die zur Gesundheit von Individuen und Bevölkerungsgruppen beitragen.“ . Nach ihrem Modell gestalten Experten und Patienten Gesundheit und die Gesundheitsversorgung gemeinsam durch den gesellschaftlichen Diskurs und die gemeinsame Planung und Durchführung im Kontext von unterstützenden Institutionen und dem gesamten Gesundheitssystem.Es fällt nicht schwer zu erkennen, wie das Konzept der Co-Produktion in der medizinischen Weiterbildung und arbeitsbasierten Bewertung angewendet werden kann. Die arbeitsbasierte Bewertung aus Sicht der Co-Produktion könnte definiert werden als „die ineinandergreifende Arbeit von Lernenden, Fakultätslehrkörper, Gesundheitsexperten und Patienten, um die Beziehungen und Aktivitäten zu gestalten, zu entwickeln, zu bewerten und zu verbessern, die zur effektiven Bewertung und professionellen Entwicklung von Lernenden beitragen.“ . Die Verbindung der Grundprinzipien des selbstregulierten Lernens, der fundierten Selbstbewertung und der Co-Produktion macht deutlich, dass Lernende sich an ihrem eigenen Prüfungs- und Bewertungsprogramm „aktiv beteiligen“ müssen.Aktivierte Lernende sollten fähig sein, direkte Beobachtung, Feedback und Coaching einzufordern. Aktivierte Lernende müssen auch zum Teil ihre eigenen Bewertungen vornehmen, wie z.B. die Prüfung ihres eigenen Fortschritts durch Progress Tests, die Überprüfung ihrer eigenen klinischen Praxis, die Dokumentation von Antworten auf klinische Fragen durch effektives evidenzbasiertes Vorgehen, das Einholen von Feedback von Patienten und Mitgliedern des interprofessionellen Gesundheitsfachpersonals und die Erstellung und Umsetzung individueller Lernpläne. Weiterbildungsassistenten zu befähigen, ihre eigenen Bewertungen mit zu gestalten und aktiv einzuholen, wird durch die Prinzipien der Selbstbestimmungstheorie (Self-Determination-Theory (SDT)) gestärkt, die postuliert, dass Menschen drei angeborene psychologische Bedürfnisse besitzen, nämlich nach Kompetenz, Autonomie und Verbundenheit . Ebenso wichtig ist, dass SDT einen Einblick liefert, wie Weiterbildungsassistenten die Regulierung von Verhalten durch externe Motivatoren verinnerlichen können – z.B. Bewertungen, die oft ausschließlich vom Fakultätslehrkörper und dem Weiterbildungsprogramm gesteuert wurden. Das oberste Ziel ist es, dem Weiterbildungsassistenten zu helfen, eine eigenständige und eigenverantwortliche Rolle in seinen eigenen Leistungsbewertungen zu entwickeln. (54) Für die Medizin bedeutet dies, dass ein wesentlicher Kulturwandel erforderlich ist, der nur durch Handlungen und geänderte Verhaltensweisen herbeigeführt werden kann. ConclusionWith the rise of competency-based medical education has come a greater need for effective work-based assessments that can guide professional development and help improve entrustment decision making. EPAs, milestones and programmatic assessment can help to guide the appropriate choice and development of work-based assessments to determine meaningful educational outcomes. Finally, and perhaps most importantly, learners across the educational continuum must become active agents in their program of assessment if we are to realize the full promise of competency-based medical education models. This will require a substantial culture change, and culture change only occurs through actions and changed behaviors. Co-production of assessment by learners with faculty, training programs and patients provides a useful conceptual path to change assessment culture and move competency-based medical education forward. SchlussfolgerungMit der zunehmenden Bedeutung der kompetenzbasierten medizinischen Weiterbildung ist ein größerer Bedarf an effektiven arbeitsbasierten Bewertungen entstanden, die die professionelle Entwicklung steuern und Entscheidungen zur Verantwortungsübergabe verbessern können. APTs, Meilensteine und programmatische Prüfungs- und Bewertungskonzepte können dazu beitragen, geeignete arbeitsbasierte Prüfungs- und Bewertungsmethoden zu wählen und zu entwickeln, um sinnvolle Weiterbildungsergebnisse abzubilden. Schließlich erscheint es mit am wichtigsten, dass Lernende entlang der gesamten Aus- und Weiterbildung aktiv in ihre Prüfungs- und Bewertungsprogramme eingebunden sein müssen, wenn wir das volle Potenzial der kompetenzbasierten medizinischen Aus- und Weiterbildungsmodelle ausschöpfen wollen. Dies wird eine wesentliche Kulturveränderung erfordern, und eine Kulturveränderung kann nur durch Aktivitäten und veränderte Verhaltensweisen stattfinden. Die Co-Produktion von Prüfungen und Leistungsbewertungen gemeinsam durch Lernende und Fakultätsmitglieder, Weiterbildungsprogramme und Patienten bietet einen nützlichen konzeptionellen Weg, um die Prüfungs- und Bewertungskultur zu verändern und die kompetenzbasierte medizinische Weiterbildung voranzubringen. Competing interestsDr. Holmboe works for the Accreditation Council for Graduate Medical Education and receives royalties for a textbook on assessment from Mosby-Elsevier. InteressenkonfliktDr. Holmboe arbeitet für den Akkreditierungsrat für die medizinische Weiterbildung und erhält Lizenzgebühren für ein Lehrbuch zu Prüfungen von Mosby-Elsevier. Cooke M Irby DM O'Brien BC 2010 Educating Physicians. A call for Reform of Medical School and Residency Cooke M, Irby DM, O'Brien BC. Educating Physicians. A call for Reform of Medical School and Residency. San Francisco: Jossey-Bass; 2010. Swanson DB Roberts TE Trends in national licensing examinations in medicine 2016 Med Educ 101-114 Swanson DB, Roberts TE. Trends in national licensing examinations in medicine. Med Educ. 2016;50(1):101-114. DOI: 10.1111/medu.12810 http://dx.doi.org/10.1111/medu.12810 Miller G The assessment of clinical skills/competence/performance 1990 Acad Med S63-67 Miller G. The assessment of clinical skills/competence/performance. Acad Med. 1990;65(9 Suppl):S63-67. DOI: 10.1097/00001888-199009000-00045 http://dx.doi.org/10.1097/00001888-199009000-00045 National Academy of Health Sciences Institute of Medicine 1999 To Err is Human: Building a Safer Health System National Academy of Health Sciences, Institute of Medicine. To Err is Human: Building a Safer Health System. Washington, DC: National Academy of Health Sciences, Institut of Medicine; 1999. National Patient Safety Foundation 2016 Free from Harm: Accelerating Patient Safety Improvement Fifteen Years after To Err Is Human National Patient Safety Foundation. Free from Harm: Accelerating Patient Safety Improvement Fifteen Years after To Err Is Human. Boston: National Patient Safety Foundation; 2016. Zugänglich unter/available from http://www.npsf.org/?page=freefromharm http://www.npsf.org/?page=freefromharm Institute of Medicine 2001 Crossing the Quality Chasm Institute of Medicine. Crossing the Quality Chasm. Washington, DC: National Academy Press; 2001. Berwick DM Nolan TW Whittington L The triple aim: care, health cost 2008 Health Aff (Millwood) 759-769 Berwick DM, Nolan TW, Whittington L. The triple aim: care, health cost. Health Aff (Millwood). 2008;27(3):759-769. DOI: 10.1377/hlthaff.27.3.759 http://dx.doi.org/10.1377/hlthaff.27.3.759 Mossialos E Wenzl M Osborn R Anderson C 2015 International Profiles of Health Care Systems, 2014 Mossialos E, Wenzl M, Osborn R, Anderson C. International Profiles of Health Care Systems, 2014. Australia, Canada, Denmark, England, France, Germany, Italy, Japan, The Netherlands, New Zealand, Norway, Singapore, Sweden, Switzerland, and the United States. New York: The Commonwealth Fund; 2015. Zugänglich unter/available from: http://www.commonwealthfund.org/publications/fund-reports/2015/jan/international-profiles-2014 http://www.commonwealthfund.org/publications/fund-reports/2015/jan/international-profiles-2014 Makary MA Daniel M Medical error – the third leading cause of death in the US 2016 BMJ i2139 Makary MA, Daniel M. Medical error – the third leading cause of death in the US. BMJ. 2016;353:i2139. DOI: 10.1136/bmj.i2139 http://dx.doi.org/10.1136/bmj.i2139 Frenk J Chen L Bhutta ZA Cohen J Crisp N Evans T Fineberg H Garcia P Ke Y Kelly P Kistnasamy B Meleis A Naylor D Pablos-Mendez A Reddy S Scrimshaw S Sepulveda J Serwadda D Zurayk H Health professionals for a new century: transforming education to strengthen health systems in an interdependent world 2010 Lancet 1923-1958 Frenk J, Chen L, Bhutta ZA, Cohen J, Crisp N, Evans T, Fineberg H, Garcia P, Ke Y, Kelly P, Kistnasamy B, Meleis A, Naylor D, Pablos-Mendez A, Reddy S, Scrimshaw S, Sepulveda J, Serwadda D, Zurayk H. Health professionals for a new century: transforming education to strengthen health systems in an interdependent world. Lancet. 2010;376(9756):1923-1958. DOI: 10.1016/S0140-6736(10)61854-5 http://dx.doi.org/10.1016/S0140-6736(10)61854-5 Harden RM Crosby JR and Davis M An introduction to outcome-based education 1999 Med Teach 7-14 Harden RM, Crosby JR and Davis M. An introduction to outcome-based education. Med Teach. 1999;21(1):7-14. DOI: 10.1080/01421599979969 http://dx.doi.org/10.1080/01421599979969 Frank JR Jabbour M Tugwell P The Societal Needs Working Group Skills for the new millennium: Report of the societal needs working group, CanMEDS 2000 Project 1996 Ann R Coll Phys Surg Can 206-216 Frank JR, Jabbour M, Tugwell P; The Societal Needs Working Group. Skills for the new millennium: Report of the societal needs working group, CanMEDS 2000 Project. Ann R Coll Phys Surg Can. 1996;29:206-216. Batalden P Leach D Swing S Dreyfus H Dreyfus S General competencies and accreditation in graduate medical education 200 Health Aff (Millwood) 103-111 Batalden P, Leach D, Swing S, Dreyfus H, Dreyfus S. General competencies and accreditation in graduate medical education. Health Aff (Millwood). 200;21(5):103-111. Frank JR Mungroo R Ahmad Y Wang M De Rossi S Horsley T Toward a definition of competency-based education in medicine: a systematic review of published definitions 2010 Med Teach 631-637 Frank JR, Mungroo R, Ahmad Y, Wang M, De Rossi S, Horsley T. Toward a definition of competency-based education in medicine: a systematic review of published definitions. Med Teach. 2010;32(8):631-637. DOI: 10.3109/0142159X.2010.500898 http://dx.doi.org/10.3109/0142159X.2010.500898 Rethans JJ Norcini JJ Barón-Maldonado M Blackmore D Jolly BC LaDuca T Lew S Page G Southgate LH The relationship between competence and performance: implications for assessing practice performance 2002 Med Educ 901-909 Rethans JJ, Norcini JJ, Barón-Maldonado M, Blackmore D, Jolly BC, LaDuca T, Lew S, Page G, Southgate LH. The relationship between competence and performance: implications for assessing practice performance. Med Educ. 2002;36(10):901-909. DOI: 10.1046/j.1365-2923.2002.01316.x http://dx.doi.org/10.1046/j.1365-2923.2002.01316.x Kogan JR Holmboe E Realizing the promise and importance of performance-based assessment 2013 Teach Learn Med S68-74 Kogan JR, Holmboe E. Realizing the promise and importance of performance-based assessment. Teach Learn Med. 2013;25(Suppl 1):S68-74. DOI: 10.1080/10401334.2013.842912 http://dx.doi.org/10.1080/10401334.2013.842912 Holmboe ES Faculty and the observation of trainees' clinical skills: problems and opportunities 2004 Acad Med 16-22 Holmboe ES. Faculty and the observation of trainees' clinical skills: problems and opportunities. Acad Med. 2004;79(1):16-22. DOI: 10.1097/00001888-200401000-00006 http://dx.doi.org/10.1097/00001888-200401000-00006 Kogan JR Conforti LN Iobst WF Holmboe ES Reconceptualizing variable rater assessments as both an educational and clinical care problem 2014 Acad Med 721-727 Kogan JR, Conforti LN, Iobst WF, Holmboe ES. Reconceptualizing variable rater assessments as both an educational and clinical care problem. Acad Med. 2014;89(5):721-727. DOI: 10.1097/ACM.0000000000000221 http://dx.doi.org/10.1097/ACM.0000000000000221 Ginsburg S McIlroy J Oulanova O Eva K Regehr G Toward authentic clinical evaluation: pitfalls in the pursuit of competency 2010 Acad Med 780-786 Ginsburg S, McIlroy J, Oulanova O, Eva K, Regehr G. Toward authentic clinical evaluation: pitfalls in the pursuit of competency. Acad Med. 2010;85(5):780-786. DOI: 10.1097/ACM.0b013e3181d73fb6 http://dx.doi.org/10.1097/ACM.0b013e3181d73fb6 Van der Vleuten CP Revisiting 'assessing professional competence: from methods to programmes' 2016 Med Educ 885-888 Van der Vleuten CP. Revisiting 'assessing professional competence: from methods to programmes'. Med Educ. 2016;50(9):885-888. DOI: 10.1111/medu.12632 http://dx.doi.org/10.1111/medu.12632 Iblher P Hofmann M Zupanic M Breuer G What motivates young physicians? – a qualitative analysis of the learning climate in specialist medical training 2015 BMC Med Educ 176 Iblher P, Hofmann M, Zupanic M, Breuer G. What motivates young physicians? – a qualitative analysis of the learning climate in specialist medical training. BMC Med Educ. 2015;15:176. DOI: 10.1186/s12909-015-0461-8 http://dx.doi.org/10.1186/s12909-015-0461-8 Heeneman S Oudkerk Pool A Schuwirth LW van der Vleuten CP Driessen EW The impact of programmatic assessment on student learning: theory versus practice 2015 Med Educ 487-498 Heeneman S, Oudkerk Pool A, Schuwirth LW, van der Vleuten CP, Driessen EW. The impact of programmatic assessment on student learning: theory versus practice. Med Educ. 2015;49(5):487-498. DOI: 10.1111/medu.12645 http://dx.doi.org/10.1111/medu.12645 Pangaro LN Durning S Holmboe ES Rating scales Practical Guide to the Evaluation of Clinical Competence Pangaro LN, Durning S, Holmboe ES. Rating scales. In: Practical Guide to the Evaluation of Clinical Competence. 2nd edition. Philadelphia: Mosby-Elsevier. In press. Albanese M Rating educational quality: factors in the erosion of professional standards 1999 Acad Med 652-658 Albanese M. Rating educational quality: factors in the erosion of professional standards. Acad Med. 1999;74(6):652-658. DOI: 10.1097/00001888-199906000-00009 http://dx.doi.org/10.1097/00001888-199906000-00009 Gingerich A Kogan J Yeates P Govaerts M Holmboe E Seeing the 'black box' differently: assessor cognition from three research perspectives 2014 Med Educ 1055-1068 Gingerich A, Kogan J, Yeates P, Govaerts M, Holmboe E. Seeing the 'black box' differently: assessor cognition from three research perspectives. Med Educ. 2014;48(11):1055-1068. DOI: 10.1111/medu.12546 http://dx.doi.org/10.1111/medu.12546 Kogan JR Conforti LN Bernabeo E Iobst W Holmboe E How faculty members experience workplace-based assessment rater training: a qualitative study 2015 Med Educ 692-708 Kogan JR, Conforti LN, Bernabeo E, Iobst W, Holmboe E. How faculty members experience workplace-based assessment rater training: a qualitative study. Med Educ. 2015;49(7):692-708. DOI: 10.1111/medu.12733 http://dx.doi.org/10.1111/medu.12733 Crossley J Johnson G Booth J Wade W Good questions, good answers: construct alignment improves the performance of workplace-based assessment scales 2011 Med Educ 560-569 Crossley J, Johnson G, Booth J, Wade W. Good questions, good answers: construct alignment improves the performance of workplace-based assessment scales. Med Educ. 2011;45(6):560-569. DOI: 10.1111/j.1365-2923.2010.03913.x http://dx.doi.org/10.1111/j.1365-2923.2010.03913.x Weller JM Misur M Nicolson S Morris J Ure S Crossley J Jolly B Can I leave the theatre? A key to more reliable workplace-based assessment 2014 Br J Anaesth 1083-1091 Weller JM, Misur M, Nicolson S, Morris J, Ure S, Crossley J, Jolly B. Can I leave the theatre? A key to more reliable workplace-based assessment. Br J Anaesth. 2014;112(6):1083-1091. DOI: 10.1093/bja/aeu052 http://dx.doi.org/10.1093/bja/aeu052 Lockyer J Multisource feedback: can it meet criteria for good assessment? 2013 J Contin Educ Health Prof 89-98 Lockyer J. Multisource feedback: can it meet criteria for good assessment? J Contin Educ Health Prof. 2013;33(2):89-98. DOI: 10.1002/chp.21171 http://dx.doi.org/10.1002/chp.21171 Appleby J Devlin N 2010 Getting the most ourt of PROMs Appleby J, Devlin N. Getting the most ourt of PROMs. London: The Kings' Fund; 2010. Zugänglich unter/available from: http://www.kingsfund.org.uk/publications/getting-most-out-proms http://www.kingsfund.org.uk/publications/getting-most-out-proms U. S. Department of Health and Human Service 2011 Administration. Performance management and measurement U. S. Department of Health and Human Services. Administration. Performance management and measurement. Rockwill: U.S. Department of Health and Human Services; 2011. Zugänglich unter/available from: http://www.hrsa.gov/quality/toolbox/methodology/performancemanagement/index.html http://www.hrsa.gov/quality/toolbox/methodology/performancemanagement/index.html Donabedian A 2003 An Introduction to Quality Assurance in Health Care Donabedian A. An Introduction to Quality Assurance in Health Care. New York: Oxford University Press; 2003. Holmboe ES Clinical Practice Review Practical Guide to the Evaluation of Clinical Competence Holmboe ES. Clinical Practice Review. In: Practical Guide to the Evaluation of Clinical Competence. 2nd edition. Philadelphia: Mosby-Elsevier. In press. Ogrinc G Headrick LA Morrison LJ Foster T Teaching and assessing resident competence in practice-based learning and improvement 2004 J Gen Intern Med 496-500 Ogrinc G, Headrick LA, Morrison LJ, Foster T. Teaching and assessing resident competence in practice-based learning and improvement. J Gen Intern Med. 2004;19(5 Pt 2):496-500. DOI: 10.1111/j.1525-1497.2004.30102.x http://dx.doi.org/10.1111/j.1525-1497.2004.30102.x Veloski J Boex JR Grasberger MJ Evans A Wolfson DB Systematic review of the literature on assessment, feedback and physicians' clinical performance: BEME Guide No. 7 2006 Med Teach 117-128 Veloski J, Boex JR, Grasberger MJ, Evans A, Wolfson DB. Systematic review of the literature on assessment, feedback and physicians' clinical performance: BEME Guide No. 7. Med Teach. 2006;28(2):117-128. DOI: 10.1080/01421590600622665 http://dx.doi.org/10.1080/01421590600622665 Ivers N Jamtvedt G Flottorp S Young JM Odgaard-Jensen J French SD O'Brien MA Johansen M Grimshaw J Oxman AD Audit and feedback: effects on professional practice and healthcare outcomes 2012 Cochrane Database Syst Rev CD000259 Ivers N, Jamtvedt G, Flottorp S, Young JM, Odgaard-Jensen J, French, SD, O'Brien MA, Johansen M, Grimshaw J, Oxman AD. Audit and feedback: effects on professional practice and healthcare outcomes. Cochrane Database Syst Rev. 2012;6:CD000259. DOI: 10.1002/14651858.CD000259.pub3 http://dx.doi.org/10.1002/14651858.CD000259.pub3 Brehaut JC Colquhoun HL Eva KW Carroll K Sales A Michie S Ivers N Grimshaw JM Practice feedback interventions: 15 suggestions for optimizing effectiveness 2016 Ann Intern Med 435-441 Brehaut JC, Colquhoun HL, Eva KW, Carroll K, Sales A, Michie S, Ivers N, Grimshaw JM. Practice feedback interventions: 15 suggestions for optimizing effectiveness. Ann Intern Med. 2016;164(6):435-441. DOI: 10.7326/M15-2248 http://dx.doi.org/10.7326/M15-2248 Royal College of Physicians and Surgeons of Canada 2015 CanMEDS Royal College of Physicians and Surgeons of Canada. CanMEDS. Ottawa: Royal College of Physicians and Surgeons of Canada; 2015. Zugänglich unter/available from: http://canmeds.royalcollege.ca/uploads/en/framework/CanMEDS%202015%20Framework_EN_Reduced.pdf http://canmeds.royalcollege.ca/uploads/en/framework/CanMEDS%202015%20Framework_EN_Reduced.pdf ten Cate O Entrustability of professional activities and competency-based training 2005 Med Educ 1176-1177 ten Cate O. Entrustability of professional activities and competency-based training. Med Educ. 2005;39(12):1176-1177. DOI: 10.1111/j.1365-2929.2005.02341.x http://dx.doi.org/10.1111/j.1365-2929.2005.02341.x ten Cate O Scheele F Competency-Based Postgraduate Training: Can We Bridge the Gap between Theory and Clinical Practice?? 2007 Acad Med 542-547 ten Cate O, Scheele F. Competency-Based Postgraduate Training: Can We Bridge the Gap between Theory and Clinical Practice?? Acad Med. 2007;82(6):542-547. DOI: 10.1097/ACM.0b013e31805559c7 http://dx.doi.org/10.1097/ACM.0b013e31805559c7 ten Cate O Nuts and Bolts of Entrustable professional activities 2013 J Grad Med Educ 157-158 ten Cate O. Nuts and Bolts of Entrustable professional activities. J Grad Med Educ. 2013;5(1):157-158. DOI: 10.4300/JGME-D-12-00380.1 http://dx.doi.org/10.4300/JGME-D-12-00380.1 Holmboe ES Edgar L Hamstra S 2016 The Milestones Guidebook Holmboe ES, Edgar L, Hamstra S. The Milestones Guidebook. Chicago: ACGME; 2016. Zugänglch utner/available from: http://www.acgme.org/Portals/0/MilestonesGuidebook.pdf?ver=2016-05-31-113245-103 http://www.acgme.org/Portals/0/MilestonesGuidebook.pdf?ver=2016-05-31-113245-103 Holmboe ES Yamazaki K Edgar L Conforti L Yaghmour N Miller R Hamstra SJ Reflections on the first 2 years of milestone implementation 2015 J Grad Med Educ 506-511 Holmboe ES, Yamazaki K, Edgar L, Conforti L, Yaghmour N, Miller R, Hamstra SJ. Reflections on the first 2 years of milestone implementation. J Grad Med Educ. 2015;(3):506-511. DOI: 10.4300/JGME-07-03-43 http://dx.doi.org/10.4300/JGME-07-03-43 Ten Cate O Chen HC Hoff RG Peters H Bok H van der Schaaf M Curriculum development for the workplace using Entrustable Professional Activities (EPAs): AMEE Guide No. 99 2015 Med Teach 983-1002 Ten Cate O, Chen HC, Hoff RG, Peters H, Bok H, van der Schaaf M. Curriculum development for the workplace using Entrustable Professional Activities (EPAs): AMEE Guide No. 99. Med Teach. 2015;37(11):983-1002. DOI: 10.3109/0142159X.2015.1060308 http://dx.doi.org/10.3109/0142159X.2015.1060308 Bok HG Teunissen PW Favier RP Rietbroek NJ Theyse LF Brommer H Haarhuis JC van Beukelen P van der Vleuten CP Jaarsma DA Programmatic assessment of competency-based workplace learning: when theory meets practice 2013 BMC Med Educ 123 Bok HG, Teunissen PW, Favier RP, Rietbroek NJ, Theyse LF, Brommer H, Haarhuis JC, van Beukelen P, van der Vleuten CP, Jaarsma DA. Programmatic assessment of competency-based workplace learning: when theory meets practice. BMC Med Educ. 2013;13:123. DOI: 10.1186/1472-6920-13-123 http://dx.doi.org/10.1186/1472-6920-13-123 Heeneman S Oudkerk Pool A Schuwirth LW van der Vleuten CP Driessen EW The impact of programmatic assessment on student learning: theory versus practice 2015 Med Educ 487-498 Heeneman S, Oudkerk Pool A, Schuwirth LW, van der Vleuten CP, Driessen EW. The impact of programmatic assessment on student learning: theory versus practice. Med Educ. 2015;49(5):487-498. DOI: 10.1111/medu.12645 http://dx.doi.org/10.1111/medu.12645 Van Tartwijk J Driessen EW Portfolios for assessment and learning: AMEE Guide no. 45 2009 Med Teach 790-801 Van Tartwijk J, Driessen EW. Portfolios for assessment and learning: AMEE Guide no. 45. Med Teach. 2009;31(9):790-801. DOI: 10.1080/01421590903139201 http://dx.doi.org/10.1080/01421590903139201 Zimmerman BJ Investigating self-regulation and motivation: Historical background, methodological developments, and future prospects 2008 Am Educ Res J 166-183 Zimmerman BJ. Investigating self-regulation and motivation: Historical background, methodological developments, and future prospects. Am Educ Res J. 2008;45:166-183. DOI: 10.3102/0002831207312909 http://dx.doi.org/10.3102/0002831207312909 Durning SJ Cleary TJ Sandars J Hemmer P Kokotailo P Artino AR Perspective: viewing "strugglers" through a different lens: how a self-regulated learning perspective can help medical educators with assessment and remediation 2011 Acad Med 488-495 Durning SJ, Cleary TJ, Sandars J, Hemmer P, Kokotailo P, Artino AR. Perspective: viewing "strugglers" through a different lens: how a self-regulated learning perspective can help medical educators with assessment and remediation. Acad Med. 2011;86(4):488-495. DOI: 10.1097/ACM.0b013e31820dc384 http://dx.doi.org/10.1097/ACM.0b013e31820dc384 Sargeant J Armson H Chesluk B Dornan T Eva K Holmboe E Lockyer J Loney E Mann K van der Vleuten C The processes and dimensions of informed self-assessment: a conceptual model 2010 Acad Med 1212-1220 Sargeant J, Armson H, Chesluk B, Dornan T, Eva K, Holmboe E, Lockyer J, Loney E, Mann K, van der Vleuten C. The processes and dimensions of informed self-assessment: a conceptual model. Acad Med. 2010;85(7):1212-1220. DOI: 10.1097/ACM.0b013e3181d85a4e http://dx.doi.org/10.1097/ACM.0b013e3181d85a4e Eva K Regehr G "I'll never play professional football" and other fallacies of self-assessment 2008 J Contin Educ Health Prof 14-19 Eva K, Regehr G. "I'll never play professional football" and other fallacies of self-assessment. J Contin Educ Health Prof. 2008;28(1):14-19. DOI: 10.1002/chp.150 http://dx.doi.org/10.1002/chp.150 Skills for Health 2004 MH63.2013 Work with people and significant others to develop services to improve their mental health Skills for Health. MH63.2013 Work with people and significant others to develop services to improve their mental health. Bristol: Skills for Health; 2004. Zugänglich unter/available from: https://tools.skillsforhealth.org.uk/competence/show/html/id/3833/ https://tools.skillsforhealth.org.uk/competence/show/html/id/3833/ Batalden M Batalden P Margolis P Seid M Armstrong G Opipari-Arrigan L Hartung H Coproduction of healthcare service 2016 BMJ Qual Saf 509-517 Batalden M, Batalden P, Margolis P, Seid M, Armstrong G, Opipari-Arrigan L, Hartung H. Coproduction of healthcare service. BMJ Qual Saf. 2016;25(7):509-517. DOI: 10.1136/bmjqs-2015-004315 http://dx.doi.org/10.1136/bmjqs-2015-004315 Ten Cate O Kusukar RA Williams GC How self-determination theory can assist our understanding of the teaching and learning processes in medical education. AMEE Guide No. 59 2011 Med Teach 961-973 Ten Cate O, Kusukar RA, Williams GC. How self-determination theory can assist our understanding of the teaching and learning processes in medical education. AMEE Guide No. 59. Med Teach. 2011;33(12):961-973. DOI: 10.3109/0142159X.2011.595435 http://dx.doi.org/10.3109/0142159X.2011.595435 11en1de

Table 1: Categories and Definitions of Performance Measures

Tabelle 1: Kategorien und Definitionen von Leistungsmessungen

1

1 1en 1de Figure 1: Examples of Work-based Assessments Abbildung 1: Beispiele von arbeitsbasierten Bewertungen

2 2en 2de Figure 2: Important Concepts in Work-based Assessment Abbildung 2: Wichtige Konzepte der arbeitsbasierten Bewertung

2 0 0