zma001134 10.3205/zma001134 urn:nbn:de:0183-zma0011345 article Artikel Die Verwendung eines Portfolios in der postgraduierten medizinischen Weiterbildung – reflektieren, beurteilen und nachweisen: jedes einzeln oder alles in einem? Heeneman Heeneman Sylvia S PhD

Maastricht University/MUMC, Department of Pathology, Peter Debyelaan 25, NL-6229 HX Maastricht, The Netherlands, Phone: +31 43 3876629Maastricht University/MUMC, Department of Pathology, HX Maastricht, The NetherlandsMaastricht University, School of Health Professions Education, Faculty of Health, Medicine and Life Sciences, Maastricht, The Netherlands

Maastricht University/MUMC, Department of Pathology, Peter Debyelaan 25, NL-6229 HX Maastricht, Niederlande, Tel.: +31 43 3876629Maastricht University/MUMC, Department of Pathology, HX Maastricht, NiederlandeMaastricht University, School of Health Professions Education, Faculty of Health, Medicine and Life Sciences, Maastricht,

s.heeneman@maastrichtuniversity.nl author Driessen Driessen Erik W. EW

Maastricht University/MUMC, Department of Educational Development and Research, HX Maastricht, The Netherlands Maastricht University, School of Health Professions Education, Faculty of Health, Medicine and Life Sciences, Maastricht, The Netherlands

Maastricht University/MUMC, Department of Educational Development and Research, HX Maastricht, Niederlande Maastricht University, School of Health Professions Education, Faculty of Health, Medicine and Life Sciences, Maastricht, Niederlande

author German Medical Science GMS Publishing House

Düsseldorf

610 postgraduate education feedback portfolio reflection quality insurance ärztliche Weiterbildung Feedback Portfolio Reflexion Qualitätssicherung 20161108 20170207 20170320 20171115 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 2366-5017 34 5 GMS Journal for Medical Education GMS J Med Educ Postgraduate education/Weiterbildung 57 Die kompetenzbasierte Ausbildung ist zum zentralen Element in der Weiterbildung und Beurteilung von postgraduierten medizinischen Auszubildenden oder Assistenzärzten geworden . In kompetenzbasierter Ausbildung gibt es eine klare Fokussierung auf Ergebnisse und professionelle Leistungen. Typischerweise werden holistische Aufgaben verwendet, um definierte Ergebnisse oder Kompetenzen zu üben, zu praktizieren und zu bewerten. Während der Facharztausbildung sind diese Aufgaben Teil des klinischen Alltags. Die Leistung der Assistenzärzte am Arbeitsplatz muss erfasst und dokumentiert werden. Ein Portfolio ist als Instrument für die Speicherung und Sammlung von Beurteilung und Feedback am Arbeitsplatz in verschiedenen Ländern, wie den Niederlanden und den Vereinigten Staaten, verwendet worden. Die Sammlung von Informationen in einem Portfolio kann verschiedenen Zwecken dienen oder für verschiedene Zwecke verwendet werden. Diese sind: Die Sammlung von Arbeitsproben, Beurteilungen, Feedback und Evaluationen in einem Portfolio ermöglicht dem Lernenden zurückzublicken, zu analysieren und zu reflektieren. Der Inhalt dient der Bewertung oder den Entscheidungen über den Fortschritt. Und das Portfolio wird als Instrument für Qualitätssicherungsprozesse verwendet. Innerhalb der postgraduierten medizinischen Weiterbildung können diese Zwecke kombiniert werden, aber dies wird nicht immer transparent berichtet. In diesem Artikel werden die verschiedenen Perspektiven erörtert, wie ein Portfolio diese drei Zwecke erfüllen kann und was die Möglichkeiten und Herausforderungen sind, um verschiedene Nutzungen zu kombinieren. Competency-based education has become central to the training and assessment of post-graduate medical trainees or residents . In competency-based education, there is a strong focus on outcomes and professional performance. Typically, holistic tasks are used to train, practice and assess the defined outcomes or competencies. In residency training, these tasks are part of the day-to-day clinical practice. The performance of residents in the workplace needs to be captured and stored. A portfolio has been used as an instrument for storage and collection of workplace-based assessment and feedback in various countries, like the Netherlands and the United States. The collection of information in a portfolio can serve or be used for a variety of purposes. These are: The collection of work samples, assessment, feedback and evaluations in a portfolio enables the learner to look back, analyze and reflect. The content is used for assessment or making decisions about progress. And the portfolio is used as an instrument for quality assurance processes. In post-graduate medical education, these purposes can be combined but this is not always reported transparently. In this paper, we will discuss the different perspectives, how a portfolio can serve these three purposes and what are opportunities and challenges of combining multiple purposes. Portfolios in post-graduate medical educationPortfolios are instruments to collect and assess evidence of the learners’ progression in tasks or competencies. The content can be prescribed or is to the choice of the learner. The performance and feedback information is used by the learner to show progress, look back and reflect on feedback, and formulate plans/ learning objectives for improving performance or competence , . In the post-graduate setting, Smith and Tillema made a differentiation in types of portfolios based on the purpose of the portfolio, being either selection or developmentally orientated, and the setting of use, being either mandated or self-directed. This led to 4 types: The dossier portfolio, containing mandated records of achievement, with specified levels of performance, used for selection or promotion. The training portfolio, containing a mandated collection of acquired skills and competencies, in a fixed format, with some reflective comments on selected evidence. The reflective portfolio containing a purposeful collection of evidence for personal growth and development, used for promotion or selection. And the personal development portfolio, containing reflective and personal evaluations of progress in time, enabling discussion and valuing of these activities. In practice, there may be more of a continuum. A portfolio in post-graduate education is often mandatory, containing prescribed information such as 360 degree feedback rounds, evaluations of clinical performance etc., and it is used for assessment. Therefore, it would be best typified as a training portfolio. However, portfolios in postgraduate education can also have a stronger developmental aspect, with more reflective accounts of personal and professional growth, used for a dialogue with a supervisor or mentor. This diversity in purposes is further discussed in the paragraphs below. Portfolios in der postgraduierten medizinischen WeiterbildungPortfolios sind Instrumente für die Sammlung und Bewertung von Nachweisen der Entwicklung von Lernenden in Aufgaben und Kompetenzen. Der Inhalt kann vorgeschrieben oder vom Lernenden ausgewählt sein. Die Leistungs- und Feedbackinformationen werden vom Lernenden dazu verwendet, Fortschritte aufzuzeigen, auf Feedback zu blicken und dieses zu reflektieren und um Pläne/Lernziele für die Verbesserung der Leistungen und Kompetenzen zu formulieren , . Im postgraduierten Kontext differenzierten Smith und Tillema zwischen Portfolioarten basierend auf dem Zweck des Portfolios als entweder auswahl- oder entwicklungsorientiert und der Art der Verwendung als entweder verpflichtend oder selbstgesteuert. Dies führte zu vier Arten: Das Dossier-Portfolio, das verpflichtende Leistungsnachweise mit spezifizierten Leistungsstufen zur Auswahl oder Beförderung beinhaltet. Das Weiterbildungsportfolio, das eine verpflichtende Sammlung von erworbenen Fertigkeiten und Kompetenzen in einem festen Format mit einigen reflektierenden Kommentaren zu ausgewählten Nachweisen beinhaltet. Das reflektierende Portfolio, das eine zielgerichtete Sammlung von Nachweisen über das persönliche Wachstum und die persönliche Entwicklung ist, die zur Beförderung der Auswahl verwendet wird. Und das persönliche Entwicklungsportfolio, das reflektierende und persönliche Evaluationen der erzielten Fortschritte beinhaltet, um eine Diskussion und Wertschätzung dieser Aktivitäten zu ermöglichen.In der Praxis dürfte es ein größeres Kontinuum geben. Ein Portfolio in der postgraduierten Weiterbildung ist oft verpflichtend, beinhaltet vorgeschriebene Informationen wie 360°-Feedbackrunden, Bewertungen von klinischen Leistungen etc. und wird auch für die Beurteilung verwendet. Deshalb würde es am besten als Weiterbildungsportfolio bezeichnet. Jedoch können Portfolios in der postgraduierten Weiterbildung auch stärkere Entwicklungsaspekte haben mit mehr reflektierenden Berichten über die persönliche und berufliche Weiterentwicklung, die als Dialog mit dem Betreuer oder Mentor verwendet werden. Diese Vielfalt der Verwendungszwecke wird in den nachfolgenden Abschnitten weiter diskutiert. The portfolio to reflect and learnThere are many studies on the effect of reflection in a portfolio on learning in the undergraduate setting. Through reflection, the learner can scrutinize the personal performance, analyse and come to terms with what went well and what went wrong and set out learning objectives for strategies to improve. This supports the learner taking responsibility for his or her learning . Reflection was shown to have a small, positive impact on performance (case-solving capacity) . In addition, a study by Sobral showed that reflection led to progression in learning and was (weakly) correlated to improved academic performance. In postgraduate education, the learning is done at the workplace. There is some evidence that reflection on experience in the clinical workplace, as in the undergraduate setting, led to a deeper approach to learning, allowing integration of what was learned with existing knowledge and skills . In addition, reflection improved the diagnostic reasoning on complex and unusual patients or cases .The implementation of a portfolio can be used to facilitate or encourage reflection just by the fact that information is collected and reviewed by the learner. However, the perception of residents whether a portfolio should be a tool for reflection varied, ranging from a positive 72% of surgical residents to 42% of General Practitioner trainees . The lack of willingness to reflect in a portfolio could be caused by an uncertainty or lack of confidence on how this information is used , especially if the reflective activities are also assessed (see next paragraph). Another finding was that learners considered themselves already as reflective practitioners and the obligation to reflect in the portfolio actually hindered their own approach to professional learning . In addition, time is an important factor. In workplace-based education, workload is high and the collection of workplace-based feedback and evaluation for the portfolio and having to reflect can be a burden , .Lack of acceptance is an important issue. Portfolios need a supportive structure and cannot be implemented as an independent device. Research has shown that portfolios work if certain conditions have been fulfilled: mentoring, a structure that allows some flexibility for the learner (agency), an environment that supports learning and providing a meaningful learning experience for the learner . For reflective activities in the portfolio, these conditions are very similar. Very often portfolios in post-graduate training have an electronic format, and this can be used to support or facilitate reflection, e.g. by the use of electronic devices , , . Keim et al. studied whether the introduction of a portfolio as such increased reflective activities and indeed showed more self-reflective entries in trainees with a portfolio, compared to a control group with no portfolio. The introduction of a smartphone App as support for reflection also increased reflective activities . So, when conditions are met, this seems to result in better acceptance. It will however, remain a challenge to ensure sufficient learner centeredness. For the later, a mentoring system is a prerequisite. Research is unequivocal that mentoring supports and enhances reflective learning , , . Regardless if reflection is part of the portfolio, a mentor is also considered to be essential in portfolio learning and the portfolio process , , , . Given the previously mentioned lack of confidence or fear that the portfolio content is used ‘against’ the learner, it is important that the mentor is independent, and as noted by Dekker et al., not the daily supervisor or the head of the department . In conclusion, the use of a portfolio, in combination with a mentor, helps and stimulates to look back and reflect at the collected information and this seems helpful for learning and further professional development. Pitfalls are time-constraints and an obligatory nature. Das Portfolio zum Reflektieren und LernenEs gibt viele Studien zum Effekt der Reflexion in einem Portfolio für das Lernen inm studentischen Kontext. Durch Reflexion kann der Lernende seine eigene Leistung überprüfen, das, was gut oder schief gegangen ist, analysieren und dieses akzeptieren und Lernziele für Strategien zur Verbesserung darlegen. Dies unterstützt die Lernenden bei der Verantwortungsübernahme für ihr eigenes Lernen . Es wurde gezeigt, dass die Reflexion eine geringe positive Auswirkung auf die Leistung hat (die Fähigkeit, Fälle zu lösen) . Darüber hinaus hat eine von Sobral durchgeführte Studie gezeigt, dass Reflexion zu einem Lernfortschritt führte und (schwach) mit einer verbesserten akademischen Leistung korrelierte.In der postgraduierten Weiterbildung findet das Lernen am Arbeitsplatz statt. Es gibt einige Hinweise darauf, dass wie im studentischen Kontext die Reflexion von Erfahrungen am klinischen Arbeitsplatz zu einer umfassenderen Herangehensweise an das Lernen führte und hierdurch die Integration des Gelernten mit schon vorhandenem Wissen und schon vorhandenen Fertigkeiten erlaubte . Zusätzlich verbesserte die Reflexion die diagnostische Argumentation bei komplexen oder ungewöhnlichen Patienten oder Fällen . Die Implementierung eines Portfolios kann dazu verwendet werden, Reflexion zu erleichtern oder zu ermöglichen, einfach durch die Tatsache, dass Informationen vom Lernenden erfasst und bewertet werden. Allerdings war die Auffassung der Assistenzärzte, ob ein Portfolio ein Reflexionsinstrument sein sollte, unterschiedlich – von 72% der chirurgischen Assistenzärzte bis 42% der allgemeinmedizinischen Assistenzärzte . Die mangelnde Bereitschaft, in einem Portfolio zu reflektieren, könnte durch Verunsicherung oder mangelndes Vertrauen verursacht sein, wie diese Informationen verwendet werden , insbesondere wenn die reflektierten Tätigkeiten auch beurteilt werden (siehe nächster Absatz). Eine weitere Beobachtung war, dass Lernende sich schon als reflektierende Praktiker betrachten und dass die Verpflichtung zur Reflexion in einem Portfolio ihren eigenen Ansatz zu professionellem Lernen eher behinderte . Noch dazu kommt, dass Zeit ein wichtiger Faktor ist. Bei der Weiterbildung am Arbeitsplatz ist die Arbeitsbelastung hoch und die Sammlung von arbeitsplatzbezogenem Feedback und arbeitsplatzbezogener Bewertung für ein Portfolio und die Notwendigkeit zur Reflexion können eine Belastung sein , .Mangelnde Akzeptanz ist ein wichtiges Thema. Portfolios benötigen einen unterstützenden Rahmen und können nicht als ein eigenständiges Instrument eingesetzt werden. Die Forschung hat gezeigt, dass Portfolios funktionieren, wenn bestimmte Voraussetzungen erfüllt sind: Mentoring; eine Struktur, die etwas Flexibilität für den Lernenden erlaubt (Vermittlung); eine Umgebung, die das Lernen unterstützt und eine sinnvolle Lernerfahrung für den Lernenden bietet . Für reflektierende Aktivitäten in einem Portfolio sind diese Bedingungen sehr ähnlich. In der postgraduierten Weiterbildung haben Portfolios häufig ein elektronisches Format, das für die Unterstützung oder Förderung von Reflexion verwendet werden kann, z.B. durch die Anwendung von elektronischen Geräten , , . Keim et al. untersuchten, ob die Einführung eines Portfolios an sich die reflektierenden Aktivitäten erhöhte und es fanden sich tatsächlich mehr selbstreflektierende Einträge bei Assistenzärzten mit einem Portfolio verglichen mit einer Kontrollgruppe ohne Portfolio. Die Einführung einer Smartphone App als Unterstützung für die Reflexion steigerte auch die reflektierenden Aktivitäten . Wenn also die erforderlichen Konditionen erfüllt sind, scheint dies zu einer besseren Akzeptanz zu führen. Es wird allerdings eine Herausforderung bleiben, eine ausreichende Lernerzentriertheit zu gewährleisten. Für Letztere ist ein Mentorensystem eine Voraussetzung. Die Forschung ist eindeutig darin, dass Mentoring reflektierendes Lernen unterstützt und fördert , , . Unabhängig davon, ob die Reflexion ein Teil des Portfolios ist oder nicht, wird ein Mentor als unverzichtbar für das Portfolio-Lernen und den Portfolioprozess erachtet , , , . Angesichts des vorhin erwähnten Mangels an Vertrauen oder der Angst, dass der Portfolioinhalt ‚gegen‘ den Lernenden verwendet wird, ist es wichtig, dass der Mentor unabhängig und, wie von Dekker et al. erwähnt, nicht der tägliche Betreuer oder der Abteilungsleiter ist .Zusammenfassend ist der Einsatz eines Portfolios in Kombination mit einem Mentor hilfreich und regt einen Rückblick auf und eine Reflexion über die gesammelten Informationen an, was nützlich für das Lernen und die berufliche Weiterbildung zu sein scheint. Nachteile sind die zeitlichen Einschränkungen und der obligatorische Charakter. The portfolio as an instrument for decision-makingCompetency-based education needs continuous, elaborate and comprehensive feedback systems and assessment . In post-graduate training, the use of a portfolio can facilitate the continuity and comprehensiveness of assessment by collecting information about the trainees progression towards outcomes, milestones, competencies and Entrustable Professional Activities (EPAs) . For portfolio assessment as such, sufficient reliability and validity has been shown, given a number of qualitative criteria such as feedback cycles incorporated in the assessment process, and procedural safeguards in the assessment procedure , , , . Potential weaknesses are the time-consuming nature of assessment, need for an active feedback culture and acceptance by the users . In addition, as expressed above, we need to be aware of the effects of the assessment of reflection. As expressed by Hodges et al., there is a tension between assessment and accountability on the one hand, and the requirement of trainees to reflect on their actions on the other hand , . As indicated in the previous paragraph, reflection in medical education has its merits, it is essential for learning from clinical practice and experiences, and therefore it should be common practice of every medical professional . However, a careful balance should be sought, this could be a portfolio containing reflection in a dialogue with a mentor , with an assessment that is fit for purpose, meaningful and not judgmental. This format of assessment of reflection is certainly not easy or common within the field of medical education.Nevertheless, a portfolio can be a useful and meaningful instrument for the assessment of competencies if certain principles of continuity, comprehensiveness and opportunities for a meaningful dialogue on feedback are applied in the design of the assessment process. Such a design of continuous assessment was advocated by van der Vleuten and Schuwirth , . In their model of programmatic assessment, assessment activities are rich in feedback and informative, they are purposefully chosen, aggregated and arranged in time. This will provide a longitudinal flow of information about the trainee, which the trainee can use to learn from feedback and assessment and to plan future learning opportunities. In this model, there are no single (high-stake) decisions, rather the aggregation of all information available is used to come to pass-fail or high-stake decisions, or a decision on promotion. This model resonates with the view of Eva et al., that a continuous model of assessment has the potential to mitigate potentially unwanted features of competency-based assessment. A program of assessment could help to overcome the psychometric challenges and context-specificity of competency assessment, and combine the formative and summative assessment, by broad and purposeful sampling . In addition, in competency-based education, progression through residency is no longer simply time-dependent. Trainees can progress and complete residency at the time that final outcomes or qualifications are met. Therefore, decisions on the level of expected proficiency need to be made. Ten Cate introduced the Entrustable Professional Activity (EPA) to facilitate and aid in the decision on proficiency level . An EPA is a professional unit or task that is entrusted to the trainee to perform without direct supervision once the trainee has shown or provided evidence that the expected level of competency has been reached (37). The Entrustment decision itself resembles the assessment of a portfolio in that multiple sources of information are used, by different supervisors, in various context, to support the validity of the decision . The models and theoretical foundation of entrustment decisions are complex and currently under deliberation, e.g. by the International Competency-Based Medical Education Collaborators (38). It should be kept in mind that an EPA represent a complex set of behaviors that have to be recognized and observed by clinical supervisors in the workplace. Oerlemans et al. suggested that observing clinical performance during a series of encounters by the same supervisor revealed consistent behavior and added valuable information on the trainees’ performance . This aligns with the broad and purposeful sampling strategy used in programmatic assessment. In addition, clinical supervisors need to be supported and trained, Calaman et al. described the development of standard-setting videos in the context of EPAs and entrustment decisions to support direct observation of trainee performance by clinical supervisors . An electronic portfolio format could support the entrustment decision process by integration of information through automatically generated overviews of forms, narrative feedback and levels of proficiency. In the e-portfolio, a timeline per EPA can be presented or generated in which the decisions and levels are shown and the supervisor can easily navigate back to the underlying forms and information.In conclusion, the portfolio as an instrument for continuous, programmatic assessment is usable in post-graduate medical training, as assessment instruments (such as mini-CEX, observational instruments, technical skills assessments), and feedback instruments (multi-source feedback) are usually operational and collected in the resident portfolio. EPAs are increasingly used in post-graduate education. The theoretical foundation of entrustment decisions is complex. An electronic portfolio format could be helpful in supporting the process and procedures of entrustment decisions. Das Portfolio als Instrument zur EntscheidungsfindungKompetenzbasierte Ausbildung benötigt kontinuierliche, sorgfältig ausgearbeitete und umfassende Feedbacksysteme und -bewertungen . In der postgraduierten Weiterbildung kann die Verwendung eines Portfolios die Kontinuität und Vollständigkeit der Bewertungen dadurch erleichtern, dass es Informationen über die Entwicklung des Weiterzubildenden hin zu Ergebnissen, Meilensteinen, Kompetenzen und anvertraubare professionelle Tätigkeiten (APTs) liefert .Anhand einer Reihe qualitativer Kriterien wie die in den Bewertungsprozess aufgenommenen Feedbackzyklen und prozeduralen Absicherungen ist für die Portfoliobewertung als solches eine ausreichende Reliabilität und Validität gezeigt worden , , , . Potentielle Schwächen sind der Zeitaufwand der Bewertung, die Notwendigkeit einer aktiven Feedbackkultur und die Akzeptanz bei den Nutzern . Wie oben erwähnt müssen uns außerdem die Auswirkungen der Bewertung von Reflexionen bewusst sein. Wie von Hodges et al. festgestellt besteht eine Spannung zwischen Bewertung und Verantwortlichkeit auf der einen Seite und der Anforderung an die Weiterzubildenden, über ihre Handlungen zu reflektieren, auf der anderen Seite , . Wie inm vorherigen Absatz erwähnt, hat Reflexion in der medizinischen Ausbildung ihre Vorteile; sie ist unbedingt erforderlich für das Lernen aus klinischer Praxis und Erfahrung und sollte deshalb gängige Praxis für jede medizinische Profession sein . Dennoch ist ein ausgewogenes Verhältnis anzustreben. Dies könnte ein Portfolio sein, das eine Reflexion im Dialog mit einem Mentor enthält , mit einer Bewertung, die zweckgerecht, bedeutungsvoll und nicht voreingenommen ist. Dieses Format für die Bewertung von Reflexion ist gewiss weder einfach noch häufig im medizinischen Ausbildungsbereich.Trotzdem kann ein Portfolio ein nützliches und sinnvolles Instrument für die Kompetenzbewertung sein, wenn bestimmte Prinzipien der Kontinuität, des Umfangs und der Möglichkeiten für einen erfolgversprechenden Dialog über Feedback in der Gestaltung des Bewertungsprozesses angewandt werden. Ein solches Design der kontinuierlichen Bewertung wurde von van der Vleuten und Schuwirth vorgeschlagen , . In ihrem Modell der programmatischen Bewertung sind die Bewertungsmaßnahmen reich an Feedback und informativ; sie sind zielgerichtet gewählt, kumulativ und zeitgerecht. Die wird einen longitudinalen Informationsfluss über den Weiterzubildenden liefern, den der Weiterzubildende nutzen kann, um von Feedback und Bewertung lernen und zukünftige Lernmöglichkeiten zu planen. In diesem Modell gibt es keine einzelnen (bestanden oder nicht bestanden) Entscheidungen, sondern vielmehr wird die Aggregation aller vorhandenen Informationen verwendet, um Bestanden-/Nicht-bestanden-Entscheidungen oder Facharztprüfungs-äquivalente-Entscheidungen oder Beförderungsentscheidungen zu treffen. Dieses Modell folgt der Auffassung von Eva et al., dass ein kontinuierliches Bewertungsmodell potentiell unerwünschte Merkmale der kompetenzbasierten Bewertung mindern könnte. Eine Programmbewertung könnte helfen, die psychometrischen Herausforderungen und die Kontextspezifität von Bewertungskompetenz zu überwinden und formative und summative Bewertungen durch zielgerichtete Stichproben zu kombinieren . In der kompetenzbasierten Ausbildung ist außerdem das Voranschreiten durch die Weiterbildungszeit nicht mehr nur zeitabhängig. Weiterzubildende können voranschreiten und ihre Weiterbildungszeit zu dem Zeitpunkt beenden, an welchem die Endergebnisse oder Qualifikationen erfüllt sind. Deshalb müssen Entscheidungen über das erwartete Leistungsniveau getroffen werden. Ten Cate führte die anvertraubare professionelle Tätigkeit (APT) ein, um Entscheidungen über das Leistungsniveau zu erleichtern und zu unterstützen . Eine APT ist eine professionelle Einheit oder Aufgabe, deren Erfüllung einem Weiterzubildenden ohne direkte Beaufsichtigung anvertraut wird, sobald der Weiterzubildende gezeigt oder den Nachweis erbracht hat, dass das erwartete Kompetenzniveau erreicht wurde . Die Anvertrauensentscheidung selbst ähnelt der Bewertung eines Portfolios dadurch, dass viele Informationsquellen von unterschiedlichen Betreuern und in verschiedenen Kontexten verwendet werden, um die Validität der Entscheidung zu unterstützen . Die Modelle und die theoretische Grundlage der Anvertrauenssentscheidungen sind komplex und werden derzeit beraten, z.B. durch die International Competency-Based Medical Education Collaborators . Es sollte berücksichtigt werden, dass eine APT eine komplexe Zusammenstellung von Verhaltensweisen darstellt, die von klinischen Betreuern am Arbeitsplatz gewürdigt und beobachtet werden müssen. Oerleman et al. haben vorgeschlagen, dass das Beobachten von klinischen Leistungen während einer Reihe von Begegnungen durch denselben Betreuer ein einheitliches Verhalten zeigt und wichtige Informationen über die Leistung der Weiterzubildenden hinzufügt . Dies deckt sich mit der breiten und zielgerichteten Stichprobensammlung, wie sie in der programmatischen Bewertung verwendet wird. Darüber hinaus müssen klinische Betreuer unterstützt und ausgebildet werden. Calaman et al. haben die Entwicklung von Standard-Setting-Videos in einem APT-Kontext beschrieben und Anvertrauensentscheidungen, die eine direkte Beobachtung der Leistungen des Weiterzubildenden durch die klinischen Betreuer unterstützen . Ein elektronisches Portfolioformat könnte durch die Integration von Informationen durch automatisch erzeugte Übersichten von Formularen, narratives Feedback und Leistungsstände den Entscheidungsprozess des Anvertrauens unterstützen. In dem E-Portfolio kann eine Zeitachse pro APT dargestellt oder erzeugt werden, in der Entscheidungen und Niveaustufen gezeigt werden können und in der der Betreuer leicht zu zugrundeliegenden Formularen und Informationen zurückfinden kann.Abschließend ist das Portfolio als ein Instrument für kontinuierliche programmatische Bewertung in der postgraduierten medizinischen Weiterbildung verwendbar, da Bewertungsinstrumente (wie beispielsweise Mini-CEX, Beobachtungsinstrumente, Bewertungen von technischen Fähigkeiten) und Feedbackinstrumente („Multi-Source-Feedback“) meist operational sind und in dem Portfolio des Assistenzarztes gesammelt werden. ATPs werden zunehmend in der postgraduierten Weiterbildung verwendet. Die theoretische Grundlage der Anvertrauensentscheidungen ist komplex. Ein elektronisches Portfolioformat könnte hilfreich dabei sein, den Prozess und die Prozeduren der Anvertrauensentscheidungen zu unterstützen. The portfolio as a quality assurance toolA portfolio can also be used as a quality assurance instrument, e.g. how many procedures have been performed, success rate of procedures, registration of professional development or courses, patient evaluations etc. The purpose of the portfolio will then be more tailored to a dossier function, in which information is being collected and if needed aggregated and reported. The portfolio as a dossier for management issues can be applicable to both individual trainees and (senior) physicians, as for training programs. An electronic format has greatly enhanced the potential of portfolios as a quality assurance tool as data can now easily be aggregated and compared. In undergraduate programs, the portfolio has also been used to get insights in the hidden curriculum, e.g. to monitor for the practices and values that are taught or transmitted through role modeling or to explore the content of e-portfolio on gender issues entries, a topic often taught in the hidden curriculum . In post-graduate education, the portfolio could also fulfil this role on the quality of clinical teaching, e.g.by monitoring the richness and quality of the narrative feedback.In addition, many countries have reformed the official requirements for revalidation processes for physicians [http://www.gmc-uk.org/guidance/good_medical_practice.asp], , , , in which evidence of (reflective) activities and practice are often mandatory elements. For these revalidation procedures, portfolios are used . Given the current commonality of portfolio use in post-graduate medical training, this will most likely be a natural continuation of portfolio use once residency training has ended. For senior doctors, this may be the first time that they have to complete a portfolio. As already addressed, the bureaucracy and often complexity of portfolio or in this case revalidation procedures have the danger of transgressing into a requirement, and the process is perceived as less meaningful for stakeholders. Das Portfolio als Instrument der QualitätssicherungEin Portfolio kann auch als Qualitätssicherungsinstrument eingesetzt werden, z.B. um zu prüfen, wie viele Prozeduren ausgeführt wurden und was deren Erfolgsquote war, um berufliche Weiterbildung oder Kurse zu erfassen oder Patientenbewertungen etc. Der Zweck des Portfolios wird dann mehr auf die Funktion eines Dossiers zugeschnitten sein, in dem Informationen gesammelt und bei Bedarf zusammengefasst und berichtet werden. Das Portfolio als Dossier für Verwaltungsaspekte kann sowohl für individuelle Weiterzubildende als auch auf (leitende) Ärzte angewendet werden, oder für Weiterbildungsprogramme. Ein elektronisches Format hat das Potenzial der Portfolios als Instrument der Qualitätssicherung deutlich erhöht, da Daten nun leicht zusammengefasst und verglichen werden können. In Studierendenprogrammen ist das Portfolio auch dafür verwendet worden, Einsichten in das versteckte Curriculum zu bekommen, z.B. um die gelehrten oder durch Vorbilder übermittelten Praktiken und Werte zu beobachten, oder um den Inhalt eines E-Portfolios über Eintragungen von Genderfragen zu untersuchen, ein Thema, das häufig im versteckten Curriculum gelehrt wird . In der postgraduierten Weiterbildung könnte das Portfolio zusätzlich diese Aufgabe für die Qualität der klinischen Lehre erfüllen, z.B. durch die Kontrolle des Umfangs und der Qualität des narrativen Feedbacks.Außerdem haben viele Länder die offiziellen Anforderungen der Revalidierungsprozesse für Ärzte reformiert [http://www.gmc-uk.org/guidance/good_medical_practice.asp] , , , in denen Nachweise über (reflexive) Tätigkeiten und Praktiken oft obligatorische Elemente sind. Für diese Revalidierungsprozesse werden Portfolios verwendet . Auf Grund der aktuellen allgemeinen Nutzung von Portfolios in der postgraduierten medizinischen Weiterbildung wird die weitere Nutzung von Portfolios nach Abschluss der Facharztprüfung höchstwahrscheinlich eine natürliche Fortsetzung sein. Für leitende Ärzte wird dies womöglich das erste Mal sein, dass sie ein Portfolio benutzen müssen. Wie bereits angesprochen bergen die Bürokratie und oftmals die Komplexität eines Portfolios oder in diesem Falle das Revalidierungsverfahren die Gefahr, sich in eine Verpflichtung zu verwandeln und der Prozess wird so als weniger aussagekräftig von den Akteuren wahrgenommen. Three purposes: one portfolio for each or all in one portfolio?We have discussed three purposes of portfolios, i.e. to enable reflection, to assess competencies and as an instrument for quality assurance processes. As was already evident, there is a natural overlap in these purposes, one cannot reflect if no information is being collected, and information on performance or proficiency level is used for assessment and entrustment decisions. A potential pitfall of having everything in one portfolio is that it becomes too complex, bureaucratic and time-consuming. The challenge is to keep portfolio processes meaningful for all stakeholders. We argue that a portfolio can serve all three purposes, but much is dependent on the implementation and how it is used. The different goals of the portfolio should be clear for all stakeholders, residents, clinical teachers and supervisors and mentors. Instruction and communication should be transparent and clearly designed. The mentor is an important source of information for the learner and should serve as an intermediary between the learner/ resident and the program. We believe that a mentor also has an important role in the above mentioned problems with acceptance or reluctance to work and use the portfolio for learning. Best-practice examples for implementation of portfolio in undergraduate and post-graduate medical programs can be found in Driessen et al. , Dannefer et al. , and Fung et al. .In conclusion, the portfolio needs to be a learner chart , in which information is collected (dossier), used for learning guided by a mentor or coach (reflect) and serves as the basis for decisions on proficiency or outcome requirements (assess). Then it can be a learner chart that comprehensively documents the trainees’ progress and which is discussed between a trainee and a mentor to support the trainees’ development. When the portfolio is integrated in a program of assessment, and decision-making is removed from individual assessments and decisions are only based on longitudinally gathered assessment and learning information: then the portfolio becomes the key instrument that fully services learning, assessment and quality assurance. Drei Funktionen: ein Portfolio für jede oder alle in einem Portfolio?Die drei Funktionen von Portfolios haben wir schon besprochen, d.h. Reflexion zu ermöglichen, Kompetenzen zu beurteilen und als ein Instrument des Qualitätssicherungsprozesses zu fungieren. Wie bereits ersichtlich war, besteht eine natürliche Überschneidung zwischen diesen Funktionen. Man kann nicht reflektieren, wenn keine Informationen gesammelt werden und wenn keine Informationen über den Leistungsstand oder den Professionalitätsstand für Bewertung und Anvertrauensentscheidungen verwendet werden. Ein möglicher Nachteil, alles in einem Portfolio zu sammeln, ist, dass es zu unübersichtlich, bürokratisch und zeitaufwendig wird. Die Herausforderung besteht darin, Portfolioprozesse für alle Akteure sinnvoll zu halten. Wir sind der Meinung, dass ein Portfolio alle drei Funktionen erfüllen kann, aber viel hängt von der Umsetzung ab und von der Art und Weise, wie es genutzt wird. Die verschiedenen Ziele eines Portfolios sollten allen Akteuren, Assistenzärzten, klinisch Lehrenden und Betreuern klar sein. Anweisungen und Kommunikation sollten transparent und übersichtlich gestaltet werden. Der Mentor ist eine wichtige Informationsquelle für den Lernenden und sollte als Vermittler zwischen dem Lernenden/Assistenzarzt und dem Programm dienen. Wir glauben, dass ein Mentor auch eine wichtige Rolle bei den zuvor genannten Problemen bezüglich der Akzeptanz oder der Zurückhaltung, mit dem Portfolio zu arbeiten und es für Lernzwecke zu verwenden, spielt. Best-Practice-Beispiele für die Implementierung eines Portfolios in studentische und graduierte medizinische Studienprogramme können bei Driessen et al. , Dannefer et al. und Fung et al. gefunden werden.Zusammenfassend muss das Portfolio ein Dokument für Lernende sein , in dem Informationen gesammelt werden (Dossier), das für Mentor- oder Coach-begleitetes Lernen genutzt wird (Reflexion) und das als Basis für Entscheidungen über Leistungs- oder Ergebnisanforderungen dient (bewerten). Dann kann es ein Dokument für Lernende sein, das den Lernfortschritt der Weiterzubildenden umfassend dokumentiert und das Gegenstand der Diskussion zwischen einem Weiterzubildenden und einem Mentor ist, um den Fortschritt des Weiterzubildenden zu unterstützen. Wenn das Portfolio in ein Bewertungsprogramm integriert ist und die Entscheidungsfindung von individuellen Einschätzungen entkoppelt wird und , Entscheidungen ausschließlich auf longitudinal gesammelten Bewertungen und Lerninformationen beruhen, dann wird das Portfolio zu einem Schlüsselinstrument, das vollkommen dem Lernen, der Bewertung und der Qualitätssicherung dient. Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben. Hawkins R Welcher C Holmboe E Kirk L Norcini J Simons K Skochelak SE Implementation of competency-based medical education: are we addressing the concerns and challenges? 2015 Med Educ 1086-1102 Hawkins R, Welcher C, Holmboe E, Kirk L, Norcini J, Simons K, Skochelak SE. Implementation of competency-based medical education: are we addressing the concerns and challenges? Med Educ. 2015;49(11):1086-1102. DOI: 10.1111/medu.12831 http://dx.doi.org/10.1111/medu.12831 Tillema H Portfolios as developmental assessment tools 2001 International J Training Develop 126-135 Tillema H. Portfolios as developmental assessment tools. International J Training Develop. 2001;5(2):126-135. DOI: 10.1111/1468-2419.00127 http://dx.doi.org/10.1111/1468-2419.00127 van Tartwijk J Driessen E Portfolios for assessment and learning: AMEE Guide no. 45 2009 Med Teach 790-801 van Tartwijk J, Driessen E. Portfolios for assessment and learning: AMEE Guide no. 45. Med Teach. 2009;31(9):790-801. DOI: 10.1080/01421590903139201 http://dx.doi.org/10.1080/01421590903139201 Smith K Tillema H Clarifying different types of portfolio use 2003 Ass Eval Higher Educ 625-648 Smith K, Tillema H. Clarifying different types of portfolio use. Ass Eval Higher Educ. 2003;28(6):625-648. DOI: 10.1080/0260293032000130252 http://dx.doi.org/10.1080/0260293032000130252 Fernsten L Fernsten J Portfolio assessment and reflection: enhancing learning through effective practice 2005 Reflect Pract 303-309 Fernsten L, Fernsten J. Portfolio assessment and reflection: enhancing learning through effective practice. Reflect Pract. 2005;6(2):303-309. DOI: 10.1080/14623940500106542 http://dx.doi.org/10.1080/14623940500106542 Koole S Dornan T Aper L Scherpbier A Valcke M Cohen-Schotanus J Derese A Does reflection have an effect upon case-solving abilities of undergraduate medical students? 2012 BMC Med Educ 75 Koole S, Dornan T, Aper L, Scherpbier A, Valcke M, Cohen-Schotanus J, Derese A. Does reflection have an effect upon case-solving abilities of undergraduate medical students? BMC Med Educ. 2012;12(1):75. DOI: 10.1186/1472-6920-12-75 http://dx.doi.org/10.1186/1472-6920-12-75 Sobral DT Medical students' reflection in learning in relation to approaches to study and academic achievement 2001 Med Teach 508-513 Sobral DT. Medical students' reflection in learning in relation to approaches to study and academic achievement. Med Teach. 2001;23(5):508-513. DOI: 10.1080/01421590126488 http://dx.doi.org/10.1080/01421590126488 Mann K Gordon J MacLeod A Reflection and reflective practice in health professions education: a systematic review 2009 Adv Health Sci Educ 595-621 Mann K, Gordon J, MacLeod A. Reflection and reflective practice in health professions education: a systematic review. Adv Health Sci Educ. 2009;14(4):595-621. DOI: 10.1007/s10459-007-9090-2 http://dx.doi.org/10.1007/s10459-007-9090-2 Mamede S Schmidt HG Penaforte JC Effects of reflective practice on the accuracy of medical diagnoses 2008 Med Educ 468-475 Mamede S, Schmidt HG, Penaforte JC. Effects of reflective practice on the accuracy of medical diagnoses. Med Educ. 2008;42(5):468-475. DOI: 10.1111/j.1365-2923.2008.03030.x http://dx.doi.org/10.1111/j.1365-2923.2008.03030.x Webb T Aprahamian C Weigelt J Brasel K The Surgical Learning and Instructional Portfolio (SLIP) as a self-assessment educational tool demonstrating practice-based learning 2006 Curr Surgery 444-447 Webb T, Aprahamian C, Weigelt J, Brasel K. The Surgical Learning and Instructional Portfolio (SLIP) as a self-assessment educational tool demonstrating practice-based learning. Curr Surgery. 2006;63(6):444-447. DOI: 10.1016/j.cursur.2006.04.001 http://dx.doi.org/10.1016/j.cursur.2006.04.001 Pearson D Heywood P Portfolio use in general practice vocational training: a survey of GP registrars 2004 Med Educ 87-95 Pearson D, Heywood P. Portfolio use in general practice vocational training: a survey of GP registrars. Med Educ. 2004;38(1):87-95. DOI: 10.1111/j.1365-2923.2004.01737.x http://dx.doi.org/10.1111/j.1365-2923.2004.01737.x Swallow V Clarke C Iles S Harden J Work based, lifelong learning through professional portfolios: Challenge or reward? 2006 Pharm Educ 77-89 Swallow V, Clarke C, Iles S, Harden J. Work based, lifelong learning through professional portfolios: Challenge or reward? Pharm Educ. 2006;6(2):77-89. DOI: 10.1080/15602210600682228 http://dx.doi.org/10.1080/15602210600682228 Austin Z Marini A DesRoches B Use of a learning portfolio for continuous professional development: A study of pharmacists in Ontario (Canada) 2005 Pharm Educ Austin Z, Marini A, DesRoches B. Use of a learning portfolio for continuous professional development: A study of pharmacists in Ontario (Canada). Pharm Educ. 2005;5. DOI: 10.1080/15602210500282434 http://dx.doi.org/10.1080/15602210500282434 Kjaer N Maagaard R Wied S Using an online portfolio in postgraduate training 2006 Med Teach 708-712 Kjaer N, Maagaard R, Wied S. Using an online portfolio in postgraduate training. Med Teach. 2006;28(8):708-712. DOI: 10.1080/01421590601047672 http://dx.doi.org/10.1080/01421590601047672 Hrisos S Illing J Burford B Portfolio learning for foundation doctors: early feedback on its use in the clinical workplace 2008 Med Educ 214-223 Hrisos S, Illing J, Burford B. Portfolio learning for foundation doctors: early feedback on its use in the clinical workplace. Med Educ. 2008;42(2):214-223. DOI: 10.1111/j.1365-2923.2007.02960.x http://dx.doi.org/10.1111/j.1365-2923.2007.02960.x Driessen E Van Tartwijk J Overeem K Vermunt J Van Der Vleuten C Conditions for successful reflective use of portfolios in undergraduate medical education 2005 Med Educ 1230-1235 Driessen E, Van Tartwijk J, Overeem K, Vermunt J, Van Der Vleuten C. Conditions for successful reflective use of portfolios in undergraduate medical education. Med Educ. 2005;39(12):1230-1235. DOI: 10.1111/j.1365-2929.2005.02337.x http://dx.doi.org/10.1111/j.1365-2929.2005.02337.x Driessen E Muijtjens A Van Tartwijk J van der Vleuten C Web-or paper-based portfolios: is there a difference? 2007 Med Educ 1067-1073 Driessen E, Muijtjens A, Van Tartwijk J, van der Vleuten C. Web-or paper-based portfolios: is there a difference? Med Educ. 2007;41(11):1067-1073. DOI: 10.1111/j.1365-2923.2007.02859.x http://dx.doi.org/10.1111/j.1365-2923.2007.02859.x Gordon J Campbell C The role of ePortfolios in supporting continuing professional development in practice 2013 Med Teach 287-294 Gordon J, Campbell C. The role of ePortfolios in supporting continuing professional development in practice. Med Teach. 2013;35(4):287-294. DOI: 10.3109/0142159X.2013.773395 http://dx.doi.org/10.3109/0142159X.2013.773395 Könings K van Berlo J Koopmans R Hoogland H Spanjers I ten Haaf J van den Vleuten CP van Merrienboer JJ Using a Smartphone App and Coaching Group Sessions to Promote Residents' Reflection in the Workplace 2016 Acad Med 365-370 Könings K, van Berlo J, Koopmans R, Hoogland H, Spanjers I, ten Haaf J, van den Vleuten CP, van Merrienboer JJ. Using a Smartphone App and Coaching Group Sessions to Promote Residents' Reflection in the Workplace. Acad Med. 2016;91(3):365-370. DOI: 10.1097/ACM.0000000000000989 http://dx.doi.org/10.1097/ACM.0000000000000989 Keim K Gates G Johnson C Dietetics professionals have a positive perception of professional development 2001 J Am Diet Ass 820-824 Keim K, Gates G, Johnson C. Dietetics professionals have a positive perception of professional development. J Am Diet Ass. 2001;101(7):820-824. DOI: 10.1016/S0002-8223(01)00202-4 http://dx.doi.org/10.1016/S0002-8223(01)00202-4 Driessen E van Tartwijk J van der Vleuten C Wass V Portfolios in medical education: why do they meet with mixed success? A systematic review 2007 Med Educ 1224-1233 Driessen E, van Tartwijk J, van der Vleuten C, Wass V. Portfolios in medical education: why do they meet with mixed success? A systematic review. Med Educ. 2007;41(12):1224-1233. DOI: 10.1111/j.1365-2923.2007.02944.x http://dx.doi.org/10.1111/j.1365-2923.2007.02944.x Kalén S Ponzer S Seeberger A Kiessling A Silén C Continuous mentoring of medical students provides space for reflection and awareness of their own development 2012 Intern J Med Educ 236-244 Kalén S, Ponzer S, Seeberger A, Kiessling A, Silén C. Continuous mentoring of medical students provides space for reflection and awareness of their own development. Intern J Med Educ. 2012;3:236-244. DOI: 10.5116/ijme.50ad.328c http://dx.doi.org/10.5116/ijme.50ad.328c Sargeant J Lockyer J Mann K Holmboe E Silver I Armson H Driessen E MacLeod T Yen W Ross K Power M Facilitated reflective performance feedback: developing an evidence-and theory-based model that builds relationship, explores reactions and content, and coaches for performance change (R2C2) 2015 Acad Med 1698-1706 Sargeant J, Lockyer J, Mann K, Holmboe E, Silver I, Armson H, Driessen E, MacLeod T, Yen W, Ross K, Power M. Facilitated reflective performance feedback: developing an evidence-and theory-based model that builds relationship, explores reactions and content, and coaches for performance change (R2C2). Acad Med. 2015;90(12):1698-1706. DOI: 10.1097/ACM.0000000000000809 http://dx.doi.org/10.1097/ACM.0000000000000809 Dekker H Driessen E ter Braak E Scheele F Slaets J van der Molen T Cohen-Schontanus J Mentoring portfolio use in undergraduate and postgraduate medical education 2009 Med Teach 903-909 Dekker H, Driessen E, ter Braak E, Scheele F, Slaets J, van der Molen T, Cohen-Schontanus J. Mentoring portfolio use in undergraduate and postgraduate medical education. Med Teach. 2009;31(10):903-909. DOI: 10.3109/01421590903173697 http://dx.doi.org/10.3109/01421590903173697 Holmboe ES Sherbino J Long DM Swing SR Frank JR The role of assessment in competency-based medical education 2010 Med Teach 676-682 Holmboe ES, Sherbino J, Long DM, Swing SR, Frank JR. The role of assessment in competency-based medical education. Med Teach. 2010;32(8):676-682. DOI: 10.3109/0142159X.2010.500704 http://dx.doi.org/10.3109/0142159X.2010.500704 ten Cate O Scheele F Viewpoint: Competency-Based Postgraduate Training: Can We Bridge the Gap between Theory and Clinical Practice? 2007 Acad Med 542-547 ten Cate O, Scheele F. Viewpoint: Competency-Based Postgraduate Training: Can We Bridge the Gap between Theory and Clinical Practice? Acad Med. 2007;82(6):542-547. DOI: 10.1097/ACM.0b013e31805559c7 http://dx.doi.org/10.1097/ACM.0b013e31805559c7 O'Sullivan P Reckase M McClain T Savidge M Clardy J Demonstration of portfolios to assess competency of residents 2004 Adv Health Sci Educ 309-323 O'Sullivan P, Reckase M, McClain T, Savidge M, Clardy J. Demonstration of portfolios to assess competency of residents. Adv Health Sci Educ. 2004;9(4):309-323. DOI: 10.1007/s10459-004-0885-0 http://dx.doi.org/10.1007/s10459-004-0885-0 Michels N Driessen E Muijtjens A Van Gaal L Bossaert L De Winter B Portfolio assessment during medical internships: How to obtain a reliable and feasible assessment procedure? 2009 Educ Health 313 Michels N, Driessen E, Muijtjens A, Van Gaal L, Bossaert L, De Winter B. Portfolio assessment during medical internships: How to obtain a reliable and feasible assessment procedure? Educ Health. 2009;22(3):313. Gadbury-Amyot C Kim J Palm R Mills G Noble E Overman P Validity and reliability of portfolio assessment of competency in a baccalaureate dental hygiene program 2003 J Dent Educ 991-1002 Gadbury-Amyot C, Kim J, Palm R, Mills G, Noble E, Overman P. Validity and reliability of portfolio assessment of competency in a baccalaureate dental hygiene program. J Dent Educ. 2003;67(9):991-1002. Van Tartwijk J Driessen E van der Vleuten C Stokking K Factors influencing the successful introduction of portfolios 2007 Qual High Educ 69-79 Van Tartwijk J, Driessen E, van der Vleuten C, Stokking K. Factors influencing the successful introduction of portfolios. Qual High Educ. 2007;13(1):69-79. DOI: 10.1080/13538320701272813 http://dx.doi.org/10.1080/13538320701272813 Hodges B Sea monsters & whirlpools: Navigating between examination and reflection in medical education 2015 Med Teach 261-266 Hodges B. Sea monsters & whirlpools: Navigating between examination and reflection in medical education. Med Teach. 2015;37(3):261-266. DOI: 10.3109/0142159X.2014.993601 http://dx.doi.org/10.3109/0142159X.2014.993601 Ng S Kinsella E Friesen F Hodges B Reclaiming a theoretical orientation to reflection in medical education research: a critical narrative review 2015 Med Educ 461-475 Ng S, Kinsella E, Friesen F, Hodges B. Reclaiming a theoretical orientation to reflection in medical education research: a critical narrative review. Med Educ. 2015;49(5):461-475. DOI: 10.1111/medu.12680 http://dx.doi.org/10.1111/medu.12680 Driessen E Do portfolios have a future? 2016 Adv Health Sci Educ 1-8 Driessen E. Do portfolios have a future? Adv Health Sci Educ. 2016:1-8. van der Vleuten C Schuwirth L Driessen E Dijkstra J Tigelaar D Baartman LK van Tartwijk J A model for programmatic assessment fit for purpose 2012 Med Teach 205-214 van der Vleuten C, Schuwirth L, Driessen E, Dijkstra J, Tigelaar D, Baartman LK, van Tartwijk J. A model for programmatic assessment fit for purpose. Med Teach. 2012;34(3):205-214. DOI: 10.3109/0142159X.2012.652239 http://dx.doi.org/10.3109/0142159X.2012.652239 Schuwirth L van der Vleuten C Programmatic assessment: From assessment of learning to assessment for learning 2011 Med Teach 478-485 Schuwirth L, van der Vleuten C. Programmatic assessment: From assessment of learning to assessment for learning. Med Teach. 2011;33(6):478-485. DOI: 10.3109/0142159X.2011.565828 http://dx.doi.org/10.3109/0142159X.2011.565828 Eva K Bordage G Campbell C Galbraith R Ginsburg S Holmboe E Regehr G Towards a program of assessment for health professionals: from training into practice 2016 Adv Health Sci Educ Theory Pract 897-913 Eva K, Bordage G, Campbell C, Galbraith R, Ginsburg S, Holmboe E, Regehr G. Towards a program of assessment for health professionals: from training into practice. Adv Health Sci Educ Theory Pract. 2016;21(4):897-913. DOI: 10.1007/s10459-015-9653-6 http://dx.doi.org/10.1007/s10459-015-9653-6 Ten Cate O Entrustability of professional activities and competency-bases training 2005 Med Educ 1176-1177 Ten Cate O. Entrustability of professional activities and competency-bases training. Med Educ. 2005;39:1176-1177. DOI: 10.1111/j.1365-2929.2005.02341.x http://dx.doi.org/10.1111/j.1365-2929.2005.02341.x Ten Cate O Hart D Ankel F Busari J Englander R Glasgow N Holmboe E Iobst W Lovell E Snell LS Touchie C Van Melie E Wycliffe-Johnes K International Competency-Based Medical Education Collaborators Entrustment decision making in clinical training 2016 Acad Med 191-198 Ten Cate O, Hart D, Ankel F, Busari J, Englander R, Glasgow N, Holmboe E, Iobst W, Lovell E, Snell LS, Touchie C, Van Melie E, Wycliffe-Johnes K; International Competency-Based Medical Education Collaborators. Entrustment decision making in clinical training. Acad Med. 2016;91(2):191-198. DOI: 10.1097/ACM.0000000000001044 http://dx.doi.org/10.1097/ACM.0000000000001044 Oerlemans M Dielissen P Timmerman A Ram P Maiburg B Muris J van der Vleuten C Should we assess clinical performance in single patient encounters or consistent behaviors of clinical performance over a series of encounters? A qualitative exploration of narrative trainee profiles 2017 Med Teach 1-8 Oerlemans M, Dielissen P, Timmerman A, Ram P, Maiburg B, Muris J, van der Vleuten C. Should we assess clinical performance in single patient encounters or consistent behaviors of clinical performance over a series of encounters? A qualitative exploration of narrative trainee profiles. Med Teach. 2017:1-8. DOI: 10.1080/0142159X.2017.1270427 http://dx.doi.org/10.1080/0142159X.2017.1270427 Calaman S Hepps J Bismilla Z Carraccio C Englander R Feraco A Landrigan CP Lopreiato JO Sectish TC Starmer AJ Yu CE Spector ND Wwest DC I-Pass Study Education Executive Committee The creation of standard-setting videos to support faculty observations of learner performance and entrustment decisions 2016 Acad Med 204-209 Calaman S, Hepps J, Bismilla Z, Carraccio C, Englander R, Feraco A, Landrigan CP, Lopreiato JO, Sectish TC, Starmer AJ, Yu CE, Spector ND, Wwest DC; I-Pass Study Education Executive Committee. The creation of standard-setting videos to support faculty observations of learner performance and entrustment decisions. Acad Med. 2016;91(2):204-209. DOI: 10.1097/ACM.0000000000000853 http://dx.doi.org/10.1097/ACM.0000000000000853 Hall P Byszewski A Sutherland S Stodel E Developing a sustainable electronic portfolio (ePortfolio) program that fosters reflective practice and incorporates CanMEDS competencies into the undergraduate medical curriculum 2012 Acad Med 744-751 Hall P, Byszewski A, Sutherland S, Stodel E. Developing a sustainable electronic portfolio (ePortfolio) program that fosters reflective practice and incorporates CanMEDS competencies into the undergraduate medical curriculum. Acad Med. 2012;87(6):744-751. DOI: 10.1097/ACM.0b013e318253dacd http://dx.doi.org/10.1097/ACM.0b013e318253dacd Phillips C Student portfolios and the hidden curriculum on gender: mapping exclusion 2009 Med Educ 847-853 Phillips C. Student portfolios and the hidden curriculum on gender: mapping exclusion. Med Educ. 2009;43(9):847-853. DOI: 10.1111/j.1365-2923.2009.03403.x http://dx.doi.org/10.1111/j.1365-2923.2009.03403.x Catto G Building on the GMC's achievements 2005 BMJ 1205- 1207 Catto G. Building on the GMC's achievements. BMJ. 2005;330(7501):1205- 1207. DOI: 10.1136/bmj.330.7501.1205 http://dx.doi.org/10.1136/bmj.330.7501.1205 Cain F Benjamin R Thompson J Obstacles to maintaining licensure in the United States 2005 BMJ 1443-1445 Cain F, Benjamin R, Thompson J. Obstacles to maintaining licensure in the United States. BMJ. 2005;330(7505):1443-1445. DOI: 10.1136/bmj.330.7505.1443 http://dx.doi.org/10.1136/bmj.330.7505.1443 Smeenk F Medisch-specialistische Vervolg-opleidingen in een Veranderende Maatschappelijke Context 2016 Toegewijde dokters: Waarom de niet-medische competenties geen bijzaak zijn 15-43 Smeenk F. Medisch-specialistische Vervolg-opleidingen in een Veranderende Maatschappelijke Context. In: Smeenk F, Rutten H, van de Laar E (Hrsg). Toegewijde dokters: Waarom de niet-medische competenties geen bijzaak zijn. 6. Antwerpen-Apeldoorn: Garant; 2016. S.15-43. Furmedge D Griffin A O'Keeffe C Verma A Smith L Gill D Paper trials: a qualitative study exploring the place of portfolios in making revalidation recommendations for Responsible Officers 2016 BMC Med Educ Furmedge D, Griffin A, O'Keeffe C, Verma A, Smith L, Gill D. Paper trials: a qualitative study exploring the place of portfolios in making revalidation recommendations for Responsible Officers. BMC Med Educ. 2016;16. DOI: 10.1186/s12909-016-0592-6 http://dx.doi.org/10.1186/s12909-016-0592-6 Driessen E van Tartwijk J Govaerts M Teunissen P van der Vleuten C The use of programmatic assessment in the clinical workplace: A Maastricht case report 2012 Med Teach 226-231 Driessen E, van Tartwijk J, Govaerts M, Teunissen P, van der Vleuten C. The use of programmatic assessment in the clinical workplace: A Maastricht case report. Med Teach. 2012;34(3):226-231. DOI: 10.3109/0142159X.2012.652242 http://dx.doi.org/10.3109/0142159X.2012.652242 Dannefer EF Henson L The portfolio approach to competency-based assessment at the Cleveland Clinic Lerner College of Medicine 2007 Acad Med 493-502 Dannefer EF, Henson L. The portfolio approach to competency-based assessment at the Cleveland Clinic Lerner College of Medicine. Acad Med. 2007;82(5):493-502. DOI: 10.1097/ACM.0b013e31803ead30 http://dx.doi.org/10.1097/ACM.0b013e31803ead30 Fung M Walker M Fung K Temple L Lajoie F Bellemare G Bryson SC An Internet-based learning portfolio in resident education: the KOALA™ multicentre programme 2000 Med Educ 474-479 Fung M, Walker M, Fung K, Temple L, Lajoie F, Bellemare G, Bryson SC. An Internet-based learning portfolio in resident education: the KOALA™ multicentre programme. Med Educ. 2000;34(6):474-479. DOI: 10.1046/j.1365-2923.2000.00571.x http://dx.doi.org/10.1046/j.1365-2923.2000.00571.x 0 0 0 0