zma001241 10.3205/zma001241 urn:nbn:de:0183-zma0012413 short report Kurzbeitrag Gestaltung und curriculare Einbindung Virtueller Patienten zum Erlernen klinischen Denkens Huwendiek Huwendiek Sören S Prof. Dr. Dr. med. MME

University of Bern, Medical Faculty, Institute for Medical Education, Department for Assessment and Evaluation, Mittelstr. 43, CH-3012 Bern SwitzerlandUniversity of Bern, Medical Faculty, Institute for Medical Education, Department for Assessment and Evaluation, Bern Switzerlandhttps://www.iml.unibe.ch

Universität Bern, Medizinische Fakultät, Institut für Medizinische Lehre, Abteilung für Assessment und Evaluation, Mittelstr. 43, CH-3012 Bern, SchweizUniversität Bern, Medizinische Fakultät, Institut für Medizinische Lehre, Abteilung für Assessment und Evaluation, Bern, Schweiz

soeren.huwendiek@iml.unibe.ch author German Medical Science GMS Publishing House

Düsseldorf

610 virtual patients implementation blended learning elearning evaluation Virtuelle Patienten Design Curriculare Einbindung Blended Learning E-Learning Evaluation Clinical Reasoning Klinisches Denken 20180921 20190308 20190415 20190815 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 2366-5017 36 4 GMS Journal for Medical Education GMS J Med Educ 33 Einführung: Virtuelle Patienten (VP) sind elektronische interaktive Patienten. Ziel dieser PhD-Arbeit war es, zu untersuchen, wie die Gestaltung und curriculare Einbindung von VP verbessert werden kann, um das Erlernen klinischen Denkens zu unterstützen. Methoden: Dieser PhD-Bericht beruht auf fünf aufeinanderfolgenden Studien. Unter Verwendung von Fokusgruppen mit Medizinstudierenden untersuchten wir Gestaltungsmerkmale VP. Eine modifizierte Delphi-Studie unter VP-Experten wurde verwendet, um eine VP-Design-Typologie zu erstellen. Ein Fragebogen wurde entwickelt und bzgl. Validitätskriterien untersucht, um die VP-Gestaltung aus studentischer Perspektive zu evaluieren. In Fokusgruppen mit Studierenden untersuchten wir, wie VP optimal in ein Curriculum eingebunden werden können. Weiterhin untersuchten wir mit Fokusgruppen die Wahrnehmung der Studierenden von zwei verschiedenen Prüfungsfragetypen, die den Lernerfolg mit VP prüften, und untersuchten, ob sich die psychometrischen Eigenschaften dieser Fragetypen voneinander unterschieden. Ergebnisse: Aspekte zur Verbesserung der VP-Gestaltung: Verwendung der beschriebenen Designkriterien, wie z. B. Gewährleistung eines angemessenen Schwierigkeitsgrades, Authentizität, Interaktivität, Feedback und Konzentration auf relevante Lernpunkte, Umsetzung eines virtuellen Coachings bzgl. klinischem Denken im Rahmen der VP, wie z. B. Fragen nach unterscheidenden und bestätigenden Merkmalen bei Differenzialdiagnosen, und Bereitstellung theorie-gestützter Instrumente für systematische Verbesserungen, wie z. B. die entwickelte VP-Typologie und der VP-Design-Fragebogen. Aspekte der Verbesserung der curricularen Einbindung von VP: Sequenz der VP und sonstiger curricularer Aktivitäten gemäß Komplexität sowie der didaktischen und inhaltlichen Abstimmung von Lernen und Prüfen unter Verwendung von VP. Schlussfolgerung: Unsere Ergebnisse stimmen überein mit Erkenntnissen außerhalb der VP-Forschung. Unsere Studien zeigen, wie VP gestaltet, systematisch verbessert und curricular eingebunden werden können, um das Erlernen klinischen Denkens zu unterstützen. Introduction: Virtual Patients (VP) are electronic interactive patient cases. The aim of this PhD project was to explore how to improve the design and implementation of VPs to foster learning of clinical reasoning. Methods: This PhD report is based on five consecutive studies. Using focus groups among clerkship students, we explored design features of VP. A modified Delphi study among VP experts was used to establish a VP design typology. Validity evidence was established for a questionnaire to evaluate VP design from the student perspective. In student focus groups, we explored features on how to implement VP into a clerkship. Further, we explored students’ perception of different exam formats, in an assessment of a clerkship which includes learning with VP, by focus groups, and examined whether their psychometric properties differ. Results: Aspects to improve VP design: using instructional design criteria such as ensuring an appropriate level of difficulty, authenticity, interactivity, feedback, and focusing on relevant learning points, implementing virtual coaching on clinical reasoning into the VP, such as asking for discriminating and confirming features, and providing theory-guided instruments for systematic improvements such as the developed VP typology and VP design questionnaire. Aspects to improve VP implementation: sequencing VP and other educational activities according to complexity, and aligning instruction andassessment with the use of VP. Conclusion: Our results are in line with insights outside of VP research. Our studies demonstrate how VP can be designed, systematically further improved, and implemented to foster learning of clinical reasoning. IntroductionClinical reasoning is generally seen as a crucial component of nearly everything doctors do in practice . It guides them to make correct diagnoses and reach appropriate treatment decisions for their patients. As such, a physician’s clinical reasoning skills are highly important and relevant for patient outcomes and patient safety . However, studies have indicated that clinical reasoning is currently not well taught . According to the literature, so-called Virtual Patients (VPs) are particularly suited to foster learning of clinical reasoning . Virtual Patients are online cases in which the learner, takes on the role of physician, is required to make all decisions him/herself and subsequently receives feedback. Ellaway et al. define VP as “interactive computer simulation[s] of real-life clinical scenarios for the purpose of medical training, education, or assessment”. Two aspects have been found to be essential regarding learning with electronic learning tools such as VPs: their design and their implementation.Literature on how to design and implement Virtual Patients to foster clinical reasoning was lacking when we embarked on this research. Therefore, at the outset of our research project, we sought evidence on how to improve learning with VPs in order to foster clinical reasoning in medical students. The main research question was as follows:How can the design and implementation of Virtual Patients be improved in order to foster learning, particularly with respect to clinical reasoning? EinführungKlinisches Denken wird allgemein als entscheidende Komponente all dessen angesehen, was Ärzte in der Praxis tun . Es führt dazu, dass sie richtige Diagnosen stellen und angemessene Behandlungsentscheidungen für ihre Patienten treffen. Daher sind die Fähigkeiten eines Arztes klinisches Denken betreffend äußerst wichtig und relevant für Behandlungserfolge und die Sicherheit des Patienten . Studien deuten jedoch darauf hin, dass klinisches Denken gegenwärtig nicht gut gelehrt wird . Entsprechend der Literatur sind sogenannte Virtuelle Patienten (VP) besonders geeignet, um das Erlernen klinischen Denkens zu unterstützen . Virtuelle Patienten sind Online-Fälle, bei denen der Lernende die Rolle des Arztes einnimmt, sämtliche Entscheidungen selbst treffen muss und jeweils Feedback erhält. Ellaway und Kollegen definieren VP als „interaktive Computersimulation[en] echter klinischer Szenarien zum Zweck ärztlicher Ausbildung, Schulung oder Assessment“. Zwei Aspekte wurden als wesentlich hinsichtlich des Lernens mit elektronischen Lern-Tools wie VP erachtet: ihre Gestaltung und ihre curriculare Einbindung.Literatur dazu, wie Virtuelle Patienten gestaltet und curricular eingebunden werden sollten, um klinisches Denken zu unterstützen, fehlte, als wir uns dieser Forschung zuwendeten. Daher suchten wir zu Beginn unseres Forschungsvorhabens nach Evidenz, wie man das Lernen mithilfe von VPs verbessern kann, um das klinische Denken von Medizinstudierenden zu unterstützen. Die Haupt-Forschungsfrage lautete folgendermaßen:Wie kann die Gestaltung und curriculare Einbindung Virtueller Patienten verbessert werden, um das Lernen zu unterstützen, insbesondere im Hinblick auf klinisches Denken? MethodsThree of the five studies (studies 1,4,5) were conducted in an authentic educational practice setting, specifically a paediatric clinical clerkship. While in these three studies students in their paediatric clerkship were the main target of our investigation, in two studies (studies 2 and 3) VP experts and medical teachers, national and international, were strongly involved in the development of both the VP typology and the VP design questionnaire. Different research methods were used. In specific: Study 1 explores students’ perceptions of the ideal features of Virtual Patient design to foster their learning, focusing on clinical reasoning. Fifth year students (n=104) were exposed to at least eight VPs varying in design, and discussed Virtual Patient design in focus groups . Study 2 describes the development of a Virtual Patient typology based on the literature, a review of existing VP systems, results from study 1, and an international consensus process among Virtual Patient experts, applying a modified Delphi technique . The virtual patient expert team consisted of all six authors of this paper.Study 3 reports on the development and validation of a questionnaire to evaluate Virtual Patient design, drawing on published evidence, input from an international VP expert team (from eVIP project, see www.virtualpatients.eu) and including the insights gained from studies 1 and 2. Three sources of validity evidence were examined: Content, response process and internal structure .Study 4 seeks evidence to guide the implementation of Virtual Patients. Students’ perceptions of different scenarios aimed at developing clinical reasoning skills were explored using focus groups (39 from 116 exposed students). In these scenarios, at least ten Virtual Patients were integrated with other educational activities during a paediatric clerkship .Study 5 focuses on two different types of assessment question and explores their educational impact on the learning of clinical reasoning with Virtual Patients. After students (n=377) underwent clinical clerkships and corresponding exams (n=11), they discussed in focus groups (n=8) the perception and impact of Key-Feature Problems with Long Menu (KFP) and context-rich Single Best Answer questions (crSBA). The study additionally compares the psychometric characteristics of the two formats . MethodenDrei der fünf Studien (Studien 1, 4, 5) wurden in einem authentischen Setting durchgeführt, genauer gesagt während dem vierwöchigen Pädiatrie-Modul. Während in diesen drei Studien die Studierenden die Hauptzielgruppe unserer Untersuchungen waren, waren in zwei anderen Studien (Studien 2 und 3) inländische und internationale VP-Experten maßgeblich sowohl an der Entwicklung der VP-Typologie, als auch dem VP-Design-Fragebogen beteiligt. Es wurden unterschiedliche Forschungsmethoden angewendet, und zwar folgende: Studie 1 untersucht die studentische Wahrnehmung idealer Design-Merkmale Virtueller Patienten, um das Lernen zu unterstützen, mit dem Fokus auf klinisches Denken. Studierende des 5. Studienjahres (N=104) bearbeiteten mindestens acht VP unterschiedlichen Designs, und diskutierten die ideale Gestaltung Virtueller Patienten in Fokusgruppen . Studie 2 beschreibt die Entwicklung einer Typologie von Virtuellen Patienten basierend auf der Literatur, ihrer Anwendung mit bestehenden VP-Systemen, den Ergebnissen von Studie 1 und eines internationalen Konsensprozesses unter VP-Experten anhand einer modifizierten Delphi-Technik . Das VP-Expertenteam bestand aus allen sechs Autoren der Studie 2.Studie 3 berichtet über die Entwicklung und Validierung eines Fragebogens zur Evaluation des Designs Virtueller Patienten, und bezog internationale Veröffentlichungen, Input eines internationalen Expertenteams (aus dem eVIP-Projekt, vgl. www.virtualpatients.eu) und die aus den Studien 1 und 2 gewonnenen Erkenntnisse mit ein. Drei Kategorien von Validitätsnachweisen wurden untersucht: Inhalt, „Response process“ und interne Struktur .Studie 4 untersucht, wie Virtuelle Patienten optimal curricular eingebunden werden sollten. Die studentische Wahrnehmung verschiedener Szenarien, die auf das Erlernen des klinischen Denkens gerichtet waren und VP miteinbezogen, wurde mit Hilfe von Fokusgruppen untersucht (mit 39 der 116 teilnehmenden Studierenden). In diese Szenarien wurden während dem Pädiatrie-Modul mindestens zehn Virtuelle Patienten zusammen mit anderen didaktischen Aktivitäten integriert .Studie 5 untersucht zwei unterschiedliche Arten von Prüfungsfragetypen und deren Einfluss auf das Lernen mit Virtuellen Patienten. Nachdem Studierende (N=377) das Pädiatrie-Modul sowie die entsprechende Prüfung abgelegt hatten (N=11), diskutierten sie in Fokusgruppen (n=8) die Wahrnehmung und den Einfluss von sog. Key-Feature Problemen mit Long Menu-Fragen (KFP) und kontextreiche Einfachauswahl-Fragen (crSBA). Die Studie vergleicht zudem die psychometrischen Merkmale der beiden Fragen-Formate . ResultsStudy 1Five student focus groups revealed 10 principles of VP design. To facilitate learning, Virtual Patients should be relevant, encompass an appropriate level of difficulty, be interactive, provide specific feedback, utilize different, appropriate media, direct students’ focus to relevant learning points, foster the recapitulation of key learning points, be authentic regarding the web-based interface and tasks, and encompass questions and explanations that enhance clinical reasoning. After exposure to – from the student perspective – well-designed VPs, students felt very well prepared for reasoning in real patients, and better prepared than with any other previously experienced method. Students perceived the identified design principles as conducive to their learning. Study 2We synthesised 19 factors concerning four categories identified as relevant to VP design: general (title, description, language, identifier, provenance, typical study time); educational (educational level, educational modes, coverage, objectives); instructional design (path type, user modality, media use, narrative use, interactivity use, feedback use); technical (originating system, format, integration and dependence). Study 3The short VP design questionnaire comprises one global score and six questions distributed between three factors: authenticity of patient encounter and consultation, cognitive strategies in the consultation, coaching during consultation. Content analysis was reasonably supported by the theoretical foundation and the Virtual Patient experts (n=9) from the eVIP project [https://virtualpatients.eu/]. The think-aloud studies and the analysis of free text comments supported the questionnaire’s validity. The exploratory factor analysis, encompassing 2547 student evaluations of 78 Virtual Patients from three countries yielded a three-factor model showing a reasonable fit with the data. To reliably evaluate a Virtual Patient on all three factors, a minimum of 200 student responses are required. Study 4The analysis of eight focus group interviews revealed six themes which were deemed by students to be important for the optimal implementation of VPs: continuous and stable online access, increasing complexity, adapted to students’ knowledge, VP-related workload offset by elimination of other activities, optimal sequencing (e.g.: lecture – 1 to 2 VP(s) – tutor-led small group discussion – real patient), optimal alignment of Virtual Patients and educational activities, and inclusion of VP topics in assessment. Study 5The analysis of 8 focus groups revealed four themes: Compared to the context-rich Single Best Answer format, Key-Feature Problems with Long Menu were seen as more realistic, more difficult and more motivating for the intense study of clinical reasoning with Virtual Patients. Moreover, overall, they showed good acceptance when taking into account some preconditions like offering an additional free-text comment field in case students did not find a suitable answer in the long menu.According to the statistical analysis, there was no difference in difficulty; however, a higher reliability (G coefficient) was found for Key-Feature Problems with Long Menu, even when corrected for testing time (reliability per testing time 1 hour: KFP 0,84 vs crSBA 0,79). The Key-Feature Problems showed higher correlations with the OSCE results (OSCE-KFP: 0,54; OSCE-crSBA: 0,41). For the study of clinical reasoning with Virtual Patients, students perceived the Key-Feature Problems as more motivating. The inclusion of Key-Feature Problems with Long Menu into summative clerkship exams seems to offer positive educational effects and no psychometric drawbacks. ErgebnisseStudie 1Fünf studentische Fokusgruppen zeigten 10 Prinzipien des VP-Designs auf. Um das Lernen zu erleichtern, sollten Virtuelle Patienten relevant sein, ein angemessenes Schwierigkeitsniveau aufweisen, interaktiv sein, spezifisches Feedback bieten, unterschiedliche geeignete Medien nutzen, den Fokus auf relevante Lernpunkte lenken, das Rekapitulieren wesentlicher Lernpunkte fördern, hinsichtlich der webbasierten Oberfläche und Aufgaben authentisch sein, und Fragen und Erläuterungen umfassen, die das Erlernen des klinischen Denkens unterstützen. Nachdem die Studierenden mit – aus studentischer Sicht – gut entworfenen VP lernten, fühlten sie sich gut vorbereitet auf echte Patienten, und deutlich besser vorbereitet, als nach früheren Erfahrungen mit anderen Methoden. Die Studierenden empfanden die identifizierten Designprinzipien als hilfreich für ihr Lernen. Studie 2Wir erfassten 19 Faktoren gruppiert in vier Kategorien, die als relevant für das VP-Design identifiziert wurden: allgemein (Titel, Beschreibung, Sprache, Identifikator, Herkunft, typische Lernzeit); pädagogisch-didaktisch (didaktisches Level, didaktische Modi, Abdeckung, Ziele); didaktisches Design („learning path“, Nutzermodalität, Nutzung von Medien, Nutzung der Sprache, Interaktivität, Feedback); technisch (Ursprungssystem, Format, Integration und Abhängigkeit(en)). Studie 3Der kurze VP-Designfragebogen umfasst einen globalen Score und sechs Fragen, verteilt auf drei Faktoren: Authentizität der Begegnung und des Arztgesprächs mit dem Patienten, kognitive Strategien während des Arztgesprächs, Coaching während des Arztgesprächs. Die Inhaltsanalyse wurde durch die theoretischen Grundlagen des Instruments und die VP-Experten (n=9) des eVIP-Projekts [https://virtualpatients.eu/] angemessen unterstützt. Die „think aloud“-Studien und die Analyse freier Textkommentare stützten die Validität des Fragebogens. Die exploratorische Faktorenanalyse, die 2.547 studentische Evaluationen von 78 Virtuellen Patienten aus drei Ländern umfasste, ergab ein Drei-Faktoren-Modell, das gut mit den Daten übereinstimmte. Um einen Virtuellen Patienten zuverlässig zu allen drei Faktoren evaluieren zu können, sind Antworten von mindestens 200 Studierenden erforderlich. Studie 4Die Analyse von acht Fokusgruppen-Interviews ergab sechs Themenbereiche, die seitens der Studierenden als wichtig für die optimale curriculare Einbindung VP angesehen wurden: kontinuierlicher und stabiler Online-Zugang, zunehmende Komplexität der VP, die dem Wissen der Studierenden angepasst ist, VP-bezogene Arbeitsbelastung wird ausgeglichen durch Eliminierung anderer curricularer Aktivitäten, optimale Reihenfolge (z. B.: Vorlesung – 1 bis 2 VP – Tutor-moderierte Kleingruppen-Diskussion – echter Patient), optimale Abstimmung von Virtuellen Patienten und anderen curricularen Aktivitäten, und Einbezug von VP-Themen in die Prüfung. Studie 5Die Analyse von 8 Fokusgruppen ergab vier Themenbereiche: im Vergleich mit den kontextreichen Einfachauswahl-Fragen, wurden die Key-Feature Probleme mit Long Menu als realistischer, schwieriger und motivierender für das intensive Studium klinischen Denkens mit Virtuellen Patienten eingeschätzt. Außerdem zeigten sie insgesamt eine gute Akzeptanz unter Berücksichtigung einiger Voraussetzungen, wie Anbieten eines zusätzlichen Freitext-Kommentarfeldes, für den Fall, dass die Studierenden im Long Menu keine geeigneten Antworten fanden. Gemäß statistischer Analyse gab es keinen Unterschied bei der Schwierigkeit. Jedoch wurde eine größere Zuverlässigkeit (G-Koeffizient) für Key-Feature Probleme mit Long Menu festgestellt, selbst wenn nach Testzeit korrigiert wurde (Zuverlässigkeit pro Testzeit 1 Stunde: KFP 0,84 vs crSBA 0,79). Die Key-Feature Probleme zeigten eine höhere Korrelation mit OSCE-Ergebnissen (OSCE-KFP: 0,54; OSCE-crSBA: 0,41). Beim Studium klinischen Denkens mit Virtuellen Patienten empfanden die Studenten die Key-Feature Probleme als motivierender. Die Verwendung von Key-Feature Problemen mit Long Menu in den abschließenden Modulprüfungen scheint positive pädagogische Wirkungen zu haben ohne psychometrische Nachteile. Summary and DiscussionStudies 1-3 suggest that the following three main aspects are particularly relevant for optimising VP design to foster learning of clinical reasoning: use of instructional design criteria, i.e. ensuring appropriate difficulty, authenticity, interactivity, feedback and focus on relevant learning points, implementation of virtual coaching on clinical reasoning into the VP, i.e. asking for discriminating and confirming features, and provision of validated instruments to enable systematic further improvements, such as the developed VP typology and VP design questionnaire. The empirically derived VP typology provides a common reference point for studies or reports on Virtual Patients. The VP design questionnaire has the potential to provide valid information about Virtual Patient design, contingent on a large number of responses per VP.Studies 4-5 suggest the following three main aspects as being especially relevant for VP implementation: sequencing VPs and other educational activities, including bedside teaching with real patients, according to complexity, and aligning instruction and assessment with the use of VPs. Our findings are in accordance with current theories and insights outside of VP research e.g. on instructional design , on how to foster learning of clinical reasoning , and on instructional design theories regarding curriculum development . The main implications of our research for educational practice are as follows: To optimally foster clinical reasoning, Virtual Patients should be well designed, systematically improved through validated instruments, and well implemented.The major strengths of this dissertation include the authentic study settings, the involvement of different stakeholders in the studies, and the combination of different research methodologies. Limitations of this dissertation are that three studies were done at only one centre, that it did not include a study on the longitudinal implementation of VPs, or one on the transfer of learning to real patients using objective measures. Further research is necessary to deepen the understanding of Virtual Patient design and implementation from a multicentre perspective and in different contexts. Further, the efficacy and effectiveness of VP should be investigated more in depth. This should include longitudinal studies and measurements of the impact on patient outcomes. Zusammenfassung und DiskussionStudien 1-3 legen nahe, dass die folgenden drei Hauptaspekte von besonderer Relevanz für die Optimierung der VP-Gestaltung zur Förderung des Erlernens klinischen Denkens sind: Verwendung didaktischer Designkriterien, d. h. Gewährleistung angemessener Schwierigkeit, Authentizität, Interaktivität, Feedback und Fokussierung auf relevante Lernpunkte, Integration von virtuellem Coaching bzgl. klinischem Denken in die VP, d. h. Fragen nach unterscheidenden und bestätigenden Merkmalen, und Bereitstellung validierter Instrumente, um systematisch weitere Verbesserungen zu ermöglichen, wie z. B. die entwickelte VP-Typologie und der VP-Designfragebogen. Die empirisch erstellte VP-Typologie bietet einen gemeinsamen Referenzpunkt für Studien oder Berichte zu Virtuellen Patienten. Der VP-Designfragebogen besitzt das Potenzial, valide Informationen zur Gestaltung Virtueller Patienten zur Verfügung zu stellen, in Abhängigkeit von einer großen Anzahl von Fragebogen-Antworten pro VP.Studien 4-5 legen nahe, dass die folgenden drei Hauptaspekte von besonderer Relevanz für die Optimierung der curricularen Einbindung VP sind: Sequenzierung von VP und sonstigen curricularen Veranstaltungen, einschließlich Lehre am Krankenbett mit echten Patienten, gemäß Komplexität, und didaktische und inhaltliche Abstimmung von Lernen und Prüfen bei der Nutzung von VP. Unsere Ergebnisse sind in Einklang mit aktuellen Theorien und Erkenntnissen außerhalb der VP-Forschung, z. B. zum didaktischen Design , dazu, wie das Erlernen klinischen Denkens gefördert werden kann , und zu Theorien bzgl. didaktischem Design im Hinblick auf die Entwicklung eines Curriculums . Die wesentlichen Implikationen unserer Forschung für die medizinische Lehre sind folgende: Um eine optimale Förderung klinischen Denkens zu erreichen, sollten Virtuelle Patienten gut gestaltet sein, systematisch durch validierte Instrumente verbessert werden und gut curricular eingebunden sein.Die wichtigsten Stärken dieser Dissertation umfassen die authentischen Studiensettings, der Einbezug unterschiedlicher Interessengruppen in die Studien und die Kombination verschiedener Forschungsmethoden. Einschränkungen dieser Dissertation sind, dass drei Studien in nur einem Zentrum durchgeführt wurden und dass sie keine Studie zur langfristigen Umsetzung von VP oder zum Transfer des Lernens auf echte Patienten unter Verwendung objektiver Messungen umfasst. Weitere Studien sind nötig, um das Verständnis der Gestaltung und curricularen Einbindung Virtueller Patienten aus einer „multizentrischen“ Perspektive und in verschiedenen Kontexten zu vertiefen. Weiterhin sollten die Wirksamkeit und Effektivität von VP vertieft untersucht werden. Diese Untersuchungen sollten Langzeitstudien und Messungen des Einflusses auf die Patienten-Behandlung umfassen. A piece of adviceEnsure that you have blocked off sufficient time for your PhD work, choose your topic and supervisors wisely, and enjoy this time. RatschlagStellen Sie sicher, dass Sie sich ausreichend Zeit für Ihre Promotion freihalten; wählen Sie Ihr Thema und Ihre Betreuer klug aus und genießen Sie diese Zeit. Biographical noteSören Huwendiek graduated from medical school at Heidelberg University in Germany, where he also worked for 10 years as a physician (finally paediatrician and paediatric rheumatologist) and as a medical educator. He gained a Masters of Medical Education degree from Bern University and this PhD in Health professions education from Maastricht University. Since 2012, he has been Head of the Department of Assessment and Evaluation of the Institute of Medical Education (IML) in Switzerland. In 2018, he was promoted to Associate Professor for Medical Education.The defense took place at the University of Maastricht on 25 November 2016.Supervisors: Prof. Dr. D.H.J.M Dolmans (University of Maastricht) and Prof. Dr. C.P.M. van der Vleuten (University of Maastricht). Co-supervisor: Dr. B. de Leng (University of Münster). Biographischer HinweisSören Huwendiek machte seinen Studienabschluss an der Universität Heidelberg in Deutschland, wo er auch 10 Jahre als Arzt (zuletzt als Pädiater und pädiatrischer Rheumatologe) und als „Medical Educator“ arbeitete. Er besitzt einen Master of Medical Education der Universität Bern und diesen PhD in Medical Education der Universität Maastricht. Seit 2012 ist er Abteilungsleiter Assessment und Evaluation des Instituts für Medizinische Lehre (IML) in der Schweiz. Im Jahre 2018 wurde er zum Assoziierten Professor für Medizinische Lehre befördert.Die Verteidigung fand am 25. November 2016 an der Universität Maastricht statt.Betreuer: Prof. Dr. D.H.J.M Dolmans (Universität Maastricht) und Prof. Dr. C.P.M. van der Vleuten (Universität Maastricht). Weiterer Betreuer: Dr. B. de Leng (Universität Münster). AcknowledgementMy sincere gratitude goes to my great supervisors Diana Dolmans, Cees van der Vleuten and Bas de Leng from Maastricht University resp. Münster University and Burkhard Tönshoff and Georg F. Hoffmann from Heidelberg University. I also thank the many other people who contributed to and supported me in this PhD. DanksagungMein aufrichtiger Dank gilt meinen großartigen Betreuern Diana Dolmans, Cees van der Vleuten und Bas de Leng von der Universität Maastricht respektive Universität Münster sowie Burkhard Tönshoff und Georg F. Hoffmann von der Universität Heidelberg. Ich bedanke mich auch bei den vielen anderen, die zu dieser Dissertation beigetragen und mich dabei unterstützt haben. Competing interestsThe author declares that he has no competing interests. InteressenkonfliktDer Autor erklärt, dass er keine Interessenkonflikte im Zusammenhang mit diesem Artikel hat. Bowen JL Educational strategies to promote clinical diagnostic reasoning 2006 N Engl J Med 2217-2225 Bowen JL. Educational strategies to promote clinical diagnostic reasoning. N Engl J Med. 2006;355(21):2217-2225. DOI: 10.1056/NEJMra054782 http://dx.doi.org/10.1056/NEJMra054782 Cook DA Erwin PJ Triola MM Computerized virtual patients in health professions education: a systematic review and meta-analysis 2010 Acad Med 1589-602 Cook DA, Erwin PJ, Triola MM. Computerized virtual patients in health professions education: a systematic review and meta-analysis. Acad Med. 2010;85(10):1589-602. DOI: 10.1097/ACM.0b013e3181edfe13 http://dx.doi.org/10.1097/ACM.0b013e3181edfe13 Croskerry P A universal model of diagnostic reasoning 2009 Acad Med 1022-1028 Croskerry P. A universal model of diagnostic reasoning. Acad Med. 2009;84(8):1022-1028. DOI: 10.1097/ACM.0b013e3181ace703 http://dx.doi.org/10.1097/ACM.0b013e3181ace703 Durning S Artino AR Jr Pangaro L van der Vleuten CP Schuwirth L Context and clinical reasoning: understanding the perspective of the expert's voice 2011 Med Educ 927-938 Durning S, Artino AR Jr, Pangaro L, van der Vleuten CP, Schuwirth L. Context and clinical reasoning: understanding the perspective of the expert's voice. Med Educ. 2011;45(9):927-938. DOI: 10.1111/j.1365-2923.2011.04053.x http://dx.doi.org/10.1111/j.1365-2923.2011.04053.x Ellaway R Poulton T Fors U McGee JB Albright S Building a virtual patient commons 2008 Med Teac 170-174 Ellaway R, Poulton T, Fors U, McGee JB, Albright S. Building a virtual patient commons. Med Teac. 2008;30(2):170-174. DOI: 10.1080/01421590701874074 http://dx.doi.org/10.1080/01421590701874074 Grunwald T Corsbie-Massay C Guidelines for cognitively efficient multimedia learning tools: educational strategies, cognitive load, and interface design 2006 Acad Med 213-223 Grunwald T, Corsbie-Massay C. Guidelines for cognitively efficient multimedia learning tools: educational strategies, cognitive load, and interface design. Acad Med. 2006;81(3):213-223. DOI: 10.1097/00001888-200603000-00003 http://dx.doi.org/10.1097/00001888-200603000-00003 Huang G Reynolds R Candler C Virtual patient simulation at US and Canadian medical schools 2007 Acad Med 446-451 Huang G, Reynolds R, Candler C. Virtual patient simulation at US and Canadian medical schools. Acad Med. 2007;82(5):446-451. DOI: 10.1097/ACM.0b013e31803e8a0a http://dx.doi.org/10.1097/ACM.0b013e31803e8a0a Huwendiek S Reichert F Bosse HM de Leng BA van der Vleuten CP Haag M Hoffmann GF Tönshoff B Design principles for virtual patients: a focus group study among students 2009 Med Educ 580-588 Huwendiek S, Reichert F, Bosse HM, de Leng BA, van der Vleuten CP, Haag M, Hoffmann GF, Tönshoff B. Design principles for virtual patients: a focus group study among students. Med Educ. 2009;43(6):580-588. DOI: 10.1111/j.1365-2923.2009.03369.x http://dx.doi.org/10.1111/j.1365-2923.2009.03369.x Huwendiek S deLeng B Zary N Fischer MR Ruiz JG Ellaway R Towards a Typology of Virtual Patients 2009 Med Teach 743-748 Huwendiek S, deLeng B, Zary N, Fischer MR, Ruiz JG, Ellaway R. Towards a Typology of Virtual Patients. Med Teach. 2009;31(8):743-748. DOI: 10.1080/01421590903124708 http://dx.doi.org/10.1080/01421590903124708 Huwendiek S Duncker C Reichert F de Leng BA Dolmans D van der Vleuten CP Haag M Hoffmann GF Tönshoff B Learner preferences regarding integrating, sequencing and aligning virtual patients with other activities in the undergraduate medical curriculum: a focus group study 2013 Med Teach 920-929 Huwendiek S, Duncker C, Reichert F, de Leng BA, Dolmans D, van der Vleuten CP, Haag M, Hoffmann GF, Tönshoff B. Learner preferences regarding integrating, sequencing and aligning virtual patients with other activities in the undergraduate medical curriculum: a focus group study. Med Teach. 2013;35(11):920-929. DOI: 10.3109/0142159X.2013.826790 http://dx.doi.org/10.3109/0142159X.2013.826790 Huwendiek S De Leng BA Kononowicz AA Kunzmann R Muijtjens AM Van Der Vleuten CP Hoffmann GF Tönshoff B Dolmans DH Exploring the validity and reliability of a questionnaire for evaluating virtual patient design with a special emphasis on fostering clinical reasoning 2015 Med Teach 775-782 Huwendiek S, De Leng BA, Kononowicz AA, Kunzmann R, Muijtjens AM, Van Der Vleuten CP, Hoffmann GF, Tönshoff B, Dolmans DH. Exploring the validity and reliability of a questionnaire for evaluating virtual patient design with a special emphasis on fostering clinical reasoning. Med Teach. 2015;37(8):775-782. DOI: 10.3109/0142159X.2014.970622 http://dx.doi.org/10.3109/0142159X.2014.970622 Huwendiek S Reichert F Duncker C de Leng BA van der Vleuten CP Muijtjens AMM Bosse HM Haag M Hoffmann GF Tönshoff B Dolmans D Electronic Assessment of Clinical Reasoning in Clerkships: A Mixed-Methods Comparison of Long-menu Key-Feature Problems with Context-Rich Single Best Answer Questions 2017 Med Teach 476-485 Huwendiek S, Reichert F, Duncker C, de Leng BA, van der Vleuten CP, Muijtjens AMM, Bosse HM, Haag M, Hoffmann GF, Tönshoff B, Dolmans D. Electronic Assessment of Clinical Reasoning in Clerkships: A Mixed-Methods Comparison of Long-menu Key-Feature Problems with Context-Rich Single Best Answer Questions. Med Teach. 2017;39(5):476-485. DOI: 10.1080/0142159X.2017.1297525 http://dx.doi.org/10.1080/0142159X.2017.1297525 van Merrienboer JJ Sweller J Cognitive load theory in health professional education: Design principles and strategies 2010 Med Educ 85-93 van Merrienboer JJ, Sweller J. Cognitive load theory in health professional education: Design principles and strategies. Med Educ. 2010;44(1):85-93. DOI: 10.1111/j.1365-2923.2009.03498.x http://dx.doi.org/10.1111/j.1365-2923.2009.03498.x 0 0 0 0