zma001122 10.3205/zma001122 urn:nbn:de:0183-zma0011220 article Artikel Einhaltung von Qualitätsstandards nach Teilnahme an einem Hochschuldidaktik-Workshop zum „Arbeiten mit Simulationspatient*innen“ Freytag Freytag Julia J

Charité - Universitätsmedizin Berlin, Prodekanat für Studium und Lehre, Virchowweg 5, D-10117 Berlin, Germany, Phone: +49 (0)30/450-576-344Charité - Universitätsmedizin Berlin, Prodekanat für Studium und Lehre, Berlin, Germany

Charité - Universitätsmedizin Berlin, Prodekanat für Studium und Lehre, Virchowweg 5, 10117 Berlin, Deutschland, Tel.: +49 (0)30/450-576-344Charité - Universitätsmedizin Berlin, Prodekanat für Studium und Lehre, Berlin, Deutschland

julia.freytag@charite.de author Hölzer Hölzer Henrike H

Medizinische Hochschule Brandenburg, Neuruppin, Germany

Medizinische Hochschule Brandenburg, Neuruppin,Deutschland

henrike.hoelzer@mhb-fontane.de author Sonntag Sonntag Ulrike U

Charité - Universitätsmedizin Berlin, Prodekanat für Studium und Lehre, Berlin, Germany

Charité - Universitätsmedizin Berlin, Prodekanat für Studium und Lehre, Berlin, Deutschland

ulrike.sonntag@charite.de author German Medical Science GMS Publishing House

Düsseldorf

610 Faculty development Evaluation Observational study Checklist Teaching Standards Teaching with Simulated Patients Hochschuldidaktik Personal- und Organisationsentwicklung Evaluation Beobachtungsstudie Checkliste Qualitätsstandards Lehre mit SP Teacher Training Dozierendentraining 20161109 20170329 20170607 2017101620171020 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 2366-5017 34 4 GMS Journal for Medical Education GMS J Med Educ Faculty development in medical and health professions education/Personal- und Organisationsentwicklung für die Lehre in der Medizin und den Gesundheitsberufen 45 20171019Ref. 5 korrigiert 10.5061/dryad.13250 Bundesministerium für Bildung und Forschung Hintergrund: Weltweit werden hochschuldidaktische Fortbildungen zur Verbesserung der Qualität der Lehre von Lehrenden als sehr wichtig angesehen. Zumeist werden die Effekte dieser Programme jedoch lediglich über den Wissenszuwachses der Teilnehmenden oder eine Selbsteinschätzung ihres (veränderten) Lehrverhaltens erhoben. Offen bleibt, was genau von den Teilnehmenden erwartet wird und wie der Transfer des Gelernten in die Praxis umfassender und genauer gemessen werden kann. Methoden: In dieser Studie wird evaluiert, ob spezifische Qualitätsstandards nach der Teilnahme an einem Workshop (10 UE) zur Vermittlung kommunikativer Kompetenzen mit Simulationspatient*innen (SP) in der Praxis eingehalten werden. Geschulte Beobachterinnen nutzten eine validierte Checkliste um in 60 Kursen zu kommunikativen und sozialen Kompetenzen, in denen SP eingesetzt wurden, zu hospitieren (bei 60 verschiedenen Lehrenden). Zusätzlich wurden der Zeitraum, der seit der Workshopteilnahme jeweils vergangen war sowie die Einstellung der Lehrenden zur Wichtigkeit kommunikativer und sozialer Kompetenzen in der medizinischen Ausbildung erfasst. Ergebnisse: In den Hospitationen zeigte sich, dass mehr als zwei Drittel der Qualitätsstandards von mindestens 75% der Lehrenden eingehalten werden. Die Anzahl an erfüllten Standards korrelierte signifikant mit der Bewertung der Wichtigkeit kommunikativer und sozialer Kompetenzen durch die Lehrenden (tb=-.21, p=.03). Zusätzlich deuten die Ergebnisse eine Abnahme der Anzahl eingehaltener Standards über die Zeit an (r=-.14, p=.15). Schlussfolgerungen: Bereits nach Teilnahme an einem nur eintägigen Workshop war die Einhaltung grundlegender Qualitätsstandards auf zufriedenstellendem Niveau. Komplexere Standards müssten in weiteren hochschuldidaktischen Kursen vertieft werden, dabei sollte ein Fokus auf der Einstellung der Lehrenden zur Relevanz kommunikativer Kompetenzen liegen. Zukünftig sind fortlaufende Überprüfungen des Transfers von Wissen und Fertigkeiten aus didaktischen Kursen in die Lehrpraxis nötig – bevorzugter Weise unter der Einbindung von Prä-Tests oder Kontrollgruppen. Background: Nowadays, faculty development programs to improve teaching quality are considered to be very important by medical educators from all over the world. However, the assessment of the impact of such programs rarely exceeds tests of participants’ knowledge gain or self-assessments of their teaching behavior. It remains unclear what exactly is expected of the attending faculty and how the transfer to practice may be measured more comprehensively and accurately. Method: This study evaluates how specific teaching standards were applied after a workshop (10 teaching units) focusing on teaching communication skills with simulated patients. Trained observers used a validated checklist to observe 60 teaching sessions (held by 60 different teachers) of a communication skills course integrating simulated patients. Additionally, we assessed the amount of time that had passed since their participation in the workshop and asked them to rate the importance of communication and social skills in medical education. Results: The observations showed that more than two thirds of teaching standards were met by at least 75% of teachers. Fulfillment of standards was significantly connected to teachers’ rating of the importance of communication and social skills (tb=-.21, p=.03). In addition, the results suggest a slight decrease in the amount of fulfilled standards over time (r=-.14, p=.15). Conclusions: Teachers' adherence to basic teaching standards was already satisfying after a one-day workshop. More complex issues need to be re-addressed in further faculty development courses with a special focus on teachers’ attitude towards teaching. In future, continuing evaluations of the transfer of knowledge and skills from faculty development courses into practice, preferably including pre-tests or control groups, are needed. 1. IntroductionThese days, faculty development programs focusing on all different aspects of teaching are common at medical schools around the globe and are considered a valuable help by many who teach in medical education. Descriptions of such qualifications – whether they are one-time interventions or seminar series – often include evaluations, which report participants’ satisfaction, their knowledge gain and/or self-reports of changes in teaching behavior. Evaluations using different methods, like experts observing the teaching behavior, are used less often , , . This means that little is known about how teachers implement what they learned in faculty development workshops into their teaching. Especially looking at teaching with simulated patients, as a very specific teaching method, there are only few publications that describe and evaluate workshops or seminars designed to introduce faculty to such methods . When evaluating such a workshop at our own faculty, we wanted to focus on actual teaching behavior and the adherence to specific teaching standards.A workshop of 10 teaching units (à 45 minutes) called “Teaching with simulated patients” was introduced, after the curriculum at Charité – University Medicine Berlin was modified in 2010 and a communication skills course with 25 different simulated patients (SPs) scenarios was implemented . This change caused an enormous need for qualified teachers of social and communication skills at a time where there were only few available. The completion of the workshop is mandatory for every teacher of a course called KIT. KIT stands for the German translation of “Communication, interaction, teamwork”. It is obligatory, taught in small groups and focuses on the most important social and communication skills needed by physicians, following the recommendations of international consensus statements , . A special feature of this course is the integration of simulated patients.In the workshop “Teaching with simulated patients” we introduce several standards on how to teach with simulated patients . Included is basic knowledge about the methodology of simulated patients, the use of feedback and the basic tasks of an instructor and a facilitator , . Furthermore, the participants have the opportunity to practice what they learned in two micro-teachings with SP scenarios used in KIT and receive feedback afterwards. These micro-teachings are considered helpful – not only because new skills can be immediately trained – but also because participants can empathize with the learners’ experience of being observed and assessed . The workshop is held on one full or two half-days, the average number of participants is ten. In an earlier study participants rated the quality of the workshop as very high .Regarding Kirkpatrick’s four levels (reaction, learning, behavior, results ), which are often used to classify evaluations of faculty development programs , , this is an evaluation on level one, concentrating on the participants reaction – their satisfaction – to the workshop. As mentioned above we sought to take this evaluation further and decided to conduct a study to observe the behavior, respectively the behavior change in trained teachers, thus an evaluation on level three. In Steinert et al.’s systematic review 72% of studies report outcomes on level three, but about one third of those exclusively rely on self-reported changes in behavior . But self-assessment is not an easy task, especially if a field of expertise is new to a person , , . Therefore other measures, like assessments by experienced observers, students or colleagues should be considered as well. However, only few studies integrated such assessments from different sources in recent years to evaluate teaching skills , . Consequently, this study – using trained observers and a validated checklist – contributes an important additional insight in this area.On top of that, we wanted to consider other variables that potentially influence the transfer of learned teaching standards into practice. Based on the literature we identified three variables: time passed since participation in the workshop , , attitude towards the importance of teaching communication skills to medical students , and teachers’ self-perceived need for further training . The amount of time since participating in a workshop is used in some studies to investigate if faculty development has sustainable effects . This question is often linked to the duration of the program , . With the evaluation of our one-day course we wanted to gain further insight into the effectiveness of such short courses. The question towards teachers’ self-perceived need for more training tries to identify their self-efficacy, meaning their self-evaluation, considering their teaching abilities. Literature from different backgrounds, including Bandura’s social cognitive theory, has linked the evaluation of one’s own (teaching) abilities to actual (teaching) behavior , , , . A similar connection between attitudes and behavior in different areas was shown in the literature , . Furthermore, it is supported by our own experiences working in the field of faculty development. These experiences strongly suggest the importance of teachers’ attitude towards teaching, especially when teaching topics outside the traditional range of subjects or when using innovative methods. This leads to our basic assumption, that – in order for a faculty development workshop to have the desired effect – teachers need to be sensitized to the topics’ importance as well as to the adequacy of the teaching methods. Thus, only dedicated teachers expect a worthwhile outcome from teaching communication skills. Due to that reason, our workshop includes a presentation and a discussion of research results which prove the benefits of communication skills training as well as the implementation of simulated patients. This hypothesis is supported by Bandura’s social cognitive theory as well, as it describes how outcome expectancy plays an important role when it comes to actual performance .To summarize, this study aims to answers the following questions: To what extent do teachers adhere to trained teaching standards for working with SPs? And is adherence to those standards connected to the factors: time passed since workshop, personal need for further training or importance of communication and social skills in medical education (rated by teachers)? 1. EinleitungProgramme zur Personal- und Organisationsentwicklung sind an medizinischen Fakultäten überall auf der Welt weit verbreitet. Sie beinhalten z.B. Fortbildungen im Bereich der Hochschuldidaktik, die auf verschiedene Aspekte der Lehre fokussieren und von vielen, die in diesem Feld tätig sind, als wertvoll und hilfreich empfunden werden. Beschreibungen solcher Programme – egal ob es sich um einmalige Interventionen oder ganze Workshop-Reihen handelt – beinhalten meist auch Evaluationsdaten, z.B. zur Zufriedenheit der Teilnehmenden, zu deren Wissenszuwachs und/oder Selbstauskünfte zu Veränderungen im eigenen Lehrverhalten. Evaluationen mittels anderer Methoden, wie z.B. durch Expert*innen, die das Lehrverhalten beobachten, werden deutlich seltener eingesetzt , , . Daher ist wenig darüber bekannt, inwieweit Lehrende das, was sie in Hochschuldidaktik-Workshops gelernt haben, in die Lehre übertragen. Fokussiert man hier zusätzlich auf die Lehre mit SP als spezifischer Methode, gibt es nur wenige Publikationen die Workshops oder andere Kurse zur Einführung in die Arbeit mit SP beschreiben und evaluieren . Im Zuge der Evaluation eines solchen Workshops an unserer Fakultät sollten daher das Lehrverhalten und die Einhaltung der im Workshop vermittelten Qualitätsstandards im Fokus stehen.Der Workshop „Arbeiten mit Simulationspatient*innen“ umfasst 10 Unterrichtseinheiten (à 45 Minuten) und wurde an der Charité Universitätsmedizin Berlin eingeführt, nachdem das Curriculum 2010 reformiert und – unter anderem – ein longitudinales Kursformat zur Vermittlung kommunikativer und sozialer Kompetenzen mit 25 SP-Fällen implementiert wurde . Diese Neuerung verursachte einen sehr hohen Bedarf an qualifizierten Lehrenden im Bereich soziale und kommunikative Kompetenzen, von denen zu diesem Zeitpunkt nur wenige verfügbar waren. Die Teilnahme am Workshop ist verpflichtend für alle Lehrenden im Kursformat „Kommunikation, Interaktion, Teamarbeit“, kurz KIT. KIT ist Teil der Pflichtlehre, wird in Kleingruppen unterrichtet, thematisiert die wichtigsten kommunikativen und sozialen Kompetenzen, die von Ärzt*innen benötigt werden und folgt dabei internationalen Konsensusstatements , . Ein besonderes Merkmal des Kurses ist die Integration von SP.Im Workshop „Arbeiten mit SP“ werden verschiedene Standards für den Einsatz von SP in der Lehre eingeführt . Diese Standards beinhalten Basiswissen über die „Methode SP“, Feedback und die Aufgaben von Dozierenden , . Darüber hinaus haben die Teilnehmenden die Möglichkeit, dieses theoretische Wissen in zwei Unterrichtssimulationen mit SP-Fällen, die auch in KIT zum Einsatz kommen, zu üben und danach ein Feedback von der bzw. dem Dozierenden des Workshops zu erhalten. Diese Simulationen werden als hilfreich angesehen , weil sie eine unmittelbare Übungsmöglichkeit darstellen. Darüber hinaus ermöglichen sie den Teilnehmenden eine Perspektivübernahme, da diese die Rolle einer*s Lernenden übernehmen können, welche*r im Rahmen eines SP-Gesprächs beobachtet wird und Feedback erhält . Der Workshop findet entweder an einem vollen oder zwei halben Tagen statt, die durchschnittliche Anzahl der Teilnehmenden liegt bei 10. Wie in einer früheren Studie berichtet, bewerten diese die Qualität der Workshops als sehr hoch .Orientiert man sich an dem Vier-Ebenen-Modell von Kirkpatrick (Reaktion, Lernen, Verhalten, Ergebnisse ), welches häufig genutzt wird, um Evaluationen von Maßnahmen zur Personal- und Organisationsentwicklung zu kategorisieren , , handelt es sich dabei um eine Evaluation der Ebene 1, die sich auf die Reaktion der Teilnehmenden, genauer auf ihre Zufriedenheit mit dem Workshop, konzentriert. Ziel der vorliegenden Studie war es, einen Schritt über diese Evaluation hinauszugehen und eine Beobachtungsstudie durchzuführen, die ermöglicht das Lehrverhalten bzw. mögliche Veränderungen in diesem zu beobachten. Somit handelt es sich um eine Evaluation auf Ebene 3. Im Review von Steinert et al. berichten 72% der eingeschlossenen Studien Ergebnisse auf Ebene 3, ein Drittel dieser Studien beziehen sich dabei einzig auf Selbsteinschätzungen zur Verhaltensänderung . Es konnte allerdings gezeigt werden, dass akkurate Selbsteinschätzungen sehr schwierig sind, insbesondere für Bereiche, in denen die Befragten (noch) keine Expertise besitzen , , . Daraus ergibt sich die Notwendigkeit von zusätzlichen Evaluationen durch geschulte Beobachter*innen, Studierende oder Kolleg*innen. Dennoch haben nur wenige Studien der letzten Jahre Evaluationen aus verschiedenen Perspektiven integriert, um die Qualität des Lehrverhaltens in der medizinischen Ausbildung zu erfassen , . Die vorliegende Studie stellt durch den Einsatz von geschulten Beobachterinnen und der Nutzung einer validierten Checkliste einen wichtigen Beitrag zu diesem Forschungsbereich dar.In einem weiteren Schritt werden in dieser Studie auch verschiedene Variablen, die das Lehrverhalten potenziell beeinflussen, erfasst. Basierend auf der Literatur wurden drei solcher Variablen identifiziert: die Zeit, die seit der Workshopteilnahme vergangen ist , die Einstellung der Lehrenden zur Wichtigkeit kommunikativer und sozialer Kompetenzen in der medizinischen Ausbildung , und der selbsteingeschätzte Bedarf der Lehrenden an weiteren Qualifikationsmaßnahmen . Die vergangene Zeit seit der Teilnahme am Workshop wird in einigen Studien zur Untersuchung der Nachhaltigkeit der Trainingseffekte genutzt . Diese Frage ist dabei eng verknüpft mit der Länge der verschiedenen Programme , . Mit der Evaluation unseres Eintageskurses möchten wir daher zur Datenlage bezüglich der Effektivität solch kurzer Programme beitragen. Die Erhebung des selbsteingeschätzten Bedarfs der Lehrenden an weiteren Qualifikationsmaßnahmen zielt auf die Selbstwirksamkeit der Lehrenden ab, also die Selbsteinschätzung ihrer Lehrkompetenz. Die Literatur, darunter Banduras Sozialkognitive Lerntheorie, beschreibt in diesem Zusammenhang eine Verknüpfung zwischen der Einschätzung der eigenen (Lehr-) Kompetenz und dem tatsächlichen (Lehr-)Verhalten , , , . Eine ähnliche Verknüpfung wird zwischen der eigenen Einstellung und dem Verhalten beschrieben , . Diese Befunde werden durch unsere eigene Erfahrung aus der Arbeit im Bereich der Hochschuldidaktik unterstützt. Die Relevanz der Einstellung der Lehrenden gegenüber der Lehre, besonders bei Unterrichtsthemen, die außerhalb des traditionellen Fächerkanons liegen oder beim Einsatz innovativer Unterrichtsmethoden, und den Einfluss der Einstellung auf das Lehrverhalten konnten auch wir wiederholt beobachten. Dies führt zur grundlegenden Annahme, dass hochschuldidaktische Fortbildungen die Lehrenden für die Bedeutsamkeit des Unterrichtsinhalts, als auch die Angemessenheit der Unterrichtsmethoden sensibilisieren müssen, um den gewünschten Effekt zu erlangen. Nur die Lehrenden, die überzeugt sind von der Wichtigkeit der Ausbildung kommunikativer Kompetenzen, erwarten positive Effekte dieser Lehre. Aus diesem Grund enthält unser Workshop die Präsentation und Diskussion wissenschaftlicher Studien, die sowohl den Nutzen von Kommunikationstrainings, als auch des Einsatzes von SP zeigen konnten. Diese Hypothese wird ebenfalls durch Banduras Sozialkognitive Lerntheorie unterstützt, welche beschreibt, dass das Ergebnis, welches eine Person von einem Verhalten erwartet, damit zusammenhängt, ob das Verhalten wirklich ausgeführt wird .Diese Studie versucht somit folgende Forschungsfragen zu beantworten: In welchem Ausmaß werden die Qualitätsstandards zur Arbeit mit SP von den Lehrenden eingehalten? Wird die Einhaltung der Standards durch einen oder mehrere der folgenden Faktoren beeinflusst: Zeit seit Workshopteilnahme, selbsteingeschätzter Bedarf an weiteren Qualifikationsmaßnahmen und Einstellung zur Wichtigkeit sozialer und kommunikativer Kompetenzen in der medizinischen Ausbildung (bewertet durch die Lehrenden)? 2. Method2.1. Study Design The study is a quantitative study with a quasi-experimental design. Four trained observers collected data during systematic, non-participant observations of KIT sessions in 2013 and 2014. Additionally, teachers were asked to fill out a questionnaire.2.2. Assessment Procedure At first, randomly selected teachers were informed about the study and asked via e-mail for their and their students’ permission to be observed during one of their teaching sessions. If they agreed to be observed, a date was scheduled. Observers were blinded regarding the point in time when teachers had participated in the workshop. Furthermore, observers did not know the participants. They were present for the whole duration of the courses (two to three hours), filled out an observation checklist and handed out questionnaires to the teachers to be filled out at the end of the session. 2.3. Instruments 2.3.1. Observation checklistThe checklist was developed at Charité–University Medicine Berlin to evaluate the workshop called “Teaching with simulated patients” , because no instrument fitting our purpose could be found when conducting a literature search. The checklist contains 39 items in 7 categories and represents the content, respectively the learning objectives of our workshop and emphasizes our quality standards, for example learner-centered teaching, orientation towards learning objectives and high-quality feedback. The instrument was discussed with the facilitators of the workshops and other faculty development experts to secure its content validity. For some categories, e.g. Feedback, a great amount of literature and even validated checklists already exist. In those cases, these were used as a basis for the items of the checklist , . Apart from that, we made sure we followed the methodological guidelines for designing an observation checklist, for example that all items need to describe something observable or that items should not overlap each other .The seven item-categories are:Beginning of session (4 items)Interaction with SP (18 items)Feedback (8 items)Content (1 item)Facilitation (4 items)End of session (2 items)Structure of session (2 items)A pilot study (N=8) was conducted to check the instruments’ feasibility and to identify missing or superfluous items as well as unclear item formulations. Afterwards some items were rephrased for clarification, some items were dichotomized (can only be rated “fulfilled” or “not fulfilled”) and a few new sub-items were established. Some items were fulfilled in all sessions (e.g. “The SP leaves the room when simulation is finished”), nonetheless we decided that they should remain in the checklist, because we see them as crucial parts of a successful SP-interaction. The 39 items of the final version (see Attachment 1 ) can be rated using a scale with four options (“fulfilled”, “partly fulfilled” [if applicable], “not fulfilled”, “not applicable”). Four items are sub-items, which are only applicable in some cases (e.g. if a discussion takes place). The checklist closes with an additional item called “global rating of teaching performance”, which is measured on a five-point Likert scale (1=very good to 5=very poor).Observers (two psychologists, two health professions educators) were trained in a two-hour training session where the concept and handling of the checklist were explained. Furthermore, we tested the interrater agreement of our four observers, by letting them rate eight KIT courses in pairs and comparing their ratings (as part of the pilot study). Evaluation using the measure of Percent Agreement , , showed an initial agreement on 80% of items, which is considered satisfying. 2.3.2. Questionnaire for teachersTeachers were asked for demographic information (gender, age, profession and time passed since participation in workshop) as well as their opinion on the importance of communication and social skills in medical education (five-point Likert scale: 1=very important to 5=very unimportant). Furthermore, they were asked, if they felt they needed more training in teaching those skills (yes/no). This questionnaire was also tested in our pilot study, no further adjustment was needed. 2.4. Sample60 teachers participated in the study (out of 170 trained teachers who taught KIT at that time). Of these 60, 37 (62%) were female; their age ranged from under 30 to 59, most participants were 30 to 39. About two thirds of participants were physicians (62%); the remaining participants were psychologists (27%) or belonged to a profession which was not further specified (11%). The amount of time that passed since they took part in the workshop is depicted in Table 1 . 2.5. Statistical AnalysisThe statistical analysis was executed using SPSS, Version 22 (Armonk, NY: IBM Corp.) For every item we calculated the percentages of teachers that fulfilled, partly fulfilled and did not fulfill it, as well as the mean and the range of the total number of fulfilled standards by using descriptive statistics. To test for group differences, we used t-tests, correlations were calculated with Pearson's r or Kendall’s tau-b (tb) as measures. The alpha level was set at 0.05. To be able to judge the meaningfulness of the results more accurately, effect sizes were calculated. 2. Methoden2.1. StudiendesignDiese Studie ist eine quantitative Studie mit quasi-experimentellem Design. Die Datenerhebung fand 2013 und 2014 durch vier geschulte Beobachterinnen mittels systematischer, nicht-teilnehmender Beobachtung von KIT-Unterrichtseinheiten statt. Zusätzlich wurden die Lehrenden gebeten, nach der Unterrichtseinheit einen Fragebogen auszufüllen.2.2. AblaufZufällig ausgewählte Lehrende wurden über die Studie informiert und um ihre Erlaubnis bzw. die Erlaubnis der Kursteilnehmenden gebeten, im Unterricht hospitieren zu dürfen. Sofern diese Erlaubnis erteilt wurde, wurde das Datum der Hospitation abgestimmt. Den Beobachterinnen war der Zeitpunkt, an dem die Lehrenden am Workshop „Arbeiten mit SP“ teilgenommen haben, nicht bekannt. Außerdem kannten sie die Lehrenden nicht persönlich. Die Beobachterinnen waren während der gesamten Kursdauer präsent (zwei bis drei Stunden), füllten die Checkliste zur Beobachtung aus und baten die Lehrenden am Ende des Kurses, einen Fragebogen auszufüllen.2.3. Ergebungsinstrumente2.3.1. Checkliste zur BeobachtungDie Checkliste wurde an der Charité – Universitätsmedizin Berlin entwickelt, um den Workshop „Arbeiten mit SP“ zu evaluieren. Bei einer Literaturrecherche konnte kein bereits existierendes Instrument identifiziert werden, welches zur Bearbeitung der Fragestellung geeignet war. Die Checkliste besteht aus 39 Items in 7 Kategorien, welche den Inhalt und somit die Lernziele des Workshops repräsentieren und unsere Qualitätsstandards, wie z.B. die lernerzentrierte Lehre, die Orientierung an Lernzielen oder hochqualitatives Feedback, beinhalten. Das Instrument wurde mit den Workshopleiter*innen und weiteren Fakultätsmitgliedern besprochen, um seine Inhaltsvalidität abzusichern. In Bereichen, wie z.B. Feedback, für die sowohl viel Literatur als auch validierte Checklisten vorliegen, wurden diese als Grundlage für die jeweilige Kategorie unserer Checkliste genutzt , . Zusätzlich wurde darauf geachtet, dass wichtige methodische Richtlinien zur Erstellung von Beobachtungschecklisten eingehalten werden – beispielsweise, dass alle Items ein beobachtbares Verhalten beschreiben und dass sich die Inhalte der Items nicht überlappen dürfen .Die Checkliste besteht aus den folgenden sieben Kategorien:Anfang der Sitzung (4 Items)SP-Gespräch (18 Items)Feedbackkultur (8 Items)Inhalte (1 Items)Moderation (4 Items)Ende der Sitzung (2 Items)Struktur der Sitzung (2 Items)Innerhalb einer Pilotstudie (N=8) wurde die Anwendbarkeit des Instruments getestet und hingehend fehlender oder überflüssiger Items sowie unklarer Itemformulierungen überprüft. Im Anschluss wurden einige Items überarbeitet, andere wurden dichotomisiert (Antwortmöglichkeiten „erfüllt“ und „nicht erfüllt“). Auch weitere Subitems wurden eingefügt. Einige Items wurden in allen beobachteten Kursen eingehalten (z.B. „Der SP verlässt nach dem Gespräch den Raum.“), dennoch wurde aufgrund des hohen Stellenwerts dieser Verhaltensweisen für einen gelungenen SP-Einsatz entschieden, diese Items in der Checkliste zu belassen.Die Ausführung der 39 Items der finalen Version (siehe Anhang 1 ) kann auf einer Skala mit vier Antwortoptionen bewertet werden („erfüllt“, „teilweise erfüllt“ [sofern anwendbar], „nicht erfüllt“ und „nicht anwendbar“). Vier Items sind Subitems, welche nur in bestimmten Fällen zum Tragen kommen (z.B. wenn eine Diskussion stattfindet). Die Checkliste endet mit einem Item zur „globalen Einschätzung der Unterrichtsveranstaltung“, welche auf einer 5-stufigen Likert-Skala bewertet werden kann (1=sehr gut bis 5=sehr schlecht).Die Beobachterinnen (zwei Psychologinnen, zwei Medizinpädagoginnen) wurden in einem 2-stündigen Training im Umgang mit der Checkliste geschult. Die Interrater-Reliabilität der vier Beobachterinnen wurde in acht Kursen getestet (als Teil der Pilot-Studie), die jeweils von zwei Beobachterinnen gleichzeitig bewertet wurden. Diese wurde mittels prozentualer Übereinstimmung überprüft , , welche mit einer initialen Übereinstimmung auf 80% der Items einen zufriedenstellenden Wert erreichte.2.3.2. DozierendenfragebogenDer Dozierendenfragebogen enthält demografische Angaben (Geschlecht, Alter, Beruf und Zeit seit Workshopteilnahme), sowie die Abfrage der Einstellung der Dozierenden zur Wichtigkeit sozialer und kommunikativer Kompetenzen in der medizinischen Ausbildung (5-stufige Likert-Skala: 1=sehr wichtig bis 5=nicht wichtig). Außerdem wird erfragt, ob sich die Lehrenden weitere Qualifizierungsmöglichkeiten zur Vermittlung dieser Kompetenzen wünschen (ja/nein). Der Fragebogen wurde ebenfalls in der Pilotstudie getestet; Änderungen waren nicht nötig.2.4. StichprobeEs nahmen 60 Lehrende an der Studie teil (von 170 Lehrenden, die zu diesem Zeitpunkt in KIT unterrichteten). Von diesen gaben 37 (62%) an, weiblich zu sein; die Altersspanne erstreckte sich von unter 30-jährigen bis zu einem Alter von 59 Jahren, die meisten Lehrenden waren zwischen 30 und 39 Jahren alt. Ungefähr zwei Drittel der Teilnehmenden waren Ärzt*innen (62%); die restlichen Teilnehmenden waren Psycholog*innen (27%) oder gehörten einer nicht weiter spezifizierten Berufsgruppe an (11%). Die Verteilung der Zeit, die seit der Workshopteilnahme der Lehrenden vergangen war, wird in Tabelle 1 dargestellt.2.5. DatenanalyseZur Analyse der Daten wurde SPSS, Version 22 verwendet (Armonk, NY: IBM Corp.). Pro Item wurden die prozentualen Anteile der Lehrenden berechnet, welche dieses vollständig, teilweise bzw. nicht erfüllt hatten, außerdem wurde der Mittelwert und die Spannweite der Gesamtzahl der erfüllten Standards ermittelt. Gruppenunterschiede wurden mittels t-Tests überprüft; Korrelationen mit Pearsons r oder Kendalls tau-b (tb) berechnet. Das Alphaniveau wurde auf 0.05 festgesetzt. Um die Aussagekraft der Ergebnisse besser beurteilen zu können, wurden zusätzlich Effektgrößen berechnet. 3. Results3.1. Fulfilment of StandardsAll in all, over two thirds of the 35 teaching standards (without counting the 4 sub-items) were either fulfilled or partly fulfilled by over 45 teachers (75%). The mean number of standards that were fulfilled (partly or fully) was 29.1 out of 39 (SD=4.5); the total number of standards that teachers adhered to ranged from 17 to 37 standards (including sub-items). We divided the standards into categories, based on how many teachers were able to fulfill them (see Attachment 2 ). We identified 14 standards out of 35 that were fulfilled nearly all teachers (by at least 76%). 12 standards were fulfilled by most of teachers (51-75%) and 7 only by less than half (26-50%). The category with the lowest adherence-rate consisted of 2 standards, which maximally 25% of teachers implemented into their teaching. Apart from that, calculations showed a significant correlation between the number of fulfilled standards and the global rating of teaching performance by the observers (tb=-.5, p<.001).3.2. Time Passed since WorkshopThe number of semesters since teachers had participated in the workshop did not correlate significantly with the number of standards that teachers fulfilled (r=-.14, p=.15). 3.3. Importance of Communication and Social SkillsThe majority of teachers rated communication and social skills in medical education as very important (70%) or important (28%). Only 2% of teachers were undecided about the importance of those skills. The number of standards that were fulfilled correlated significantly with teachers’ opinion on how important communication and social skills in medical education are. The correlation with the fulfilled standards was tb=-.21 (p=.03).3.4. Need for Further TrainingExactly 50% of teachers (30) affirmed a need for further training on how to teach communication skills. There was no significant difference between teachers that did not feel a need for further training and those with need for further training regarding the amount of standards they fulfilled (t(54)=.44, p=.33, effect size r=.06). 3. Ergebnisse3.1. Einhaltung der StandardsInsgesamt wurden über zwei Drittel der 35 Qualitätsstandards (ohne die vier Subitems) von über 45 (75%) der Lehrenden entweder vollständig oder teilweise erfüllt. Die durchschnittliche Anzahl der (teilweise) erfüllten Standards lag bei 29.1 von 39 (SD=4.5); die Spannweite betrug 17 bis 37 eingehaltene Standards (incl. Subitems). Basierend auf der Anzahl der Lehrenden, die einen Standard einhielten, wurden diese in Kategorien eingeteilt (siehe Anhang 2 ). Dabei konnten 14 der 35 Standards identifiziert werden, die von nahezu allen Lehrenden eingehalten wurden (von mind. 76%). Zwölf der Qualitätsstandards wurden von einer Mehrheit der Lehrenden erfüllt (51-75%), sieben von weniger als der Hälfte (26-50%). In der Kategorie mit der geringsten Einhaltungsrate gab es zwei Standards, die von maximal 25% der Lehrenden, die an der Studie teilgenommen haben, eingehalten wurden. Abgesehen davon, konnte eine signifikante Korrelation zwischen der Anzahl der erfüllten Standards und der Globalbeurteilung der Unterrichtsveranstaltung durch die Beobachterinnen festgestellt werden (tb=-.5, p<.001).3.2. Zeit seit WorkshopteilnahmeDie Anzahl der Semester, die seit der Workshopteilnahme der Lehrenden vergangen ist, korrelierte nicht signifikant mit der Anzahl der eingehaltenen Standards (r=-.14, p=.15).3.3. Wichtigkeit sozialer und kommunikativer KompetenzenEine Mehrheit der Lehrenden bewertete die Ausbildung kommunikativer und sozialer Kompetenzen in der medizinischen Ausbildung als sehr wichtig (70%) oder wichtig (28%). Nur 2% gaben an, sie seien unentschieden bzgl. des Stellenwerts dieser Kompetenzen. Die Anzahl der erfüllten Standards korrelierte signifikant mit dieser Einschätzung der Wichtigkeit (tb=-.21 (p=.03).3.4. Bedarf an weiteren QualifikationsmaßnahmenGenau 50% der Lehrenden (30) bejahten die Frage, ob sie Bedarf bezüglich weiterer Qualifizierung im Bereich der Lehre kommunikativer und sozialer Kompetenzen hätten. Es gab keinen signifikanten Unterschied zwischen Lehrenden die weiteren Bedarf angaben und solchen, die diesen verneinten bezüglich der Anzahl der erfüllten Standards (t(54)=.44, p=.33, Effektstärke r=.06). 4. DiscussionThe overall conformity with standards can be considered satisfying; nonetheless the range of standards met between different teachers is rather big. This shows that teachers reached diverse levels of teaching proficiency and that we need to tailor future trainings to different kinds of needs. By taking a closer look at the standards with rather high and rather low adherence, a certain pattern can be found. Deficiencies are mostly found in areas which could be described as communication of goals and structuring/facilitation of session. These include items like teacher introduces learning objectives, teacher activates prior knowledge of students or teacher initiates a final feedback round at the end of the session. Areas with high adherence are for example facilitation of interaction with SP and giving feedback. Most of the standards of the latter two areas are also known and reinforced by the SP and the students; therefore, it seems that those standards that must be fulfilled by the teacher all by himself/herself are the standards where we observed lower adherence rates. Some reasons for that might be that teachers have either forgotten these tasks or they avoid these tasks because they find them too difficult or they simply do not see them as important parts of a productive session. Further investigations could shed light on this question and identify potential barriers as well as participants’ commitment to implement the learned standards. As the literature proposes, the concept of commitment to change is a valuable approach to investigate the impact of continuing medical education on participants’ daily practice , .No statistically significant connection between the time that went by since teachers participated in the workshop and the amount of standards they met could be found. Nonetheless, the correlation of time and achievement of standards had a small to medium effect size, suggesting that the longer the time since the workshop took place, the smaller the number of standards met. Former studies and reviews point in the same direction, with longer programs, like seminar series, showing better and more sustainable results . With workshops as one-time interventions, different authors suggest refresher or follow-ups to maintain the quality of teaching , .The importance that teachers assigned to communication and social skills in medical education was correlated significantly with the number of standards teachers adhered to (small to medium effect size) in the direction that teachers who found these skills (very) important met more standards. It is important to note, that teachers' rating of importance of communications skills showed only small variance (98% rated it important or very important). Nonetheless, even this small difference between important and very important seems to be connected to teaching behavior. The need for further training showed no connection to the amount of fulfilled standards. This shows that – in this case – the teachers’ self-perceived need for further training cannot be directly linked to their actual teaching performance. This is relevant when conducting needs assessment for faculty development initiatives. In addition to the teachers’ subjective need for training, the needs of different other stakeholders, like students and simulated patients should be taken into account and carefully weighed.4.1. LimitationsThere are certain limitations to this study. To begin with, we could not conduct a pre-test or use a control group with teachers, who had not yet been trained, because it is not justifiable to let some students be taught by untrained teachers while others are taught by experts. Therefore, it could be debated, whether the adherence to the teaching standards is a direct consequence of our workshop. Nonetheless, most standards are specifically tailored to the local teaching setting with SPs, which increases the likelihood that they were learned in the workshop. The alignment between the learning objectives of this specific workshop and the checklist items helped with measuring the desired teaching behavior. Another limitation is that every teacher was observed only once and that the observation itself may have had an effect on the teaching performance . With regard to the observation checklist, one has to keep in mind that the included standards are basic requirements of effective implementation of SPs, but that they alone cannot guarantee a high teaching quality. For example, even if an interaction between student and SP is followed by feedback, reflection and group discussion, this does not necessarily mean that the most relevant issues will be discussed in the most productive way. One last limitation refers to the sample and its size. The size (N=60) was rather big, considering the fact, that the whole population of trained teachers counted only 170 people at that time. Nevertheless, 60 observations seem to have been insufficient to produce significant results in some cases. In addition, 27 teachers did not give permission to observe their teaching sessions, which threatens the representativeness and explanatory power of the results. Therefore, further research with more participants is required and observation of the KIT sessions should become a regular part of the faculty development process. If refreshment workshops are established, studies need to examine their impact, preferably by using a study design with pre- and post-test. 4. DiskussionDie Einhaltung der Qualitätsstandards durch die Lehrenden kann insgesamt als zufriedenstellend beschrieben werden; gleichwohl zeigt die große Spannweite der eingehaltenen Standards, dass es große Unterschiede zwischen den Lehrenden gibt. Dies zeigt, dass die Lehrkompetenz der KIT-Dozierenden unterschiedlich stark ausgebildet ist und zukünftige Trainings stärker auf deren individuelle Bedürfnisse zugeschnitten sein sollten. Betrachtet man die Standards mit sehr hohen Einhaltungsraten im Vergleich zu denen mit sehr niedrigen, ist zudem ein bestimmtes Muster zu erkennen. Defizite finden sich vor allem in Bereichen, welche sich unter Kommunikation der (Lern-) Ziele und Moderation/Strukturierung der Unterrichtseinheit zusammenfassen lassen. Diese Bereiche beinhalten Items, wie: Der*die Lehrende stellt die Lernziele der Sitzung vor; Der*die Lehrende aktiviert das Vorwissen der Studierenden und Der*die Lehrende veranlasst eine Feedbackrunde am Ende der Sitzung. Hohe Einhaltungsraten zeigen sich dahingegen in der Moderation der SP-Interaktion oder im Geben von Feedback. Die meisten Standards aus diesen beiden Kategorien sind auch den SP und den Studierenden bekannt und können somit auch durch diese selbstständig umgesetzt werden; Standards, die nur von den Lehrenden allein umgesetzt werden können, werden in geringerem Maße eingehalten. Mögliche Erklärungen hierfür könnten sein, dass die Lehrenden diese Standards entweder vergessen haben oder sie nicht in die Tat umsetzten, da sie sie als zu kompliziert empfinden oder nicht als notwendigen Teil einer produktiven Unterrichtseinheit ansehen. Weitere Untersuchungen könnten diese Frage näher beleuchten und potenzielle Hindernisse, sowie das Commitment der Workshopteilnehmenden untersuchen, die gelernten Standards in der Praxis anzuwenden. In der Literatur findet sich hierzu das Konzept des Commitment to change (etwa: Bereitschaft zur Verhaltensänderung) als Ansatz, um den Einfluss von Fortbildungen auf die Berufspraxis der Teilnehmenden zu untersuchen , . Es zeigte sich keine signifikante Verbindung zwischen der Zeit, die seit der Workshopteilnahme der Lehrenden vergangen war und der Anzahl der eingehaltenen Standards. Dennoch wies die Korrelation dieser beiden Variablen einen Effekt von kleiner bis mittlerer Größe auf, welcher nahelegt, dass eine längere Zeitspanne seit dem Workshop mit einer geringeren Anzahl an erfüllten Qualitätsstandards einhergeht. Frühere Studien und Reviews kamen zu ähnlichen Ergebnissen und bescheinigten umfangreicheren Programmen, wie Seminarreihen, bessere und nachhaltigere Ergebnisse . Bei Workshops als einmaligen Ereignissen, werden von verschiedenen Autor*innen Auffrischungs- oder Follow-up-Workshops empfohlen , .Der Stellenwert, den die Teilnehmenden der Ausbildung der sozialen und kommunikativen Kompetenzen im Medizinstudium beimaßen, war signifikant mit der Anzahl der eingehaltenen Standards korreliert (kleiner bis mittelgroßer Effekt). Dies bedeutet, dass die Lehrenden, die diese Kompetenzen als (sehr) wichtig einschätzten, mehr Standards einhielten. Hierbei ist es wichtig darauf hinzuweisen, dass die Einschätzung der Lehrenden nur wenig Varianz aufweist (98% wählten als Antwortmöglichkeit entweder wichtig oder sehr wichtig). Dennoch scheint dieser vermeintlich kleine Unterschied zwischen wichtig und sehr wichtig mit dem Lehrverhalten verknüpft zu sein.Der Bedarf der Lehrenden nach weiteren Qualifikationsmaßnahmen war entgegen der Hypothese nicht mit der Anzahl der eingehaltenen Standards verbunden. Somit zeigt sich, dass – in dem hier vorliegenden Fall – der selbsteingeschätzte Bedarf der Lehrenden nicht mit einem bestimmten Lehrverhalten einhergeht. Diese Erkenntnis gilt es bei zukünftigen Bedarfsanalysen für hochschuldidaktische Programme zu bedenken. Neben dem selbsteingeschätzten Bedarf der Lehrenden sollten auch die Bedürfnisse anderer Akteure, wie der Studierenden oder der SP , in Betracht gezogen und sorgfältig abgewogen werden.4.1. LimitationenEs gibt verschiedene Limitationen, die die vorliegende Studie betreffen. Zunächst sei erwähnt, dass es nicht möglich war, einen Prä-Test oder eine Kontrollgruppe mit ungeschulten Lehrenden in das Studiendesign zu integrieren, da es nicht vertretbar ist, einige Studierende von ungeschulten Lehrenden unterrichten zu lassen, während andere von Expert*innen unterrichtet werden. Daher kann darüber diskutiert werden, ob die Einhaltung der Standards als direkte Konsequenz des Workshops interpretiert werden kann. Da jedoch die meisten unserer Standards sehr spezifisch auf das lokale Setting des Einsatzes von SP zugeschnitten sind, ist die Wahrscheinlichkeit hoch, dass diese im Workshop „Arbeiten mit SP“ erlernt wurden. Die hohe Passung zwischen den Lernzielen des Workshops und den Items der Checkliste unterstützt die Messung des gewünschten Lehrverhaltens.Eine weitere Limitation ergibt sich durch die Tatsache, dass jede*r Lehrende nur einmal beobachtet wurde und dass die Beobachtung selbst einen Effekt auf das Lehrverhalten gehabt haben kann . Bezüglich der Checkliste muss außerdem darauf hingewiesen werden, dass die Einhaltung der Standards die Einhaltung der Basisanforderungen für einen effektiven Einsatz von SP bedeutet und dass dies nicht unmittelbar mit hochwertiger Lehre gleichzusetzen ist. Dass einem SP-Gespräch beispielsweise eine Feedbackrunde und eine Gruppendiskussion nachfolgt, bedeutet nicht unbedingt, dass dabei die relevanten Themen auf produktive Weise besprochen werden.Die letzte Limitation betrifft die Stichprobe und ihre Größe. Diese war mit 60 Teilnehmenden relativ groß, gemessen an der Gesamtpopulation der KIT-Dozierenden, die zum Zeitpunkt der Studie aus 170 Lehrenden bestand. Dennoch war diese Anzahl an Teilnehmenden teilweise zu gering, um signifikante Ergebnisse zu erhalten. Zusätzlich gab es 27 Fälle, in denen Lehrende, die zur Studienteilnahme aufgefordert wurden, diese ablehnten, wodurch die Aussagekraft und externe Validität der Resultate geschmälert wird. Somit ist weitere Forschung mit einer größeren Zahl an Teilnehmenden nötig, sowie eine Ausbildung der Dozierenden, die Hospitationen als regulären und verpflichtenden Baustein beinhaltet. Sofern ein Auffrischungsworkshop implementiert wird, sollten dessen Auswirkungen untersucht werden, vorzugsweise mittels eines Prä-Post-Designs. 5. ConclusionIn summary, this study shows that in a one-day workshop on teaching with simulated patients a substantial number of learning objectives can be reached and that trained observers are able to register the application of teaching standards afterwards. Nonetheless, certain, more complex teaching skills and tasks need further attention in additional or refreshment workshops. The importance of teaching standards needs to be made more explicit to teachers as well. Furthermore, when training teachers for medical education, their attitude towards teaching, or rather teaching a specific topic like communication skills, should be taken into consideration, because – as our results indicate – teaching quality is connected to the teachers’ attitude towards a topics’ relevancy. To conclude, while well designed single-day faculty development workshops can already produce significant effects on teaching, those effects may be enhanced considerably when crafting a longitudinal faculty development program that also tends to aspects such as teachers’ attitudes and professional development. 5. SchlussfolgerungenIn dieser Studie konnte gezeigt werden, dass mittels eines Eintagesworkshops zum Einsatz von SP in der Lehre bereits eine substantielle Anzahl an Lernzielen bzw. Qualitätsstandards vermittelt werden kann und dass trainierte Beobachter*innen die Anwendung dieser Standards in der Lehre auch beobachten können. Dennoch werden für einige komplexere Lehraufgaben auffrischende bzw. vertiefende Trainings benötigt. Des Weiteren muss den Lehrenden die Relevanz der Qualitätsstandards noch expliziter erläutert werden. Passend dazu kann festgehalten werden, dass in der Schulung von Lehrenden für die medizinische Ausbildung, ihre Einstellung zur Lehre bzw. zur Lehre in einem bestimmten Fachgebiet ebenfalls berücksichtigt werden sollte, da die Qualität der Lehre – wie an den Ergebnissen dieser Studie sichtbar – mit der Einstellung zur Bedeutsamkeit des Fachgebiets verbunden ist. Gut durchdachte Hochschuldidaktik-Workshops können somit bereits als einmalige Veranstaltungen einen bedeutsamen Effekt auf das Lehrverhalten der Teilnehmenden haben. Dieser Effekt kann möglicherweise durch ein longitudinales Fortbildungsprogramm, welches sich thematisch auch mit der Einstellung zur Lehre und der beruflichen Weiterentwicklung beschäftigt, um einiges verstärkt werden. AcknowledgementThe authors wish to thank Judith Moerschner and Sandy Fach for their contribution to this study as trained observers collecting data. DanksagungDie Autorinnen danken Judith Moerschner und Sandy Fach für ihren Beitrag zu dieser Studie als geschulte Beobachterinnen. FundingThe conception and implementation of the described workshop was partly supported by the German Federal Ministry of Education and Research (BMBF; grant number: 01PL11036). FörderungDie Konzeption und Umsetzung des beschriebenen Workshops wurden teilweise vom Bundesministerium für Bildung und Forschung gefördert (BMBF, Fördernummer: 01PL11036). Ethical approvalThe study was exempt from ethical approval by the ethics committee of Charité–University Medicine Berlin (No. EA1/170/14). EthikvotumDie Studie war von der Zustimmung der Ethikkommission der Charité-Universitätsmedizin Berlin (Nr. EA1 / 170/14) befreit. DataData for this article are available from the Dryad Digital Repository: http://dx.doi.org/10.5061/dryad.13250 DatenDaten für diesen Artikel sind im Dryad-Repositorium verfügbar unter: http://dx.doi.org/10.5061/dryad.13250 Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben. Steinert Y Mann K Centeno A Dolmans D Spencer J Gelula M Prideaux D A systematic review of faculty development initiatives designed to improve teaching effectiveness in medical education: BEME Guide No. 8 2006 Med Teach 497-526 Steinert Y, Mann K, Centeno A, Dolmans D, Spencer J, Gelula M, Prideaux D. A systematic review of faculty development initiatives designed to improve teaching effectiveness in medical education: BEME Guide No. 8. Med Teach. 2006;28(6):497-526. DOI: 10.1080/01421590600902976 http://dx.doi.org/10.1080/01421590600902976 Steinert Y Mann K Anderson B Barnett BM Centeno A Naismith L Prideaux D Spencer J Tullo E Viggiano T Ward H Dolmans D A systematic review of faculty development initiatives designed to enhance teaching effectiveness: A 10-year update: BEME Guide No. 40 2016 Med Teach 769-786 Steinert Y, Mann K, Anderson B, Barnett BM, Centeno A, Naismith L, Prideaux D, Spencer J, Tullo E, Viggiano T, Ward H, Dolmans D. A systematic review of faculty development initiatives designed to enhance teaching effectiveness: A 10-year update: BEME Guide No. 40. Med Teach. 2016;38(8):769-786. DOI: 10.1080/0142159X.2016.1181851 http://dx.doi.org/10.1080/0142159X.2016.1181851 Leslie K Baker L Egan-Lee E Esdaile M Reeves S Advancing faculty development in medical education: A systematic review 2013 Acad Med 1038-1045 Leslie K, Baker L, Egan-Lee E, Esdaile M, Reeves S. Advancing faculty development in medical education: A systematic review. Acad Med. 2013;88(7):1038-1045. DOI: 10.1097/ACM.0b013e318294fd29 http://dx.doi.org/10.1097/ACM.0b013e318294fd29 Bylund CL Brown RF Lubrano di Ciccone B Levin TT Gueguen JA Hill C Kissane DW Training faculty to facilitate communication skills training: Development and evaluation of a workshop 2008 Patient Educ Couns 430-436 Bylund CL, Brown RF, Lubrano di Ciccone B, Levin TT, Gueguen, JA, Hill C, Kissane DW. Training faculty to facilitate communication skills training: Development and evaluation of a workshop. Patient Educ Couns. 2008;70(3):430-436. DOI: 10.1016/j.pec.2007.11.024 http://dx.doi.org/10.1016/j.pec.2007.11.024 Hölzer H Freytag J Sonntag U Faculty Development for Small-Group-Teaching with Simulated Patients (SP) – Design and Evaluation of a Competency-based Workshop 2017 GMS J Med Educ Doc42 Hölzer H, Freytag J, Sonntag U. Faculty Development for Small-Group-Teaching with Simulated Patients (SP) – Design and Evaluation of a Competency-based Workshop. GMS J Med Educ. 2017;34(4):Doc42. DOI: 10.3205/zma001119 http://dx.doi.org/10.3205/zma001119 Kiessling C Dieterich A Fabry G Hölzer H Langewitz W Mühlinghaus I Pruskil S Scheffer S Schubert S Basel Consensus Statement "Communicative and social competencies in Medical Education": A position paper of the GMA committee communicative and social competencies 2008 GMS Z Med Ausbild Doc83 Kiessling C, Dieterich A, Fabry G, Hölzer H, Langewitz W, Mühlinghaus I, Pruskil S, Scheffer S, Schubert S. Basel Consensus Statement "Communicative and social competencies in Medical Education": A position paper of the GMA committee communicative and social competencies. GMS Z Med Ausbild. 2008;25(2):Doc83. Zugänglich unter/available from: http://www.egms.de/static/de/journals/zma/2008-25/zma000567.shtml http://www.egms.de/static/de/journals/zma/2008-25/zma000567.shtml Makoul G Essential elements of communication in medical encounters: The Kalamazoo Consensus Statement 2001 Acad Med 390-393 Makoul G. Essential elements of communication in medical encounters: The Kalamazoo Consensus Statement. Acad Med. 2001;76(4):390-393. DOI: 10.1097/00001888-200104000-00021 http://dx.doi.org/10.1097/00001888-200104000-00021 Hewson MG Little ML Giving feedback in medical education 1998 J Gen Intern Med 111-116 Hewson MG, Little ML. Giving feedback in medical education. J Gen Intern Med. 1998;13(2):111-116. DOI: 10.1046/j.1525-1497.1998.00027.x http://dx.doi.org/10.1046/j.1525-1497.1998.00027.x Remesh A Microteaching, an efficient technique for learning effective teaching 2013 J Res Med Sci 158-163 Remesh A. Microteaching, an efficient technique for learning effective teaching. J Res Med Sci. 2013;18(2):158-163. Conforti LN Ross KM Holmboe ES Kogan JR Do Faculty Benefit From Participating in a Standardized Patient Assessment as Part of Rater Training? A Qualitative Study 2016 Acad Med 262-271 Conforti LN, Ross KM, Holmboe ES, Kogan JR. Do Faculty Benefit From Participating in a Standardized Patient Assessment as Part of Rater Training? A Qualitative Study. Acad Med. 2016;91(2):262-271. DOI: 10.1097/ACM.0000000000000838 http://dx.doi.org/10.1097/ACM.0000000000000838 Kirkpatrick DL Techniques for evaluating training programs 1979 Train Develop 78-92 Kirkpatrick DL. Techniques for evaluating training programs. Train Develop. 1979;33(6):78-92. Kruger J Dunning D Unskilled and unaware of it: How difficulties in recognizing one's own incompetence lead to inflated self-assessments 1999 J Person Social Psychol 1121-1134 Kruger J, Dunning D. Unskilled and unaware of it: How difficulties in recognizing one's own incompetence lead to inflated self-assessments. J Person Social Psychol. 1999;77(6):1121-1134. DOI: 10.1037/0022-3514.77.6.1121 http://dx.doi.org/10.1037/0022-3514.77.6.1121 Abadel FT Hattab AS How does the medical graduates' self-assessment of their clinical competency differ from experts' assessment? 2013 BMC Med Educ 24 Abadel FT, Hattab AS. How does the medical graduates' self-assessment of their clinical competency differ from experts' assessment? BMC Med Educ. 2013;13:24. DOI: 10.1186/1472-6920-13-24 http://dx.doi.org/10.1186/1472-6920-13-24 Hodges B Regehr G Martin D Difficulties in recognizing one's own incompetence: Novice physicians who are unskilled and unaware of it 2001 Acad Med 87-89 Hodges B, Regehr G, Martin D. Difficulties in recognizing one's own incompetence: Novice physicians who are unskilled and unaware of it. Acad Med. 2001;76(10 Suppl.):87-89. DOI: 10.1097/00001888-200110001-00029 http://dx.doi.org/10.1097/00001888-200110001-00029 Marks MB Wood TJ Nuth J Touchie C O'Brien H Dugan A Assessing change in clinical teaching skills: are we up for the challenge? 2008 Teach Learn Med 288-294 Marks MB, Wood TJ, Nuth J, Touchie C, O'Brien H, Dugan A. Assessing change in clinical teaching skills: are we up for the challenge? Teach Learn Med. 2008;20(4):288-294. DOI: 10.1080/10401330802384177 http://dx.doi.org/10.1080/10401330802384177 Roos M Kadmon M Kirschfink M Koch E Junger J Strittmatter-Haubold V Steiner T Developing medical educators—a mixed method evaluation of a teaching education program 2014 Med Educ Online 23868 Roos M, Kadmon M, Kirschfink M, Koch E, Junger J, Strittmatter-Haubold V, Steiner T. Developing medical educators—a mixed method evaluation of a teaching education program. Med Educ Online. 2014;19:23868. DOI: 10.3402/meo.v19.23868 http://dx.doi.org/10.3402/meo.v19.23868 Kuhnigk O Schreiner J Harendza S Sustained change in didactic skills—does teacher training last? 2013 GMS Z Med Ausbild Doc37 Kuhnigk O, Schreiner, J Harendza S. Sustained change in didactic skills—does teacher training last? GMS Z Med Ausbild. 2013;30(3):Doc37. DOI: 10.3205/zma000880 http://dx.doi.org/10.3205/zma000880 Jenkins V Fallowfield L Can communications skills training alter physicians' beliefs and behaviour in clinics? 2002 J Clin Oncol 765-769 Jenkins V, Fallowfield L. Can communications skills training alter physicians' beliefs and behaviour in clinics? J Clin Oncol. 2002;20(3):765-769. Weinman J 1987 An Outline of Psychology as Applied to Medicine Weinman J. An Outline of Psychology as Applied to Medicine (2nd ed.). Bristol, England: Wright; 1987. Protheroe N Teacher Efficacy: What Is It and Does It Matter? 2008 Principal 42-45 Protheroe N. Teacher Efficacy: What Is It and Does It Matter? Principal. 2008:42-45. Kaufman DM Applying educational theory in practice 2003 Abc of Learning and Teaching in Medicine Kaufman DM. Applying educational theory in practice. In: Cantillon P, Hutchinson L, Wood D (Hrsg). Abc of Learning and Teaching in Medicine. London: BMJ Publishing Group Ltd; 2003. Bandura A Locke EA Negative self-efficacy and goal effects revisited 2003 J Appl Psychol 87-99 Bandura A, Locke EA. Negative self-efficacy and goal effects revisited. J Appl Psychol. 2003;88(1):87-99. DOI: 10.1037/0021-9010.88.1.87 http://dx.doi.org/10.1037/0021-9010.88.1.87 Bandura A 1977 Social Learning Theory Bandura A. Social Learning Theory. Englewood Cliffs, NJ: Prentice Hall; 1977. Al Harthy SS Jamaluddin S Abedalaziz NA Teachers' attitudes and performance: An analysis of effects due to teaching experience 2013 Intern Interdisc J Educ 888-893 Al Harthy SS, Jamaluddin S, Abedalaziz NA. Teachers' attitudes and performance: An analysis of effects due to teaching experience. Intern Interdisc J Educ. 2013;2(9):888-893. DOI: 10.12816/0002957 http://dx.doi.org/10.12816/0002957 Fach S Moerschner J 2014 Qualitätssicherung der Dozierenden-Schulung Umgang mit Simulationspatienten [diploma thesis] Fach S, Moerschner J. Qualitätssicherung der Dozierenden-Schulung Umgang mit Simulationspatienten [diploma thesis]. Berlin: Charité–University Medicine; 2014. Bouter S van Weel-Baumgarten E Bolhius S Construction and validation of the Nijmegen Evaluation of the Simulated Patient (NESP): assessing simulated patients' ability to role-play and provide feedback to students 2013 Acad Med 2533259 Bouter S, van Weel-Baumgarten E, Bolhius S. Construction and validation of the Nijmegen Evaluation of the Simulated Patient (NESP): assessing simulated patients' ability to role-play and provide feedback to students. Acad Med. 2013;88(2):2533259. DOI: 10.1097/ACM.0b013e31827c0856 http://dx.doi.org/10.1097/ACM.0b013e31827c0856 Faßnacht G 1995 Systematische Verhaltensbeobachtung: Eine Einführung in die Methodologie und Praxis Faßnacht G. Systematische Verhaltensbeobachtung: Eine Einführung in die Methodologie und Praxis. München: Reinhardt; 1995. Holsti OR 1969 Content analysis for the social sciences and humanities Holsti OR. Content analysis for the social sciences and humanities. Reading, MA: Addison-Wesley; 1969. Osgood CE The representational model and relevant research methods 1959 Trends in content analysis 33–88 Osgood CE. The representational model and relevant research methods. In: de Sola PooI l (Hrsg). Trends in content analysis (pp. 33–88). Urbana: University of Illinois Press; 1959. Kogan JR Conforti LN Yamazaki K Iobst W Holmboe ES Commitment to Change and Challenges to Implementing Changes After Workplace-Based Assessment Rater Training 2017 Acad Med 394-402 Kogan JR, Conforti LN, Yamazaki K, Iobst W, Holmboe ES. Commitment to Change and Challenges to Implementing Changes After Workplace-Based Assessment Rater Training. Acad Med. 2017;92(3):394-402. DOI: 10.1097/ACM.0000000000001319] http://dx.doi.org/10.1097/ACM.0000000000001319] Shershneva MB Wang M Lindeman GC Savoy JN Olson CA Commitment to Practice Change: An Evaluator's Perspective 2010 Eval Health Prof 256-275 Shershneva MB, Wang M, Lindeman GC, Savoy JN, Olson CA. Commitment to Practice Change: An Evaluator's Perspective. Eval Health Prof. 2010;33(3):256-275. DOI: 10.1177/0163278710363960 http://dx.doi.org/10.1177/0163278710363960 Mahler S Benor DE Short and long term effects of a teacher-training workshop in medical school 1984 High Educ 265-273 Mahler S, Benor DE. Short and long term effects of a teacher-training workshop in medical school. High Educ. 1984;13(3):265-273. DOI: 10.1007/BF00128823 http://dx.doi.org/10.1007/BF00128823 Keller JM Blatt B Plack M Gaba ND Greenberg L Using a commercially available web-based evaluation system to enhance residents' teaching 2012 J Grad Med Educ 64-67 Keller JM, Blatt B, Plack M, Gaba ND, Greenberg L. Using a commercially available web-based evaluation system to enhance residents' teaching. J Grad Med Educ. 2012;4(1):64-67. DOI: 10.4300/JGME-D-11-00018.1 http://dx.doi.org/10.4300/JGME-D-11-00018.1 Lingemann K Campbell T Lingemann C Hölzer H Breckwoldt J The simulated patient's view on teaching: results from a think aloud study 2012 Acad Med 179-184 Lingemann K, Campbell T, Lingemann C, Hölzer H, Breckwoldt J. The simulated patient's view on teaching: results from a think aloud study. Acad Med. 2012;87(2):179-184. DOI: 10.1097/ACM.0b013e31823f7105 http://dx.doi.org/10.1097/ACM.0b013e31823f7105 Landsberger HA 1958 Hawthorne revisited Landsberger HA. Hawthorne revisited. Ithaca, NY: Cornell University Press; 1958. Freytag J Hölzer H Sonntag U 2017 Data from: Adherence to Trained Standards After a Faculty Development Workshop on “Teaching With Simulated Patients” Freytag J, Hölzer H, Sonntag U. Data from: Adherence to Trained Standards After a Faculty Development Workshop on “Teaching With Simulated Patients”. Dryad Digital Repository. 2017. DOI: 10.5061/dryad.13250 http://dx.doi.org/10.5061/dryad.13250 11en1de

Table 1: Overview of the time passed since teachers’ participation in workshop (N=60, [one missing value]).

Tabelle 1: Überblick über die zurückliegende Zeitspanne seit der Workshopteilnahme der Lehrenden (N=60, [ein fehlender Wert]).

1 0 0 1 1en 1de Observation checklist Checkliste zur Beobachtung 2 2en 2de Table B1: Percentage frequency of observer's ratings of the checklist items (N=60) Table B2: Percentage frequency of observer’s ratings of overall teaching performance (N=60) Tabelle B1: Prozentuale Häufigkeiten der Einhaltung der Checklistenitems (N=60) Tabelle B2: Prozentuale Häufigkeiten der globalen Einschätzung der Unterrichtsveranstaltung durch die Beobachterinnen (N=60 2