zma000987 10.3205/zma000987 urn:nbn:de:0183-zma0009879 article Artikel DOPS (Direct Observation of Procedural Skills) im studentischen Skills-Lab: Funktioniert das? Eine Analyse der Performanz klinischer Fertigkeiten und der curricularen Nebeneffekte Profanter Profanter Christoph C Dr. med.

Medical University Innsbruck, Department of Visceral, Transplant and Thoracic Surgery, Anichstraße 35, A-6020 Innsbruck, AustriaMedical University Innsbruck, Department of Visceral, Transplant and Thoracic Surgery, Innsbruck, Austria

Medizinische Universität Innsbruck, Univ. Klinik für Visceral-, Transplantations- und Thoraxchirurgie, Anichstraße 35, A-6020 Innsbruck, ÖsterreichMedizinische Universität Innsbruck, Univ. Klinik für Visceral-, Transplantations- und Thoraxchirurgie, Innsbruck, Österreich

christoph.profanter@i-med.ac.at author Perathoner Perathoner Alexander A Dr. med.

Medical University Innsbruck, Department of Visceral, Transplant and Thoracic Surgery, Innsbruck, Austria

Medizinische Universität Innsbruck, Univ. Klinik für Visceral-, Transplantations- und Thoraxchirurgie, Innsbruck, Österreich

alexander.perathoner@i-med.ac.at author German Medical Science GMS Publishing House

Düsseldorf

610 DOPS skills lab WBA (workplace based assessment) curricular side effects DOPS skills lab WBA (workplace based assessment) curricular side effects Assessment Prüfungen 20140114 20141219 20151015 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 1860-3572 32 4 GMS Zeitschrift für Medizinische Ausbildung GMS Z Med Ausbild Prüfungen 45 Zielsetzung: Die suffiziente Vermittlung und Prüfung klinisch-praktischer Fertigkeiten bereits während des Medizinstudiums gewinnt zunehmend an Bedeutung. Im Rahmen des chirurgischen Pflichtpraktikums an der Medizinischen Universität Innsbruck wurde untersucht, ob das Teaching mittels DOPS im Skills-Lab Setting überhaupt funktioniert, zu welcher Performanz von klinischen Fertigkeiten DOPS (direct observation of procedural skills) im Vergleich zu einem Tutor-System (1 ärztlicher Tutor à 5 Studierende) führen und welche curricularen Side-Effects zu beobachten sind.Methoden: Im Sommersemester 2013 (Monate April – Juni) wurden im Rahmen einer prospektiv randomisierten Studie 4 kompetenzlevelbasierte Skills mittels DOPS (Gruppe A) und einem klassischen Tutor System (Gruppe B) in einwöchigen Kleingruppen-Kursen gelehrt und mittels OSCE (objective structured clinical examination) geprüft: Chirurgische Abdominaluntersuchung, Harnkatheteranlage (Phantom), rektal-digitale Untersuchung (Phantom), Handhabung zentralvenöser Katheter. In die Studie wurden 193 Studierende inkludiert. Insgesamt wurden 756 Einzel-OSCE´s durchgeführt, davon entfielen auf die DOPS-Gruppe 209 (27,6%) und auf die Tutor-Gruppe 547 (72,3%).Ergebnisse: Die Beobachtung der Performanz zeigt sehr gute Resultate in beiden Gruppen. Im ersten Monat wies die DOPS Gruppe gegenüber der Tutorgruppe einen statistisch signifikanten (p<0,05) Performanzunterschied von rund 95% versus 88% an vollständig erfüllten OSCE-Items auf. In den Folgemonaten glichen sich die Performanzen beider Gruppen weitgehend an und betrugen in beiden Gruppen rund 90%. Bei den praktischen Fertigkeiten zeigte sich eine hohe Übereinstimmung zwischen DOPS- und OSCE-Resultaten (positive Ergebnisse: DOPS 92,4%, OSCE 90,8%).Diskussion: Die Studiendaten zeigen, dass DOPS eine hohe Performanz klinischer Fertigkeiten erbringen und im studentischen Skills-Lab Setting gut funktionieren. Durch die hohe Übereinstimmung von DOPS- und OSCE-Ergebnissen im Assessment praktischer Fertigkeiten könnte man überlegen, DOPS auch als alleiniges Assessment-Tool im studentischen Skills-Lab einzusetzen.Die zeitbedingte Annäherung der Performanzraten nach initialer Überlegenheit der DOPS-Gruppe könnte auf eine Wechselwirkung zwischen DOPS und klassischem Tutorsystem zurückzuführen sein: die DOPS-Elemente scheinen das Tutoring und die Performanz insgesamt verbessert zu haben. Verglichen mit einem Kleingruppenunterricht bieten DOPS im studentischen Skills-Lab bei gleichem Personal- und Zeitaufwand zusätzlich strukturiertes Feedback und Assessment. Schlussfolgerung: Zusammenfassend zeigt die vorliegende Studie, dass DOPS eine ressourcenschonende, effiziente Methode in der didaktischen Vermittlung klinisch-praktischer Fertigkeiten darstellt. Die Effekte der DOPS auf die universitären/klinischen Institutionen reichen weit über die unmittelbare positive Beeinflussung der Performanz hinaus. Objective: Sufficient teaching and assessing clinical skills in the undergraduate setting becomes more and more important. In a surgical skills-lab course at the Medical University of Innsbruck fourth year students were teached with DOPS (direct observation of procedural skills). We analyzed whether DOPS worked or not in this setting, which performance levels could be reached compared to tutor teaching (one tutor, 5 students) and which curricular side effects could be observed.Methods: In a prospective randomized trial in summer 2013 (April – June) four competence-level-based skills were teached in small groups during one week: surgical abdominal examination, urethral catheterization (phantom), rectal-digital examination (phantom), handling of central venous catheters. Group A was teached with DOPS, group B with a classical tutor system. Both groups underwent an OSCE (objective structured clinical examination) for assessment. 193 students were included in the study. Altogether 756 OSCE´s were carried out, 209 (27,6%) in the DOPS- and 547 (72,3%) in the tutor-group.Results: Both groups reached high performance levels. In the first month there was a statistically significant difference (p<0,05) in performance of 95% positive OSCE items in the DOPS-group versus 88% in the tutor group. In the following months the performance rates showed no difference anymore and came to 90% in both groups. In practical skills the analysis revealed a high correspondence between positive DOPS (92,4%) and OSCE (90,8%) results.Discussion: As shown by our data DOPS furnish high performance of clinical skills and work well in the undergraduate setting. Due to the high correspondence of DOPS and OSCE results DOPS should be considered as preferred assessment tool in a students skills-lab.The approximation of performance-rates within the months after initial superiority of DOPS could be explained by an interaction between DOPS and tutor system: DOPS elements seem to have improved tutoring and performance rates as well.DOPS in students ‘skills-lab afford structured feedback and assessment without increased personnel and financial resources compared to classic small group training.Conclusion: In summary, this study shows that DOPS represent an efficient method in teaching clinical skills. Their effects on didactic culture reach beyond the positive influence of performance rates. IntroductionSufficient teaching and assessment of clinical skills already in the undergraduate setting becomes more and more important in view of changing requirements in health systems and planned reforms of medical curricula , , , [http://kpj.meduniwien.ac.at/fileadmin/kpj/oesterreichischer-kompetenzlevelkatalog-fuer-aerztliche-fertigkeiten.pdf]. For example in Austria a national competence level catalogue was recently implemented at all national medical universities . Limitations of personnel and financial resources are challenging for academic teaching. Didactic methods will be evaluated in future not only in regard of performance but also of cost efficiency , , , .Today there is much discussion in literature about efficiency of teaching and assessment methods , , , , . MiniCEX (mini clinical evaluation exercise) and DOPS (direct observation of clinical skills) are used for some time as workplace based assessment (WBA) instruments in postgraduate settings , , , , , , , , , . Recently, this didactic format is also used as WBA tool in final year undergraduate courses . If DOPS is a reliable tool in teaching and assessment of clinical skills earlier in the curriculum, e.g. in the fourth year, is unknown . Still open remains the question whether repeated assessment, e.g. with DOPS, is superior to conventional exercising in regard of performing clinical skills. Karpicke and Blunt stated in a prospective randomized study in the field of cognitive skills that retrieval practice produces more learning than elaborative studying . Transferred to an undergraduate student´s skills lab DOPS would be the retrieval practice (repeated assessment) and the tutor teaching in small groups the elaborative learning. DOPS is well established as assessment tool in the context of workplace, especially in postgraduate settings , . Simulation is a reliable instrument to create a workplace environment which is safe and provides a student centered setting .In a prospective randomized study we analyzed the following questions:Does DOPS work in an undergraduate skills-labs setting?Does DOPS improve performance of clinical skills compared with tutor based teaching?How good is assessment quality of DOPS in this setting?Which curricular side effects result from the implementation of DOPS? EinleitungDie suffiziente Vermittlung und Prüfung klinisch-praktischer Fertigkeiten bereits während des Medizinstudiums gewinnt vor dem Hintergrund sich wandelnder Anforderungen im Gesundheitswesen und geplanter Reformen der Medizinerausbildung zunehmend an Bedeutung , , , [http://kpj.meduniwien.ac.at/fileadmin/kpj/oesterreichischer-kompetenzlevelkatalog-fuer-aerztliche-fertigkeiten.pdf]. So wurde beispielsweise in Österreich vor kurzem der ein Kompetenzlevelkatalog für ärztliche Fertigkeiten an allen drei staatlichen Medizinuniversitäten implementiert . Knapper werdende Zeit- und Personalressourcen stellen für die universitäre Lehre besondere Herausforderungen dar. Lehrformate und didaktische Methoden werden sich in Zukunft nicht nur durch ihre Güte im Hinblick auf die Performanz auszeichnen müssen, sondern auch Aspekte der Kosteneffizienz werden mehr in den Fokus des Interesses rücken , , , . Über die Effizienz diverser Lehr- und Prüfungsmethoden zum Erwerb klinisch-praktischer Fertigkeiten wird in der aktuellen Literatur viel diskutiert , , , , . MiniCEX (mini clinical evaluation exercise) und DOPS (direct obeservation of clinical skills) haben als Workplace-Based-Assessment (WBA)-Instrumente schon länger Eingang in die Ausbildung vor allem junger Mediziner gefunden , , , , , , , , , . In jüngster Zeit findet dieses Format auch Anwendung als WBA am Ende des Medizinstudiums . Ob DOPS auch in einem studentischen Skills-Lab-Setting etwa am Beginn des klinischen Studienabschnitts ein funktionierendes Instrument im Teaching und Assessment klinischer Skills sein können, ist derzeit in der Literatur nicht hinreichend geklärt . Ebenfalls ungeklärt ist die Frage, ob wiederholtes Prüfen, etwa mittels DOPS, einem herkömmlichen Üben hinsichtlich der Performanz praktischer Fertigkeiten überlegen ist. Karpicke und Blunt kamen auf dem Gebiet kognitiver Skills in einer prospektiv randomisierten Studie zum Ergebnis, dass repetitives Prüfen elaborativem Lernen überlegen ist . Übertragen auf ein studentisches Skills-Lab würden DOPS das repetitive Prüfen, ein traditioneller Kleingruppenunterricht mit Tutoren das elaborative Lernen darstellen. DOPS stellen im Prinzip ein Assessmentinstrument im Kontext eines Arbeitsplatzes dar , . Simulation ist ein zuverlässiges Instrument, um eine studentengerechte Lernumgebung im Sinne eines simulierten Workplace zu schaffen .Wir haben in einer prospektiv randomisierten Studie folgende Fragestellungen untersucht:Funktionieren DOPS in einem studentischen Skills-Lab-Setting überhaupt?Ermöglichen DOPS im Vergleich zu einem Tutorsystem eine Verbesserung der Performanz kompetenzlevelbasierter praktischer Fertigkeiten? Wie stellt sich die Assessmentqualität von DOPS in diesem Setting dar?Zusätzlich wurden auch relevante Begleitaspekte, sogenannte curriculare Side-Effects, welche sich durch die Implementierung der DOPS ergeben haben, analysiert. MethodsSetting/Study designA prospective randomized trial at the Medical University of Innsbruck (MUI) from April to June 2013 was carried out in context of surgical practical studies in the eighth semester. The study was presented to the local ethics committee, which approved the study design and raised no objection to its realization. The multidisciplinary surgical practical studies are conducted primarily by the department of Visceral, Transplant and Thoracic Surgery (VTT), the following departments contribute to the studies in accordance to the department´s size: Department of Anesthesia and Intensive Care Medicine, Department of Trauma Surgery and Sports medicine, Department of Orthopedics and Orthopedic Surgery, Department of Heart Surgery, Department of Vascular Surgery, Department of Plastic, Reconstructive and Esthetic Surgery, Department of Urology, Department of Neurosurgery.193 students out of a year cohort (n=258) were included in the study. The students were randomized into two groups. In both groups the same four competence-level-based skills were teached: surgical abdominal examination, urethral catheterization (phantom), rectal-digital examination (phantom), handling of central venous catheters. Group A was teached and assessed with DOPS only by lecturers of VTT. Group B was teached with a tutor system with lecturers of all other mentioned departments. Tutor teaching comprised small group lectures without a defined didactic method and one medical teacher present all the time. Randomization/Design of practical studies The students were randomized in group A “DOPS” and Group B “Tutor” at the registration by chance. According to the chronological order of the registration odd numbers were randomized in the DOPS group, even numbers into the tutor group. The initial size of each group for analysis after randomization was n=109. The practical studies took place at the same time but in different rooms for each study group, which consisted of maximum five students. Each unit of the practical studies took five days, 90 minutes a day. At the first day all students got a theoretical lecture in all four skills based on detailed handouts for the lecturers. In the following days two, three and four the students were teached with DOPS or tutor system according to randomization. The students in the DOPS group were repeatedly assessed with the goal (minimum) 6 DOPS per student. Day five was dedicated to the OSCE assessment for all students. The OSCE comprised four five-minute stations in accordance to the teached skills. The OSCE test reports corresponded exactly to the mentioned handouts for the teachers (see Figure 1 ).Inclusion/Exclusion criteriaThe registration for the practical studies (“Chirurgisches Praktikum”) was the only inclusion criterion. To warrant validity of data attention was carefully paid to avoid group shifts during the lecture days. Therefore, the following criteria for exclusion were defined in the study design:Group shifting/students shifting form one group into the other (e.g. student of group A, four days in group A, one day in group B)Students of DOPS group who missed 1 or more days (goal of 6 DOPS minimum not within reach)Students in the Erasmus program, because they could not be obliged to undergo OSCE.Skills/Materials/AssessmentThe skills urethral catheterization and rectal-digital examination were teached and assessed on phantoms produced by Things and Limbs (Catheterization-Simulator, Rectal Examination Trainer MK2). The skill surgical abdominal examination was teached by the students as models themselves. For the corresponding OSCE station special trained student-actors were recruited. The skill handling of central venous catheters was teached and assessed on real devices that are used daily in the university hospital of Innsbruck. All OSCE examiners and actors were blinded regarding the randomization of the students.The OSCE report forms were generated in the Innsbruck design (see Figure 1 ). Content and layout of DOPS forms are in accordance with the original publications of Norcini and Darzi , . Analysis/StatisticsCalculating OSCE results, the cut off for positive/negative rating was set between the category “completely accomplished” and “partially accomplished”. Thus, only item results from the category “completely accomplished” were rated as positive. The OSCE items were divided into two fractions according to the report form: skills and communication. The OSCE results were analyzed separately for each of the four skills and every month. The results were expressed in absolute numbers (points) and percent values.Statistical analysis of OSCE results was performed by t-test. A p value <0,05 indicated a statistically significant difference.DOPS items were also divided in two fractions – skills and communication. The skills fraction consisted of preparation/aftercare/certainty, technical performance, clinical judgment, organization and efficiency. The other items as professionalism were related to the communication fraction.DOPS results in the categories satisfactory and superior were rated as positive and were summarized. The calculated percent values were compared with the OSCE results.Instruction/ResourcesAll tutors and examiners were experienced residents or consultants/assistant professors and underwent specific OSCE teaching. Lecturers (and examiners) of VTT had an additional DOPS training. Special attention was directed to achieve a sufficient selectivity in assessment with OSCE and DOPS. The study design defined personnel and time related resources identically in both groups. Thus, the goal of 6 DOPS in summary or 2 DOPS each day was a result of this definition. Five students and 90 minutes per day amount to nine minutes for each DOPS as a total of observation and feedback time. MethodenSetting/StudiendesignIm Zeitraum von April 2013 bis Juni 2013 wurde an der MUI (Medizinische Universität Innsbruck) im Rahmen des chirurgischen Praktikums eine prospektiv randomisierte Studie durchgeführt. Das Studienkonzept wurde vor Beginn der Studie der Ethikkommission der MUI zur Kenntnis gebracht, von dieser wurden keine Einwände gegen die Durchführung in der eingereichten Form erhoben.Neben der federführenden Univ. Klinik für Visceral-, Transplantations- und Thoraxchirurgie (VTT) sind folgende klinische Institutionen, nach jeweiliger Klinikgröße anteilig, am chirurgischen Praktikum beteiligt: Univ. Klinik für Anästhesie und Intensivmedizin, Univ. Klinik für Unfallchirurgie, Univ. Klinik für Orthopädie, Univ. Klinik für Herzchirurgie, Univ. Klinik für Gefäßchirurgie, Univ. Klinik für Plastische, Rekonstruktive und Ästhetische Chirurgie, Univ. Klinik für Urologie, Univ. Klinik für Neurochirurgie. Es wurden insgesamt 193 Studierende einer Jahrgangskohorte (n=258) in die Studie eingeschlossen. Die Studierenden wurden in 2 Gruppen randomisiert. In beiden Gruppen wurden vier kompetenzlevelbasierte praktische Fertigkeiten vermittelt: Chirurgische Abdominaluntersuchung, Harnkatheteranlage, rektal-digitale Untersuchung, Handhabung zentralvenöser Katheter. Gruppe A wurde mittels DOPS gelehrt und geprüft, ausschließlich von Dozenten der VTT. Die Vergleichsgruppe B wurde mit einem Tutorsystem unterrichtet, von Dozenten aller anderen oben angeführten Institutionen. Das Tutorsystem war ein Kleingruppenunterricht, bei dem ein die ganze Zeit anwesender ärztlicher Tutor die Studierenden unterrichtet bzw. betreut ohne näher definierte didaktische Struktur oder Methode. Randomisierung/KursdesignDie Randomisierung in Gruppe A „DOPS“ und Gruppe B „Tutor“ fand im Rahmen der Anmeldung nach dem Zufallsprinzip statt. Dafür wurde die Reihenfolge der Anmeldung herangezogen (beginnend bei 1, ungerade Zahl DOPS, gerade Zahl Tutor). Es ergab sich eine Ausgangsgruppengröße für die Auswertung von je n=109. Die Kurse fanden in Kleingruppen zu maximal 5 Studierenden zeitlich parallel, jedoch räumlich getrennt statt. Die Dauer jedes Skills-Lab Kurses betrug insgesamt 5 Tage, pro Tag 90 Minuten. Am ersten Tag erhielten alle Studierenden gemeinsam eine theoretische Unterweisung in den vier Skills anhand detailliert ausgearbeiteter Handouts für die Lehrenden. An den folgenden Tagen 2 bis 4 fand, nach Gruppen getrennt, der praktische Unterricht statt. In den DOPS-Gruppen wurde repetitiv geprüft, mit dem Ziel (mindestens) 6 DOPS pro Student. Am Tag 5 wurden die Studierenden einem OSCE (objective structured clinical examination) mit vier Stationen unterzogen, entsprechend den genannten Skills. Die verfügbare Zeit für eine OSCE-Station betrug 5 Minuten. Die OSCE-Prüfungsbögen korrespondierten inhaltlich 1:1 mit den Handouts für die Lehrenden (siehe Abbildung 1 ).Ein-/AusschlusskriterienDas Einschlusskriterium für die Studie war die Anmeldung zur curricularen Pflichtveranstaltung „Chirurgisches Praktikum“. Um die Validität der Daten zu garantieren wurde penibel darauf geachtet, dass es zu keiner Vermischung der Gruppen während der Kurswoche kam. Folgende Ausschlusskriterien wurden bereits vor Studienbeginn festgelegt: Gruppenvermischung/eigenmächtiges Wechseln der Gruppe (z.B. DOPS 1 Tag in Tutorgruppe) Studierende der DOPS-Gruppe, welche mehr als einen Tag während des Kurses abwesend waren (DOPS Mindestanzahl nicht erreichbar)Erasmus-Studenten, da diese nicht an Prüfungen teilnehmen müssen und dazu auch nicht verpflichtet werden können. Skills/Materialien/AssessmentDie Skills Harnkatheter und rektale Untersuchung wurden an Phantomen der Firma Limbs and Things, Modelle Katheterisierungssimulator und Rectal Examination Trainer MK2 gelehrt und geprüft. Die Fertigkeit chirurgische Abdominaluntersuchung wurde im Kurs anhand der Studierenden gegenseitig gelehrt. Für den OSCE wurden studentische Schauspieler herangezogen, die von Oberärzten und fortgeschrittenen Assistenten der VTT eingeschult wurden. Die Fertigkeit ZVK wurde anhand von realen Modellen von Subclaviakatheter (ZVK1)und Port-a-Cath (ZVK2), welche an den Universitätskliniken Innsbruck im klinischen Alltag verwendet werden, gelehrt und geprüft. Beim OSCE waren hinsichtlich der Gruppenzuteilung der Prüflinge sowohl Prüfer als auch Schauspieler geblindet.Die vier OSCE-Prüfungsbögen wurden nach dem in Innsbruck üblichen Design erstellt (siehe Abbildung 1 ). Form, Items und Layout der DOPS-Formulare entsprachen dem der Originalpublikationen von Norcini und Darzi , . Datenauswertung/StatistikBei der Auswertung der OSCE-Daten wurde der Cut-Off zur Kalkulation der Performanz zwischen „vollständig erfüllt“ und „teilweise bzw. nicht erfüllt“ gelegt. Somit wurden nur Item-Ergebnisse der Kategorie „vollständig erfüllt“ als positiv gewertet. Die einzelnen Items wurden bei der OSCE-Auswertung entsprechend der Gliederung des Prüfungsbogens in zwei Fraktionen aufgegliedert: eine Fraktion „Skills“, sozusagen die reinen technischen Fertigkeiten der Aufgabenstellung und in eine Fraktion „Kommunikation“. Die OSCE-Ergebnisse wurden für jede Fertigkeit einzeln und nach Monaten getrennt ausgewertet und die Ergebnisse in absoluten Zahlen (Punkten) und %-Werten ausgedrückt. Die statistische Auswertung der OSCE-Ergebnisse erfolgte mittels t-Test. Ein p<0,05 wurde als statistisch signifikant gewertet.Die DOPS-Auswertung erfolgte ebenfalls aufgetrennt in eine Skills-Fraktion mit den Items „Vorbereitung/Nachsorge/Sicherheit“, „Technische Fertigkeit“, „Klinische Urteilsfähigkeit“, „Organisation und Effizienz“ und eine kommunikative Fraktion, welche die restlichen Items wie „Professionelles Verhalten“ umfasste. Bei der Auswertung der DOPS wurden die Ergebnisse in den Kategorien „erwartungsgemäß“ und „überdurchschnittlich“ als positiv gewertet und addiert. Die jeweiligen Prozentwerte wurden kalkuliert und den OSCE Ergebnissen gegenübergestellt.Schulungen/RessourcenSämtliche Tutoren und Prüfer waren fortgeschrittene Assistenzärzte oder habilitierte Oberärzte. Alle erhielten eine spezifische Einschulung auf OSCE, die Dozenten der VTT zusätzlich im Rahmen dieser Schulungen eine Einschulung auf DOPS. Besonderes Augenmerk wurde dabei auf die Erzielung einer ausreichend hohen Trennschärfe in der Beurteilung sowohl bei DOPS als auch OSCE gelegt. Zeit- und Personalaufwand wurden im Studiendesign in beiden Gruppen als ident festgelegt. Daraus resultierte die Zielvorgabe von insgesamt 6 DOPS pro Student (d.h. 2 pro Tag). Gerechnet auf eine 5er Gruppe und 90 Minuten pro Tag ergab dies eine Dauer von 9 Minuten pro DOPS als Summe von Beobachtungs- und Feedbackzeit. ResultsFrom the total number of students (n=193), n=52 (26,9%) were in the DOPS and 141 (73,1%) in the tutor group. 756 singular OSCE´s were performed, n=209 (27,6%) in the DOPS, n=547 (72,3%) in the tutor group. 180 (93,3%) students underwent all OSCE stations, 13 (6,7%) less than four. As these students could unmistakably be related to one of the groups (DOPS or tutor) in accordance to the criteria mentioned above, these OSCE results could be rated as well. 90,8% of the students in the DOPS group and 89,8% in the tutor group underwent all OSCE stations.The size difference between the two groups (DOPS n=52, tutor n=141) can be explained by data adjustment in consequence of exclusion criteria: The most frequent reasons were groups shifting from DOPS to tutor and not suitable DOPS reports. Furthermore, some student groups randomized to DOPS did not participate in the practical studies at all and had to be cancelled.OSCE SkillsOverall, there cannot be found any difference in positive OSCE results between the study groups: 90,8% DOPS versus 89% tutor. Analyzing the monthly OSCE results leads to a different finding: in April the DOPS group was statistically significantly superior to tutor group with 94,1% versus 87,5% (p< 0,05). During the following months the performance rates approximated to each other. The rate of completely accomplished items was in May 91,2% (DOPS) and 91,1% (tutor), in June 89,3% versus 90,8% respectively (see Figure 2 )Also the analysis of the singular skills in the months May and June furnishes results close to each other. The percent mean values for DOPS and tutor were 91% versus 90,8% in May and 90% versus 90,5% in June. OSCE CommunicationGenerally, the performance in communication items was worse with 76,6% DOPS and 78,4% tutor (percent mean values over all months).DOPS/Correspondence DOPS-OSCE320 DOPS were performed at all. Analysis of skills related DOPS items amounted to 92,4% positive results. This value corresponds well with 90,8% positive OSCE results in the DOPS group.We found a rate of 91,3% positive DOPS communication items. The correspondence with 76,6% positive OSCE results is substantial lower (see Table 1 )ResourcesDue to the study design there was no difference regarding time and personnel resources. In both groups 5 students were assessed (DOPS) or supervised (tutor) by one teacher 90 minutes per day. The expenditure of time in personnel teaching was 6 hours. An instructor trained lecturers and examiners in groups with a maximum size of 15 people. Staff members of VTT and staff members of the other departments were always instructed separately. ErgebnisseVon den 193 Studierenden umfasste die DOPS-Gruppe 52 (26,9%) Studierende, die Tutorgruppe 141 (73,1%) Studierende. Insgesamt wurden 756 Einzel-OSCE´s durchgeführt, davon entfielen auf die DOPS-Gruppe 209 (27,6%) und auf die Tutorgruppe 547 (72,3%). Von den 193 Studierenden absolvierten 180 (93,3%) jeweils alle 4 Einzel-OSCE´s, 13 (6,7%) Studierende weniger als 4. Da diese Studierenden eindeutig einer Gruppe (DOPS oder Tutor) nach den oben angeführten Kriterien zuzuordnen waren, wurden diese in der Wertung belassen. In der DOPS-Gruppe bzw. in der Tutorgruppe absolvierten 90,8% bzw. 89,8% alle OSCE-Stationen.Der Unterschied der Gruppengrößen (DOPS n=52, Tutor n=141) erklärt sich aus der Bereinigung der Datensätze durch obige Ausschlusskriterien: Dabei stellten der Gruppenshift von DOPS-System in Richtung Tutosystem und nicht verwertbare DOPS-Bögen die häufigsten Gründe dar, darüberhinaus sind einige „DOPS-Gruppen“ gar nicht zum Praktikum erschienen und somit gänzlich ausgefallen. OSCE SkillsÜber das gesamte Semester betrachtet ergibt sich zwischen beiden Gruppen kein Unterschied an positiven OSCE-Ergebnissen: 90,8% (DOPS) versus 89% (Tutor). Analysiert man die Prüfungsergebnisse der einzelnen Monate, so ergibt sich ein differenzierteres Bild: im April war die DOPS-Gruppe der Tutorgruppe mit 94,1% gegenüber 87,5% statistisch signifikant (p < 0,05) überlegen. In den folgenden Monaten glichen sich die OSCE-Resultate beider Gruppen weitgehend an. So betrugen die Prozentsätze an vollständig erfüllten Skills im Mai für die DOPS-Gruppe 91,2%, für die Tutorgruppe 91,1%, im Juni 89,3% versus 90,8% (siehe Abbildung 2 ).Auch in der getrennten Auswertung der einzelnen Fertigkeiten in den Folgemonaten Mai und Juni lässt sich kein wirklicher Trend erkennen, in beiden Gruppen liegen die Prozentwerte eng beieinander. So betrugen die prozentuellen Mittelwert im Mai für DOPS-Gruppe 91%, für die Tutor-Gruppe 90,8%, im Juni 90% versus 90,5% respektive. OSCE KommunikationDie Analyse der kommunikativen Fähigkeiten ergibt ein insgesamt schlechtes Abschneiden in beiden Gruppen. So lagen die prozentuellen Mittelwerte über alle Monate bei 76,6% (DOPS) und 78,4% (Tutor). DOPS/Übereinstimmung DOPS-OSCEInsgesamt wurden 320 DOPS durchgeführt. Die Auswertung der Skills-bezogenen DOPS-Items ergab in Summe 92,4% positive Ergebnisse, welche gut mit den 90,8% positiven OSCE-Ergebnissen der DOPS-Gruppe übereinstimmtenBei den kommunikativen Items wurden bei den DOPS 91,3% positive Ergebnisse erreicht. Hier fand sich eine wesentlich schlechtere Übereinstimmung mit den positiven OSCE-Ergebnissen von 76,6% (siehe Tabelle 1 ).RessourcenEs ergab sich erwartungsgemäß pro Student berechnet kein Unterschied hinsichtlich Zeit- und Personalaufwand (Studiendesign). In beiden Gruppen wurden jeweils 5 Studierende pro Tag 90 Minuten von einem Dozenten geprüft (DOPS-Gruppe) bzw. betreut (Tutor-Gruppe). Der zeitliche Aufwand der Personalteachings betrug insgesamt 6 Stunden. Von einem Instruktor wurden die Dozenten/Prüfer in unterschiedlich großen Gruppen (bis etwa max. 15 Personen) unterrichtet, VTT-Dozenten und Dozenten der anderen Institutionen jeweils getrennt. DiscussionDOPS as a teaching tool in an undergraduate setting achieve high performance levels of clinical skills. In our study, the performance rates in the DOPS group were found to be significantly (p<0,05) superior to the tutor system only in the first month of the semester (April). In the following months, May and June, and over the whole semester results showed no difference anyway (see Figure 2 and Table 1 ) Thus, we conclude that DOPS works well in a student´s skills lab setting and scores at least equally with a tutoring in small groups and academic teachers.Our data show a high correspondence between DOPS and OSCE results regarding skills. We venture to conclude that DOPS as assessment tool in students skills lab may be sufficient at least as pass and fail rating. Therefore, the OSCE could be dropped without diminishing the assessment quality. This would allow saving staff and time resources. According to the slogan “assessment time also is teaching time” either some more skills could be teached during the same time or the practical studies itself could be shortened e.g. four instead of five days. In our opinion this is an interesting curricular side effect that comes along with DOPS implementation in teaching undergraduates. Compared with a tutor system DOPS provide not only assessment but also structured feedback without generating additional costs. The approximation of skills performance rates after initial superiority of the DOPS group may be explained by interaction between DOPS and tutor system. Essential DOPS elements as structured feedback and repeated assessment were taken over from the teachers in the tutor system in the course of increasing mental embodiment. The study design provided, that only staff members of VTT supervise the DOPS groups and staff members of the associated departments the tutor groups. Only during the first weeks of these practical studies this mode could be realized. Later on, frequently staff members of VTT had to supervise also tutor groups out of organizational reasons. Nevertheless, both groups were always teached in different rooms.In contrast to the positive results regarding skills as psychomotor competences, OSCE outcome concerning communicative items was substantial poorer. In both groups we found only about 77% positive results. This can be interpreted on the one hand as an achievement of adequate selectivity in assessment, which was an important topic in teachers’ instructions. On the other hand these data show weaknesses of students in this regard. Thus, this means a commission to focus more on these communicative aspects in the future within the skills lab setting. However, it remains open, which method is the best to achieve this improvement. Strictly speaking, we would have expected better results in the DOPS group. Probably, the intended focus on the psychomotor aspects in our setting and course design may be an explanation for the poorer OSCE results, but not for the also poor correspondence between DOPS and OSCE regarding these communicative aspects. DiskussionDOPS führen im studentischen Skills-Lab Setting zu einer hohen Performanz klinischer Fertigkeiten. Verglichen mit dem Tutorsystem zeigte sich ein statistisch signifikanter Performanzunterschied (p<0,05) zugunsten der DOPS-Gruppe jedoch nur im ersten Monat des Semesters (April). In den Monaten Mai bis Juni und über das gesamte Semester gerechnet war dann kein signifikanter Unterschied in den Ergebnissen mehr feststellbar (siehe Abbildung 2 und Tabelle 1 ). Daraus lässt sich schließen, dass DOPS in einem studentischen Skills-Lab Setting gut funktionieren und einem Tutorsystem (Kleingruppenunterricht) mit ausschließlich akademischen Lehrern hinsichtlich der Performanz zumindest ebenbürtig sind.Unsere Daten zeigen bei den Skills eine hohe Übereinstimmung zwischen DOPS- und OSCE-Ergebnissen. Wir wagen daraus mit aller Vorsicht abzuleiten, dass in einem studentischen Skills-Lab Setting DOPS als Assessment, zumindest im Sinne einer pass/fail Beurteilung, ausreichend sein können. Das würde bedeuten, dass man auf einen OSCE bei vergleichbarer Assessmentqualität für dieses Setting verzichten und sich dadurch einiges an Personal- und Zeitressourcen sparen könnte. Unter der Voraussetzung „Prüfungszeit ist auch Lehrzeit“ könnten so in gleicher Zeit entweder mehr Skills vermittelt werden oder die Kurse zeitlich (beispielsweise um einen Tag) verkürzt werden. Dies stellt unserer Meinung nach einen interessanten curricularen Nebeneffekt der DOPS-Implementierung in der studentischen Lehre dar. Gegenüber dem Tutorsystem bieten DOPS bei gleichem Personal- und Zeitaufwand den wesentlichen Vorteil, neben der Vermittlung von praktischen Fertigkeiten auch strukturiertes Feedback und Assessment liefern zu können.Die zeitliche Annäherung der Skills-Performanzraten nach initialer Überlegenheit der DOPS-Gruppe erklärt sich möglicherweise mit einer Wechselwirkung der DOPS auf das Tutorsystem. Mit fortschreitender mentaler Verankerung bei den Dozenten/Prüfern flossen offenbar DOPS-Elemente insbesondere das Feedback und das repetitive Prüfen ins Tutoring ein und führten möglicherweise zu einer Angleichung der Unterschiede. Ursprünglich war geplant, dass ausschließlich Dozenten der Allgemeinchirurgie (VTT) die DOPS-Gruppen betreuen sollten und Dozenten aller anderen mitbeteiligten Kliniken die Tutorgruppen. Dies ließ sich aus praktisch-organisatorischen Gründen nur in den Anfangswochen des Semesters aufrechterhalten, in der Folge mussten VTT-Dozenten häufig auch Tutorgruppen, dennoch immer räumlich getrennt, betreuen. Im Gegensatz zu den positiven Performanzraten bei den handwerklichen Skills sind die OSCE-Resultate bei den kommunikativen Fertigkeiten mit rund 77% positiven Prüfungsergebnissen in beiden Gruppen deutlich schlechter. Das zeigt einerseits das Erreichen einer gewissen Prüfungstrennschärfe, was ein besonderer Schwerpunkt bei den Schulungen war. Andererseits zeigen diese Daten klar, dass gerade hier bei den Studierenden offenbar gröbere Defizite vorliegen. Daraus ergibt sich ein klarer didaktischer Handlungsbedarf hinsichtlich einer Intensivierung der Vermittlung kommunikativer Fertigkeiten. Mit welcher Methode das geschehen soll bleibt offen. Eigentlich hätten wir uns von der DOPS-Gruppe hier bessere Werte erwartet. Die bewusste Fokussierung auf die handwerkliche Performanz im Rahmen der Studie stellt möglicherweise eine Erklärung für die schlechteren OSCE-Ergebnisse dar, nicht jedoch für die schlechtere Übereinstimmung DOPS-OSCE bei den kommunikativen Fertigkeiten im Vergleich zu den eigentlichen Skills. ConclusionIn summary, our study shows that DOPS represents an efficient method in teaching clinical skills. Due to the high correspondence between DOPS and OSCE results regarding clinical skills it could be considered to carry out assessment in a student´s skills lab only with DOPS. Furthermore, DOPS implementation seems to have positive influence on the didactic culture of academic institutions. SchlussfolgerungZusammenfassend stellen DOPS im studentischen Skills-Lab eine funktionierende und effiziente Methode in der didaktischen Vermittlung klinischer Skills dar. Durch die hohe Übereinstimmung zwischen DOPS und OSCE bei den praktischen Fertigkeiten könnte man überlegen, DOPS auch als alleiniges Assessment-Tool in diesem Setting zur Beurteilung der Performanz einzusetzen. Darüberhinaus scheint die DOPS-Implementierung auch die didaktische Kultur universitärer Institutionen positiv zu beeinflussen. Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben. Frenk J Chen L Bhutta ZA Cohen J Crisp N Evans T Fineberg H Garcia P Ke Y Kelley P Istnasamy B Meleis A Naylor D Pablos-Mendez A Reddy S Scrimshaw S Sepulvenda J Serwadda D Zurayk H Health professionals for a new century: transforming education to strenghten health systems in an interdependent world 2010 Lancet 1923-1958 Frenk J, Chen L, Bhutta ZA, Cohen J, Crisp N, Evans T, Fineberg H, Garcia P, Ke Y, Kelley P, Istnasamy B, Meleis A, Naylor D, Pablos-Mendez A, Reddy S, Scrimshaw S, Sepulvenda J, Serwadda D, Zurayk H. Health professionals for a new century: transforming education to strenghten health systems in an interdependent world. Lancet. 2010;376(9756):1923-1958. DOI: 10.1016/S0140-6736(10)61854-5 http://dx.doi.org/10.1016/S0140-6736(10)61854-5 Mann KV Theoretical perspectives in medical education: past experience and future possibilities 2011 Med Educ 60-68 Mann KV. Theoretical perspectives in medical education: past experience and future possibilities. Med Educ. 2011;45(1):60-68. DOI: 10.1111/j.1365-2923.2010.03757.x http://dx.doi.org/10.1111/j.1365-2923.2010.03757.x Epstein RM Assessment in medical education 2007 N Engl J Med 387-396 Epstein RM. Assessment in medical education. N Engl J Med. 2007;356(4):387-396. DOI: 10.1056/NEJMra054784 http://dx.doi.org/10.1056/NEJMra054784 Frank JR 2005 The CanMEDS 2005 physician competency framework. Better standards. Better physicians. Better care Frank JR. The CanMEDS 2005 physician competency framework. Better standards. Better physicians. Better care. Ottawa: The Royal College of Physicians and Surgeons of Canada; 2005. Finucane P Shannon W McGrath D The financial costs of delivering problem-based learning in a new, graduate-entry medical programme 2009 Med Educ 594-598 Finucane P, Shannon W, McGrath D. The financial costs of delivering problem-based learning in a new, graduate-entry medical programme. Med Educ. 2009;43(6):594-598. DOI: 10.1111/j.1365-2923.2009.03373.x http://dx.doi.org/10.1111/j.1365-2923.2009.03373.x Neville AJ Problem-based learning and medical education forty years on. A review of its effects on knowledge and clinical performance 2009 Med Princ Pract 1-9 Neville AJ. Problem-based learning and medical education forty years on. A review of its effects on knowledge and clinical performance. Med Princ Pract. 2009;18(1):1-9. DOI: 10.1159/000163038 http://dx.doi.org/10.1159/000163038 Norman SR Schmidt HG Effectiveness of problem-based learning curricula: theory, practice and paper darts 2000 Med Educ 721–728 Norman SR, Schmidt HG. Effectiveness of problem-based learning curricula: theory, practice and paper darts. Med Educ. 2000;34(9):721–728. DOI: 10.1046/j.1365-2923.2000.00749.x http://dx.doi.org/10.1046/j.1365-2923.2000.00749.x Yaqinuddin A Problem-based learning as an instructional method 2013 J Coll Physicians Surg Pak 83-85 Yaqinuddin A. Problem-based learning as an instructional method. J Coll Physicians Surg Pak. 2013;23(1):83-85. DOI: 01.2013/JCPSP.8385 http://dx.doi.org/01.2013/JCPSP.8385 Colliver JA Effectiveness of problem-based learning curricula: research and theory 2000 Acad Med 259-66 Colliver JA. Effectiveness of problem-based learning curricula: research and theory. Acad Med. 2000;75(3):259-66. DOI: 10.1097/00001888-200003000-00017 http://dx.doi.org/10.1097/00001888-200003000-00017 Bannister SL Hilliard RI Regehr G Lingard L Technical skills in pediatrics: a qualitative study of acquisition, attitudes and assumptions in the neonatal intensive care unit 2003 Med Educ 1082-1090 Bannister SL, Hilliard RI, Regehr G, Lingard L. Technical skills in pediatrics: a qualitative study of acquisition, attitudes and assumptions in the neonatal intensive care unit. Med Educ. 2003;37(12):1082-1090. DOI: 10.1111/j.1365-2923.2003.01711.x http://dx.doi.org/10.1111/j.1365-2923.2003.01711.x Remmen R Derese A Scherpbier A Denekens J Hermann I van der Vleuten C Van Royen P Bossaert L Can medical schools rely on clerkships to train students in basic clinical skills? 1999 Med Educ 600-605 Remmen R, Derese A, Scherpbier A, Denekens J, Hermann I, van der Vleuten C, Van Royen P, Bossaert L. Can medical schools rely on clerkships to train students in basic clinical skills? Med Educ. 1999;33(8):600-605. DOI: 10.1046/j.1365-2923.1999.00467.x http://dx.doi.org/10.1046/j.1365-2923.1999.00467.x McGaghie WC Issenberg SB Cohen ER Barsuk JH Wayne DB Does simulation-based medical education with deliberate practice yield better results than traditional clinical education? A meta-analytic comparative review of the evidence 2011 Acad Med 706-711 McGaghie WC, Issenberg SB, Cohen ER, Barsuk JH, Wayne DB. Does simulation-based medical education with deliberate practice yield better results than traditional clinical education? A meta-analytic comparative review of the evidence. Acad Med. 2011;86(6):706-711. DOI: 10.1097/ACM.0b013e318217e119 http://dx.doi.org/10.1097/ACM.0b013e318217e119 Buss B Krautter M Möltner A Weyrich P Werner A Jünger J Nikkendei C Can the Assessment Drives Learning" effect be detected in clinical skills training? – Implications for curriculum design and reource planning 2012 GMS Z Med Ausbild Doc70 Buss B, Krautter M, Möltner A, Weyrich P, Werner A, Jünger J, Nikkendei C. Can the Assessment Drives Learning" effect be detected in clinical skills training? – Implications for curriculum design and reource planning. GMS Z Med Ausbild. 2012;29(5):Doc70. DOI: 10.3205/zma000840 http://dx.doi.org/10.3205/zma000840 Norcini JJ Blank LL Duffy FD Fortna GS The MiniCEX: A method for assessing clinical skills 2003 Ann Intern Med 476-481 Norcini JJ, Blank LL, Duffy FD, Fortna GS. The MiniCEX: A method for assessing clinical skills. Ann Intern Med. 2003;138(6):476-481. DOI: 10.7326/0003-4819-138-6-200303180-00012 http://dx.doi.org/10.7326/0003-4819-138-6-200303180-00012 Darzi A Mackay S Assessment of surgical competence 2003 Qual Health Care 64-69 Darzi A, Mackay S. Assessment of surgical competence. Qual Health Care. 2003;10:64-69. Norcini J Burch V Workplace-based assessment as an educational tool: AMEE Guide Nr. 31 2007 Med Teach 855-871 Norcini J, Burch V. Workplace-based assessment as an educational tool: AMEE Guide Nr. 31. Med Teach. 2007;29(9):855-871. DOI: 10.1080/01421590701775453 http://dx.doi.org/10.1080/01421590701775453 Wragg A Wade W Fuller G Cowan G Mills P Assessing the performance of specialist registrars 2003 Clin Med 131-134 Wragg A, Wade W, Fuller G, Cowan G, Mills P. Assessing the performance of specialist registrars. Clin Med. 2003;3(2):131-134. DOI: 10.7861/clinmedicine.3-2-131 http://dx.doi.org/10.7861/clinmedicine.3-2-131 Miller A Archer J Impact of workplace based assessment on doctor´s education and performance: a systematic review 2010 BMJ c5064 Miller A, Archer J. Impact of workplace based assessment on doctor´s education and performance: a systematic review. BMJ. 2010;341:c5064. DOI: 10.1136/bmj.c5064 http://dx.doi.org/10.1136/bmj.c5064 Govaerts MJ Schuwirth LW Van der Vleuten CP Muijtjens AM Workplace-based assessment: effects of rather expertise 2011 Adv in Health Sci Educ 151-165 Govaerts MJ, Schuwirth LW, Van der Vleuten CP, Muijtjens AM. Workplace-based assessment: effects of rather expertise. Adv in Health Sci Educ. 2011;16(2):151-165. DOI: 10.1007/s10459-010-9250-7 http://dx.doi.org/10.1007/s10459-010-9250-7 Pelgrim EA Kramer AW Mokkink HG van der Vleuten CP The process of feedback in workplace-based learning: organistation, delivery, continuity 2012 Med Educ 604-612 Pelgrim EA, Kramer AW, Mokkink HG, van der Vleuten CP. The process of feedback in workplace-based learning: organistation, delivery, continuity. Med Educ. 2012;46(6):604-612. Norcini J The power of feedback 2010 Med Educ 16-17 Norcini J. The power of feedback. Med Educ. 2010;44(1):16-17. DOI: 10.1111/j.1365-2923.2009.03542.x http://dx.doi.org/10.1111/j.1365-2923.2009.03542.x Mitchell C Bhat S Herbert A Baker P Workplace-based assessments of junior doctors: do scores predict training difficulties? 2011 Med Educ 1190-1198 Mitchell C, Bhat S, Herbert A, Baker P. Workplace-based assessments of junior doctors: do scores predict training difficulties? Med Educ. 2011;45(12):1190-1198. DOI: 10.1111/j.1365-2923.2011.04056.x http://dx.doi.org/10.1111/j.1365-2923.2011.04056.x Bindal N Goodyear H Bindal T Wall D DOPS assessment: A study to evaluate the experience and opinions of trainees and assessors 2013 Med Teach e1230-e1234 Bindal N, Goodyear H, Bindal T, Wall D. DOPS assessment: A study to evaluate the experience and opinions of trainees and assessors. Med Teach. 2013;35(6):e1230-e1234. DOI: 10.3109/0142159X.2012.746447 http://dx.doi.org/10.3109/0142159X.2012.746447 McLeod R Mires G Ker J Direct observed procedural skills assessment in the undergraduate setting 2012 Clin Teach 228-232 McLeod R, Mires G, Ker J. Direct observed procedural skills assessment in the undergraduate setting. Clin Teach. 2012;9(4):228-232. DOI: 10.1111/j.1743-498X.2012.00582.x. http://dx.doi.org/10.1111/j.1743-498X.2012.00582.x. Karpicke JD Blunt JR Retrieval practice produces more learning elaborative studying with concept mapping 2011 Science 772-775 Karpicke JD, Blunt JR. Retrieval practice produces more learning elaborative studying with concept mapping. Science. 2011;331(6018):772-775. DOI: 10.1126/science.1199327 http://dx.doi.org/10.1126/science.1199327 Ker J Bradley P 2007 Simulation in Medicine Education Booklet. Understanding Medical Education Series Ker J, Bradley P. Simulation in Medicine Education Booklet. Understanding Medical Education Series. Ediburgh: ASME; 2007. 11en1de

Table 1: Correspondence positive DOPS and OSCE results

Tabelle 1: Übereinstimmung positive DOPS und OSCE-Ergebnisse

1

1 1en 1de Figure 1: Example OSCE report form Abbildung 1: Beispiel OSCE-Bogen

2 2en 2de Figure 2: Results skills total Abbildung 2: Ergebnisse Skills gesamt

2 0 0