zma001194 10.3205/zma001194 urn:nbn:de:0183-zma0011944 article Artikel Pilotstudie zur Evaluation des Objective Structured Assessment of Technical Skills (OSATS) zur Thoraxdrainagenanlage Friedrich Friedrich Mirco M

University of Heidelberg, Department of General, Visceral, and Transplantation Surgery, Heidelberg, Germany

Universität Heidelberg, Klinik für Allgemein-, Viszeral- und Transplantationschirurgie, Heidelberg, Deutschland

friedrich.mirco@googlemail.com author Ober Ober Julian J

University of Heidelberg, HTRG – Heidelberg Trauma Research Group, Center for Orthopedics, Trauma Surgery and Spinal Cord Injury, Trauma and Reconstructive Surgery, Heidelberg, Germany

Universität Heidelberg, HTRG – Heidelberg Trauma Research Group, Zentrum für Orthopädie, Unfallchirurgie und Paraplegiologie, Heidelberg, Deutschland

ober@stud.uni-heidelberg.de author Haubruck Haubruck Patrick P

University of Heidelberg, HTRG – Heidelberg Trauma Research Group, Center for Orthopedics, Trauma Surgery and Spinal Cord Injury, Trauma and Reconstructive Surgery, Heidelberg, Germany

Universität Heidelberg, HTRG – Heidelberg Trauma Research Group, Zentrum für Orthopädie, Unfallchirurgie und Paraplegiologie, Heidelberg, Deutschland

patrick.haubruck@med.uni-heidelberg.de author Bergdolt Bergdolt Christian C

University of Heidelberg, HTRG – Heidelberg Trauma Research Group, Center for Orthopedics, Trauma Surgery and Spinal Cord Injury, Trauma and Reconstructive Surgery, Heidelberg, Germany

Universität Heidelberg, HTRG – Heidelberg Trauma Research Group, Zentrum für Orthopädie, Unfallchirurgie und Paraplegiologie, Heidelberg, Deutschland

christian.bergdolt@web.de author Bruckner Bruckner Thomas T

University of Heidelberg, Institute for Medical Biometry and Informatics, Heidelberg, Germany

Universität Heidelberg, Institut für medizinische Biometrie und Informatik, Heidelberg, Deutschland

bruckner@imbiuni-heidelberg.de author Kowalewski Kowalewski Karl-Friedrich KF

University of Heidelberg, Department of General, Visceral, and Transplantation Surgery, Heidelberg, Germany

Universität Heidelberg, Klinik für Allgemein-, Viszeral- und Transplantationschirurgie, Heidelberg, Deutschland

karl-friedrich.kowalewski@med.uni-heidelberg.de author Kadmon Kadmon Martina M

University of Augsburg, Medical Faculty, Augsburg, Germany

Universität Augsburg, Medizinische Fakultät, Augsburg, Deutschland

martina.kadmon@med.uni-augsburg.de author Müller-Stich Müller-Stich Beat-Peter BP

University of Heidelberg, Department of General, Visceral, and Transplantation Surgery, Heidelberg, Germany

Universität Heidelberg, Klinik für Allgemein-, Viszeral- und Transplantationschirurgie, Heidelberg, Deutschland

beat.mueller@med.uni-heidelberg.de author Tanner Tanner Michael Christopher MC

University of Heidelberg, HTRG – Heidelberg Trauma Research Group, Center for Orthopedics, Trauma Surgery and Spinal Cord Injury, Trauma and Reconstructive Surgery, Heidelberg, Germany

Universität Heidelberg, HTRG – Heidelberg Trauma Research Group, Zentrum für Orthopädie, Unfallchirurgie und Paraplegiologie, Heidelberg, Deutschland

michael.tanner@med.uni-heidelberg.de author Nickel Nickel Felix F PD Dr. med. MME

University of Heidelberg, Department of General, Visceral, and Transplantation Surgery, Im Neuenheimer Feld 110, D-69120 Heidelberg, Germany, Phone: +49 (0)6221/56-8641, Fax.: +49 (0)6221/56-8645University of Heidelberg, Department of General, Visceral, and Transplantation Surgery, Heidelberg, Germany

Universität Heidelberg, Klinik für Allgemein-, Viszeral- und Transplantationschirurgie, Im Neuenheimer Feld 110, 69120 Heidelberg, Deutschland, Tel.: +49 (0)6221/56-8641, Fax.: +49 (0)6221/56-8645Universität Heidelberg, Klinik für Allgemein-, Viszeral- und Transplantationschirurgie, Heidelberg, Deutschland

felix.nickel@med.uni-heidelberg.de author German Medical Science GMS Publishing House

Düsseldorf

610 chest tube insertion education training assesssment hematothorax pneumothorax Thoraxdrainage Ausbildung Training Assessment Hämatothorax Pneumothorax Assessment Prüfungen 20161024 20180725 20180813 20181115 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 2366-5017 35 4 GMS Journal for Medical Education GMS J Med Educ 48 Hintergrund: Die Thoraxdrainage ist ein etabliertes Standardverfahren zur Versorgung von Verletzungen des Thorax und der Lunge. Die effektive und zügige Anlage einer Thoraxdrainage setzt profunde Kenntnisse des Eingriffs voraus. Ein regelmäßiges Training sowie ein standardisiertes, objektives Feedback sind essentielle Voraussetzungen zur Sicherstellung einer optimalen Thoraxdrainagenanlage, auch unter Stresssituationen. Eine Möglichkeit zur Objektivierung und Strukturierung von Feedback besteht in der Anwendung von Assessment-Instrumenten wie dem Objective Structured Assessment of Technical Skill (OSATS). Ziel der vorliegenden Pilotstudie war die Evaluation eines modifizierten OSATS zur Thoraxdrainagenanlage hinsichtlich der Kriteriumsvalidität.Material und Methodik: In die vorliegende Pilotstudie wurden 41 Probanden eingeschlossen (Medizinstudierende (3.-6. Studienjahr) n=9, Assistenzärzte (1.-3. Ausbildungsjahr) n=12, Assistenzärzte (4.-6. Ausbildungsjahr) n=14, Fachärzte n=6. Die Stratifizierung der Probanden erfolgte nach formalem Ausbildungsstand sowie nach individueller Vorerfahrung im Bereich der Thoraxdrainagenanlage in jeweils 4 Gruppen (Level 0-3). Die Thoraxdrainagenanlage erfolgte an Schweinekadavern unter standardisierten Bedingungen. Die Bewertung der Trainingsperformance erfolgte mittels Videoaufzeichnungen des Eingriffs (Videorating) durch zwei unabhängige Rater anhand des modifiziertem OSATS zur Thoraxdrainagenanlage.Ergebnisse: Bei Stratifizierung nach Vorerfahrung der Probanden zeigten sich signifikante Unterschiede zwischen den Leistungen der vier Gruppen (Level 0: 22,1±3,2 vs. Level 1: 26,8±2,8 vs. Level 2: 35,4±2,2 vs. Level 3: 41.0±2,0; p=0.002; p0,3=0.005, p1,3=0.049,). Bei Stratifizierung nach formalem Ausbildungsstand zeigten sich hingegen keine signifikanten Unterschiede.Schlussfolgerung: Die Ergebnisse der Pilotstudie zeigen die Kriteriumsvalidität des OSATS aufgrund dessen Fähigkeit zur Diskriminierung verschiedener Erfahrungslevel. Weiterhin ermöglicht die Anwendung des OSATS durch standardisierte und objektive Bewertung möglicherweise eine Verbesserung der Ausbildung im Bereich der Thoraxdrainagenanlage und leistet so einen Beitrag zur Optimierung von Handlungsabläufen im Notfallmanagement von Lungen- und Thoraxverletzungen. Basierend auf unseren Ergebnissen scheint eine Integration dieses OSATS in moderne Ausbildungskonzepte sinnvoll. Background: Chest tube insertion is a standard intervention for management of various injuries of the thorax. Efficient clinical training of this and similar bed-side procedures is equally demanded and improvable. Here, we propose a nouveau means of assessment and feedback using an Objective Structured Assessment of Technical Skills (OSATS) tool. The modified OSATS for chest drain insertion is evaluated in a pilot trial focusing on chest drain insertion.Methods: Participants in the pilot trial were medical students (3rd-6th year of studies, n=9), junior residents (1st-3rd post-graduate year, n=12), senior residents (4th-6th post-graduate year, n=14), and attending surgeons (n=6) from Heidelberg University. Chest drain insertions on a cadaveric porcine model were rated by experts with the modified OSATS score. Participants’ performances were videotaped and subsequently rated by two remote experts (video rating). Primary aim was to assess criterion validity of the OSATS to distinguish experience levels. Results: Kruskal-Wallis test showed significant differences between means of scores between four groups stratified by previous experience in chest tube insertion (level 0: 22.1±3.2 vs. level 1: 26.8±2.8 vs. level 2: 35.4±2.2 vs. level 3: 41.0±2.0; p=0.002; p1,3=0.049, p0,3=0.005). However, if groups were stratified by formal professional level, no statistically significant distinction could be made using OSATS. Hence, the OSATS tool showed criterion validity for differentiation between experience levels.Conclusion: In the pilot study, the modified OSATS for chest tube insertion was apt to standardize expert rating and could be used to measure skill and to depict different experience levels. The OSATS will help facilitate training and assessment of chest drain insertion and could therefore improve surgical training for trauma situations. According to our data, the OSATS might be integrated into modern curricula. BackgroundIn many countries worldwide, consequences of demographic change affect the health care systems. A rising demand for medical assistance is opposing an equally rising physician shortage and distribution problem respectively , . With facing such circumstances, optimization of processes within the health care system already has to take place in medical education and -training. Regarding that, Halsted’s concept of ‘see one, do one teach one’ is no longer feasible nowadays . Modern medical training curricula need to be most efficient and effective as well, as costs and time consumption are factors commonplace to today’s clinical setting. Regarding those challenging circumstances there is an increasing need for frameworks and clear defined and standardized learning goals in medical education , , , . This will help to develop competency based learning and teaching models which could further build a framework of specific medical training curricula . Consequently, many centers and universities worldwide provide specific procedural courses and research is conducted to optimize training , . Aghdasi et al. adduced procedural training and accurate assessment of the technical skills of surgeons as an instance of such challenges. Generally carried out by experts in their field, i.e. senior surgeons, postgraduate training is currently time-consuming and costly but not replaceable, provided that validated training methods and assessment tools such as the Objective Structured Assessment of Technical Skills (OSATS) or the Global Operative Assessment of Laparoscopic Skills (GOALS) are deployed , , . With increasing demand for partially invasive bedside procedures, adequate training capacities are needed to ensure each trainee’s skills are adequate prior to patient contact. This is supported by a needs assessment of Weitz et al., where physicians emphasized direct bed-side-skills as pivotal elements of medical education .Training needs to be most efficient and effective as well, as costs and time consumption are factors commonplace to today’s clinical setting Chest tube insertion is an established minimally-invasive surgical intervention in treatment of acute trauma patients bearing injuries of lungs and thorax. Correct chest tube insertion facilitates efficient therapy without time loss or further complications that are potentially lethal due to the intervention’s vicinity to vital organs . Thus, there is a need for a comprehensive assessment tool for training prior to the emergency situation that enables both versed physicians and novices to acquire the specific feedback necessary for proficiency in chest tube insertion. Early and decisive training using a tool as such might standardize handling of these emergency situations and could translate to improved trauma care and outcome. Assessment and feedback has been shown to be a valuable asset to surgical training . In order to advance and standardize training success without straining staff and resources, we propose a nouveau Objective Structured Assessment of Technical Skill (OSATS) (see Table 1 ) for chest tube insertion to standardize expert rating . The aim of this manuscript was to evaluate the proposed OSATS score regarding its criterion validity by means of a pilot study. Therefore, the endpoint of the current pilot trial was the difference between means of scores obtained by groups differing in procedural expertise for blinded video rating. HintergrundIm medizinischen Sektor zeigen sich weltweit die Konsequenzen des demographischen Wandels. Dem stetig wachsenden Bedarf an medizinischen Versorgungsleistungen steht die zunehmende Ungleichverteilung zwischen Ballungsräumen und ländlichem Raum sowie ein wachsender Mangel an Ärzten gegenüber , . Aufgrund der steigenden Bedeutung des Kosten- und Zeitfaktors im klinischen Alltag ist die Effizienz ein wichtiger Aspekt der modernen Patientenversorgung. Dies beeinflusst zunehmend auch medizinische Aus- und Weiterbildungscurricula und macht daher auch die Optimierung der Ausbildung innerhalb des Medizinstudiums sowie der fachärztlichen Weiterbildung nötig. Die langjährige, insbesondere in den chirurgischen Fächern, praktizierte Ausbildungsform nach Halsted’s „see one, do one, teach one“-Konzept mit einer direkten Anleitung durch erfahrene Ausbilder am Patientenbett scheint durch großen Zeitaufwand, hohe Kosten und die gleichzeitig mangelnde Standardisierung der Ausbildung limitiert . Es wächst daher der Bedarf an Lehrkonzepten mit klar definierten und standardisierten Lernzielen sowie der Entwicklung kompetenzorientierter Lehr- und Lernmodelle , , , , . Derzeit stellt die Entwicklung solcher Lehrkonzepte einen wesentlichen Teil weltweiter Lehrforschung dar , . Beispiele hierfür sind bereits etablierte und validierte Assessment-Instrumente wie der Objective Structured Assessment of Technical Skills (OSATS) Score sowie der Global Operative Assessment of Laparoscopic Skills (GOALS) Score , , . Neben der Berücksichtigung des Kosten- und Zeitaufwands rückt zunehmend auch die Patientensicherheit in den Fokus neuer Lehrkonzepte. Ein Lernen direkt am Patienten ist, insbesondere bei invasiven Eingriffen, im Hinblick auf die Patientensicherheit nur schwer zu rechtfertigen. Hieraus ergibt sich die Notwendigkeit der Schaffung neuer standardisierter (Simulations-)Trainingsmöglichkeiten zum Training von Basistechniken bereits vor deren Anwendung im unmittelbaren Patientenkontakt .Die Thoraxdrainagenanlage ist ein etabliertes Standardverfahren zur Versorgung von Patienten mit Verletzungen des Thorax und der Lunge. Zur Vermeidung potentiell letaler Komplikationen sowie zur Gewährleistung einer effektiven und zügigen Anlage einer Thoraxdrainage sind ausreichende Kenntnisse des Eingriffs notwendig . Dies kann einerseits durch ein regelmäßiges Training des Eingriffs andererseits durch die Bewertung des Trainingserfolgs anhand standardisierter, objektiver Feedbackkriterien erreicht werden. Die standardisierte und objektive Beurteilung eines Trainingserfolgs durch Verwendung validierter Assessment-Instrumente leistet so möglicherweise einen entscheidenden Beitrag zur verbesserten Therapie in Notfallsituationen und folglich zum besseren Outcome von Traumapatienten . Ein von uns entwickeltes Instrument zur Standardisierung von Feedback stellt der zur Thoraxdrainagenanlage modifizierte Objective Structured Assessment of Technical Skill (OSATS) dar (siehe Tabelle 1 ). Ziel einer Anwendung dieses OSATS besteht in der Objektivierung von Trainingsleistungen im Bereich der Thoraxdrainagenanlage bei gleichzeitiger Verringerung von Zeit- und personellem Aufwand. Der OSATS vereint somit die zentralen Aspekte moderner Lernkonzepte . Ziel der vorliegenden Pilotstudie war die Evaluation des modifizierten OSATS zur Thoraxdrainagenanlage hinsichtlich Kriteriumsvalidität. Hierzu diente als primärer Endpunkt der Studie der Vergleich der im OSATS erzielten Punktzahl in Abhängigkeit von individueller Vorerfahrung im Umgang mit Thoraxdrainagen. Material and MethodsEvaluation of an Objective Structured Assessment of Technical Skills for chest tube insertionIn this pilot trial the aim was to evaluate a modified OSATS for chest tube insertion (see Table 1 ). In depicting different levels of skill and allowing for individual feedback based on subscore assessment, this OSATS is meant to provide a valid tool for medical training and teaching. The modified OSATS tool for chest drain insertion was developed based on key steps of correct chest tube insertion, originally published by Hutton et al., which were modified and amended by a team of trauma and general surgeons . Ten representative procedural steps can be evaluated separately using a 5-Point Likert scale complemented by detailed formulation of performance levels. Trainee’s performance in substeps adds up to a maximum total score of 50 points and a minimum score of 10 points, respectively . The pilot trial was carried out in the surgical training center at the Department of General, Visceral, and Transplantation Surgery at Heidelberg University Hospital. Participants included in this study were medical students during their clinical years (3rd-6th year) at Heidelberg University (n=9) as well as junior residents (1st to 3rd year, n=12), senior residents (4th to 6th year, n=14) and attending surgeons (n=6) from Heidelberg University Hospital. The pilot trial for evaluation of the modified OSATS score was conducted in January 2017. Chest tube insertions were performed on a cadaveric porcine model, which was prepared in a standardized way on an operating table in the supine position. At the beginning of the study, a brief introduction to training and assessment was held for each participant. Training started after the participant’s consent was obtained and pseudonymization had taken place. Each participant was asked to perform an initial training session using a mobile training device and the validated surgical training app Touch Surgery™ (TS) (Kinosis Ltd., London, UK) , . The TS-module “Chest Tube Insertion” served as both an initial training to this intervention and a compact recapitulation for versed participants, respectively. Subsequent to app-based training, each participant was asked to perform a chest tube insertion on the porcine model using the provided instruments. Assessment was performed on the OSATS sheet by two independent and blinded raters via videos taped during the intervention. All videos were taped in a standardized way. To ensure blinding of raters the recorded image showed only the porcine thorax as well as the hands of the participants. Raters were specifically trained surgeons of the Department of General, Visceral, and Transplantation Surgery as well as the Center for Orthopedics, Trauma Surgery and Spinal Cord Injury of Heidelberg University Hospital. The final score of each trainee was calculated as an average score of the two independent ratings.Ethics, consent and permissionsAll data for the pilot study were recorded anonymously, treated confidentially, and were evaluated by authorized staff for scientific purposes only. Participants’ names were kept separate from all study data and were not used for the study. Each participant was assigned a designated code that was used for the entire study documentation and data collection. Participation in the study was voluntary. There were no foreseeable negative consequences for participants related to participation. The participating staff of the Heidelberg surgical center is experienced in the handling of animal models and training devices. Participants would have been excluded from the study in the event that a participant’s physical or mental health had become jeopardized due to participation in the present study. Ethical approval was obtained by the local ethics committee at Heidelberg University (A 13/14). Written informed consent was obtained from each participant.Statistical analysisData collection was carried out by MS Excel® 2016 (Microsoft®). Statistical analysis was carried out by SPSS Statistics Version 24.0 (IBM® Germany). For statistical analysis, mean and standard deviation in case of continuous data, with absolute and relative frequencies for categorical parameters were used to describe the distributions of all parameters of interest. For OSATS scores, no Gaussian distribution was assumed, thus Kruskal-Wallis test was used as nonparametric test to compare all 4 groups. Moreover, Intraclass Correlation Coefficient was analyzed between the two video raters. For all tests, a p-value less than 0,05 was considered statistically significant. Where found to be appropriate, graphical statistical methods were deployed to illustrate findings. Material und MethodikDer modifizierte Objektive Structured Assessment of Technical Skills (OSATS) Score zur ThoraxdrainagenanlageZiel der vorliegenden Pilotstudie war die Evaluation eines modifizierten OSATS zur Thoraxdrainagenanlage (siehe Tabelle 1 ). Die Anwendung von OSATS ermöglicht ein objektives, strukturiertes und gleichzeitig individuelles Feedback im Kontext der medizinischen Aus- und Weiterbildung. Die Entwicklung des OSATS zur Thoraxdrainagenanlage erfolgte durch erfahrene Unfall- und Allgemeinchirurgen des Universitätsklinikums der Ruprecht-Karls Universität Heidelberg in Anlehnung an Hutton et al.’s „Chest tube insertion scoring system“ . Unser OSATS umfasst zehn elementare Schritte einer Thoraxdrainagenanlage. Für jeden der zehn Teilschritte erfolgte die Bewertung mittels 5-Point Likertskala. Der Erwartungshorizont der einzelnen Handlungsschritte wurde durch eine Likertskala definiert. Pro Schritt konnte so minimal ein Punkt sowie maximal fünf Punkte erreichen werden. Es ergab sich ein maximaler Summenscore von 50 Punkten sowie ein minimaler Score von 10 Punkten (siehe Tabelle 1 ).Ablauf der PilotstudieDie Durchführung der Pilotstudie erfolgte im Januar 2017 an der Klinik für Allgemein-, Viszeral- und Transplantationschirurgie des Universitätsklinikums Heidelberg. Das Studienkollektiv bestand aus Medizinstudierenden im klinischen Studienabschnitt (3.-6. Studienjahr) der Universität Heidelberg (n=9) sowie Assistenzärzten im 1.-3. Weiterbildungsjahr (n=12), Assistenzärzten im 4.- 6. Weiterbildungsjahr (n=14) und Fachärzten (n=6) des Universitätsklinikums Heidelberg.Zu Beginn der Studie erfolgte für alle Probanden die Aufklärung, Dokumentation der Einwilligung zur Studienteilnahme sowie eine Einführung in den Ablauf der Pilotstudie. Die Datenerhebung erfolgte in vollständig anonymisierter Form. Zu Beginn der Studie erfolgte durch jeden der Studienteilnehmer eine Selbsteinschätzung zur individuellen Vorerfahrung im Bereich der Thoraxdrainagenanlage auf einer Skala von 0-3 (0=none, 1=limited, 2=moderate, 3=advanced). Anschließend absolvierte jeder der Probanden eine interaktive Trainingseinheit zur Thoraxdrainagenanlage mittels Touch Surgery™ (TS) (Kinosis Ltd., London, UK), einer validierten mobilen App zum virtuellen Training chirurgischer Eingriffe , . Die Trainingseinheit mittels TS (Modul „Chest Tube Insertion”) diente als initiales Training sowie zur kurzen Rekapitulation des Eingriffs. Im Anschluss erfolgte die Thoraxdrainagenanlage am Schweinethorax. Parallel erfolgte die Videoaufzeichnung des Eingriffs. Der aufgezeichnete Bildausschnitt zeigte ausschließlich den Schweinekadaver sowie die Hände der Studienteilnehmer. Die Bewertung der operativen Performance der Probanden erfolgte anhand der Videoaufzeichnungen des Eingriffs durch zwei unabhängige, verblindete Rater mittels OSATS (Videorating). Beide Rater waren hierfür speziell geschulte Fachärzte für Orthopädie und Unfallchirurgie des Zentrums für Orthopädie, Unfallchirurgie und Paraplegiologie des Universitätsklinikums Heidelberg. Die abschließende Bewertung der operativen Performance eines Probanden ergab sich aus dem Mittelwert beider Ratings. Ethische Aspekte der StudieDie Durchführung der Studie wurde von der Ethikkommission der Universität Heidelberg vorab bewilligt (A13/14). Alle im Rahmen der Studie erhobenen Daten wurden vollständig anonymisiert. Hierzu erhielt jeder der Studienteilnehmer eine fortlaufende Nummer im Sinne eines individuellen Probandencodes zugewiesen. Die Studienteilnahme war freiwillig und ohne zu erwartende negative Konsequenzen für die Probanden. Das schriftliche Einverständnis jedes Probanden zur Studienteilnahme sowie zur Verwendung der erhobenen Daten wurde dokumentiert. Statistische AnalyseDie Datenerhebung und statistische Auswertung erfolgte mittels Microsoft Excel® 2016 (Microsoft®) sowie SPSS Statistics Version 24.0 (IBM® Germany). Die empirische Verteilung der erhobenen Daten wurde anhand von Mittelwert und Standardabweichung untersucht. Der Vergleich der Subgruppen erfolgte mittels des Kruskal-Wallis Test für nicht-parametrische Daten. Zur Reliabilitätsanalyse der Ergebnisse beider Rater erfolgte die Berechnung des Intraclass Correlation Coefficient (ICC). Für alle Tests galt ein p-Wert <0,05 als signifikant. Die graphische Darstellung der Ergebnisse erfolgte mittels Box-Whiskers Plots. ResultsResults of the pilot study for evaluation of the objective structured assessment of technical skills for chest tube insertionA total of 41 participants were included in the pilot study (students=9; junior residents=12; senior residents=14; attending surgeons=6). Groups were stratified according to formal professional level (0=student, 1=junior resident, 2=senior resident, 3=attending surgeon) or self-estimated level of experience (0=none, 1=limited, 2=moderate, 3=advanced) There were significant differences between means of scores between four groups stratified by previous experience in chest tube insertion (level 0: 22.1±3.2 vs. level 1: 26.8±2.8 vs. level 2: 35.4±2.2 vs. level 3: 41.0±2.0) (see Table 2 and Figure 1 ). Moreover, Kruskal-Wallis test revealed significant differences of group medians (p=0.002, Kruskal-Wallis statistic 14.6; Results of Dunn-Bonferroni-Test: p0,3=0.005, p1,3=0.049) assuming non-Gaussian distribution. However, if groups were stratified by formal professional level, no statistically significant distinction could be made using OSATS (level 0: 26.2±3.9 vs. level 1: 26.8±3.4 vs. level 2: 30.6±3.0 vs. level 3: 37.4±2.6) (see Table 2 and Figure 1 ). Here Kruskal-Wallis-test showed a non-significant p-value of 0.196). Furthermore, analysis of the Intraclass Correlation Coefficient between the two independent expert raters showed an excellent agreement between the two ratings (ICC=0.96, 95% CI 0.91-0.98) . ErgebnisseEs nahmen 41 Probanden an der Studie teil (Medizinstudierende (3.-6. Studienjahr) n=9; Assistenzärzte (1.-3. Weiterbildungsjahr) n=12; Assistenzärzte (4.-6. Weiterbildungsjahr) n=14; Fachärzte n=6). Die Stratifizierung der Teilnehmer erfolgte in vier Subgruppen nach Ausbildungsstand (0=Student, 1=Assistenzarzt (1.-3. Weiterbildungsjahr), 2=Assistenzarzt (4.-6. Weiterbildungsjahr), 3=Facharzt) sowie nach Vorerfahrung im Bereich der Thoraxdrainagenanlage (0=none, 1=limited, 2=moderate, 3=advanced). Bei Stratifizierung der Gruppen nach individueller Vorerfahrung ergaben sich signifikante Unterschiede (Level 0: 22,1±3,2 vs. Level 1: 26,8±2,8 vs. Level 2: 35,4±2,2 vs. Level 3: 41,0±2,0) (siehe Tabelle 2 und Abbildung 1 ). Der durchgeführte Kruskal-Wallis Test ergab ein p=0,002 (Kruskal-Wallis Statistik 14,6; Ergebnisse des Dunn-Bonferroni-Test: p0,3=0,005, p1,3 ,049). Die Stratifizierung nach Ausbildungsstand ergab keine signifikanten Unterschiede zwischen den vier Subgruppen (Level 0: 26,2±3,9 vs. Level 1: 26,8±3,4 vs. Level 2: 30,6±3,0 vs. Level 3: 37,4±2,6; p=0.196) (siehe Tabelle 2 und Abbildung 1 . Es ergab sich eine hohe Übereinstimmung beider Videoratings (ICC= 0,96, 95% KI 0,91-0,98) . ConclusionIn the current pilot study, we evaluated the modified OSATS for chest tube insertion regarding it’s criterion validity for its use in blinded video rating. Video rating, instead of on-site direct rating, was used due to its ability to eliminate confounding factors such as age or formal professional level of the participants. Our results suggest that the OSATS was apt to standardize expert rating and could be used to depict and measure differences in skill between experience levels of surgeons, residents, and medical students. According to our results the OSATS tool is not biased by confounding factors like age or formal professional level, but reflects procedural experience only. Frameworks are essential for modern medical students education , , , . As claimed by David et al., modern curricula need to be standardized and internationally comparable . This need does not only exist for chest tube insertion training. In other medical disciplines, e.g. laparoscopic surgery, there is also a demand for a multimodal training frameworks, which also needs feedback via standardized and objective scores . The comparability of learning success can be achieved through scores like the here proposed OSATS. Based on our results, the OSATS for chest tube insertion might be an instrument which can fulfill David et al.’s claims . Moreover, concerning the needs of modern medical education, we believe this approach of assessment and feedback to prove additionally beneficial to outcome when teaching today’s medical trainees . Moreover, we suggest that learning and teaching with the presented OSATS could be an answer to the needs of modern medical education as it offers clear defined learning goals combined with structured and objective assessment and feedback . Furthermore, it offers a readily available and cost-efficient assessment tool for training of chest tube insertion. Our idea is that participants will profit from both the technical instructions from the OSATS as well as from feedback because their improvement in skill level can be subsequently objectified by the modified OSATS tool. Therefore, the OSATS might help to maximize patients’ safety. Also, this study will help to investigate potential improvements of current training curricula by the use of feedback and may even provide a reliable assessment for procedural proficiency certification for medical trainees with the modified OSATS aiming at a safe execution of this crucial emergency procedure. The OSATS can also be used in the context of certification processes as well as entrustable professional activities . We consequently aim to use this scoring tool in courses for general surgery, trauma surgery and intensive care offered to surgical residents, trauma surgeons, anaesthesiologists, and medical students. After further investigation, the present OSATS might be integrated into modern curricula as part of competency based teaching programs. Nevertheless, some limitations of this pilot study should be noted. On the one hand this pilot study was conducted as single-center study at Heidelberg University Hospital. For this reason, the results of the current study are based on analyses with relatively small subgroups. On the other hand, the allocation of the participants to the four different subgroups, regarding their previous experience in using chest tubes, was based on the subjective self-evaluation of the participants. It is possible that there were inaccuracies between the subgroups due to under- or overestimation of the participants’ self-assessment. Further investigations and outcomes of the proposed study will increase the available knowledge about criteria to be met in order to ensure optimal surgical training – not only for trauma situations. SchlussfolgerungZiel der vorliegenden Pilotstudie war die Evaluation des modifizierten OSATS zur Thoraxdrainagenanlage hinsichtlich dessen Kriteriumsvalidität bei der Anwendung im Videorating. Die Anwendung des Scores im Videorating erfolgte aufgrund der, im Gegensatz zum direkten Rating vor Ort, geringeren Beeinflussung der Ratings durch Störfaktoren. So konnte durch Videorating die vollständige Verblindung der Rater hinsichtlich des Alters und Geschlechts sowie des Ausbildungsstands der Probanden erzielt werden. Basierend auf den Ergebnissen dieser Pilotstudie besitzt der OSATS zur Thoraxdrainagenanlage die Fähigkeit zur Standardisierung und Objektivierung von Feedback. Unsere Ergebnisse zeigen die Validität des OSATS zur Differenzierung von Leistungsunterschieden verschiedener Erfahrungslevel im Hinblick auf die Thoraxdrainagenanlage. Somit konnte die Kriteriumsvalidität des OSATS bestätigt werden.Lehr- und Lernkonzepte anhand von standardisierten Lernzielen sind essentieller Bestandteil einer modernen und effizienten Aus- und Weiterbildung im medizinischen Bereich , , , . Im Zuge einer globalisierten Welt besteht zunehmend auch die Forderung nach internationaler Vergleichbarkeit von Bildungsinhalten und Trainingsergebnissen . Diese Anforderungen bestehen nicht nur im Bereich notfallmedizinischer Trainingsinhalte wie der Thoraxdrainagenanlage, sondern generell in der medizinischen Aus- und Weiterbildung. Beispielsweise wächst auch im Bereich der laparoskopischen Chirurgie die Nachfrage nach Trainingskonzepten, mit Evaluation der Trainingsleistung anhand von standardisierten und objektivierbaren Kriterien und Scores . Bewertungssysteme wie der hier verwendete OSATS sind daher ein Beispiel für Konzepte zur Schaffung einer Vergleichbarkeit von Lernerfolgen . Gemäß den erhaltenen Ergebnissen ist der OSATS zur Thoraxdrainagenanlage ein geeignetes Instrument zur standardisierten Beurteilung von Trainingsleistungen im Bereich der chirurgischen Aus- und Weiterbildung . Neben seiner Fähigkeit zur Standardisierung ermöglicht die Anwendung des OSATS zudem eine ressourcenschonende Ausbildung insbesondere im Hinblick auf zeitlichen und personellem Aufwand . Weiterhin profitieren die Trainierenden von der Anwendung des OSATS im Rahmen des Thoraxdrainagentrainings auf zweierlei Weise. Durch die Identifikation relevanter Schlüsselschritte des Eingriffs ermöglicht der OSATS einerseits eine detaillierte Vermittlung dessen ermöglicht so ein strukturiertes Erlernen des OP-Ablaufs. Andererseits profitieren die Trainierenden von der objektiven Bewertung ihrer eigenen Trainingsleistung. Dies ermöglicht die strukturierte Erfassung der eigenen Defizite welches zur gezielten Verbesserung der eigenen Performance beitragen kann. Die konsequente Anwendung des OSATS kann so langfristig möglicherweise zu einer Erhöhung der Patientensicherheit beitragen . Die Evaluation des OSATS zur Thoraxdrainagenanlage im Rahmen dieser Pilotstudie leistet einen wichtigen Beitrag zur Erforschung und Beurteilung neuer Lehrkonzepte anhand von objektiven Assessment-Scores wie dem OSATS. Aufgrund der erhaltenen Ergebnisse ist eine zukünftige Integration des hier verwendeten OSATS in chirurgische und anästhesiologische Trainingskurse am Universitätsklinikum Heidelberg sowie in die Ausbildung zur Thoraxdrainagenanlage Rahmen des Medizinstudiums der medizinischen Fakultät Heidelberg sinnvoll. Trotz der positiven Ergebnisse der Pilotstudie müssen bei der Interpretation der Studienergebnisse die Limitationen der Studie berücksichtigt werden. So erfolgte die Evaluation des OSATS im Rahmen der vorliegenden Pilotstudie im Sinne einer monozentrischen Studie des Universitätsklinikums Heidelberg. Daher erfolgte die zur Evaluation des OSATS durchgeführte Subgruppenanalyse durch Vergleich verhältnismäßig kleiner Subgruppen. Weiterhin basierte die Zuteilung der Teilnehmer hinsichtlich der individuellen Vorerfahrung bezüglich der Thoraxdrainagenanlage auf einer Selbsteinschätzung der Probanden zu deren individuellem Leistungsstand. Eine Verzerrung durch Über- oder Unterschätzung der Studienteilnehmer ist daher nicht ausgeschlossen. Hinsichtlich der vorhandenen Limitationen der Pilotstudie sind weitere Studien zur endgültigen Beurteilung der Leistungsfähigkeit des hier evaluierten OSATS notwendig. List of abbreviationsOSATS: Objective Structured Assessment of Technical SkillsTS: Touch SurgeryICC: Intraclass Correlation Coefficient AbkürzungsverzeichnisOSATS: Objective Structured Assessment of Technical SkillsTS: Touch SurgeryICC: Intraclass Correlation Coefficient AuthorsAuthors contributed equally: Mirco Friedrich and Julian OberStudy conception and design: Nickel, Bergdolt, Ober, Friedrich, Haubruck, Müller-Stich, TannerAcquisition of data: Nickel, Ober, Friedrich, Kowalewski, BergdoltStatistical analysis: Ober, BrucknerAnalysis and interpretation of data: Ober, Friedrich, Nickel, Bergdolt, Tanner, Haubruck, Müller-StichDrafting of manuscript: Friedrich, Ober, Nickel, Kowalewski, Bergdolt, BrucknerCritical revision: Müller-Stich, Tanner, Haubruck AutorenGeteilte Erstautorenschaft: Mirco Friedrich und Julian OberStudiendesign: Ober, Nickel, Bergdolt, Friedrich, Haubruck, Müller-Stich, TannerDatenerhebung: Nickel, Ober, Friedrich, Kowalewski, BergdoltStatistische Analyse: Ober, BrucknerDatenaufbereitung und Analyse: Ober, Friedrich, Nickel, Bergdolt, Tanner, Haubruck, Müller-StichAbfassung des Manuskripts: Ober, Friedrich, Nickel, Kowalewski, Bergdolt, BrucknerInternes Review: Müller-Stich, Tanner, Haubruck FundingThe study was supported by the Heidelberg Surgery Foundation and the European Social Fund of the State Baden Wuerttemberg. Finanzierung der StudieDie Studie wurde unterstützt durch die Heidelberger Stiftung Chirurgie sowie das Minsiterium für Wissenschaft und Kunst des Landes Baden-Württemberg. Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben. Adler G v. d. Knesebeck JH 2011 Bundesgesundheitsblatt Gesundheitsforschung Gesundheitsschutz 228-237 Adler G, v. d. Knesebeck JH. [Shortage and need of physicians in Germany? Questions addressed to health services research]. Bundesgesundheitsblatt Gesundheitsforschung Gesundheitsschutz. 2011;54(2):228-237. DOI: 10.1007/s00103-010-1208-7 http://dx.doi.org/10.1007/s00103-010-1208-7 Kasch R Engelhardt M Forch M Merk H Walcher F Frohlich S 2016 Zentralbl Chir 190-196 Kasch R, Engelhardt M, Forch M, Merk H, Walcher F, Frohlich S. [Physician Shortage: How to Prevent Generation Y From Staying Away - Results of a Nationwide Survey]. Zentralbl Chir. 2016;141(2):190-196. Carter BN The fruition of Halsted's concept of surgical training 1952 Surgery 518-527 Carter BN. The fruition of Halsted's concept of surgical training. Surgery. 1952;32(3):518-527. Lomis K Amiel JM Ryan MS Esposito K Green M Stagnaro-Green A Bull J Mejicano GC AAMC Core EPAs for Entering Residency Pilot Team Implementing an Entrustable Professional Activities Framework in Undergraduate Medical Education: Early Lessons From the AAMC Core Entrustable Professional Activities for Entering Residency Pilot 2017 Acad Med 765-770 Lomis K, Amiel JM, Ryan MS, Esposito K, Green M, Stagnaro-Green A, Bull J, Mejicano GC; AAMC Core EPAs for Entering Residency Pilot Team. Implementing an Entrustable Professional Activities Framework in Undergraduate Medical Education: Early Lessons From the AAMC Core Entrustable Professional Activities for Entering Residency Pilot. Acad Med. 2017;92(6):765-770. DOI: 10.1097/ACM.0000000000001543 http://dx.doi.org/10.1097/ACM.0000000000001543 Brody H Doukas D Professionalism: a framework to guide medical education 2014 Med Educ 980-987 Brody H, Doukas D. Professionalism: a framework to guide medical education. Med Educ. 2014;48(10):980-987. DOI: 10.1111/medu.12520 http://dx.doi.org/10.1111/medu.12520 Irby DM Hamstra SJ Parting the Clouds: Three Professionalism Frameworks in Medical Education 2016 Acad Med 1606-1611 Irby DM, Hamstra SJ. Parting the Clouds: Three Professionalism Frameworks in Medical Education. Acad Med. 2016;91(12):1606-1611. DOI: 10.1097/ACM.0000000000001190 http://dx.doi.org/10.1097/ACM.0000000000001190 David DM Euteneier A Fischer MR Hahn EG Johannink J Kulike K Lauch R Lindhorst E Noll-Hussong M Pinilla S Weih M Wennekes V The future of graduate medical education in Germany - position paper of the Committee on Graduate Medical Education of the Society for Medical Education (GMA) 2013 GMS Z Med Ausbild Doc26 David DM, Euteneier A, Fischer MR, Hahn EG, Johannink J, Kulike K, Lauch R, Lindhorst E, Noll-Hussong M, Pinilla S, Weih M, Wennekes V. The future of graduate medical education in Germany - position paper of the Committee on Graduate Medical Education of the Society for Medical Education (GMA). GMS Z Med Ausbild. 2013;30(2):Doc26. DOI: 10.3205/zma000869 http://dx.doi.org/10.3205/zma000869 Napolitano LM Biester TW Jurkovich GJ Buyske J Malangoni MA Lewis FR Jr Members of the Trauma Burns and Critical Care Board of the American Board of Surgery General surgery resident rotations in surgical critical care, trauma, and burns: what is optimal for residency training? 2016 Am J Surg 629-637 Napolitano LM, Biester TW, Jurkovich GJ, Buyske J, Malangoni MA, Lewis FR Jr; Members of the Trauma, Burns and Critical Care Board of the American Board of Surgery. General surgery resident rotations in surgical critical care, trauma, and burns: what is optimal for residency training? Am J Surg. 2016;212(4):629-637. DOI: 10.1016/j.amjsurg.2016.07.016 http://dx.doi.org/10.1016/j.amjsurg.2016.07.016 Roach PB Roggin KK Selkov G Jr Posner MC Silverstein JC Continuous, data-rich appraisal of surgical trainees' operative abilities: a novel approach for measuring performance and providing feedback 2009 J Surg Educ 255-263 Roach PB, Roggin KK, Selkov G Jr, Posner MC, Silverstein JC. Continuous, data-rich appraisal of surgical trainees' operative abilities: a novel approach for measuring performance and providing feedback. J Surg Educ. 2009;66(5):255-263. DOI: 10.1016/j.jsurg.2009.10.001 http://dx.doi.org/10.1016/j.jsurg.2009.10.001 van Hove PD Tuijthof GJ Verdaasdonk EG Stassen LP Dankelman J Objective assessment of technical surgical skills 2010 Br J Surg 972-987 van Hove PD, Tuijthof GJ, Verdaasdonk EG, Stassen LP, Dankelman J. Objective assessment of technical surgical skills. Br J Surg. 2010;97(7):972-987. DOI: 10.1002/bjs.7115 http://dx.doi.org/10.1002/bjs.7115 Datta V Bann S Mandalia M Darzi A The surgical efficiency score: a feasible, reliable, and valid method of skills assessment 2006 Am J Surg 372-378 Datta V, Bann S, Mandalia M, Darzi A. The surgical efficiency score: a feasible, reliable, and valid method of skills assessment. Am J Surg. 2006;192(3):372-378. DOI: 10.1016/j.amjsurg.2006.06.001 http://dx.doi.org/10.1016/j.amjsurg.2006.06.001 Aghdasi N Bly R White LW Hannaford B Moe K Lendvay TS Crowd-sourced assessment of surgical skills in cricothyrotomy procedure 2015 J Surg Res 302-306 Aghdasi N, Bly R, White LW, Hannaford B, Moe K, Lendvay TS. Crowd-sourced assessment of surgical skills in cricothyrotomy procedure. J Surg Res. 2015;196(2):302-306. DOI: 10.1016/j.jss.2015.03.018 http://dx.doi.org/10.1016/j.jss.2015.03.018 Weitz G Twesten C Hoppmann J Lau M Bonnemeier H Lehnert H Differences between students and physicians in their entitlement towards procedural skills education--a needs assessment of skills training in internal medicine 2012 GMS Z Med Ausbild Doc07 Weitz G, Twesten C, Hoppmann J, Lau M, Bonnemeier H, Lehnert H. Differences between students and physicians in their entitlement towards procedural skills education--a needs assessment of skills training in internal medicine. GMS Z Med Ausbild. 2012;29(1):Doc07. DOI: 10.3205/zma000777 http://dx.doi.org/10.3205/zma000777 Menger R Telford G Kim P Bergey MR Foreman J Sarani B Pascual J Reilly P Schwab CW Sims CA Complications following thoracic trauma managed with tube thoracostomy 2012 Injury 46-50 Menger R, Telford G, Kim P, Bergey MR, Foreman J, Sarani B, Pascual J, Reilly P, Schwab CW, Sims CA. Complications following thoracic trauma managed with tube thoracostomy. Injury. 2012;43(1):46-50. DOI: 10.1016/j.injury.2011.06.420 http://dx.doi.org/10.1016/j.injury.2011.06.420 Pape-Koehler C Immenroth M Sauerland S Lefering R Lindlohr C Toaspern J Heiss M Multimedia-based training on Internet platforms improves surgical performance: a randomized controlled trial 2013 Surg Endosc 1737-1747 Pape-Koehler C, Immenroth M, Sauerland S, Lefering R, Lindlohr C, Toaspern J, Heiss M. Multimedia-based training on Internet platforms improves surgical performance: a randomized controlled trial. Surg Endosc. 2013;27(5):1737-1747. DOI: 10.1007/s00464-012-2672-y http://dx.doi.org/10.1007/s00464-012-2672-y Faulkner H Regehr G Martin J Reznick R Validation of an objective structured assessment of technical skill for surgical residents 1996 Acad Med 1363-1365 Faulkner H, Regehr G, Martin J, Reznick R. Validation of an objective structured assessment of technical skill for surgical residents. Acad Med. 1996;71(12):1363-1365. DOI: 10.1097/00001888-199612000-00023 http://dx.doi.org/10.1097/00001888-199612000-00023 Hutton IA Kenealy H Wong C Using simulation models to teach junior doctors how to insert chest tubes: a brief and effective teaching module 2008 Intern Med J 887-891 Hutton IA, Kenealy H, Wong C. Using simulation models to teach junior doctors how to insert chest tubes: a brief and effective teaching module. Intern Med J. 2008;38(12):887-891. DOI: 10.1111/j.1445-5994.2007.01586.x http://dx.doi.org/10.1111/j.1445-5994.2007.01586.x Friedrich M Bergdolt C Haubruck P Bruckner T Kowalewski KF Muller-Stich BP Tanner MC Nickel F App-based serious gaming for training of chest tube insertion: study protocol for a randomized controlled trial 2017 Trials 56 Friedrich M, Bergdolt C, Haubruck P, Bruckner T, Kowalewski KF, Muller-Stich BP, Tanner MC, Nickel F. App-based serious gaming for training of chest tube insertion: study protocol for a randomized controlled trial. Trials. 2017;18(1):56. DOI: 10.1186/s13063-017-1799-5 http://dx.doi.org/10.1186/s13063-017-1799-5 Kowalewski KF Hendrie JD Schmidt MW Proctor T Paul S Garrow CR Kenngott HG Müller-Stich BP Nickel F Validation of the mobile serious game application Touch Surgery for cognitive training and assessment of laparoscopic cholecystectomy 2017 Surg Endosc 4058-4066 Kowalewski KF, Hendrie JD, Schmidt MW, Proctor T, Paul S, Garrow CR, Kenngott HG, Müller-Stich BP, Nickel F. Validation of the mobile serious game application Touch Surgery for cognitive training and assessment of laparoscopic cholecystectomy. Surg Endosc. 2017;31(10):4058-4066. DOI: 10.1007/s00464-017-5452-x http://dx.doi.org/10.1007/s00464-017-5452-x Koo TK Li MY A Guideline of Selecting and Reporting Intraclass Correlation Coefficients for Reliability Research 2016 J Chiropr Med 155-163 Koo TK, Li MY. A Guideline of Selecting and Reporting Intraclass Correlation Coefficients for Reliability Research. J Chiropr Med. 2016;15(2):155-163. DOI: 10.1016/j.jcm.2016.02.012 http://dx.doi.org/10.1016/j.jcm.2016.02.012 Nickel F Kowalewski KF Muller-Stich BP 2015 Chirurg 1121-1127 Nickel F, Kowalewski KF, Muller-Stich BP. [Risk awareness and training for prevention of complications in minimally invasive surgery]. Chirurg. 2015;86(12):1121-1127. DOI: 10.1007/s00104-015-0097-6 http://dx.doi.org/10.1007/s00104-015-0097-6 11en1de

Table 1: Objective structured assessment of technical skills score for chest tube insertion

Tabelle 1: Modifizierter Objective Structured Assessment of Technical Skill (OSATS) zur Thoraxdrainagenanlage

22en2de

Table 2: Results of the pilot study

Tabelle 2: Übersicht der Studienergebnisse in Abhängigkeit von Ausbildungsstand und Vorerfahrung der Studienteilnehmer

2

1 1en 1de Figure 1: Results of the pilot study Abbildung 1: Übersicht der Studienergebnisse in Abhängigkeit von Ausbildungstand und Vorerfahrung der Studienteilnehmer

1 0 0