Retrospektive Anpassung der Selbsteinschätzung ärztlicher Kompetenzen – Beachtenswert bei der Evaluation praktischer Weiterbildungskurse

zma000815 10.3205/zma000815 urn:nbn:de:0183-zma0008156 Forschungsarbeit research article Retrospektive Anpassung der Selbsteinschätzung ärztlicher Kompetenzen – Beachtenswert bei der Evaluation praktischer Weiterbildungskurse Retrospective adjustment of self-assessed medical competencies – noteworthy in the evaluation of postgraduate practical training courses Nagler Nagler Michael M

Universitätsklinik für Hämatologie und Hämatologisches Zentrallabor, Inselspital, 3010 Bern, Schweiz, Tel.: +41 (0)31 632 9601Universitätsklinik für Hämatologie und Hämatologisches Zentrallabor, Inselspital, Bern, Schweiz

michael.nagler@insel.ch author Feller Feller S. S

Universität Bern, Medizinische Fakultät, Institut für Medizinische Lehre, Abteilung für Assessment und Evaluation, Bern, Schweiz

Universität Bern, Medizinische Fakultät, Institut für Medizinische Lehre, Abeteilung für Assessment und Evaluation, Bern, Schweiz

author Beyeler Beyeler Christine C Prof. Dr. med.

Universität Bern, Medizinische Fakultät, Institut für Medizinische Lehre, Abteilung für Assessment und Evaluation, Bern, Schweiz

Universität Bern, Medizinische Fakultät, Institut für Medizinische Lehre, Abeteilung für Assessment und Evaluation, Bern, Schweiz

christine.beyeler@iml.unibe.ch author German Medical Science GMS Publishing House

Düsseldorf

610 medical education evaluation studies diagnostic self-evaluation clinical competence laparoskopy/*education medical education evaluation studies diagnostic self evaluation clinical competence laparoskopy/*education medicine Humanmedizin 20110624 20111218 20120117 20120515 germ engl 1860-3572 29 3 GMS Zeitschrift für Medizinische Ausbildung GMS Z Med Ausbild 45 Zielsetzung: Die Wirksamkeit von praktischen Weiterbildungskursen wird häufig mittels Selbsteinschätzungsinstrumenten evaluiert. Diese Studie analysiert den Effekt eines Basiskurses in laparoskopischer Chirurgie auf die Selbsteinschätzung ärztlicher Kompetenzen durch die Teilnehmer.Methodik: Der dreitägige Kurs beinhaltete das Vermitteln von Fachwissen und das Üben von praktischen Fertigkeiten. Im Rahmen der Kursevaluation wurde ein Fragebogen zur Selbsteinschätzung eingesetzt zu Beginn des Kurses ('vorkurslich'), am Ende des Kurses ('nachkurslich') und am Ende des Kurses in Bezug auf die Kompetenzen vor dem Kurs ('retrospektiv vorkurslich').Ergebnisse: An 10 Kursen füllten 89 von 110 Teilnehmern (81%) alle Fragebogen aus. Davon befanden sich 83% in chirurgischer Weiterbildung, 82% hatten noch keine Erfahrung als selbstständiger Operateur. Zu Beginn des Kurses schätzte sich die überwiegende Mehrheit der Teilnehmer als 'mittel befähigt' oder 'voll befähigt' ein, sowohl hinsichtlich verschiedener Tätigkeitsniveaus als auch spezifischer Kompetenzbereiche. Am Ende des Kurses zeigten sich im Rückblick deutliche Revisionen der Selbsteinschätzungen nach unten. Hinsichtlich der 'Tätigkeit als Operateur unter Aufsicht' und den meisten am Kurs geübten praktischen Fertigkeiten erreichten diese Differenzen Signifikanzniveau (p<0.01). Im Gegensatz dazu fanden sich bei der Einschätzung des am Kurs vermittelten Fachwissens beziehungsweise der nicht im Zentrum des Trainings stehenden Teamfähigkeit und Konzentrationsfähigkeit keine signifikanten Unterschiede.Schlussfolgerungen: Wenig erfahrene Chirurgen passen die Selbsteinschätzung ihrer 'vorkurslichen' Kompetenzen nach Absolvieren eines praktischen Weiterbildungskurses nach unten an. Beim ausschliesslichen Vergleich der 'vorkurslichen' und 'nachkurslichen' Selbsteinschätzung – ohne 'retrospektiv vorkursliche' Einschätzung – kann die Wirkung des Trainings unterschätzt werden. Es gilt, dieses Phänomen bei derartigen Evaluationen mit Einsatz von Selbsteinschätzungsfragebogen zu beachten. Aim: The efficacy of postgraduate practical training courses is frequently evaluated by self-assessment instruments. The present study analyses the effect of a basic course in laparoscopic surgery on self-assessed medical competencies.Methods: The 3-day course included teaching of knowledge and training of practical skills. In relation to course evaluation, a questionnaire for self-assessment was applied at the beginning of the course ('pre-course'), at the end of the course ('post-course') and at the end of the course to reassess pre-course competencies ('retrospective pre-course').Results: 89 out of 110 participants (81%) attending 10 courses completed all the questionnaires; 83% were postgraduate trainees in surgery and 82% were inexperienced as an independent surgeon. At the beginning of the course most trainees rated themselves as 'moderately competent' or 'fully competent' with respect to the various task levels as well as to specific areas of medical competencies. At the end of the course however pronounced retrospective revisions of self-assessment to lower ratings became apparent. Statistically significant differences were seen for the task 'performing surgical procedures under supervision' and for most of the practical skills trained during the course (p <0.01). In contrast, no significant differences were observed for knowledge taught during the course as well as for 'ability to work in a team' and 'ability to concentrate', which were not foci of the course.Conclusions: Surgeons with little experience change their self-assessment of pre-course competencies to a lower level after participation in a practical postgraduate training course. Evaluations comparing 'pre-course' and 'post-course' ratings only – without 'retrospective pre-course' ratings – may underestimate the training effects. This phenomenon needs to be taken into account when evaluations are dependent exclusively on self-assessment instruments. EinleitungBeim Training ärztlicher Kompetenzen interessiert in erster Linie, ob dieses wirksam ist und die angestrebten Ziele erreicht werden , . Kirkpatrick schlägt in seinem Evaluationsmodell vor, den Effekt von Trainings auf vier Stufen zu beurteilen. Auf der ersten Stufe wird die Zufriedenheit der Lernenden ('Reaction') erfragt, auf der zweiten Stufe der Lernzuwachs ('Learning'), die dritte Stufe untersucht die Anwendung des Gelernten im beruflichen Alltag ('Behavior') und die letzte Stufe beurteilt die Auswirkungen der Trainings im beruflichen Alltag ('Outcomes'/ 'Results') , . Das Modell wird verschiedentlich kritisiert, weil für den Lernprozess bedeutsame Faktoren wie etwa Persönlichkeitseigenschaften, Lernkultur und Art der Lehrmittel vernachlässigt werden . Zudem konnten für die kausale Verbindung der Stufen 1 bis 4 kaum Hinweise gefunden werden . Des weiteren gibt es wenig Belege für die Annahme, dass Kriterien der Stufe 4 in jedem Fall wichtiger sind als die Kriterien der Stufen 1 bis 3 . Gleichwohl gelang es Kirkpatrick mit seinem 4-Stufen-Modell, die komplexen Prozesse der Evaluation von Weiterbildungsprogrammen zu vereinfachen, zu systematisieren und die Beurteilung von 'Behavior' und 'Outcomes' als wichtige Kriterien zu etablieren . Die Beurteilung dieser Kriterien ist aber häufig aufgrund des komplexen Untersuchungsgegenstandes oder fehlender finanzieller Mittel nicht möglich, weshalb meist nur die Stufen 1 und 2 mittels Selbsteinschätzungsinstrumenten beurteilt werden.Die Fähigkeit zur Selbsteinschätzung und Selbstreflexion werden als ärztliche Kernkompetenzen angesehen . Sie dienen der Identifikation eigener Stärken und Schwächen, dem unentbehrlichen Vertrauen in die eigenen Kompetenzen sowie der notwendigen Selbstbeschränkung im Hinblick auf die ärztlichen Tätigkeiten . Im Lernprozess können dank Selbsteinschätzung und Selbstreflexion Ziele formuliert und Gelerntes im Sinne einer Feedback-Funktion evaluiert werden. Eine kürzlich veröffentlichte Übersichtsarbeit zeigte jedoch, dass Ärzte die eigenen Kompetenzen nur eingeschränkt beurteilen können. Besonders beunruhigend fanden die Autoren, dass die am wenigsten kompetenten Ärzte sich am meisten überschätzen . Diese Beobachtung wurde in anderen Untersuchungen bestätigt, wonach wenig kompetente Personen die eigenen Kompetenzen und die anderer Personen nicht angemessen beurteilen können , , . Zu Beginn eines Trainings kann es während der Erhebung der Ausgangsdaten zu einer deutlichen Selbstüberschätzung durch Unerfahrene kommen . Geeignete Trainings können jedoch nicht nur die Kompetenzen verbessern, sondern auch zu einer realistischeren Selbsteinschätzung führen , . Die Literatur legt somit nahe, dass die Evaluation der Wirksamkeit von Trainings ausschliesslich mit Hilfe von Selbsteinschätzungsinstrumenten mit systematischen Fehlern behaftet sein kann. Die medizinische Weiterbildung, die lange nach dem Lehrling-Meister-Prinzip organisiert war, findet nun vermehrt in Kursen statt. Insbesondere in den chirurgischen Disziplinen wurden strukturierte Weiterbildungskurse notwendig, weil immer mehr spezialisierte Verfahren hohe technische Fertigkeiten benötigen , . Verschiedene Untersuchungen konnten Belege für deren Wirksamkeit insbesondere im Falle der laparoskopischen Chirurgie erbringen , , . IntroductionEfficacy and the achievement of learning objectives are essential considerations while conducting training programmes for medical competencies , . In his model of evaluation, Kirkpatrick suggests evaluating the efficacy of training programmes using four levels. On the first level, the investigator asks for the perception of the participants ('Reaction'). Level two will evaluate the amount of learning that has occurred ('Learning'). Level three will evaluate the transfer that has occurred to the trainees’ everyday environment ('Behaviour') and level four measures the impact of the training to the participants’ professional life ('Outcomes'/ 'Results') , . Kirkpatrick's model is being discussed because important factors influencing the learning process are not considered: personality traits, culture of learning and type of teaching aids . Furthermore, no causal relationship between the different levels has been determined to date . In addition, there is a limited amount of data available to support the concept that level four evaluations are more important than those of level 1 to 3 . Nevertheless, using the four-level-model, Kirkpatrick was able to simplify and categorise the complex processes of evaluating training programmes as well as to establish measures of 'Behaviour' and 'Outcome' as important criteria . However, application of these latter criteria is often not feasible due to the complexity of the object of investigation or cost constraints. Thus, training programmes are mostly evaluated on level 1 and 2 using self-assessment instruments. The ability to assess one's own competence is recognised as a key factor for medical competencies . It is essential for medical professionals to be able to identify their personal strengths and weaknesses, to have confidence in their expertise and to be able to restrict their medical practice activities as appropriate . With regard to the learning process, self-assessment skills are required for the determination of aims and to verify existing skills. However, it has been illustrated in a recent review article that physicians are predominantly unable to assess their abilities accurately. The authors were particularly worried about those professionals with the fewest skills but who overestimated their abilities the most . These observations have been confirmed by other investigations, which revealed that the least competent individuals were unable to assess the competence level of either their own skills or those of other individuals accurately , , . Self-assessment at the beginning of a training programme may contain an over-estimation of skills due to inexperience . Appropriate training programmes may though improve not only the competence of the trainees, but furthermore self-assessment skills , . Therefore, the data from previous investigations suggest that evaluation of training programmes using self-assessment measures may contain systematic errors due the effect mentioned above.Medical education is traditionally organised as an apprenticeship, but recently more and more training courses are held . Training courses are needed particularly in surgical education because advanced technical skills are required for highly specialised procedures , . Several studies have demonstrated the efficacy of practical training courses, especially in laparoscopic surgery , , . FragestellungenAm Beispiel eines praktischen Weiterbildungskurses in laparoskopischer Chirurgie soll untersucht werden, ob und wie sich die Selbsteinschätzung ärztlicher Kompetenzen im Verlauf dieses Trainings verändert. Zudem soll der mögliche Einfluss auf die Wirksamkeitseinschätzung derartiger praktischer Weiterbildungskurse diskutiert werden. Dabei stellen sich die folgenden Fragen:Wie schätzen die Kursteilnehmer ihre Kompetenzen ein zu Beginn des Kurses ('vorkurslich'), am Ende des Kurses ('nachkurslich') und am Ende des Kurses in Bezug auf ihre Kompetenzen vor dem Kurs ('retrospektiv vorkurslich')? Verändert sich die Selbsteinschätzung aufgrund des Kursbesuches ('nachkurslich' im Vergleich zu 'vorkurslich' bzw. 'retrospektiv vorkurslich' im Vergleich zu 'vorkurslich')? Wenn ja, in welchen Kompetenzbereichen? Wenn ja, besteht ein Unterschied zwischen Kompetenzbereichen, in denen ein Training erfolgt, im Vergleich zu Kompetenzbereichen ohne Training? AimUsing the example of a basic course in laparoscopic surgery, we aimed to investigate whether and how self-assessment scores of medical competencies changed as the participants progressed through the postgraduate practical training courses. Furthermore, we intended to discuss the possible effects on course evaluation measures. We considered the following questions:How do participants rate their competencies at the beginning of the course (‘pre-course’), their competencies at the end of the course (‘post-course’) and their pre-course competencies at the end of the course (‘retrospective pre-course’)? Is there an alteration in self-assessment over the course of the training (‘post-course’ versus ‘pre-course’ and ‘retrospective pre-course’ versus ‘pre-course’, respectively) and which medical competencies are affected?Are there differences in the changes reported between areas of competencies, which are trained and those that are not? MethodikDie vorliegende Untersuchung wurde in 10 Basiskursen zur laparoskopischen Cholezystektomie am European Surgical Institute der Fa. Ethicon Endo-Surgery in Norderstedt, Deutschland durchgeführt. WeiterbildungskursIn dreitägigen Kursen wurden Fachwissen vermittelt und Fertigkeiten im komplexen operativen Umfeld geübt. In einer ersten Phase wurden Basiskenntnisse unterrichtet und grundlegende Fertigkeiten trainiert. Während insgesamt 3¼ Stunden fanden Vorträge zu anatomischen, physiologischen und klinischen Grundlagen sowie zum Operationsablauf statt. Eine Videodemonstration (1½ Stunden) widmete sich möglichen Fehlern und Gefahren. Eine praktische Demonstration zeigte den Umgang mit laparoskopischen Instrumenten (ca. 1 Stunde). Übungen zu manuellen Fertigkeiten umfassten Naht- und Knüpftechniken in mikrochirurgischer Umgebung (ca. 2 Stunden) sowie an der Computersimulation (ca. 2 Stunden). In einer zweiten Phase wurden die gelernten Fertigkeiten in das Umfeld der laparoskopischen Chirurgie übertragen. Hierfür fanden Nahtübungen am offenen und anschliessend am geschlossenen Abdomen ('Pelvitrainer') statt. Zuletzt wurde dem simulierten Operationsumfeld ein Organmodell (Schweineleber) hinzugeführt, an welchem die Teilnehmer eine laparoskopische Cholezystektomie durchführten (6 Stunden). Während des Trainings wurde in Gruppen gearbeitet und fortlaufend Feedback gegeben. Die Kurse zielten damit auf einen Kompetenzzuwachs hinsichtlich Fachwissen und manueller Fertigkeiten im laparoskopischen Umfeld. Fragebogen und DatenerhebungZur Selbsteinschätzung verschiedener Aspekte laparoskopischer Kompetenzen wurde ein Fragebogen entwickelt (siehe Tabelle 1 ). Ein komplettes Item ist in Tabelle 2 dargestellt. Einerseits wurde das Zutrauen in verschiedene Tätigkeiten erfragt, z.B. 'Fühlen Sie sich befähigt, bei laparoskopischen Operationen selbstständig zu operieren'. Dabei mussten sich die Teilnehmer bei vier Tätigkeitsniveaus auf einer 5-stufigen Skala entscheiden zwischen 0 'trifft nicht zu' bis 4 'trifft voll und ganz zu'. Anderseits wurde das Zutrauen in verschiedenen laparoskopischen Kompetenzbereichen erfragt: 'Wie schätzen Sie Ihre Fähigkeiten ein hinsichtlich...?'. Dabei benutzten die Teilnehmer eine 5-stufige Skala von 0 'niedrig' bis 4 'sehr hoch'. Zur Darstellung wurden die Daten nach Fachwissen, Fertigkeiten, Urteilsvermögen und professionellem Verhalten geordnet (siehe Tabelle 1 ). Einer psychometrischen Analyse hinsichtlich Gütekriterien wurde der Fragebogen bis anhin nicht unterzogen.Die Teilnehmer von 10 Basiskursen zur laparoskopischen Chirurgie in den Jahren 2000 und 2001 erhielten je einen Fragebogen zu Beginn und am Ende des dreitägigen Kurses. Dabei beurteilten sie ihre aktuellen laparoskopischen Kompetenzen zu Beginn des Kurses ('vorkurslich') und am Ende des Kurses ('nachkurslich'), sowie am Ende des Kurses im Rückblick auf die Kompetenzen vor dem Kurs ('retrospektiv vorkurslich'). DatenauswertungDie Daten wurden pseudonymisiert erfasst, die Auswertung erfolgte mit SPSS® 15. Zur Präsentation der Ergebnisse bezüglich der ersten Fragestellung wurden die Antwortstufen 0 und 1 zur Kategorie 'wenig befähigt', Stufe 2 zur Kategorie 'mittel befähigt' sowie Stufen 3 und 4 zur Kategorie 'voll befähigt' zusammengefasst und tabellarisch dargestellt. Zur Beantwortung der Fragestellungen 2 und 3 (Vergleich der Selbsteinschätzungen 'nachkurslich' vs. 'vorkurslich' bzw. 'retrospektiv vorkurslich' vs. 'vorkurslich') wurden Wilcoxon-Tests angesichts signifikanter Abweichungen von der Normalverteilung gerechnet. Da die Vergleiche auf der Ebene mehrerer Fragebogen-Items durchgeführt wurden, kam die Bonferroni-Holm-Korrektur zur Anwendung. Hierbei wird der grösste Kennwert der Einzelvergleiche auf einem Signifikanzniveau von α`=α / m (d.h. 0.05 / Anzahl der Einzelvergleiche) bewertet. Ist er signifikant, wird der nächst grössere Kennwert auf einem Signifikanzniveau von α / (m-1) getestet etc., bis der nachfolgende Kennwert kein Signifikanzniveau mehr erreicht . MethodsThe present investigation was conducted for 10 basic courses in laparoscopic surgery at the ‘European Surgical Institute’ of the Ethicon Endo-Surgery Company in Norderstedt, Germany.Practical postgraduate training courseThree-day courses were performed to impart knowledge and train practical skills in a complex operative setting. In the first phase, basic knowledge was taught and essential skills trained. Lectures of 3¼ hours were held on basic anatomical, physiological and clinical principles as well as surgical procedures. In a video demonstration of 1½ hours possible risks and sources of error were discussed. The handling of laparoscopic instruments was shown in a practical demonstration (1 hour). Exercises in practical skills comprised of suturing and knotting techniques in a microsurgical setting (2 hours) and in a computer simulation (2 hours). In the second phase, the skills learnt were transferred into the laparoscopic surgery setting; suturing exercises were performed on a simulated abdomen with an opened or closed abdominal wall (‘Pelvitrainer’). In the last phase, an animal organ was added (pig’s liver) and a laparoscopic cholecystectomy was performed by the trainees (6 hours). The training was provided within a teamwork setting and feedback was given continuously. Overall, the aim of the courses was to enhance medical competencies with regard to knowledge and practical skills in a laparoscopic setting. Questionnaire and data acquisitionA questionnaire was developed for self-assessment of different aspects of laparoscopic medical competencies (see Table 1 ). A complete item is illustrated in Table 2 . The confidence of the trainees was assessed, for example, by the question ‘Do you feel confident to perform laparoscopic procedures independently?’ and they were asked to rate themselves according to four task levels using a 5-point scale ranging from 0 (‘not applicable’) to ‘4 (‘fully applicable’). In addition, confidence was assessed regarding different areas of competency: ‘How do you rate your competencies with regard to…?’. A 5-point scale ranging from 0 (‘low’) to 4 (‘very high’) was used by the participants to indicate their responses. The questions were then reformulated to assess knowledge, practical skills, judgment and professional behaviour (see Table 1 ). The questionnaire has not yet been evaluated with regard to psychometric properties.Participants of 10 basic courses in laparoscopic surgery in 2000 and 2001 were asked to complete the questionnaire. They rated their current laparoscopic medical competencies at the beginning of the course (‘pre-course’), at the end of the 3 day course (‘post-course’) and re-assessed their pre-course competencies at the end of the course (‘retrospective pre-course’). Data analysisThe data were pseudonymised and data analysis was performed using SPSS® 15. For presentation purposes with regard to question 1, the ratings 0 and 1 were merged into the category ‘minimally competent’, rating 2 to ‘moderately competent’ and ratings 3 and 4 to ‘fully competent’ and displayed in table form. The Wilcoxon test was used for analysis regarding questions 3 and 4 (comparison of self-assessment ‘post-course’ vs. ‘pre-course’ and ‘retrospective pre-course’ vs. ‘pre-course’ respectively) because significant differences from normal distribution were found. Bonferroni-Holm correction for multiple measurements was used as multiple items in the questionnaire were compared. In this case, the maximum statistical value of the single comparisons was evaluated on a significance level of α`=α / m (i.e. 0.05 / number of single comparisons). If this statistical value was significant, the next value was evaluated on a level of α / (m-1) and so on, until no significance was found . ErgebnisseDie Basischarakteristika der untersuchten Stichprobe sowie die Erfahrungen der teilnehmenden Chirurgen vor Teilnahme am Weiterbildungskurs sind in Tabelle 3 dargestellt.Selbsteinschätzung der Kompetenzen'Vorkurslich' schätzten mehr als die Hälfte der Teilnehmer ihre Fähigkeit als gering ein, selbstständig zu operieren, während sich die meisten Teilnehmer für eine Tätigkeit als Operateur unter Aufsicht, als erster Assistent und als Kameraassistent 'mittel befähigt' bis 'voll befähigt' fühlten (siehe Tabelle 4 ). In Bezug auf die verschiedenen Kompetenzbereiche wurden 'vorkurslich' das eigene Fachwissen ('Kenntnisse über laparoskopische Operationen') und die eigenen Fertigkeiten ('Manuelle Geschicklichkeit', 'Beherrschung der chirurgischen Basistechniken', 'Sorgfältiger Umgang mit dem Gewebe' sowie 'Navigation und Orientierung im Operationsfeld') von mehr als 90 % der Teilnehmer als 'mittel' bis 'hoch' eingeschätzt. Auch Aspekte professionellen Verhaltens wie 'Problemmanagement und Umgang mit Fehlern', 'Teamfähigkeit' sowie 'Konzentrationsfähigkeit und Umgang mit Stresssituationen' wurden 'vorkurslich' von den meisten Teilnehmern als 'mittel' bis 'hoch' eingeschätzt. Hinsichtlich 'Kenntnisse über Instrumente und technisches Equipment' schätzten gut die Hälfte der Teilnehmer das eigene Fachwissen im mittleren Bereich ein (siehe Tabelle 5 ).'Nachkurslich' zeigte sich ein signifikanter Anstieg der Selbsteinschätzung in den verschiedenen Tätigkeitsniveaus, mit Ausnahme der 'Tätigkeit als Kameraassistent' (siehe Tabelle 6 ). In den Kompetenzbereichen 'Kenntnisse über laparoskopische Operationen' und 'Kenntnisse über Instrumente und technisches Equipment' sowie 'Navigation und Orientierung im Operationsfeld' schätzten die Teilnehmer die eigene Fähigkeit 'nachkurslich' signifikant höher ein. In den übrigen Kompetenzbereichen zeigte sich 'nachkurslich' eine ähnliche Selbsteinschätzung wie vor Absolvierung des Kurses (siehe Tabelle 7 ). Im Vergleich 'vorkurslich' und 'retrospektiv vorkurslich' zeigte sich eine signifikante Veränderung der Selbsteinschätzung einzig beim Tätigkeitsniveau 'Tätigkeit als Operateur unter Aufsicht': 'vorkurslich' schätzten sich 74% der Teilnehmer dazu als 'voll befähigt' ein, retrospektiv 'vorkurslich' sank der Anteil auf 57% (siehe Tabelle 4 ; 5 ). In den spezifischen Kompetenzbereichen zeigte sich in den meisten am Kurs geübten praktischen Fertigkeiten ein signifikanter Unterschied ('Manuelle Geschicklichkeit', 'Beherrschung der chirurgischen Basistechniken', 'sorgfältiger Umgang mit dem Gewebe'; Ausnahme 'Navigation und Orientierung im Operationsfeld), zudem in den Kompetenzbereichen 'Problemmanagement und Umgang mit Fehlern' sowie 'Klinisch-chirurgisches Urteilsvermögen'. Der Anteil der Teilnehmer, die ihre Kompetenzen 'vorkurslich' als 'niedrig' einschätzten, stieg 'retrospektiv vorkurslich' deutlich an. Im Gegensatz dazu zeigte sich bei der Einschätzung des am Kurs vermittelten Fachwissens ('Kenntnisse über laparoskopische Operationen', 'Kenntnisse über Instrumente und technisches Equipment') und der nicht im Zentrum des Training stehenden 'Teamfähigkeit' kein signifikanter Unterschied (siehe Tabelle 6 ; 7 ). ResultsThe basic characteristics of the study cohort as well as the experiences of the surgeons gained before commencing the course are displayed in Table 3 .Self-assessment of medical competencies‘Pre-course’ more than half of the participants rated their competencies as low (‘minimally competent’) if asked about independently performed surgical procedures, whereas most of the trainees rated themselves as ‘moderately competent’ or ‘fully competent’ for surgical procedures performed under supervision, as a surgical first assistant or as a camera assistant (see Table 4 ). With regard to specific areas of medical competencies more than 90% of the trainees assessed themselves ‘pre-course’ as ‘moderately competent’ or ‘fully competent’ regarding ‘knowledge about laparoscopic procedures’, ‘manual skills’, ‘mastering basic surgical techniques’, ‘careful manipulation of the tissue’ and ‘orientation and navigation in the surgical field’. Similarly, most trainees rated their skills ‘pre-course’ in the following aspects of social behaviour ‘problem management and handling of errors’, ‘ability to work in a team’ and ‘ability to concentrate and handle stressful situations’ as ‘moderately competent’ or ‘fully competent’. More than half of the trainees regarded their ‘knowledge of laparoscopic instruments and technical equipment’ as ‘moderate’ (see Table 5 ).‘Post-course’ a significant increase of self-assessments was found with regard to different task levels (except for ‘work as a camera assistant’; see Table 6 ). Furthermore, a significant increase was seen ‘post-course’ for the following areas of medical competencies: ‘knowledge on laparoscopic procedures’, ‘knowledge of laparoscopic instruments and technical equipment’, ‘orientation and navigation in the surgical field’. Self-assessment was comparable to the ‘pre-course’ ratings in the remaining areas of medical competencies (see Table 7 ).The comparison of ‘pre-course’ vs. ‘retrospective pre-course’ ratings indicated a significant adjustment of self-assessment with regard to the task level ‘performing laparoscopic procedures under supervision’: ‘pre-course’ 74% of the trainees rated themselves as ‘fully competent’, which decreased to 57% on the ‘retrospective pre-course’ questionnaire (see Table 4 ; Table 5 ). Such significant adjustment was in fact seen in most of the areas of medical competencies trained during the course (‘manual skills’, ‘mastering basic surgical techniques’, ‘careful manipulation of the tissue’ but not in ‘orientation and navigation in the surgical field’) as well as ‘problem management and handling of errors’ and ‘clinical reasoning’. The proportion of participants, who rated their competencies ‘pre-course’ as ‘minimally competent’ increased in the ‘retrospective pre-course’ assessment. In contrast, no significant difference was seen with regard to the knowledge taught (‘knowledge of laparoscopic procedures‘, ‘knowledge of laparoscopic instruments and technical equipment’) as well as with regard to 'ability to work in a team', which was not the focus of the course (see Table 6 , Table 7 ). DiskussionDie vorliegende Untersuchung erbrachte Evidenz für die Selbstüberschätzung ärztlicher Kompetenzen durch unerfahrene Chirurgen. Erstens beurteilten die Teilnehmer ihre laparoskopischen Kompetenzen vor Absolvieren dieses praktischen Weiterbildungskurses als mittel bis hoch, sowohl hinsichtlich der verschiedenen Tätigkeitsniveaus (Ausnahme 'Tätigkeit als selbständiger Operateur') als auch hinsichtlich der einzelnen spezifischen Kompetenzbereiche. Dies ist insofern erstaunlich, als sich alle Teilnehmer für einen Kurs zum Training laparoskopischer Kompetenzen angemeldet hatten und die Minderheit der antwortenden Teilnehmer den Facharzttitel Chirurgie abgeschlossen hatte. Zweitens zeigten unsere Daten eine wesentliche Anpassung der Selbsteinschätzung nach dem Besuch des Weiterbildungskurses. In neun von zehn spezifischen Kompetenzbereichen schätzten mehr als 85% der Teilnehmer ihre Kompetenzen 'vorkurslich' als mittel bis hoch ein. 'Retrospektiv vorkurslich' fand hier eine deutliche Revision der Selbsteinschätzung nach unten statt. Nur noch rund ein Viertel (resp. rund ein Drittel) der Teilnehmer schätzte ihre Kompetenzen in 5 (respektive 3) Bereichen als mittel bis hoch ein. In dem – hinsichtlich der Zielgruppe des Kurses – wichtigsten Tätigkeitsniveau ('Tätigkeit als Operateur unter Aufsicht') und in 5 von 10 spezifischen Kompetenzbereichen, insbesondere bei den meisten praktischen Fertigkeiten, erreichte diese Anpassung Signifikanzniveau. Kein statistisch signifikanter Unterschied fand sich jedoch bei dem am Kurs vermittelten Fachwissen ('Kenntnisse über laparoskopische Operationen' und 'Kenntnisse über Instrumente und Equipment'). Ebenso kam es zu keiner statistisch signifikanten Differenz der selbst eingeschätzten 'Teamfähigkeit' sowie 'Konzentrationsfähigkeit und Umgang mit Fehlern'. Diese Aspekte professionellen Verhaltens waren nicht Gegenstand des Trainings und die Teilnehmer erhielten hierzu auch kein Feedback. Unsere Resultate im Bereich der laparoskopischen Chirurgie bestätigen die Ergebnisse anderer Studien, wonach unerfahrene Chirurgen zur Selbstüberschätzung tendieren , . Ebenso unterstützen sie frühere Publikationen, wonach durchgeführte Trainings über den Kompetenzzuwachs , , und das erhaltene Feedback zu verbesserten 'metakognitiven Fähigkeiten' und zu einer realistischeren Selbsteinschätzung führen können , . Es darf aber zugleich nicht ausser Acht gelassen werden, dass auch retrospektive Einschätzungen sozialpsychologischen Einflussfaktoren (z.B. 'soziale Erwünschtheit' und fehlende Selbstwert-Bedrohung der rückblickend am Kursende nach unten korrigierten Selbsteinschätzung) und Verzerrungsphänomenen (z.B. 'Hindsight Bias' / Rückschaufehler) unterliegen können . In der vorliegenden Studie haben wir uns auf die Untersuchung der Selbsteinschätzung im Verlauf eines typischen praktischen Weiterbildungskurses beschränkt. Eine zusätzlich durchgeführte objektive Beurteilung des Kompetenzzuwachses hätte die Aussagekraft der Ergebnisse ergänzt. Da objektive Bewertungsmassstäbe im Bereich der chirurgischen Fähigkeiten nur beschränkt existieren und deren Anwendung mit erheblichem Ressourcenbedarf einhergeht, haben wir darauf verzichtet.Die erhobenen Daten legen nahe, dass die Effekte der initialen Selbstüberschätzung die Resultate von Kursevaluationen mittels Selbsteinschätzungsinstrumenten beeinflussen. Insbesondere kann es bei einem ausschliesslichen Vergleich 'vorkurslich' – 'nachkurslich' zu einer Unterschätzung des Trainingseffektes kommen. Als Konsequenz der vorliegenden Untersuchung sollte die retrospektive Anpassung der Selbsteinschätzung in der Evaluation von Trainings berücksichtigt werden. Auch wenn diese 'retrospektiv-vorkursliche' Selbsteinschätzung ihrerseits kein objektives Mass oder Gold-Standard bieten kann, liefert sie jedoch weitere wertvolle Anhaltspunkte, um das Ausmass der initialen Selbstüberschätzung einzuordnen. Wenn das 'Erkennen' dieser initialen Selbstüberschätzung und deren Korrektur in den Lernzielkatalog von Trainingsmassnahmen einbezogen wird, könnte es einen wichtigen Beitrag im Lernprozess der Teilnehmer darstellen. DiscussionThe present investigation provides evidence that surgeons with limited experience overestimate their competencies. First, participants rated themselves as ‘moderately competent’ or ‘fully competent’ before attending the course with regard to different task levels (with the exception of ‘performing laparoscopic procedures independently) as well as specific areas of medical competencies. This is astonishing because the participants had applied for training of laparoscopic competencies and only a minority already had finished postgraduate surgical training. Second, our data revealed substantial retrospective revisions to lower ratings over the course of the training. More than 85 percent of the trainees rated their ‘pre-course’ competencies as ‘moderately competent’ or ‘fully competent’ in 9 out of 10 areas of medical competencies. Relevant adjustments were seen in the ‘retrospective pre-course’ assessment: Only about a quarter of the trainees (or a third, respectively) rated themselves as “moderately” or “fully” competent in 5 (or 3, respectively) competency areas. These adjustments were statistically significant in those tasks most important to the focus of the training course ('performing surgical procedures under supervision') and in 5 out of 10 specific areas of medical competencies. No statistically significant difference was seen regarding the knowledge taught (‘knowledge of laparoscopic procedures’, ‘knowledge of laparoscopic instruments and technical equipment’). Likewise, no significant difference was seen in the competencies ‘ability to work in a team’ and ‘ability to concentrate and handle stressful situations’. The latter aspects of social behaviour were not the focus of the training course and no feedback was applied to the participants.Our results confirm previous data on the tendency of minimally competent surgeons to overestimate their abilities , . Furthermore, our data support previous publications which suggest that trainings lead to increased ‘metacognitive abilities’ and more realistic self-assessment abilities , via improved competencies , , and the feedback obtained. It cannot, however, be overlooked that retrospective assessments may also have socio-psycological influences (eg. absence of threats to self esteem) and distorting phenomena (eg Hindsight bias) . In the present study we investigated the adjustment of self-assessment ratings exclusively in a typical postgraduate practical training course. An additional objective assessment of competence improvement would have added to the validity of the results. However, instruments for objective assessment of surgical competencies are very limited and require extensive resources . Therefore, an objective assessment of surgical competencies was not made.Our data suggest that the initial over-estimation of trainees’ abilities will influence the results of self-assessment instruments to evaluate the effectiveness of training. In particular a comparison restricted to ‘pre-course’ vs. ‘post-course’ assessments may lead to an under-estimation of the training effect that has occurred. Instead, a ‘retrospective pre-course’ assessment should also be considered if self-assessment instruments are in use. ‘Retrospective pre-course’ assessments are not a substitute for an objective measure or ‘gold standard’. However, it may reveal valuable information regarding the level of over-estimation of personal capabilities at the outset. If such over-estimation could be recognized and incorporated into the curriculum of training programs it may play an important role in the learning process of trainees. DanksagungDie Autoren danken Ethicon Endo-Surgery, Norderstedt (Deutschland) und insbesondere Herrn Thomas Bürger für die Möglichkeit zur Durchführung der Untersuchung im Rahmen des Weiterbildungskurses in laparoskopischer Chirurgie. Wir danken Frau Dr. rer. nat. Anja Rogausch für die Überarbeitung der statistischen Analysen. AcknowledgementThe authors thank Ethicon Endo-Surgery, Norderstedt (Germany) and Mr. Thomas Bürger for the opportunity to conduct this investigation over the 10 basic courses in laparoscopic surgery run at their institution. Furthermore, we thank Dr. Anja Rogausch for the revision of the statistical analyses. InteressenkonfliktDie Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben. M. Nagler war in den Jahren 2000 bis 2002 als studentische Hilfskraft für verschiedene Projekte bei Ethicon-Endo Surgery, Norderstedt (Deutschland) angestellt. Andere mögliche Interessenskonflikte in Zusammenhang mit dem vorliegenden Artikel bestehen nicht. Competing interestsThe authors declare that they have no competing interests. Musick DW A conceptual model for program evaluation in graduate medical education 2006 Acad Med 759-765 Musick DW. A conceptual model for program evaluation in graduate medical education. Acad Med. 2006;81(8):759-765. DOI: 10.1097/00001888-200608000-00015 http://dx.doi.org/10.1097/00001888-200608000-00015 Fabry G Lammerding-Köppel M Hofer M Ochsendorf F Schirlo C Breckwoldt J Hochschuldidaktische Qualifizierung in der Medizin IV: Messung von Wirksamkeit und Erfolg medizindidaktischer Qualifizierungsangebote: Ein Positionspapier des GMA-Ausschusses Personal- und Organisationsentwicklung für die medizinische Lehre der Gesellschaft für Medizinische Ausbildung sowie des Kompetenzzentrums für Hochschuldidaktik in Medizin Baden-Württemberg 2010 GMS Z Med Ausbild Doc62 Fabry G, Lammerding-Köppel M, Hofer M, Ochsendorf F, Schirlo C, Breckwoldt J. Hochschuldidaktische Qualifizierung in der Medizin IV: Messung von Wirksamkeit und Erfolg medizindidaktischer Qualifizierungsangebote: Ein Positionspapier des GMA-Ausschusses Personal- und Organisationsentwicklung für die medizinische Lehre der Gesellschaft für Medizinische Ausbildung sowie des Kompetenzzentrums für Hochschuldidaktik in Medizin Baden-Württemberg. GMS Z Med Ausbild. 2010;27(4):Doc62. DOI: 10.3205/zma000699 http://dx.doi.org/10.3205/zma000699 Kirkpatrick DL 1994 Evaluating Training Programs: The Four Levels Kirkpatrick DL. Evaluating Training Programs: The Four Levels. San Francisco/CA: Berrett-Koehler; 1994. Kirkpatrick DL Evaluation of training 1976 Training and development handbook: A guide to human resource development Kirkpatrick DL. Evaluation of training. In: Craig RL (Hrsg). Training and development handbook: A guide to human resource development. New York: McGraw Hill; 1976. Bates R A critical analysis to evaluation practice: the kirkpatrick modell and the principle of benevolence 2004 Eval Prog Plan 341-347 Bates R. A critical analysis to evaluation practice: the kirkpatrick modell and the principle of benevolence. Eval Prog Plan. 2004;27:341-347. DOI: 10.1016/j.evalprogplan.2004.04.011 http://dx.doi.org/10.1016/j.evalprogplan.2004.04.011 Gordon MJ A review of the validity and accuracy of self-assessments in health professions training 1991 Acad Med 762-769 Gordon MJ. A review of the validity and accuracy of self-assessments in health professions training. Acad Med. 1991;66(12):762-769. DOI: 10.1097/00001888-199112000-00012 http://dx.doi.org/10.1097/00001888-199112000-00012 Eva KW Regehr G Self-Assessment in the Health Professions: A Reformulation and Research Agenda 2005 Acad Med S46-54 Eva KW, Regehr G. Self-Assessment in the Health Professions: A Reformulation and Research Agenda. Acad Med. 2005;80(10 Suppl):S46-54. DOI: 10.1097/00001888-200510001-00015 http://dx.doi.org/10.1097/00001888-200510001-00015 Davis DA Mazmanian PE Fordis M Van Harrison R Thorpe KE Perrier L Accuracy of physician self-assessment compared with observed measures of competence: a systematic review 2006 JAMA 1094-1102 Davis DA, Mazmanian PE, Fordis M, Van Harrison R, Thorpe KE, Perrier L. Accuracy of physician self-assessment compared with observed measures of competence: a systematic review. JAMA. 2006;296(9):1094-1102. DOI: 10.1001/jama.296.9.1094 http://dx.doi.org/10.1001/jama.296.9.1094 Chi MT Glaser R Rees E Expertise in problem solving 1982 Advances in the psychology of human intelligence 7-75 Chi MT, Glaser R, Rees E. Expertise in problem solving. In: Sternberg R (Hrsg). Advances in the psychology of human intelligence. Hillsdale/NJ: Erlbaum; 1982. S.7-75. McPherson SL Thomas JR Relation of knowledge and performance in boy's tennis: Age and expertise 1989 J Exper Child Psychol 190-211 McPherson SL, Thomas JR. Relation of knowledge and performance in boy's tennis: Age and expertise. J Exper Child Psychol. 1989;48:190-211. DOI: 10.1016/0022-0965(89)90002-7 http://dx.doi.org/10.1016/0022-0965(89)90002-7 Hofer M Galonska L Sievers K Önenköprülü B Heussen N Evaluation eines Trainingskonzepts "Plenardidaktik" für Dozenten in Vorlesungen 2010 GMS Z Med Ausbild Doc47 Hofer M, Galonska L, Sievers K, Önenköprülü B, Heussen N. Evaluation eines Trainingskonzepts "Plenardidaktik" für Dozenten in Vorlesungen. GMS Z Med Ausbild. 2010;27(3):Doc47. DOI: 10.3205/zma000684 http://dx.doi.org/10.3205/zma000684 Kruger J Dunning D Unskilled and unware of it: how difficulties in recognizing one's own incompetence lead to inflated self-assessments 1999 J Pers Soc Psychol 1121-1134 Kruger J, Dunning D. Unskilled and unware of it: how difficulties in recognizing one's own incompetence lead to inflated self-assessments. J Pers Soc Psychol. 1999;77(6):1121-1134. DOI: 10.1037/0022-3514.77.6.1121 http://dx.doi.org/10.1037/0022-3514.77.6.1121 Hodges B Regehr G Martin D Difficulties in recognizing one`s own incompetence: novice physicians who are unskilled and unaware of it 2001 Acad Med S87-89 Hodges B, Regehr G, Martin D. Difficulties in recognizing one`s own incompetence: novice physicians who are unskilled and unaware of it. Acad Med. 2001;76(10 Suppl):S87-89. DOI: 10.1097/00001888-200110001-00029 http://dx.doi.org/10.1097/00001888-200110001-00029 Ericsson KA Deliberate practice and the aquisition and maintenance of expert performance in medicine and related domains 2004 Acad Med 70-81 Ericsson KA. Deliberate practice and the aquisition and maintenance of expert performance in medicine and related domains. Acad Med. 2004;79(10 Suppl):70-81. DOI: 10.1097/00001888-200410001-00022 http://dx.doi.org/10.1097/00001888-200410001-00022 DesCôteaux JG Leclere H Learning surgical technical skills 1995 Can J Surg 33-38 DesCôteaux JG, Leclere H. Learning surgical technical skills. Can J Surg. 1995;38(1):33-38. Hamdorf JM Hall JC Acquiring surgical skills 2000 Br J Surg 28-37 Hamdorf JM, Hall JC. Acquiring surgical skills. Br J Surg. 2000;87(1):28-37. DOI: 10.1046/j.1365-2168.2000.01327.x http://dx.doi.org/10.1046/j.1365-2168.2000.01327.x Rosser JC Rosser LE Savalgi RS Objective evaluation of a laparoscopic surgical skill program for residents and senior surgeons 1998 Arch Surg 657-661 Rosser JC, Rosser LE, Savalgi RS. Objective evaluation of a laparoscopic surgical skill program for residents and senior surgeons. Arch Surg. 1998;133(6):657-661. DOI: 10.1001/archsurg.133.6.657 http://dx.doi.org/10.1001/archsurg.133.6.657 Ritz JP Grone J Hopt U Saeger HD Siewert JR Vollmar B Lauscher JC Lehmann KS Buhr HJ Practical course for visceral surgery in Warnemunde" 10 years on. Significance and benefits of a surgical training course 2009 Chirurg 864-871 Ritz JP, Grone J, Hopt U, Saeger HD, Siewert JR, Vollmar B, Lauscher JC, Lehmann KS, Buhr HJ. Practical course for visceral surgery in Warnemunde" 10 years on. Significance and benefits of a surgical training course. Chirurg. 2009;80(9):864-871. DOI: 10.1007/s00104-009-1782-0 http://dx.doi.org/10.1007/s00104-009-1782-0 Grone J Ritz JP Buhr HJ Lauscher JC Sustainability of skill courses for general and visceral surgery--evaluation of the long-term effect 2010 Langenbecks Arch Surg 277-283 Grone J, Ritz JP, Buhr HJ, Lauscher JC. Sustainability of skill courses for general and visceral surgery--evaluation of the long-term effect. Langenbecks Arch Surg. 2010;395(3):277-283. DOI: 10.1007/s00423-009-0568-7 http://dx.doi.org/10.1007/s00423-009-0568-7 Bortz J 2005 Statistik für Human- und Sozialwissenschaftler Bortz J. Statistik für Human- und Sozialwissenschaftler. Heidelberg: Springer-Verlag; 2005. Fischhoff B Hindsight not equal to foresight: the effect of outcome knowledge on judgment under uncertainty 2003 Qual Saf Health Care 304-311; discussion 11-12 Fischhoff B. Hindsight not equal to foresight: the effect of outcome knowledge on judgment under uncertainty. Qual Saf Health Care. 2003;12(4):304-311; discussion 11-12. DOI: 10.1136/qhc.12.4.304 http://dx.doi.org/10.1136/qhc.12.4.304 van Hove PD Tuijthof GJ Verdaasdonk EG Stassen LP Dankelman J Objective assessment of technical surgical skills 2010 Br J Surg 972-987 van Hove PD, Tuijthof GJ, Verdaasdonk EG, Stassen LP, Dankelman J. Objective assessment of technical surgical skills. Br J Surg. 2010;97(7):972-987. DOI: 10.1002/bjs.7115 http://dx.doi.org/10.1002/bjs.7115 11de1en

22de2en

33de3en

44de4en

55de5en

66de6en

77de7en

7 0 0 0