zma000684 10.3205/zma000684 urn:nbn:de:0183-zma0006845 Forschungsarbeit/research article Evaluation of a “train-the-trainer” concept for lecturers Hofer Hofer Matthias M Dr. med. MPH, MME (Bern)

Heinrich-Heine-Universität Düsseldorf, Medizinische Fakultät, Studiendekanat, Arbeitsgruppe Medizindidaktik, Postfach 10 10 07, 40001 Düsseldorf, Deutschland, Telefon: 0211/81-10743, Fax: 0211/81-10746Heinrich-Heine-Universität Düsseldorf, Medizinische Fakultät, Studiendekanat, Arbeitsgruppe Medizindidaktik, Düsseldorf, Deutschland

matthias.hofer@uni-duesseldorf.de author Galonska Galonska Lars L

Universitätsklinikum Düsseldorf, Klinik für Hämatologie, Onkologie und klinische Immunologie, Düsseldorf, Deutschland

lars.galonska@med.uni-duesseldorf.de author Sievers Sievers Katja K

Heinrich-Heine-Universität Düsseldorf, Medizinische Fakultät, Studiendekanat, Arbeitsgruppe Medizindidaktik, Düsseldorf, Deutschland

katja.sievers@uni-duesseldorf.de author Önenköprülü Önenköprülü Belgin B

Heinrich-Heine-Universität Düsseldorf, Medizinische Fakultät, Studiendekanat, Arbeitsgruppe Medizindidaktik, Düsseldorf, Deutschland

beligin.oenenkoepruelue@uni-duesseldorf.de author Heussen Heussen Nicole N

RWTH Aachen, Med. Fakultät, Institut für Medizinische Statistik, Aachen, Deutschland

nheussen@ukaachen.de author German Medical Science GMS Publishing House

Düsseldorf

610 medical education faculty development lecturing skills evaluation quality assurance Qualität der Lehre Personalentwicklung Dozententraining didaktische Fertigkeiten Qualitätssicherung Evaluation Humanmedizin 20091215 20100218 20100316 20100517 germ 1860-3572 27 3 GMS Zeitschrift für Medizinische Ausbildung GMS Z Med Ausbild 47 Zielsetzung: Parallel zu einer steigenden Unzufriedenheit mit der Weiterbildungsqualität und schlechten Arbeitsbedingungen in den Kliniken streben die Fakultäten, Bundesländer und der Wissenschaftsrat an, die medizinische Lehre bereits im Studium gezielt zu professionalisieren. In dieser Studie wird die Effizienz eines zweitägigen Trainings untersucht, bezogen auf unterschiedliche Kernkompetenzen zur methodischen Optimierung von Vorlesungen. Methodik: In Kleingruppen von max. acht Teilnehmern wurden Dozenten anhand unterschiedlicher, aus der individuellen Lehrumgebung stammenden, praktischen Vortragsübungen videounterstützt trainiert. Mittels einer Selbsteinschätzung zu zehn didaktischen Kernkompetenzen, die zu Beginn des Trainings, direkt danach und sechs bis neun Monate später erfolgte, wurde der subjektive Kompetenzzugewinn ermittelt. Zusätzlich erfolgte eine Fremdbeurteilung durch didaktisch geschulte Trainer während des Trainings und im anschließenden Hospitationsprogramm. Ergebnisse: Insgesamt wurden die Evaluationen von 86 Teilnehmern ausgewertet. Hierbei zeigte sich ein Zugewinn der selbst eingeschätzten Kompetenzen um +1,5 Punkte in einem fünfstufigen Notensystem (p<0,0001) direkt am Ende des Workshops, der auch nach 6 bis 9 Monaten noch gleichwertig eingeschätzt wurde. Die fremdbewertete Leistung der Teilnehmer steigerte sich ebenfalls signifikant um durchschnittlich 1,1 Punkte auf einer Notenskala von 1 bis 5 (p<0,0001). Schlussfolgerung: Das intensive, videounterstützte, zweitägige Trainingsprogramm bietet einen effektiven Ansatz zur dauerhaften Verbesserung didaktischer Kompetenzen in Vorlesungen. Auf diese Weise erscheint es möglich, medizinische Dozenten effizient auf die Lehrsituation in Hörsälen vorzubereiten und zu qualifizieren. Goals: Driven by state and federal agencies and by an increasing shortage of medical doctors in Germany, German medical schools and educational professionals are striving to improve the didactic skills of their lecturers, in addition to making other curricular modifications. This study evaluates the effectiveness and feasibility of a two-day training workshop which aims at improving didactic core competencies in the design and delivery of lectures. Methods: In small training groups of eight participants, medical lecturers presented several prepared microteaching exercises from their individual medical field. After receiving video-supported feedback and suggestions for improvement from co-trainees and facilitators, they had the opportunity to try modified or new teaching techniques. In addition, they also visited each other's lectures in groups of three participants, in order to apply the trained techniques in “real” teaching interactions with medical students/residents. The trainees rated ten didactic core competencies with self-evaluations at the beginning and at the end of the workshop, as well as six to nine months afterwards. MME professionals also joined and rated all teaching activities based on standardized rating and feedback criteria. Results: On average, the self-evaluations of 86 participants showed an improvement of 1.5 grades (P < 0.0001) on a 5-grade scale with no major change after 6 to 9 months, which correlated to the external ratings by MME professionals (+1.1, P < 0.0001) on a 5-grade scale. The results highlighted especially the value of video-supported microteaching exercises and the opportunity to practice interactive teaching techniques in multiple teaching encounters under supervision. Conclusion: The combination of a two-day training workshop with multiple teaching interventions after the workshop provides an effective and efficient approach to improving the lecturing skills of medical teachers at a reasonable cost and using minimal resources. Einleitung Angesichts der steigenden Unzufriedenheit mit der Weiterbildungsqualität und den klinischen Arbeitsbedingungen , droht die Abwanderung des Nachwuchses in nicht-medizinische Berufe oder ins Ausland . Aus diesem Grund besteht u. a. ein verstärktes Interesse, bereits in der Ausbildung curriculare Prozesse an medizinischen Fakultäten zu verbessern , , und den Nachwuchs der eigenen Fakultät möglichst effektiv auszubilden. Zur Verbesserung der Lehre wurden unterschiedliche Programme („faculty development programs“) mit variierendem Zeit- und Kosteneinsatz implementiert , , , . Ein wesentlicher Fokus dabei ist neben der Anpassung des Curriculums die Ausbildung der Dozenten in didaktischen Kernkompetenzen . Das hier vorgestellte Trainingskonzept richtet sich an Dozenten in Vorlesungsveranstaltungen, da dieses Lehrformat für viele Standorte schon aus Kostengründen nicht verzichtbar ist. Zielsetzung/Fragestellung Die Konzeption, Implementierung, schrittweise Evaluation und Optimierung dieses Trainingsprogramms nach Kern et. al hat zum Ziel, die Dozenten in kurzer Zeit kostengünstig mit Lehr- und Interaktionsmethoden auszustatten, die die Lernmotivation der Studierenden möglichst effektiv erhöhen. Dabei sollen u.a. auch Optionen für einen interaktiven und Studenten-zentrierten Unterrichtsstil anstelle einer Frontalvermittlung des Lernstoffs vor passiven Zuhörern vermittelt werden. Mit Hilfe einer Evaluation durch Selbst- und Fremdbeobachtung soll geklärt werden, welche Kernkompetenzen durch das vorgestellte Trainingskonzept besonders effektiv trainiert werden können und in welchem Ausmaß eine Verbesserung in diesen Kompetenzen auch nachhaltig möglich ist. Methodik Konzeption und Implementierung Seit dem Jahr 2004 bietet die Arbeitsgruppe Medizindidaktik des Studiendekanats der medizinischen Fakultät der Heinrich-Heine-Universität ein Trainingsprogramm für Plenardidaktik an mehreren Standorten an. Es wird an zwei aufeinander folgenden Tagen für maximal acht Teilnehmer pro Trainingsgruppe durchgeführt und umfasst 16 Präsenzstunden sowie zusätzliche Vor- und Nachbereitungsaufgaben. Die Arbeitsaufträge, begleitende Literatur und Videosequenzen werden den Teilnehmern ein bis drei Monate vor Kursbeginn zugesandt und über die Website der Arbeitsgruppe Medizindidaktik (http://www.medidak.de/didaktik/) zur Verfügung gestellt. Die Teilnehmer schicken im Vorfeld drei Kurzvorträge an den Trainer, die sie auch als Lehrproben während des Trainings halten. So kann der Trainer schon vorab Modifikationsvorschläge (z.B. bei Foliendesign, Animation und Medieneinsatz) erarbeiten, im Training direkt gegenüber stellen und mit den Teilnehmern diskutieren. Die Lehrproben während des Trainings werden gefilmt und nach dem Feedback der Gruppe von jedem Teilnehmer in einem separaten Raum mit einem Cotrainer noch einmal analysiert. Am Ende des Workshops erhält jeder Teilnehmer seine eigenen Aufnahmen, um die eigene Entwicklung später noch einmal im zeitlichen Verlauf reflektieren zu können. Neben den Lehrproben sind weitere Schwerpunkte des Workshops eine effektive Zielkommunikation zur Förderung der Lernmotivation anhand praxisnaher Anwendungsbeispiele aus interdisziplinärer Sicht sowie verschiedene Interaktionstechniken für Großgruppen. Zusätzlich ergänzt der Trainer für jeden Teilnehmer Übungen zu Rhetorik- und Präsentationstechniken, abgestimmt auf das individuelle Verbesserungspotenzial, z.B. Übungen zur Förderung des Blickkontakts oder zur Verbesserung der Artikulation für nuschelnde oder zu leise redende Vortragende. Die Nachbereitung des Workshops besteht in einem Hospitationsprogramm: Am Ende des Workshops bilden zwei bis vier Teilnehmer interdisziplinär besetzte Hospitationsgruppen, die sich im Laufe des nachfolgenden Semesters gegenseitig im Unterricht besuchen und mit Hilfe standardisierter Rückmeldebögen bewerten. Jeder Teilnehmer ist dabei einmal in Dozentenrolle und zwei- bis dreimal in analysierender Beobachterrolle. Das anschließende Feedback wird vom Trainer oder einem Kollegen mit einer Zusatzqualifikation als „Master of Medical Education (MME)“ moderiert und ergänzt. Erst nach Absolvieren der Hospitationsphase wird ein Zertifikat über die erfolgreiche Teilnahme vergeben. Evaluation Die Evaluation der Lehrkompetenz folgte dem zeitlichen Muster des Stanford Faculty Development Centers und fragte 10 Lehrkompetenzen in 5 Stufen von „sehr niedrig“ bis „sehr hoch“ ab, die beim Unterrichten in Hörsälen vor großen Gruppen von Studierenden benötigt werden (siehe Tabelle 1 ). Jeder Teilnehmer reflektierte mittels Evaluationsbogen (siehe Abbildung 1 ) an drei verschiedenen Zeitpunkten (vor dem Training, direkt nach dem Training und ca. 6 Monate nach Abschluss des Trainings) die eigenen Lehrkompetenzen. Dadurch wurden die subjektiv eingeschätzten, vorherigen Lehrkompetenzen dreimal abgefragt, so dass eine Änderung der diesbezüglichen Selbstwahrnehmung untersucht werden konnte (siehe Abbildung 2 ). Zusätzlich erfolgte eine mehrfache Fremdbewertung dieser Kompetenzen durch geschulte Beobachter (MME) während der Workshops und in den späteren Lehrhospitationen mit Hilfe eines standardisierten Fragebogens mit 28 Items und einem fünfstufigen Notensystem (siehe Abbildung 3 ). Auswertungen Ausschlusskriterien: In die Auswertung retrospektiver Selbsteinschätzungen der Teilnehmer sind nur die Fragebögen eingegangen, die zu mehr als 80% ausgefüllt waren. In die Trendanalyse der Fremdbewertung sind nur Bewertungsbögen von Didaktiktrainern mit einem Mastertitel in Medical Education oder mit mindestens zwei Jahren medizindidaktischer Trainererfahrung eingegangen. Die Items der Fragebögen wurden zunächst mit realen Zahlen kodiert („sehr niedrig“ = 1, „sehr hoch“ = 5). Bei Teilnehmern, die von mehreren Prüfern beurteilt wurden, wurde der Mittelwert aus allen Urteilen je Teilnehmer gebildet: Die Einschätzung wurden für die verschiedenen Bereiche Item 1-6, Item 7-13, Item 14-16, Item 17-21, Item 22-28 über die jeweiligen Items je Teilnehmer gemittelt. Aus den erhobenen Daten wurden der Mittelwert (M) und die Standardabweichung (SD) errechnet. Anschließend wurden die so ermittelten individuellen Werte, die aus der Beurteilung während des Workshops bzw. im Rahmen der Hospitation resultierten, mit Hilfe des Wilcoxon-Tests verglichen. Die analytische Beurteilung der Kompetenzänderungen zwischen verschiedenen Zeitpunkten der Selbst- und Fremdbewertung erfolgte durch verbundene Wilcoxon-Tests. Alle Tests wurden zweiseitig zu einem Signifikanzniveau von 5% durchgeführt. Die Ergebnisse der univariaten Tests wurden jeweils in einem p-Wert zusammengefasst, wobei angesichts des explorativen Charakters der Fragestellungen der Studie keine Adjustierung des Signifikanzniveaus erfolgte. Ein p-Wert < 0.05 wird somit als Indikator einer lokalen statistischen Signifikanz betrachtet. Die statistischen Auswertungen wurden mit der Version 9.3 des Statistik-Pakets SAS (SAS Institute Inc., Cary, NC, USA) vorgenommen. Bewertung des Trainings Nach Abschluss des Trainings wurde den Teilnehmern ein von der Landesakademie für Medizinische Ausbildung NRW ausgestellter Evaluationsbogen ausgehändigt, mit dem das Training anhand von 12 Items analog eines Schulnotensystems von 1 = sehr gut bis 6 = schlecht bewertet werden konnte. Die statistische Analyse bildete Mittelwerte und Standardabweichungen. Weiterhin bestand die optionale Möglichkeit, mit Freitextkommentaren zu beschreiben, welche Faktoren oder Elemente das Training positiv oder negativ beeinflusst haben (siehe Abbildung 4 ). Ergebnisse Zum Zeitpunkt der Auswertung hatten 92 Teilnehmer den Workshop Plenardidaktik absolviert, von deren Fragebögen sechs (6,5%) unter die Ausschlusskriterien gefallen sind. Somit gingen 86 Rückmeldebögen in die Bewertung ein. Davon hatten 60 Teilnehmer bereits ihre Lehrhospitationen abgeschlossen, von denen wiederum 5 Teilnehmer (8,3%) unter die Ausschlusskriterien fielen. Selbsteinschätzung Die Selbsteinschätzungen der Teilnehmer zu drei Zeitpunkten sind in Abbildung 5 graphisch dargestellt. Zusätzlich wurde das vorherige Kompetenzniveau dreimal abgefragt: Vor Beginn des Workshops sowie retrospektiv am Ende des Workshops und nach 6-9 Monaten: In der Regel schätzten die 86 Teilnehmer ihre Anfangskompetenzen retrospektiv im Mittel um 0.2 Punkte (SD + 0.4, p < 0.0001) niedriger ein als zum Trainingsbeginn. In der Detailanalyse erreichten dabei vor allem die Items zur effektiven Zielkommunikation (mittlere Differenz -0.6, p < 0.0001), die Kenntnisse unterschiedlicher Fragetechniken, die Interaktionsmethoden, das Bewusstsein der eigenen Außenwirkung und die Fähigkeit zur Fremdbeobachtung (je -0.3 mittlere Differenz, p<0.0001) statistische Signifikanz. Diese Items wurden mit einer besonders niedrigen Ausgangskompetenz bewertet. Im Vergleich der einzelnen Lehrkompetenzen am Ende des Trainings zum Ausgangsniveau wurde in allen Items ein signifikanter Kompetenzzugewinn erreicht: Nach Mittelwertbildung über alle abgefragten Kompetenzen je Proband ergibt sich ein Kompetenzzuwachs von 1,5 Stufen, der auch nach 6 Monaten (SD + 0.5, p < 0.001) bestehen bleibt (siehe Abbildung 5 ). Der Zuwachs ist besonders für die Items „effektive Zielkommunikation“ (+2,2 Punkte), „Interaktionsmethoden“ (+2,0 Punkte) und „Kenntnisse unterschiedlicher Fragetechniken“ (+1,9 Punkte) ausgeprägt. Evaluation des Trainings nach den Kriterien der Landesakademie NRW 89 Teilnehmer aus 13 Trainings bewerteten diese auf einer sechsstufigen Schulnotenskala insgesamt im Mittel (M) mit der Note 1,5 und einer Standardabweichung (SD) von 0,6. Die übrigen Bewertungen ergeben sich aus der Abbildung 6 . Anhand der Freitextkommentare konnten diejenigen Faktoren identifiziert werden, die besonders die Akzeptanz des Trainings fördern (siehe Tabelle 2 ). Fremdbewertung Bis zum Zeitpunkt der Auswertung waren 41 von 60 Teilnehmern im Rahmen des anschließenden Hospitationsprogramms durch MME-Absolventen auch fremdbewertet worden. Diese Fremdbewertung ergab im Mittel einen Kompetenzzuwachs von 1,1 Notenstufen einer 5-stufigen Notenskala gegenüber den Probevorträgen zu Beginn der Trainings (siehe Abbildung 7 ). Bezüglich der Kompetenzen „effektive Zielkommunikation“ und „Interaktionsmethoden“ zeigte sich ein überdurchschnittlicher Anstieg. Der von den Teilnehmern subjektiv empfundene Kompetenzzuwachs in ihrer Selbsteinschätzung lag mit durchschnittlich 1,5 Notenstufen im Mittel um 0,4 Notenstufen höher als der fremdbewertete Kompetenzzuwachs. Diskussion Die Ergebnisse der hier vorgestellten Studie zeigen einen Zuwachs aller hier geprüften Lehrkompetenzen in der Eigen- und in der Fremdbeobachtung, der über einen Zeitraum von mindestens 6 Monaten anhält. Vor Beginn des Trainings bestehen laut Selbsteinschätzung die geringsten Kompetenzen in den Kenntnissen der Interaktionsmöglichkeiten, den unterschiedlichen Fragetechniken und in der Zielkommunikation. Genau diese werden als Kernkompetenzen zur Herstellung effektiver Lernsituationen in Vorlesungen in einer Analyse von Giles et al. genannt . Auf Grund unseres Trainings erreichten die Teilnehmer gerade in diesen Kompetenzen einen Zuwachs von 1,8-1,9 von 5 Notenstufen in der Selbsteinschätzung und einen Zuwachs von bis zu 1,43 (bzw. 1,25) Notenstufen in der Fremdbewertung, also eine überdurchschnittliche Steigerung. Im Vergleich der Selbsteinschätzungen vor und nach dem Training, werden genau diese Lehrkompetenzen vor Beginn des Trainings besser eingeschätzt als retrospektiv nach dem Training. Dieses Phänomen wäre z.B. durch zunehmende Methodenkompetenz oder auch durch mangelnde Vorbilder in der eigenen Umgebung erklärbar. Interessant ist die Beobachtung, dass dieses Phänomen in unserer Studie für Dozenten mit langjähriger Lehrerfahrung genauso gilt wie für jüngere Kollegen am Anfang ihrer Dozentenlaufbahn, während z.B. Skeff et al. fanden, dass die Selbsteinschätzung der eigenen Leistungsfähigkeit insbesondere dann unzuverlässig war, wenn das entsprechende Kompetenzniveau insgesamt noch niedrig war , . Auch alle übrigen Kompetenzen konnten signifikant verbessert werden. Damit bietet unser Trainingskonzept eine effektive Möglichkeit, didaktische Grundkompetenzen mit einem geringen Zeitaufwand langfristig zu erwerben. Dies ist gerade bei der zunehmenden Arbeitsverdichtung in den Kliniken wichtig, da es immer schwieriger wird, ärztliche Kollegen für didaktische Schulungsmaßnahmen von ihren Verpflichtungen in der Patientenversorgung oder der Forschung freizustellen , , , , . Um für die Planung weiterer Schwerpunkttrainings die wichtigsten Qualitätsindikatoren herauszuarbeiten, analysierten wir auch Mehrfachnennungen in den Freitextkommentaren der Teilnehmer (siehe Tabelle 2 ): Hier wurde vor allem die Durchführung in Kleingruppen genannt, was sich mit Beobachtungen und Untersuchungen anderer Gruppen deckt , . Ein weiterer Faktor für die hohe Akzeptanz der aktuellen Schulungen liegt laut den Teilnehmern im Eingehen auf individuelle Vorerfahrungen, Stärken und Verbesserungspotenziale, sowie im kontinuierlichen videounterstützten Feedback, da es die Reflexion der eigenen Außenwirkung in besonderem Maße fördert. Essentiell für die Nachhaltigkeit der Trainings erscheint die Kombination der zweitägigen Workshops mit dem anschließenden Hospitationsprogramm: Hierdurch werden die Trainingsinhalte sowohl in der Rolle des aktiven Dozenten als auch in der Rolle des kritisch beobachtenden Feedbackgebers noch einmal praktisch angewendet. Dies deckt sich mit der Erkenntnis, dass Mehrfachinterventionen mit ansteigenden Zeitintervallen zu größeren und länger anhaltenden Lerneffekten führen als Einzelinterventionen , . Aussagekraft und Relevanz der subjektiven Selbsteinschätzungen Die subjektiven Selbsteinschätzungen und Rückmeldungen der geschulten Teilnehmer sind zwar kein objektiver Bewertungsmaßstab, jedoch trotzdem essentiell für die gezielte Weiterentwicklung des Schulungsprogramms. Natürlich waren sich die Teilnehmer ihrer externen Bewertung bewusst, so dass ein Hawthorne-Effekt den Kompetenzzuwachs in ihrer Selbsteinschätzung „günstig“ beeinflusst haben kann. Um diese Ergebnisse besser einschätzen zu können, ergänzten wir daher dieses erste Niveau in der Evaluationshierarchie nach Kirkpatrick , die in unterschiedlichen Studien verwendet wurde , , , um eine Fremdbewertung durch medizindidaktisch erfahrene Trainer. Im Vergleich beider Bewertungen zeigt sich die positive Tendenz in ähnlicher Größenordnung. Dies ist zwar kein Beweis für seine Validität, kann jedoch zumindest als Hinweis auf eine realitätsnahe Einschätzung gewertet werden. Dies gewinnt noch an Bedeutung, da die Übereinstimmung zwischen geschulten Fremdbeobachtern und studentischen Urteilen recht hoch ist und damit eine Relevanz für die studentische Lehrevaluation erwartet werden kann. Einschränkungen und Verbesserungspotenzial dieser Studie Die größte Einschränkung war im Studienzeitraum sicherlich das Fehlen einer dozentenspezifischen Lehrevaluation durch Studierende. Wünschenswert wären Dozenten-spezifische Evaluationsdaten, um die Ergebnisse individuell analysieren zu können. Aus personellen Gründen war es nicht immer möglich, die geschulten Teilnehmer von mehreren Trainern mit pädagogischer Grundausbildung (z.B. Master of Medical Education, MME, die in Bezug auf die Trainingsstatus der Teilnehmer optimaler Weise verblindet sein sollten) in ihren Lehrhospitationen bewerten zu lassen – dann wäre statistisch auch die Bestimmung einer „interobserver-reliability“ möglich gewesen. Eine Übertragbarkeit des Trainingskonzeptes auf andere Medizinische Fakultäten kann schon dadurch bejaht werden, dass in den letzten Jahren bereits vier Medizinische Fakultäten didaktische Trainingsangebote für ihre Dozenten nach dem Düsseldorfer Modell an ihren Institutionen eingeführt haben. Schlussfolgerungen Die Ergebnisse deuten darauf hin, dass die Zugewinne in den verschiedenen Lehrkompetenzen durch das vorgestellte Trainingskonzept langfristig in den Lehralltag übertragen wurden. Besonders effizient konnten die für Vorlesungsveranstaltungen wichtigen Kompetenzen einer effektiven Zielkommunikation und geeignete Interaktionstechniken vermittelt werden. Richter-Kuhlmann E Berufsperspektiven: "Ja" zum Arztberuf, "Nein" zu deutschen Verhältnissen 2007 Dtsch Arztbl 1661-1662 Richter-Kuhlmann E. Berufsperspektiven: "Ja" zum Arztberuf, "Nein" zu deutschen Verhältnissen. Dtsch Arztbl. 2007;104(26):1661-1662 Stuwe H Berufsperspektiven: Viele Ärzte sind schon in jungen Jahren ausgebrannt 2007 Dtsch Arztbl 2388 Stuwe H. Berufsperspektiven: Viele Ärzte sind schon in jungen Jahren ausgebrannt. Dtsch Arztbl. 2007;104(40):2388 Janus K Amelung VE Gaitanides M Schwartz FWl German physicians "on strike"--shedding light on the roots of physician dissatisfaction 2007 Health Policy 357-365 Janus K, Amelung VE, Gaitanides M, Schwartz FWl. German physicians "on strike"--shedding light on the roots of physician dissatisfaction. Health Policy. 2007;82(3):357-365. DOI:10.1016/j.healthpol.2006.11.003 http://dx.doi.org/10.1016/j.healthpol.2006.11.003 Clade H Reform des Medizinstudiums: Die Medizinischen Fakultäten sind jetzt gefordert 2002 Dtsch Arztbl 1454-1455 Clade H. Reform des Medizinstudiums: Die Medizinischen Fakultäten sind jetzt gefordert. Dtsch Arztbl. 2002;99(25):1454-1455 Wissenschaftsrat 2004 Empfehlungen zu forschungs- und lehrförderlichen Strukturen in der Hochschulmedizin 85-87 Wissenschaftsrat. Empfehlungen zu forschungs- und lehrförderlichen Strukturen in der Hochschulmedizin. Berlin: Wissenschaftsrat; 2004. Dokument 5913/04. S.85-87. Bundesministerium für Bildung und Forschung 2009 Richtlinien zur Förderung der empirischen Bildungsforschung im Bereich "Steuerung im Bildungssystem" Bundesministerium für Bildung und Forschung. Richtlinien zur Förderung der empirischen Bildungsforschung im Bereich "Steuerung im Bildungssystem". Berlin: Bundesministerium für Bildung und Forschung; 2009. Zugänglich unter: http://www.bmbf.de/de/13417.php http://www.bmbf.de/de/13417.php Steinert Y Mann K Centeno A Dolmans D Spencer J Gelula M Prideaux D A systematic review of faculty development initiatives designed to improve teaching effectiveness in medical education: BEME Guide No. 8 2006 Med Teach 497-526 Steinert Y, Mann K, Centeno A, Dolmans D, Spencer J, Gelula M, Prideaux D. A systematic review of faculty development initiatives designed to improve teaching effectiveness in medical education: BEME Guide No. 8. Med Teach. 2006;28(6):497-526. DOI:10.1080/01421590600902976 http://dx.doi.org/10.1080/01421590600902976 Ladden MD Peters AS Kotch JB Fletcher RH Preparing faculty to teach managing care competencies: lessons learned from a national faculty development program 2004 Fam Med S115-120 Ladden MD, Peters AS, Kotch JB, Fletcher RH. Preparing faculty to teach managing care competencies: lessons learned from a national faculty development program. Fam Med. 2004;36 Suppl:S115-120 Green ML A train-the-trainer model for integrating evidence-based medicine training into pediatric medical education 2005 J Am Podiatr Med Assoc 497-504 Green ML. A train-the-trainer model for integrating evidence-based medicine training into pediatric medical education. J Am Podiatr Med Assoc. 2005;95(5):497-504 Dieter PE A Faculty Development Program can result in an improvement of the quality and output in medical education, basic sciences and clinical research and patient care 2009:31(7) Med Teach 655-659 Dieter PE. A Faculty Development Program can result in an improvement of the quality and output in medical education, basic sciences and clinical research and patient care. Med Teach. 2009:31(7):655-659. DOI:10.1080/01421590802520972 http://dx.doi.org/10.1080/01421590802520972 van den Bussche H Anders S Ehrhardt M Göttsche T Hüneke B Kohlschütter A Kothe R Kuhnigk O Neuber K Rijntjes M Quellmann C Harendza S Is a reformation of the medical training worthwhile? The quality of the Hamburg curriculum under the old and the new board certification law 2005 Z Arztl Fortbild Qualitatssich 419-423 van den Bussche H, Anders S, Ehrhardt M, Göttsche T, Hüneke B, Kohlschütter A, Kothe R, Kuhnigk O, Neuber K, Rijntjes M, Quellmann C, Harendza S. Is a reformation of the medical training worthwhile? The quality of the Hamburg curriculum under the old and the new board certification law. Z Arztl Fortbild Qualitatssich. 2005;99(7):419-423 Boendermaker PM Schuling J Meyboom-de Jong BM Zwiestra RP Metz JC What are the characteristics of the competent general practitioner trainer? 2000 Fam Pract 547-553 Boendermaker PM, Schuling J, Meyboom-de Jong BM, Zwiestra RP, Metz JC. What are the characteristics of the competent general practitioner trainer? Fam Pract. 2000;17(6):547-553. DOI:10.1093/fampra/17.6.547 http://dx.doi.org/10.1093/fampra/17.6.547 Kern DE Thomas PA Howard DM Bass EB 1998 Curriculum Development for Medical Education - A Six-Step-Approach Kern DE, Thomas PA, Howard DM, Bass EB. Curriculum Development for Medical Education - A Six-Step-Approach. Baltimore/London: The John Hopkins University Press; 1998 Skeff KM Stratos GA Bergen MR Evaluation of a medical development program: Comparison of traditional pre-post and retrospective pre-post self-assessment ratings 1992 Eval Health Prof 350-366 Skeff KM, Stratos GA, Bergen MR. Evaluation of a medical development program: Comparison of traditional pre-post and retrospective pre-post self-assessment ratings. Eval Health Prof. 1992;15:350-366. DOI:10.1177/016327879201500307 http://dx.doi.org/10.1177/016327879201500307 Giles RM Johnson MR Knight KE Zammett S Weinman J Recall of lecture information: a question of what, when and where 1982 Med Educ 264-268 Giles RM, Johnson MR, Knight KE, Zammett S, Weinman J. Recall of lecture information: a question of what, when and where. Med Educ. 1982;16(5):264-268. DOI:10.1111/j.1365-2923.1982.tb01262.x http://dx.doi.org/10.1111/j.1365-2923.1982.tb01262.x Kruger J Dunning D Unskilled and unaware of it: how difficulties in recognizing one's own incompetence lead to inflated self-assessments 1999 J Pers Soc Psychol 1121-1134 Kruger J, Dunning D. Unskilled and unaware of it: how difficulties in recognizing one's own incompetence lead to inflated self-assessments. J Pers Soc Psychol. 1999;77(6):1121-1134. DOI:10.1037/0022-3514.77.6.1121 http://dx.doi.org/10.1037/0022-3514.77.6.1121 Stratmann D Sefrin P Wirtz S Bartsch A Rosolski T; Bundesvereinigung der Arbeitsgemeinschaften der Notärzte Deutschlands (BAND) e. V. Stellungnahme zu aktuellen Problemen des Notarztdienstes (Ärztemangel, Arbeitszeitgesetz, DRG) 2004 Notarzt 90-93 Stratmann D, Sefrin P, Wirtz S, Bartsch A, Rosolski T; Bundesvereinigung der Arbeitsgemeinschaften der Notärzte Deutschlands (BAND) e.V. Stellungnahme zu aktuellen Problemen des Notarztdienstes (Ärztemangel, Arbeitszeitgesetz, DRG). Notarzt. 2004;20:90-93 Bundesministerium für Gesundheit und Soziale Sicherung 2004 Gutachten zum "Ausstieg aus der kurativen ärztlichen Berufstätigkeit in Deutschland" 1-127 Bundesministerium für Gesundheit und Soziale Sicherung. Gutachten zum "Ausstieg aus der kurativen ärztlichen Berufstätigkeit in Deutschland". Berlin: Bundesministerium für Gesundheit und Soziale Sicherheit; 2004. S.1-127 Fotuhi P Siegrist M Vogel S Orlow P Neises G Giger M Deutsche Ärzte unzufriedener als Schweizer Kollegen 2007 Dtsch Arztbl 243-246 Fotuhi P, Siegrist M, Vogel S, Orlow P, Neises G, Giger M. Deutsche Ärzte unzufriedener als Schweizer Kollegen. Dtsch Arztbl. 2007;104(5):243-246. Zugänglich unter: http://www.aerzteblatt.de/v4/archiv/artikel.asp?id=54292%20 http://www.aerzteblatt.de/v4/archiv/artikel.asp?id=54292%20 Wheelan SA Mckeage RL Development patterns in small and large groups 1993 Small Group Res 60-83 Wheelan SA, Mckeage RL. Development patterns in small and large groups. Small Group Res. 1993;24(1):60-83. Zugänglich unter: http://sgr.sagepub.com/cgi/content/abstract/24/1/60 http://sgr.sagepub.com/cgi/content/abstract/24/1/60 Dolmans DH van den Hurk MM Wolfhagen IH van der Vleuten CP Limiting tutorial-group size 1996 Acad Med 4 Dolmans DH, van den Hurk MM, Wolfhagen IH, van der Vleuten CP. Limiting tutorial-group size. Acad Med. 1996;71(1):4. DOI:10.1097/00001888-199601000-00006 http://dx.doi.org/10.1097/00001888-199601000-00006 Ausubel DP Youssef M The effect of spaced repetition on meaningful retention 1965 J Gen Psychol 147-150 Ausubel DP, Youssef M. The effect of spaced repetition on meaningful retention. J Gen Psychol. 1965;73:147-150 Hofer M 2007 Der Triple-M: Mehr Merken mit Methode. Tipps und Tricks für zeitsparende Lernstrategien Hofer M. Der Triple-M: Mehr Merken mit Methode.Tipps und Tricks für zeitsparende Lernstrategien: BD 3. Düsseldorf: Didamed; 2007 DI K Evaluation of training 1967 Training and development handbook DI K. Evaluation of training. In: Craig R, Bittel I (Hrsg). Training and development handbook. New York: Mc Graw-Hill; 1967 Abrahams MB Friedman CP Preclinical course-evaluation methods at U.S. and Canadian medical schools 1996 Acad Med 371-374 Abrahams MB, Friedman CP. Preclinical course-evaluation methods at U.S. and Canadian medical schools. Acad Med. 1996;71(4):371-374. DOI:10.1097/00001888-199604000-00015 http://dx.doi.org/10.1097/00001888-199604000-00015 Berger U Schleußner C Strauß B Umfassende Lehrevaluation in der Medizin - eine Aufgabe für die psychosozialen Fächer? Psychother Psychosom Med Psychol. 2003 Berger U, Schleußner C, Strauß B. Umfassende Lehrevaluation in der Medizin - eine Aufgabe für die psychosozialen Fächer? Psychother Psychosom Med Psychol. 2003;53:1-78. DOI:10.1055/s-2003-36966 http://dx.doi.org/10.1055/s-2003-36966 van den Bussche H Weidtmann K Kohler N Frost M Kaduszkiewicz H Evaluation der ärztlichen Ausbildung: Methodische Probleme der Durchführung und der Interpretation von Ergebnissen 2006 GMS Z Med Ausbild Doc37 van den Bussche H, Weidtmann K, Kohler N, Frost M, Kaduszkiewicz H. Evaluation der ärztlichen Ausbildung: Methodische Probleme der Durchführung und der Interpretation von Ergebnissen. GMS Z Med Ausbild. 2006;23(2):Doc37. Zugänglich unter: http://www.egms.de/static/en/journals/zma/2006-23/zma000256.shtml http://www.egms.de/static/en/journals/zma/2006-23/zma000256.shtml Hofer M Abanador N Mödder U Effective didactic skills training for teachers in continuing medical education 2005 Rofo 1290-1296 Hofer M, Abanador N, Mödder U. Effective didactic skills training for teachers in continuing medical education. Rofo. 2005;177(9):1290-1296 11

Tabelle 1: Items der Evaluationsbögen zur Selbstreflexion

22

Tabelle 2: Akzeptanzfaktoren für Didaktiktrainings: Die Reihenfolge entspricht jedoch nicht einer Rangfolge nach Wichtigkeit – vielmehr resultiert ihre Wirksamkeit aus dem Zusammenwirken der Einzelfaktoren.

2

1 1 Abbildung 1: Evaluationsbogen zur retrospektiven „vorher-nachher“- Selbsteinschätzung der eigenen Lehrkompetenzen zur Plenardidaktik

2 2 Abbildung 2: Zeitlicher Ablauf des Didaktikschulungsprogramms

3 3 Abbildung 3: Evaluationsbogen für Fremdbewerter (MME) in Lehrproben, hier in Lehrhospitationen zur Schulung „Plenardidaktik“

4 4 Abbildung 4: Evaluationsbogen der Landesakademie für Medizinische Ausbildung NRW auf einer sechsstufigen Notenskala

5 5 Abbildung 5: Retrospektive Beurteilung des signifikanten (p-Werte) Zugewinns an Lehrkompetenzen 1-10 (vgl. Abbildung 1) am Ende der Workshops (c) gegenüber den vorherigen Ausgangskompetenzen (b). Auch sechs bis neun Monate nach dem Workshop (e) bleibt er nahezu konstant im Vergleich zu vorher: Die p*-Werte zeigen in acht von zehn Kompetenzfeldern keinen signifikanten Unterschied nach 6-9 Monaten im Vergleich zum Ende der Workshops.

6 6 Abbildung 6: Teilnehmerbewertung des zweitägigen Workshops „Plenardidaktik“ auf einer sechsstufigen Schulnotenskala des Evaluationsbogens der Landesakademie für Medizinische Ausbildung NRW (vgl. Abbildung 4)

7 7 Abbildung 7: Vergleichende Bewertung der Lehrkompetenzen durch geschulte MME- Beobachter während der Workshops (a) und in den nachfolgenden Lehrhospitationen (b) in fünf verschiedenen Bereichen: Signifikanter Zugewinn an Lehrkompetenzen 1-28 (Einzelkriterien vgl. Abbildung 3) am Ende der Hospitationen (b) gegenüber den vorherigen Ausgangskompetenzen (a).

7 0 0