Das interaktive Chirurgische Logbuch im Praktischen Jahr: Eine mehrjährige Retrospektive

zma000614 10.3205/zma000614 urn:nbn:de:0183-zma0006140 Forschungsarbeit/research article Das interaktive Chirurgische Logbuch im Praktischen Jahr: Eine mehrjährige Retrospektive Interactive Logbook in the Surgical Training of Final Year Medical Students: A Four-Year Retrospective Kadmon Kadmon Martina M Dr. med.

Universitätsklinikum Heidelberg, Chirurgische Universitätsklinik, Im Neuenheimer Feld 110, 69120 Heidelberg, Deutschland, Tel.: 06221/56-39767, Fax: 06221/56-5331Universitätsklinikum Heidelberg, Chirurgische Universitätsklinik, Heidelberg, Deutschland

martina.kadmon@med.uni-heidelberg.de author Roth Roth Susann S

z. zt. Manila, Philippinen

author Porsche Porsche Monika M

Universitätsklinikum Heidelberg, Chirurgische Universitätsklinik, Heidelberg, Deutschland

author Schürer Schürer Sabrina S

Universitätsklinikum Heidelberg, Chirurgische Universitätsklinik, Heidelberg, Deutschland

author Engel Engel Christine E

SLK-Klinikum Heilbronn, Abteilung für Anästhesie und Intensivmedizin, Heilbronn, Deutschland

author Kadmon Kadmon Guni G

Universitätsklinikum Heidelberg, Chirurgische Universitätsklinik, Heidelberg, Deutschland

author German Medical Science GMS Publishing House

Düsseldorf

610 Medical education final-year undergraduate training surgery logbook interactive logbook portfolio compliance evaluation self-assessment competence Medizinische Ausbildung Praktisches Jahr Chirurgie Logbuch interaktives Logbuch Portfolio Compliance Evaluation Selbsteinschätzung Kompetenz Humanmedizin 20080703 20090201 20090209 20090515 germ 1860-3572 26 2 GMS Zeitschrift für Medizinische Ausbildung GMS Z Med Ausbild 22 Zielsetzung: Im Rahmen einer Reform des chirurgischen Tertials des Praktischen Jahres (PJ) an der Chirurgischen Universitätsklinik Heidelberg wurde 2004 ein interaktives chirurgisches Logbuch eingeführt. Die Arbeit beschreibt seine Entwicklung und untersucht seine Anwendung durch die Studierenden und das Lehrpersonal in einem Zeitraum von vier Jahren. Methode: 2003 wurde das chirurgische Tertial durch schriftliche Fragebögen und Interviews mit Ärzten, Pflegepersonal und PJ-Studierenden evaluiert. Die Ziele des Tertials wurden neu konkretisiert und ein Lernzielkatalog konzipiert. Auf dessen Basis wurde ein Logbuch entwickelt, in dem die Studierenden ihre klinischen Tätigkeiten während des Tertials fortlaufend dokumentieren und analysieren sollen. Das Logbuch definiert die Lernziele des Tertials, umfasst 31 zu dokumentierende Verfahren einschließlich der Behandlung eigener Patienten sowie Formulare zur Selbsteinschätzung, Beurteilung durch Dozenten, Evaluation des Tertials und Teilnahme an Lehrveranstaltungen. Das Logbuch wird an alle PJ-Studierenden ausgeteilt, seine Anwendung und Rückgabe sind jedoch freiwillig. Die Einträge aller zurückgegebenen Logbücher wurden tabellarisch erfasst und analysiert. Ergebnisse: Die anfänglich niedrige Rücklaufquote stieg innerhalb von zwei Jahren auf 80-100%. Die Eintragungen waren jedoch fortwährend dürftig: 19% der abgegebenen Logbücher enthielten gar keine Einträge, ca. 40% keine Einträge zu den aufgeführten klinischen Fertigkeiten. Die Mehrheit der restlichen Logbücher enthielt Einträge nur für einen kleinen Teil der zu erlernenden Prozeduren, die überdies vorwiegend sehr unvollständig waren. Kontrolle und Rückmeldung durch die Dozenten waren sehr begrenzt. Im Gegensatz dazu wurden von den Studierenden zahlreiche Selbsteinschätzungs- und Evaluationsbögen vollständig und differenziert ausgefüllt zurückgegeben. Informelle Gespräche mit Studierenden ergaben, dass mangelnde Kooperation seitens der begleitenden Ärzte und lange Aufenthalte im OP wesentliche Hindernisse für die regelmäßige Anwendung des Logbuches darstellen. Mangelnde Motivation der Studierenden muss ebenfalls bedacht werden. Schlussfolgerung: Das durch Mitwirkung der Studierenden entwickelte interaktive Logbuch ist eine potentiell höchst wirksame Maßnahme, die den Ausbau einer gezielten Lernstrategie und Selbstgestaltung eines vollständigen Trainingsprogramms fördern kann. Sein effektiver Gebrauch ist jedoch von einer aktiven Unterstützung der begleitenden Ärzte und der Motivation der Studierenden abhängig. Um diese Hindernisse zu umgehen, beabsichtigen wir in Zukunft, das Logbuch als Grundlage für ein verpflichtendes kompetenzbasiertes Tutorensystem zu modifizieren. Aims: An interactive surgical logbook was introduced in 2004 as part of a reform of the 16-week surgical training period of the final medical year at Heidelberg University. The present work describes its aims and development and examines its utilization by students and supervising doctors over a period of four years. Methods: The surgical training period of the final medical year was evaluated in 2003 by means of questionnaires and interviews with doctors, nurses, orderlies, and final-year medical students. Subsequently, a catalog of training objectives was compiled, which formed the basis for a logbook that states the training objectives, outlines the curriculum of the surgical training period, and includes separate pages for documenting 31 different medical procedures including the treatment of three patients under one’s care. It further includes tables for recording one’s attendance at training activities and detachable forms for self-assessment, evaluation of the surgical training period, and assessment of the student by the training doctors. The logbook was given to all students in their final-year surgical training period, but its use was optional. The entries in all returned logbooks were retrieved, recorded, and analyzed. Results: The return rate of the logbooks was initially low but rose within two years to 80%–100%. The extent of the entries was, however, continuously poor. Nineteen percent of the logbooks were devoid of entries, approximately 40% had no entries of clinical procedures, and the majority of the rest contained very incomplete records. The extent of feedback and comments by the supervising doctors was very limited, and their assessment forms often were filled in by the students themselves. By contrast, students returned numerous self-assessment and evaluation questionnaires that were complete and contained differentiated entries. Informal interviews with students revealed that cooperation was lacking on the part of the training doctors, and the long hours spent in the operating room placed considerable restrictions on the regular use of the logbook. However, low motivation of students who are not interested in surgery must also be considered. Conclusion: The interactive surgical logbook developed in cooperation with final-year medical students is potentially an effective measure for promoting the acquisition of a targeted learning strategy and individually designing one’s own training program. Its efficiency, however, depends on active support by the training doctors and motivation on the part of the students. To overcome these limitations, we intend to modify the logbook and integrate it into a mandatory competence-based tutoring program in the future. Einleitung „Was muss ich lernen? Was kann nur gelernt werden? Aus Lernen und Hervorbringen entsteht die wissenschaftliche Bildung.“, schrieb Novalis um das Jahr 1800 und fügte hinzu: „Wir wissen nur insoweit wir machen“ . Diese Grundsätze gewannen in den letzten Jahren in der wissenschaftlichen und insbesondere medizinischen Ausbildung zunehmend an Aktualität. Die Notwendigkeit, aktive, kreative und kritische Eigentätigkeit der Studierenden in den Lernprozess zu integrieren, wurde anerkannt und Wege dazu wurden gesucht. Seit Ende der 90er Jahre wurde, ausgehend vom englischsprachigen Raum, der aktiven Dokumentation der eigenen Beteiligung an klinischen Verfahren sowie der schriftlichen Reflexion über die erlebten Lehrmaßnahmen zunehmend Bedeutung für den medizinischen Lernprozess beigemessen. Zu diesem Zweck wurden an verschiedenen medizinischen Fakultäten zwei verwandte jedoch unterschiedliche Modelle eingeführt: Das klinische Logbuch (für Übersicht siehe , ), , und das Portfolio (für Übersicht siehe ), , . Das klinische Logbuch hat zum Ziel, die klinischen Abläufe, an denen die Studierenden teil nehmen, durch eigene Eintragungen zu dokumentieren. Diese Dokumentation sollte die Vollständigkeit der zu erarbeitenden medizinischen Fertigkeiten sicherstellen und das Erlebte festigen, wird aber auch als Leistungsnachweis , (http://www.southernhealth.org.au/pd/hmomgt/img_program.pdf) und Beurteilungskriterium verwendet. Sie kann sich an einem Lernzielkatalog orientieren (http://www.klinikum.uni-heidelberg.de/fileadmin/medizinische_klinik/Abteilung_2/Sektion_Allgemeinmedizin/Lehre/Einfuehrung_PJ_Modul_8.pdf), , tätigkeits-, symptom- oder krankheitsbezogen sein und in unterschiedlichen Gestaltungen erfolgen . Das Portfolio wird ebenfalls zur Dokumentation der geübten klinischen Tätigkeiten eingesetzt, enthält jedoch zusätzlich Beschreibungen der eigenen Tätigkeit, ausführliche Verarbeitung ausgewählter Themen und häufig auch eine Form der Selbsteinschätzung. Sein Schwerpunkt liegt im Reflexionsprozess, der sich an die obligaten oder fakultativen Lehrmaßnahmen und klinischen Tätigkeiten anschließt , , . Das Portfolio kann als Pflichtmaßnahme eine Grundlage für die Prüfung und Beurteilung der Studierenden bilden . Die Vorteile des Logbuches und Portfolios können in einer dritten Form der Dokumentation, dem interaktiven Logbuches , kombiniert werden. Im interaktiven Logbuch werden die klinischen Tätigkeiten dokumentiert und in kurzer Form beschrieben und analysiert. Die Dokumentation wird unmittelbar von einer Betreuungsperson schriftlich begutachtet, um der bzw. dem Studierenden eine zeitnahe Reflexion und Leistungsverbesserung zu ermöglichen. Im Jahre 2003 wurde nach detaillierter Bedarfsanalyse das Lehrprogramm des Praktischen Jahres (PJ) für den chirurgischen Fachbereich der Medizinischen Fakultät der Universität Heidelberg neu gestaltet. Die drei wichtigsten Ziele dieser PJ-Reform waren, die Studierenden auf die praktische Stationsarbeit inhaltlich sowie praktisch vorzubereiten, die Wissensanwendung und das Erlernen von Fertigkeiten durch gezielte Lehrveranstaltungen zu vertiefen, die Beziehung zwischen den betreuenden Ärzten und Studierenden zu intensivieren und den Lernerfolg durch schriftliche Dokumentation der erlernten klinischen Verfahren sowie durch reflektierende Maßnahmen zu sichern , . Als wichtiger Bestandteil dieses Prozesses wurde das Heidelberger Chirurgische Logbuch für Studierende im Praktischen Jahr entwickelt. In seiner Gestaltung folgten wir insbesondere fünf Richtungspunkten: Das Logbuch soll die Lernziele definieren, als Hilfsmittel dienen, Lehre einzufordern und bei der vollständigen Durchführung der einzuübenden chirurgischen Grundfertigkeiten ein Wegweiser sein, die Arbeit der Studierenden wie auch ihre Beteiligung an Lehrveranstaltungen dokumentieren und Raum für die Beschreibung der klinisch relevanten Beobachtungen geben, das analytische Denken der Studierenden anregen und anleiten, schließlich: Die unmittelbare Rückmeldung der begleitenden Ärztinnen und Ärzte unterstützen und den Dozenten einen Überblick über die von den Studierenden erbrachten Leistungen und gemachten Fortschritte vermitteln. Das Konzept des Heidelberger Chirurgischen Logbuches kombiniert somit die Ziele eines klinischen Logbuches mit denen eines Portfolios. In diesem Bericht beschreiben wir das Heidelberger Chirurgische Logbuch und fassen die Erfahrungen aus vierjähriger Anwendung zusammen. Methoden Orientierung an Lernzielen: Das Logbuch wurde als Lehrstrategie auf der Basis eines Lernzielkatalogs für das chirurgische PJ-Tertial in der Poliklinik, Allgemein- und Visceralchirurgie (siehe Anhang, Seite 9-13 ) konzipiert. Der Lernzielkatalog für das PJ-Tertial baut auf dem Lernzielkatalog des Heidelberger klinischen Curriculums HeiCuMed auf (Manuskript in Vorbereitung), ergänzt durch Anregungen aus dem Lernzielkatalog des Hartmannbundes . Die Lernziele sind in drei Kategorien unterteilt: Wissen, Fertigkeiten und Haltungen. In der Domäne Wissen sind 98 nach Organen gegliederte Lernziele und 12 zu beherrschende Leitsymptome zusammengefasst. Der Abschnitt Fertigkeiten umfasst 43 Lernziele in den Bereichen Untersuchungstechniken, chirurgische Wundversorgung, Nahttechniken, Verbandslehre, Verhalten im OP und postoperative Versorgung, allgemeine Basisfertigkeiten, Kommunikation und Interaktion, Team und Organisation. Der Abschnitt Haltungen enthält acht Lernziele. Für jedes Lernziel wurde die zu erreichende Kompetenzebene definiert (siehe Anhang, Seite 9-13 ). Das Heidelberger Chirurgische Logbuch: (A) Äußere Form: Das Logbuch misst 14x21 cm und passt in die Kitteltasche des Studierenden. Es ist spiralgebunden und hat 95 Einzel- sowie 12 gefaltete DIN A4 Seiten und dickere Umschlagseiten. (B) Inhaltliche Gliederung: Das Logbuch hat zwei Hauptteile und einen dreiteiligen Anhang: (1.) Einführung, (2.) 31 zu dokumentierende klinische Abläufe, (3.) Anhang: (a.) Tabellen zur Dokumentation der Beteiligung an Seminaren, Lehrvisiten und Lehrveranstaltungen sowie Tabellen zur Dokumentation und Genehmigung von Fehlzeiten und Bestätigung von Nachtdiensten, (b.) Fragebögen zur Selbsteinschätzung, Evaluation des Tertials und Beurteilung des/der Studierenden, (c.) leere Seiten für Notizen. (C) Die Einführung enthält die persönlichen Daten des/der Studierenden, ein informatives Vorwort, Inhaltsverzeichnis, den Lernzielkatalog, Informationen zum Curriculum des chirurgischen Tertials, eine Dienstzeitentabelle, den wöchentlichen Stundenplan und den Plan der zweitägigen Einführungsveranstaltung. (D) Die im Logbuch zu dokumentierenden klinischen Tätigkeiten und Fertigkeiten sind in Tabelle 1 aufgelistet und umfassen Körperliche Untersuchungen, Patientenmanagement eigener Patienten, kleine Eingriffe und Verbandslehre, Beobachtung invasiver diagnostischer Methoden, unfallchirurgische Maßnahmen in der Poliklinik und Beurteilung von diagnostischen Befunden. Die meisten klinischen Tätigkeiten und Fertigkeiten können zwei- bzw. dreifach dokumentiert werden, um die Entwicklung des Studierenden im Verlauf des chirurgischen Tertials abzubilden. Für das Patientenmanagement können die Studierenden den klinischen Verlauf einer Behandlung von bis zu drei Patienten auf farbig gesonderten Seiten dokumentieren. (E) Die für jedes klinische Verfahren zu ergänzenden Felder sind: Name des betreuenden Arztes, Datum, Art der Eigentätigkeit (zugeschaut, unter Aufsicht durchgeführt oder selbständig durchgeführt), Diagnose, relevante Beschreibung (eine konkrete Anweisung dazu ist jeweils angegeben, siehe Beispiele in Abbildung 1 und Tabelle 1 , siehe Anhang Seite 18-80 ), Beurteilung durch die betreuenden Ärztinnen und Ärzte nach vorgegebenen Kriterien, z.B.: Untersuchungstechnik, Vollständigkeit, Erkennen pathologischer Befunde, klinische Einordnung, Selbständigkeit; Unterschrift des Dozenten. Besonders viel Raum ist vorhanden für die Beschreibung, Analyse und Begründung der präoperativen, operativen und postoperativen Behandlung der eigenen Patienten. (F) Der Anhang enthält neben den erwähnten Tabellen zur Dokumentation der Teilnahme an Lehrvisiten und Pflichtveranstaltungen auch die folgenden abtrennbaren Fragebögen: Selbsteinschätzung am Anfang und am Ende des Tertials, Evaluation einer jeden der vier Rotationen, Beurteilung des/der Studierenden durch die betreuenden Ärzte in jeder der vier Rotationen. Die Beurteilung der Studierenden durch die betreuenden Ärzte erfolgt nach 13 Kriterien auf vier Notenstufen von „ausgezeichnet“ (1) bis „mangelhaft“ (4) sowie „nicht beobachtet bzw. nicht beurteilbar“. Die Beurteilungskriterien sind: Anwendung von theoretischen Kenntnissen, Anamneseerhebung, körperliche Untersuchung, Fallvorstellung, Beurteilung und Problemlösung im klinischen Alltag, Stationsarbeit und Initiative, technisch-manuelle Fertigkeiten, Aktenführung, Zuverlässigkeit, Reaktion auf Feedback, Kommunikation mit Patienten, Teamfähigkeit, Gesamtbeurteilung. Die Beurteilungsbögen werden namentlich gekennzeichnet, die Selbsteinschätzungs- und Evaluationsbögen des Tertials werden dagegen von den Studierenden mit einem persönlichen Code markiert und anonym abgegeben. Datenverarbeitung: Alle Eintragungen der eingesammelten Logbücher und eingegangenen Fragebögen wurden zunächst im Klartext in einer Microsoft Excel® Tabelle digitalisiert und anschließend numerisch kodiert und gruppiert. Mittelwerte, Standardabweichungen, Mediane, Maximal- und Minimalwerte sowie t-Test wurden in Excel berechnet. Für die grafische Darstellung wurde Canvas® (ACD Systems) verwendet. Pilot Studies: Im Monat August 2003 wurde das chirurgische Tertial des Praktischen Jahres an der Universität Heidelberg durch 15 anwesende PJ-Studierende schriftlich (Volltext) evaluiert. Orientiert an der Volltextevaluation wurden in den Monaten Oktober-Dezember 2003 halbstrukturierte Interviews mit 19 Ärzten, 12 Pflegepersonen und 26 Studierenden der Chirurgischen Universitätsklinik Heidelberg durchgeführt, die über die Ist-Situation und den Reformbedarf befragt wurden. Relevant für die gegenwärtige Arbeit war die Bitte an die Ärzte, die folgende Aussage hinsichtlich Nutzung, Relevanz und Realisierbarkeit zu beurteilen: „Studenten sollten ein Logbuch führen, in dem ausgeführte Tätigkeiten/Lerninhalte per Unterschrift durch den Stationsarzt bestätigt werden.“ Diese Analyse führte zur Konzeptentwicklung einer Reform des Chirurgischen Tertials einschließlich der Einführung eines chirurgischen Logbuches mit Portfolioeigenschaften . Entwicklung des Logbuches: Bei der Entwicklung des Logbuches wurde die begrenzte Zeit berücksichtigt, die PJ-Studierende für die Dokumentation zur Verfügung haben , und der Umfang der einzutragenden Angaben pro klinisches Verfahren begrenzt. Die erste Version des Logbuches wurde Anfang 2004 verteilt und nach einem halben Jahr durch halbstrukturierte Interviews mit vier Studierendenkohorten (n=17, 3, 5, 5) evaluiert. Alle Gruppen wurden nach Verbesserungsvorschlägen gefragt. Die entsprechenden Ausführungen wurden ohne Kodierung qualitativ ausgewertet. Der Umfang des Logbuches wurde danach weiter reduziert und eine zweite Version von Dezember 2004 bis Dezember 2005 verwendet. Struktur und Umfang der Seiten pro klinisches Verfahren wurden Ende 2005 erneut angepasst und die endgültige Version Anfang 2006 herausgegeben. Die Einführung des Logbuchs: Das Logbuch wird am Anfang des chirurgischen Tertials an alle PJ-Studierenden verteilt und am Ende des Tertials von den Studierenden zur Dokumentation wieder abgegeben. Sie können es nach kurzer Zeit wieder abholen. Die abtrennbaren Fragebögen werden gesondert abgegeben. Der Aufbau, Zweck, Inhalt und die korrekte Anwendung des Logbuches werden den Studierenden im Rahmen der Einführungsveranstaltung am Anfang des Tertials detailliert erklärt. Die Anwendung und Abgabe des Logbuches sind jedoch freiwillig. In einer gesonderten Veranstaltung wurde das Logbuch dem ärztlichen Personal der Chirurgischen Universitätsklinik Heidelberg präsentiert und erklärt. Ergebnisse Entwicklung und Akzeptanz: Im Jahre 2004 wurde das Curriculum des chirurgischen Tertials des medizinischen Praktischen Jahres (PJ) an der Universität Heidelberg neu gestaltet. Im Zuge der Planung dieser PJ-Reform beurteilten 19 Ärzte der Chirurgischen Universitätsklinik Heidelberg die eventuelle Einführung eines chirurgischen Logbuches für das chirurgische Tertial. Elf Ärzte äußerten sich aus pädagogischen und organisatorischen Überlegungen gegen die Einführung eines Logbuches, sechs Ärzte befürworteten diese Maßnahme, ein Arzt sah die Verteilung eines Lernzielkatalogs als ausreichend an und ein Arzt enthielt sich einer Aussage. Parallel dazu wurden 41 Studierende im Praktischen Jahr im Rahmen einer Evaluation des damaligen chirurgischen Tertials nach Verbesserungsvorschlägen befragt. Ein Studierender sprach sich explizit für die Einführung eines Aufgabenkatalogs aus. Die Mehrheit der Studierenden befürwortete Einzellehrmaßnahmen, die im Rahmen eines Logbuches mit Portfolioeigenschaften realisiert werden könnten . Ihre Aussagen drückten insbesondere die Erwartungen aus, in einem breiten Spektrum an stationären Fertigkeiten geschult zu werden, und die Ausbildung durch engmaschige ärztliche Betreuung zu unterstützen. Bei weiteren Befragungen von insgesamt 30 Studierenden im Praktischen Jahr nach Einführung der PJ-Reform und der ersten Fassung des Logbuches im Jahr 2004 zeigte sich eine Diskrepanz zwischen der Idee und der Realisierbarkeit des Logbuches. 19 Befragte befürworteten das Vorhaben gegenüber sieben, die das Logbuch als eine überflüssige Lehrmaßnahme bewerteten. Die praktische Umsetzung der Logbuch-Idee wurde jedoch von 23 Studierenden negativ beurteilt gegenüber drei, die sie als gut oder problemlos ansahen. Vier Befragte machten keine Aussage oder hatten keine Meinung. Die Kritik der Studierenden betraf hauptsächlich die Handhabbarkeit: Das Logbuch sei zu groß und dick, passe nicht in eine Kitteltasche und hätte noch zu wenig Akzeptanz bei den Dozenten gefunden. Nach Überarbeitung des Logbuches und Einführung seiner zweiten, kleineren Version im Sommer 2004 und einer weiteren Anpassung Ende 2005 stiegen die Rücklaufquoten an und erreichten ab der 13. Kohorte, die ihr Tertial im Monat Dezember 2005 begann, häufig 100% (siehe Abbildung 2 ). Insgesamt wurden von den 31 Kohorten, die das Praktische Jahr bis Ende Januar 2008 absolviert hatten, 285 von 382 ausgeteilten Logbüchern zurückgegeben, entsprechend einer Rücklaufquote von 74,6% (siehe Abbildung 3, Teil A ). Compliance: Der Anstieg der Rücklaufquote wurde nur zum Teil von einer Steigerung der Anwendung des Logbuches begleitet. 55 Logbücher (14,4% der ausgeteilten bzw. 19,3% der abgegebenen Logbücher) wurden leer zurückgegeben. Der Anteil der zurückgegebenen Logbücher, die mindestens einen Eintrag über durchgeführte bzw. beobachtete klinische Verfahren, besuchte Lehrveranstaltungen oder die Beteiligung an Oberarzt-Lehrvisiten enthielten, war unterschiedlich und generell niedriger als erwartet (siehe Abbildung 3, Teil A ). Es zeichnete sich jedoch ab 2006 eine Verbesserungstendenz ab (siehe Abbildung 3, Teil B ). Ob eine verbesserte Intervention der betreuenden Ärztinnen und Ärzte zu diesem Anstieg der Rücklaufquote beitrug, konnte nicht festgestellt werden. Dokumentation der klinischen Verfahren: Die Dokumentation von acht der 31 zu erlernenden klinischen Verfahren kann im Logbuch dreifach, von elf Verfahren zwei- und von zwölf Verfahren einfach erfolgen. Der Umfang der erfolgten Dokumentation war variabel und überwiegend dürftig. Weniger als die Hälfte der Logbücher enthielt zumindest einen minimalen Eintrag über durchgeführte oder beobachtete klinische Verfahren. Nur 6,3% der Logbücher enthielten Einträge über mehr als die Hälfte der aufgeführten klinischen Verfahren und lediglich ein Fünftel der ausgeteilten Logbücher umfasste bei Abgabe mehr als einen Eintrag für mindestens vier verschiedene klinische Verfahren (siehe Tabelle 2 ). Die zu dokumentierenden klinischen Verfahren wurden in sechs Gruppen unterteilt (siehe Abbildung 4 ). Der Dokumentationsumfang der zu jeder dieser Gruppen gehörenden klinischen Verfahren wies große Unterschiede auf, war relativ hoch für körperliche Untersuchungen, blieb dagegen bei der Beobachtung invasiver Verfahren fast gänzlich aus (siehe Abbildung 4 ). Für die Dokumentation der Eigentätigkeit bei jedem Arbeitsverfahren wurde eine bestimmte Anzahl konkreter Angaben vorgesehen (siehe Beispiel in Abbildung 1 ). In der oben beschriebenen Analyse der Logbücher wurde als dokumentiert jedes klinische Verfahren berücksichtigt, für das mindestens eine Angabe niedergeschrieben bzw. ein Feld ergänzt wurde. Insgesamt wurden jedoch nur wenige Seiten der Logbücher vollständig ausgefüllt. Die meisten Eintragungen waren unvollständig und enthielten weniger als ein Fünftel der vorgesehenen Angaben (siehe Abbildung 5 ). Der Portfolioaspekt: Die Möglichkeit, jede Tätigkeit und Fertigkeit schriftlich kurz zu beschreiben, zu begründen und zu analysieren, sowie die schriftliche Rückmeldung des betreuenden Arztes stellen eine wichtige Facette des Logbuches dar. Abbildung 6 zeigt, dass die Mehrheit der Studierenden von diesem Angebot keinen Gebrauch machte. Insbesondere wurde dies in den Tätigkeitsbereichen Beobachtung invasiver Verfahren, Verbandslehre und unfallchirurgische Untersuchungen deutlich (siehe Abbildung 6, Teil A ). Unterschriften (siehe Abbildung 6, Teil B ) und Beurteilungen (nicht gezeigt) der betreuenden Ärzte begleiten die meisten aber nicht alle Einträge der Studierenden. Negative Beurteilungen nicht ausgefüllter Seiten fehlten. Dokumentation der Anwesenheit bei Oberarzt-Lehrvisiten: Im Rahmen des chirurgischen Tertials an der Universität Heidelberg sind 16 Oberarzt-Lehrvisiten vorgesehen. Die tatsächlich mögliche Beteiligung der Studierenden an diesen Lehrvisiten hängt jedoch von ihren anderweitigen Verpflichtungen und der Dauer ihres Aufenthaltes in Heidelberg bei Ortswechsel ab. Die Beteiligung an mindestens einer Oberarzt-Lehrvisite und der Name des zuständigen Arztes wurden lediglich in 23% der ausgeteilten bzw. 31% der zurückgegebenen Logbücher angegeben. Durchschnittlich wurden in diesen Logbüchern 1,9±3,49 (Mittelwert±SD) Lehrvisiten pro Logbuch dokumentiert, wobei nur zehn Logbücher die Beteiligung an mehr als der Hälfte der 16 Oberarzt-Lehrvisiten aufwiesen. Oberarzt-Lehrvisiten mit begleitender Lehre wurden in 87,5% dieser Logbücher dokumentiert (siehe Abbildung 7 ) und machten 68% der 437 registrierten Oberarzt-Lehrvisiten aus. Etwa ein Drittel dieser Logbücher notierten Oberarztvisiten, bei denen keine Lehre stattgefunden hatte (siehe Abbildung 7 ). Dokumentation der Anwesenheit bei Lehrveranstaltungen: Die regelmäßige Teilnahme an anwesenheitspflichtigen Lehrvisiten, Seminaren, praktischen Übungen und ähnlichen Lehrveranstaltungen wird im Rahmen des chirurgischen Tertials erwartet und soll im Anhang des Logbuches dokumentiert werden. Die Beteiligung an mindestens einer Lehrveranstaltung wurde in 192 Logbüchern dokumentiert (50% der ausgeteilten bzw. 67% der zurückgegebenen Logbücher). Die Beteiligung an mehr als acht Lehrveranstaltungen war in 65 Logbüchern dokumentiert. Insgesamt wurden 1692 Lehrveranstaltungen bzw. durchschnittlich 2,3±5,19 (Mittelwert±SD) Lehrveranstaltungen pro Logbuch dokumentiert. Beurteilung durch betreuenden Ärzte: Abtrennbare Beurteilungsbögen für die Beurteilung des Studierenden durch die betreuenden Ärzte sind im Logbuch vorhanden. 774 ausgefüllte Beurteilungsbögen über 301 Studierende bzw. 79% der Studierenden, die ein Logbuch erhalten hatten, wurden uns zurückgegeben; 512 dieser Beurteilungsbögen waren mit Unterschrift des Dozenten versehen. Negative Beurteilungen waren sehr rar (siehe Abbildung 8 ). Insgesamt enthielten die Beurteilungsbögen 7092 Mal die Note 1, 2477 Mal die Note 2, 65 Mal die Note 3, drei Mal die Note 4 und 202 Mal die Bezeichnung „nicht beobachtet bzw. nicht beurteilbar“. Im Mittel wurde jedes Kompetenzkriterium 757±10,4 Mal beurteilt. Dies entspricht einer Beurteilung von jedem der 301 Studierenden durchschnittlich am Ende von 2,5 Rotationen. Selbsteinschätzung: Ebenfalls im Logbuch vorhanden sind abtrennbare Fragebögen zur Selbsteinschätzung am Anfang und am Ende des chirurgischen Tertials. 256 ausgefüllte Selbsteinschätzungsbögen vom Anfang (Rücklaufquote 67%) und 220 vom Ende (Rücklaufquote 58%) des Tertials wurden abgegeben. Die persönlichen Codes von 219 der 220 abgegebenen Selbsteinschätzungsbögen vom Ende des Tertials deckten sich mit den persönlichen Codes der abgegebenen Selbsteinschätzungsbögen vom Anfang des Tertials. Die abgegebenen Fragebögen waren ausnahmslos nahezu vollständig ausgefüllt. Der erste Teil des Fragebogens vom Anfang des Tertials enthielt allgemeine, studium- und berufsrelevante Fragen. Diese Fragen wurden je nach individueller Relevanz von bis über 95% der Beantwortenden bzw. 64% der Studierenden beantwortet (siehe Tabelle 3 ). Im zweiten Teil des Fragebogens vom Anfang sowie im Fragebogen vom Ende des Tertials wurden die Studierenden aufgefordert, sich anhand von gezielten Fragen in sechs Bereichen auf einer Skala von 1 („stimme voll zu“) bis 6 („stimme gar nicht zu“) selbst einzuschätzen: Basistechniken, apparative Diagnostik, Verhalten im OP und postoperativ, Kommunikation und Interaktion, Problemlösung, Team- und Entscheidungskompetenz. Die Selbsteinschätzungsfragen wurden durchschnittlich von 94% der Beantwortenden angegangen, die mehrheitlich von der gesamten oder fast der gesamten Notenskala Gebrauch machten (siehe Tabelle 3 ). Diese Tatsache verleiht Grund zu der Annahme, dass die Antworten wohlüberlegt und differenziert waren. Die durchschnittliche Einschätzungsnote war 2,95 am Anfang und 2,25 am Ende des Tertials; die mittlere Standardabweichung der Noten pro Frage betrug 1,09 am Anfang und 0,94 am Ende des Tertials. Evaluation des chirurgischen Tertials: Die Evaluationsbögen umfassten 38 Fragen zu den Rahmen- und Arbeitsbedingungen, zur Betreuungs- und Ausbildungsqualität und zu Lehrveranstaltungen. Insgesamt gaben 247 Studierende ausgefüllte Evaluationsbögen ab (Rücklaufquote = 65%). Jede Frage wurde durchschnittlich auf 79,8±0,01% (Mittelwert±SEM) der Fragebögen beantwortet. 85-90% der Beantwortenden verwendeten 4-5 Noten der sechsstufigen Notenskala (siehe Tabelle 4 ). Die Note 6 („trifft gar nicht zu“ bzw. „ungenügend“), kam in keinem Evaluationsbogen vor. Diese Daten suggerieren, ähnlich wie bei den Selbsteinschätzungsbögen, dass die Studierenden sich mit den Evaluationsbögen ernsthaft auseinandersetzten und sie mit Bedacht ausfüllten. Eine detaillierte Auswertung der Beurteilungs-, Selbsteinschätzungs- und Evaluationsbögen wird gesondert veröffentlicht. Diskussion In der vorliegenden Arbeit beschreiben wir das 2004 entwickelte Heidelberger Logbuch für das chirurgische Tertial des medizinischen Praktischen Jahres (PJ). Das Logbuch gibt den Studierenden Gelegenheit, ihre Beteiligung an den vorgegebenen Lehrveranstaltungen zu dokumentieren, durchgeführte klinische Tätigkeiten und Fertigkeiten präzise zu beschreiben, die erlebten medizinischen Abläufe reflektierend kritisch zu analysieren. Durch Anwendung des Logbuches soll der Lernprozess intensiviert und die erreichten Fertigkeiten der Sensomotorik als auch der integrativen Wissensverarbeitung abgebildet werden. Das Logbuch zeigt den Studierenden relevante Ausbildungsziele auf und ermöglicht die Einforderung einer standardisierten und Dozenten geleiteten Lehre. Den Ärztinnen und Ärzten dient es als Anleitung für eine lernzielorientierte Ausbildung und Beleuchtung von Schwachstellen. Die einzelnen zu erlernenden und zu dokumentierenden Fertigkeiten sind variabel konzipiert und umfassen die wichtigsten Bereiche des chirurgischen Alltags: Praktische Fertigkeiten, Untersuchungstechniken, analytische Erfassung klinischer und operativer Maßnahmen, Patientenmanagement, Beurteilung apparativer Diagnostik und Verbandslehre. Um den Studierenden eine Rückmeldung über ihre Kompetenz zu geben, sollen ihre dokumentierten Tätigkeiten von der jeweiligen Dozentin oder dem jeweiligen Dozenten überprüft, in ihrer Ausführung bewertet und gegebenenfalls verbessert werden. Abtrennbare Fragebögen zur Selbsteinschätzung und Evaluation des Tertials durch die Studierenden bzw. für die Beurteilung der Studierenden durch die Dozenten dienen als Spiegel sowohl für die Studierenden als auch für das chirurgische Fachbereich und unterstützen die Weiterentwicklung des chirurgischen Tertials. Klinische Logbücher, in denen die Studierenden ihre praktischen Tätigkeiten protokollieren, finden an vielen medizinischen Hochschulen als ein Instrument Anwendung, das den Umfang und Stand der Ausbildung abbildet, die Mitarbeit der Studierenden widerspiegelt und Mängel aufspüren lässt, die der Anpassung der praktischen Lehre bedürfen , , . Als Aufgabenkataloge dienen sie dem Studierenden als Wegweiser, fördern aber Lernprozesse nicht bzw. nicht direkt. Portfolios lassen dagegen die Studierenden ihre Tätigkeiten und Erlebnisse sowie die vermittelten Lerninhalte meist ausführlich beschreiben und analysieren. Sie werden in den Lernprozess integriert, der durch die vielseitige Verarbeitung der anstehenden Themen vertieft und intensiviert wird , , . Sowohl Portfolios als auch Logbücher können als Pflichtmaßnahmen zur Beurteilung der Leistung der Studierenden herangezogen werden. Nähere Untersuchungen ergaben, dass die Anwendung der Logbücher und Portfolios ohne engmaschige Betreuung durch die Lehrkräfte häufig unvollständig und fehlerhaft ist , . Insbesondere leiden Portfolios darunter, dass der große Aufwand, sowohl sie zu schreiben als auch sie zu kontrollieren und zu beurteilen kontraproduktiv zu werden neigt . Ferner seien aufwändige begleitende instruktive und Einschätzungsmaßnahmen unabdingbar für den Erfolg eines Portfolioeinsatzes . Einen mittleren Weg, der die Vorteile beider Systeme unter geringerem Arbeitsaufwand zu kombinieren verspricht, stellt das interaktive Logbuch dar . Das in der vorliegenden Arbeit beschriebene Heidelberger Chirurgische Logbuch gehört in mehrfacher Hinsicht der Kategorie der interaktiven Logbücher an. Es lässt die Studierenden ihre erlernten Fertigkeiten dokumentieren, die medizinischen Verfahren begründen, ihre Kenntnisse und Fortschritte belegen. Durch die unmittelbare ärztliche Rückmeldung über ihre Leistungen können sie Fehler zeitnah korrigieren und ihre Kenntnisse verbessern. Ein Rückblick auf ihren Kenntnisstand und ihre Fortschritte wird durch die Selbsteinschätzungsbögen ermöglicht; eine Rückkoppelung mit der Ausbildungsleitung der chirurgischen Abteilung wird durch die Evaluationsbögen gefördert. Als Instrument für die individuelle Evaluation der Leistung der Studierenden durch die Ausbildungsleitung ist der im Logbuch mehrfach enthaltene Bogen zur Beurteilung des Studierenden durch die betreuenden Ärzte ebenfalls wichtig. Das interaktive Heidelberger Chirurgische Logbuch wurde entwickelt, um konkreten Wünschen und Verbesserungsvorschlägen der Studierenden entgegenzukommen. Das Logbuch definiert die Ausbildungsziele sowie die erforderlichen Aufgaben und dient sowohl den Studierenden als auch den begleitenden Ärzten als Richtschnur. Als Anleitung für die Studierenden sind für jede klinisch auszuführende Tätigkeit die zu bedenkenden Überlegungen angedeutet. Die Angaben über den Wochenzeitplan, die praktischen Arbeitszeiten und die Termine der Lehrveranstaltungen, Besprechungen und Lehrvisiten verschaffen Klarheit und definieren die Zeiten, zu denen die Studierenden vom OP-Dienst und der Stationsarbeit befreit werden sollen. Der Einsatz des Logbuches wurde den Ärztinnen und Ärzten in einer Informationsveranstaltung der Abteilung erklärt und ihre Aufgaben als Betreuer wurden erörtert. Den Studierenden wurde das Logbuch im Rahmen der zweitägigen Einführungsveranstaltung am Anfang des Tertials vorgestellt und sein Einsatz wurde detailliert erklärt. Weitere Gelegenheiten, sie zu der Logbucharbeit zu motivieren, gab es in den wöchentlichen Gesprächen mit der Verantwortlichen für das PJ-Programm. Dennoch und obwohl das Logbuch den mehrfach geäußerten Vorschlägen der Studierenden zu den Ausbildungszielen des chirurgischen Tertials entspricht und zweimal nach Verbesserungsvorschlägen der Studierenden weiterentwickelt wurde, war die an der Compliance gemessene Akzeptanz des Logbuches fortwährend dürftig. Während die planmäßige Rückgabe der Logbücher in den ersten zwei Jahren kontinuierlich stieg und danach bei 80-100% blieb, waren die Eintragungen trotz der im dritten Jahr beobachteten Verbesserungstendenz sehr unvollständig. 40% der PJ-Studierenden sahen von der Anwendung des Logbuches gänzlich oder fast gänzlich ab. Um diesen Widerspruch zu klären, führten wir informelle Gespräche mit Studierenden durch, mit der Absicht, die positive Verzerrung der Angaben, die die Ergebnisse herkömmlicher Evaluationsmethoden beeinflussen, zu umgehen. Die große Mehrheit der angesprochenen Studierenden berichtete, dass sie den Eindruck gewonnen hätte, sie sei verpflichtet, die Logbücher zurückzugeben, nicht jedoch, sie anzuwenden. Die Anwendung scheitere daran, dass „die Ärzte nicht mitmachen und so gut wie nie Zeit dafür haben“, die Logbücher zu kontrollieren, kommentieren, korrigieren und zu unterschreiben. In Verbindung mit dieser Behauptung sei die Tatsache anzusehen, dass vermutlich eine Großzahl der Beurteilungen der Studierenden von den Studierenden selbst ausgefüllt und von den betreuenden Ärzten unkontrolliert unterschrieben wurden (oder nicht). Als ein weiteres Hindernis, die Logbücher intensiver anzuwenden, nannten die Studierenden die langen Stunden, die sie zum Teil ungeplant im OP und mit Aufgaben verbringen müssen, die die Ausbildung nicht fördern, wodurch ihre Möglichkeiten, auf Station mitzuarbeiten und diagnostische bzw. Behandlungsmethoden zu üben, sehr begrenzt seien. Die relativ schlechte Evaluation der betreuenden Ärzte und der Qualität der Instruktionen (Manuskript eingereicht zur Publikation) deutet ferner auf suboptimale Kommunikation zwischen den Studierenden und den Ärzten hin und legt nahe, dass die Studierendenbetreuung die Anforderungen einer interaktiven Lehrstrategie noch nicht zufrieden stellend erfüllt. In einer weiteren Untersuchung konnte festgestellt werden, dass die Betreuungsqualität mit einer niedrigen Priorität der Ausbildung im Vergleich mit den übrigen Aufgaben der Klinik sowie mit dem Arbeitsklima auf der jeweiligen Station zusammenhängt (Manuskript eingereicht zur Publikation). Ob gesonderte Anreize notwendig wären, um das ärztliche Personal zu intensiver Begleitung der Studierenden und gewissenhaftem Ausfüllen der Beurteilungsbögen zu motivieren, ist gegenwärtig nicht bekannt. Vor dieser Perspektive gewinnt die vergleichsweise hohe Compliance in Bezug auf die Selbsteinschätzungs- und Evaluationsbögen sowie die relativ vollständigen und differenzierten Angaben der abgegebenen Fragebögen an Bedeutung. Denn diese von den begleitenden Ärztinnen bzw. Ärzten und dem Arbeitsprogramm unabhängigen Aufgaben wurden trotz der großen Anzahl der Fragen von einer Großzahl der Studierenden ernst genommen und erfüllt. Als Gegenbild berichten jedoch Ärzte, ebenfalls informell, dass sie konsequent den Eindruck gewinnen, dass eine Großzahl der Studierenden, die nicht vorhaben, Chirurgie oder Allgemeinmedizin zu praktizieren, für die Arbeit im chirurgischen Tertial unmotiviert sei. Viele Studierende tragen das Logbuch nicht regelmäßig bei sich und zeigen keine Eigeninitiative, es auszufüllen und kontrollieren zu lassen. Um diese Problematik zu umgehen und die Qualität der Ausbildung im chirurgischen Tertial sowie eine hohe Compliance zu sichern, wird für die Zukunft beabsichtigt, das chirurgische Logbuch mit einigen Änderungen jedoch ohne Reduzierung der Anzahl der nachzuweisenden Fertigkeiten als Pflichtmaßnahme in ein kompetenzbasiertes Tutorensystem zu integrieren. Inspiriert durch das MD2000 Programm der Brown University School of Medicine , gewinnt die Notwendigkeit Kompetenz basierter Lehrstrategien immer häufiger Anerkennung , die jedoch an die örtlichen Gegebenheiten angepasst werden müssen. Um das Logbuch als Anregung zur gesteigerten Kompetenz und als Kompetenznachweis anzuwenden, wird zukünftig die Art der Betreuung modifiziert und jede Tätigkeit und Fertigkeit wird primär nur ein Mal eingetragen. Der/die Studierende wird sie nach ausreichender Übung zu einem Termin der eigenen Wahl vor einem designierten Tutor durchführen und in das Logbuch eintragen. Die Rückmeldung wird unmittelbar erfolgen und jede erfolgreiche Durchführung einer Aufgabe wird mit einem Stempel bestätigt. Diese Maßnahme soll einerseits die vollständige Erfüllung der Lernziele sichern, zusätzlich aber auch die Eigeninitiative der Studierenden, ihre Eigenverantwortung für den eigenen Lernprozess und die Qualität ihrer Selbsteinschätzung fördern. Des Weiteren würden die Leistungen der Studierenden die Qualität der Betreuung in jeder Rotation zeitnah widerspiegeln, Rückgespräche mit den betreffenden Betreuern sowie die Einleitung unterstützender Maßnahmen ermöglichen. Die Kompetenz orientierte Strategie wird seit August 2008 versuchsweise noch auf freiwilliger Basis durchgeführt. Erste Ergebnisse zeigen eine deutliche Verbesserung: Die durchschnittliche Anzahl der einzelnen Einträge pro Logbuch stieg von 49±51,6 (Mittelwert ± SD) in den Monaten vor August 2008 auf 226±57,7 in den bisher abgegebenen Logbüchern der Kohorte, die im August 2008 das chirurgische Tertial angetreten war, an, obwohl ab August 2008 die Dokumentation der Fertigkeiten ohne Wiederholungen erfolgen durfte (nicht veröffentlichten Daten). Die in der vorliegenden Arbeit zusammengefasste Erfahrung aus einer vierjährigen Anwendung des Logbuches deutet jedoch darauf hin, dass eine breitflächige Akzeptanz durch das Lehrpersonal und die betreuenden Ärzte eine notwendige Voraussetzung für den effektiven Einsatz eines interaktiven Logbuches als Ergänzung für das Ausbildungsprogramm sei. Diese Akzeptanz kann nur dann gewährleistet sein, wenn den Ärzten die Zeit zuerkannt wird, die die Aufgabe in Anspruch nimmt, Studierende sinnvoll und produktiv zu betreuen. Anmerkung Diese Arbeit wurde unterstützt durch Fördermittel der Medizinischen Fakultät Heidelberg der Universität Heidelberg. Novalis 2007 Neue Fragmente: Noten an den Rand des Lebens - Fragmente über den Menschen (1802) Novalis. Neue Fragmente: Noten an den Rand des Lebens - Fragmente über den Menschen (1802). Hamburg: Hille & Partner GbR, Projekt Gutenberg; 2007 (Gutenberg-DE Edition 10 DVD). Zugänglich unter http://gutenberg.spiegel.de. http://gutenberg.spiegel.de Denton GD DeMott C Pangaro LN Hemmer PA Narrative review: use of student-generated logbooks in undergraduate medical education 2006 Teach Learn Med 153-164 Denton GD, DeMott C, Pangaro LN, Hemmer PA. Narrative review: use of student-generated logbooks in undergraduate medical education. Teach Learn Med. 2006;18(2):153-164. DOI: 10.1207/s15328015tlm1802_11. http://dx.doi.org/10.1207/s15328015tlm1802_11 Hamdorf JM Hall JC The development of undergraduate curricula in surgery: III. Assessment 2001 ANZ J Surg 178-183 Hamdorf JM, Hall JC. The development of undergraduate curricula in surgery: III. Assessment. ANZ J Surg. 2001;71(3):178-183. DOI: 10.1046/j.1440-1622.2001.02031.x. http://dx.doi.org/10.1046/j.1440-1622.2001.02031.x Kraus B Jünger J Schrauth M Weyrich P Herzog W Zipfel S Nikendei C Logbücher im klinisch-praktischen Einsatz: Profitieren die Studenten?: Eine Bestandsaufnahme bei PJ-Studenten der Inneren Medizin 2007 GMS Z Med Ausbild Doc112 Kraus B, Jünger J, Schrauth M, Weyrich P, Herzog W, Zipfel S, Nikendei C. Logbücher im klinisch-praktischen Einsatz: Profitieren die Studenten?: Eine Bestandsaufnahme bei PJ-Studenten der Inneren Medizin. GMS Z Med Ausbild. 2007;24(2):Doc112. Zugänglich unter: http://www.egms.de/en/journals/zma/2007-24/zma000406.shtml. http://www.egms.de/en/journals/zma/2007-24/zma000406.shtml Dennick R Case study 2: Use of logbooks 2000 Med Educ 66-68 Dennick R. Case study 2: Use of logbooks. Med Educ. 2000;34 (1):66-68. DOI: 10.1046/j.1365-2923.2000.00002.x. http://dx.doi.org/10.1046/j.1365-2923.2000.00002.x Challis M AMEE Medical Education Guide No.11 (revised): Portfolio-based learning and assessment in medical education 1999 Med Teach 370-386 Challis M. AMEE Medical Education Guide No.11 (revised): Portfolio-based learning and assessment in medical education. Med Teach. 1999;21:370-386. DOI: 10.1080/01421599979310. http://dx.doi.org/10.1080/01421599979310 Davis MH Friedman Ben-David M Harden RM Howie P Ker J McGhee C Pippard MJ Snadden D Portfolio assessment in medical students' final examinations 2001 Med Teach 357-366 Davis MH, Friedman Ben-David M, Harden RM, Howie P, Ker J, McGhee C, Pippard MJ, Snadden D. Portfolio assessment in medical students' final examinations. Med Teach. 2001;23(4):357-366. DOI: 10.1080/01421590120063349. http://dx.doi.org/10.1080/01421590120063349 Lonka K Slotte V Halttunen M Kurki T Tiitinen A Vaara L Paavonen J Portfolios as a learning tool in obstetrics and gynaecology undergraduate training 2001 Med Educ 1125-1130 Lonka K, Slotte V, Halttunen M, Kurki T, Tiitinen A, Vaara L, Paavonen J. Portfolios as a learning tool in obstetrics and gynaecology undergraduate training. Med Educ. 2001;35(12):1125-1130. DOI: 10.1046/j.1365-2923.2001.01054.x. http://dx.doi.org/10.1046/j.1365-2923.2001.01054.x Osteopathisches Zentrum für Kinder 2007 Diplom in pädiatrischer Osteopathie - Kurshandbuch Osteopathisches Zentrum für Kinder. Diplom in pädiatrischer Osteopathie - Kurshandbuch. Wien: Osteopathisches Zentrum für Kinder; 2007:12. Zugänglich unter: http://www.ozk.at/ausbildung.html. http://www.ozk.at/ausbildung.html Boehm BO Liebhardt H Fegert JM Neustrukturierung des Praktischen Jahres: Zufriedene Studierende in Ulm 2008 Dtsch Arztebl A-1153 Boehm BO, Liebhardt H, Fegert JM. Neustrukturierung des Praktischen Jahres: Zufriedene Studierende in Ulm. Dtsch Arztebl. 2008;105(21):A-1153. Engel C Kadmon M Porsche M Roth S Ganschow P Büchler MW Welche Ausbildungsinhalte brauchen Studierende im Praktischen Jahr - Bedarfsanalyse als Basis für ein chirurgisches PJ-Curriculum 2008 GMS Z Med Ausbild Doc89 Engel C, Kadmon M, Porsche M, Roth S, Ganschow P, Büchler MW. Welche Ausbildungsinhalte brauchen Studierende im Praktischen Jahr - Bedarfsanalyse als Basis für ein chirurgisches PJ-Curriculum. GMS Z Med Ausbild. 2008;25(3):Doc89. Zugänglich unter: http://www.egms.de/en/journals/zma/2008-25/zma000573.shtml. http://www.egms.de/en/journals/zma/2008-25/zma000573.shtml Weiß H 2004 Den Arztberuf wieder attraktiv machen: PJ-Reform an der Chirurgischen Universitätsklinik Heidelberg Weiß H. Den Arztberuf wieder attraktiv machen: PJ-Reform an der Chirurgischen Universitätsklinik Heidelberg. Stuttgart: Georg Thieme Verlag KG, Redaktion ViaMedici online; 2004. Zugänglich unter: http://www.thieme.de/viamedici/studienort_heidelberg/pj/reform.html. http://www.thieme.de/viamedici/studienort_heidelberg/pj/reform.html Weiß H 2004 PJ-Reform an der Chirurgischen Uniklinik Heidelberg: Ein Jahr nach Einführung des neuen Curriculums Weiß H. PJ-Reform an der Chirurgischen Uniklinik Heidelberg: Ein Jahr nach Einführung des neuen Curriculums. Stuttgart: Georg Thieme Verlag KG, Redaktion ViaMedici online; 2004. Zugänglich unter: http://www.thieme.de/viamedici/studienort_heidelberg/pj/reform2.html. http://www.thieme.de/viamedici/studienort_heidelberg/pj/reform2.html Schaps KP Cramer O Ascher P Lipinski J Höper DW 2003 Lernzielkatalog für das Praktische Jahr im Studium der Humanmedizin Schaps KP, Cramer O, Ascher P, Lipinski J, Höper DW. Lernzielkatalog für das Praktische Jahr im Studium der Humanmedizin; 2. Auflage. Berlin: Hartmannbund - Verband der Ärzte Deutschlands e.V.; 2003. Zugänglich unter: http://www.hoeper.com/dirk/PJ-Katalog_2_Aufl_Schaps_Hoeper.pdf. http://www.hoeper.com/dirk/PJ-Katalog_2_Aufl_Schaps_Hoeper.pdf Driessen E van Tartwijk J van der Vleuten C Wass V Portfolios in medical education: why with mixed success? A systematic review 2007 Med Educ 1224-1123 Driessen E, van Tartwijk J, van der Vleuten C, Wass V. Portfolios in medical education: why with mixed success? A systematic review. Med Educ. 2007;41(12):1224-1123. Ministerium für Wissenschaft Forschung und Kunst Baden-Württemberg 2007 Evaluationsbericht für das Studienjahr 2006/07 - studentische Evaluation der Lehrveranstaltungen an der medizinischen Fakultät Heidelberg im WS 2006/7 und SS 2007 Ministerium für Wissenschaft, Forschung und Kunst Baden-Württemberg. Evaluationsbericht für das Studienjahr 2006/07 - studentische Evaluation der Lehrveranstaltungen an der medizinischen Fakultät Heidelberg im WS 2006/7 und SS 2007. Stuttgart: Ministerium für Wissenschaft, Forschung und Kunst Baden-Württemberg; 2007. Raghoebar-Krieger HM Sleijfer D Bender W Stewart RE Popping R The reliability of logbook data of medical students: an estimation of interobserver agreement, sensitivity and specificity 2001 Med Educ 624-631 Raghoebar-Krieger HM, Sleijfer D, Bender W, Stewart RE, Popping R. The reliability of logbook data of medical students: an estimation of interobserver agreement, sensitivity and specificity. Med Educ. 2001;35(7):624-631. DOI: 10.1046/j.1365-2923.2001.00963.x. http://dx.doi.org/10.1046/j.1365-2923.2001.00963.x McGraw R Lord JA Clinical activities during a clerkship rotation in emergency medicine 1997 J Emerg Med 557-562 McGraw R, Lord JA. Clinical activities during a clerkship rotation in emergency medicine. J Emerg Med. 1997;156(4):557-562. DOI: 10.1016/S0736-4679(97)00094-2. http://dx.doi.org/10.1016/S0736-4679(97)00094-2 Soler NG Mast TA Anderson MB Kienzler LM A logbook system for monitoring student skills and experiences 1981 J Med Educ 775-777 Soler NG, Mast TA, Anderson MB, Kienzler LM. A logbook system for monitoring student skills and experiences. J Med Educ. 1981;56(9 Pt 1):775-777. Stosch C Wichelhaus AS Matthes J Die Portfolio-Methode: Modernes Assessment auf dem Prüfstand 2006 GMS Z Med Ausbild Doc43 Stosch C, Wichelhaus AS, Matthes J. Die Portfolio-Methode: Modernes Assessment auf dem Prüfstand. GMS Z Med Ausbild. 2006;23(3):Doc43. Zugänglich unter: http://www.egms.de/en/journals/zma/2006-23/zma000262.shtml. http://www.egms.de/en/journals/zma/2006-23/zma000262.shtml Glen S Hight NF Portfolios: An ‚affective' assessment strategy? 1992 Nurse Edu Today 416-423 Glen S, Hight NF. Portfolios: An ‚affective' assessment strategy? Nurse Edu Today. 1992;12(6):416-423. DOI: 10.1016/0260-6917(92)90132-8. http://dx.doi.org/10.1016/0260-6917(92)90132-8 Patil NG Lee P Interactive logbooks for medical students: are they useful? 2002 Med Educ 672-677 Patil NG, Lee P. Interactive logbooks for medical students: are they useful? Med Educ. 2002;36(7):672-677. DOI: 10.1046/j.1365-2923.2002.01163.x. http://dx.doi.org/10.1046/j.1365-2923.2002.01163.x Smith SR Fuller B MD2000: a competency-based curriculum for the Brown University School of Medicine 1996 Med Health RI 292-298 Smith SR, Fuller B. MD2000: a competency-based curriculum for the Brown University School of Medicine. Med Health RI. 1996;79(8):292-298. Smith SR Dollase R AMEE guide no. 14: outcome-based education: Part 2-planning, implementing and evaluating a competency-based curriculum 1999 Med Teach 15-23 Smith SR, Dollase R. AMEE guide no. 14: outcome-based education: Part 2-planning, implementing and evaluating a competency-based curriculum. Med Teach. 1999;21:15-23. DOI: 10.1080/01421599979978. http://dx.doi.org/10.1080/01421599979978 Carraccio C Wolfsthal SD Englander R Ferentz K Martin C Shifting Paradigms: From Flexner to Competencies 2002 Acad Med 361-367 Carraccio C, Wolfsthal SD, Englander R, Ferentz K, Martin C. Shifting Paradigms: From Flexner to Competencies. Acad Med. 2002;77(5):361-367. 11

3 3 Abbildung 3: Rücklauf der Logbücher a. Übersicht: 382 Logbücher wurden an 31 Kohorten am Anfang des chirurgischen Tertials verteilt. Das Balkendiagramm stellt die Gesamtzahl der verteilten und zurückgegebenen Logbücher (Gesamtrücklauf) dar sowie die Anzahl der Logbücher, die mindestens einen Eintrag in dem jeweils genannten Teil enthielten. Die entsprechende Anzahl der Logbücher ist in jedem Balken angegeben. b. Rücklauf pro Kohorte – statistische Übersicht: Das Liniendiagramm stellt den mittleren Prozentsatz (±SD) der ausgeteilten Logbücher pro Kohorte in jedem Halbjahr dar, die mindestens einen Eintrag im jeweils genannten Teil enthielten.

6 6 Abbildung 6: Schriftliche Verarbeitung der zu erlernenden Tätigkeiten und Fertigkeiten . Die Balkendiagramme stellen den Prozentsatz der zurückgegebenen Logbücher dar, die in den angezeigten Tätigkeitsbereichen (a) mindestens eine Volltextverarbeitung eines durchgeführten oder beobachteten Verfahrens und (b) mindestens eine Unterschrift des betreuenden Arztes aufwiesen. Die Tätigkeitsbereiche sind A. Wundversorgung und abdominelle bzw. standardisierte körperliche Untersuchung. B. Untersuchung einzelner Organe. C. Anamnese, Diagnosestellung und OP-Verlauf bei eigenem Patienten. D. Postoperative Versorgung und Arztbrief bei eigenem Patienten. E. Routine Versorgung (Bed-side-Bluttest, Legung von Stoma und Magensonde). F. Beobachtung invasiver Verfahren. G. Verbandslehre. H. Unfallchirurgische Untersuchungen. I. Bewertung radiologischer und Laborbefunde.

1 1 Abbildung 1: Vier exemplarische Seiten des Logbuches im linearen Maßstab 1:2,06

2 2 Abbildung 2: Rücklaufquoten des Logbuches im Verlauf der Einführungs- und Testzeit. Das Logbuch wurde an 31 Kohorten der Studierenden im Praktischen Jahr am Anfang des chirurgischen Tertials verteilt und nach seinem Ablauf wieder eingesammelt. Jede Kohorte umfasste zwischen drei und 22 Studierenden. Die graue Linie stellt die Anzahl der Studierenden pro Kohorte, die schwarze Linie die Rücklaufquoten der verschiedenen Kohorten dar.

4 4 Abbildung 4: Thematisch differenzierte Compliance: Im Logbuch kann die Beteiligung an 31 unterschiedlichen klinischen Verfahren dokumentiert werden, die diverse Tätigkeitsbereiche repräsentieren. Das Balkendiagramm stellt den Prozentsatz der zurückgegebenen Logbücher dar, die insgesamt (Alle klinische Verfahren) bzw. in jedem Tätigkeitsbereich die unter dem Diagramm angezeigte Anzahl dokumentierter klinischer Verfahren beinhalteten.

5 5 Abbildung 5: Angaben-bezogene Compliance: Die vollständige Dokumentation eines jeden klinischen Verfahrens im Logbuch soll mehrere vorgegebene Angaben beinhalten (e.g. Name, Datum, Patientenaufkleber, Diagnose, Beschreibung etc.). Das Balkendiagramm zeigt den durchschnittlichen Prozentsatz der Angabenfelder pro Verfahren, die für jeden Tätigkeitsbereich tatsächlich ausgefüllt wurden. Helle Balken: Mindestens einmal pro klinisches Verfahren dokumentiert; dunkle Balken: Mehrfache Dokumentation pro Verfahren. Datenbasis: 172 Logbücher mit Dokumentation der Beteiligung an mindestens einem klinischen Verfahren.

7 7 Abbildung 7: Teilnahme an Oberarzt-Lehrvisiten: 88 Logbücher enthielten Angaben über die Beteiligung an mindestens einer Oberarzt-Lehrvisite (OA-LV). Das Balkendiagramm stellt den Prozentsatz der zurückgegebenen Logbücher mit dokumentierten Oberarzt-Lehrvisiten dar (dunkler Balken) sowie die Anzahl der Logbücher mit dokumentierten Oberarzt-Lehrvisiten (helle Balken), in denen eine Lehre stattfand (ja), nicht stattfand (nein) bzw. nicht dokumentiert wurde (keine Angabe). Die jeweils entsprechende Anzahl der Logbücher ist in jedem Balken angezeigt.

8 8 Abbildung 8: Beurteilung der Studierenden durch die betreuenden Ärzte : Das Logbuch enthält abtrennbare Bögen für die Beurteilung der Studierenden nach jeder Rotation während des chirurgischen Tertials. Die Beurteilung erfolgt nach 13 vorgegebenen Kriterien und fünf Notenstufen. 774 ausgefüllte Bögen mit Beurteilung von 301 Studierenden wurden zurückgegeben. Das Balkendiagramm zeigt die durchschnittliche Häufigkeit einer jeden Note pro Beurteilungsbogen. 1-4: Die Noten 1-4. NB: Nicht beurteilbar. 8 0 1 1 Logbuch 1