Der praktische Nutzen des Konsensusstatements "praktische Fertigkeiten im Medizinstudium"

zma000828 10.3205/zma000828 urn:nbn:de:0183-zma0008285 Forschungsarbeit research article Der praktische Nutzen des Konsensusstatements "praktische Fertigkeiten im Medizinstudium" – eine Validierungsstudie The practial use of the consensus statement on practical skills in medical school – a validation study Blaum Blaum Wolf E. WE

Charité - Universitätsmedizin Berlin, Abteilung für Curriculumsorganisation, Lernzentrum, Berlin, DeutschlandCharité - Universitätsmedizin Berlin, Klinik für Anästhesiologie mit Schwerpunkt operative Intensivmedizin, Berlin, DeutschlandCharité - Universitätsmedizin Berlin, Abteilung für Curriculumsorganisation, Lernzentrum, Berlin, Deutschland

wolf.blaum@charite.de author Dannenberg Dannenberg Katja A. KA

Charité - Universitätsmedizin Berlin, Abteilung für Curriculumsorganisation, Lernzentrum, Berlin, Deutschland

katja-anne.dannenberg@charite.de author Friedrich Friedrich Torsten T

Charité - Universitätsmedizin Berlin, Abteilung für Curriculumsorganisation, Lernzentrum, Berlin, Deutschland

torsten.friedrich@charite.de author Jarczewski Jarczewski Anne A

Charité - Universitätsmedizin Berlin, Abteilung für Curriculumsorganisation, Lernzentrum, Berlin, Deutschland

anne.jarczewski@charite.de author Reinsch Reinsch Anne-Katrin AK

Charité - Universitätsmedizin Berlin, Abteilung für Curriculumsorganisation, Lernzentrum, Berlin, Deutschland

anne-katrin.reinsch@charite.de author Ahlers Ahlers Olaf O

Charité - Universitätsmedizin Berlin, Klinik für Anästhesiologie mit Schwerpunkt operative Intensivmedizin, Berlin, Deutschland Charité - Universitätsmedizin Berlin, Abteilung für Curriculumsorganisation, Lernzentrum, Berlin, Deutschland

olaf.ahlers@charite.de author German Medical Science GMS Publishing House

Düsseldorf

610 skills practical skills clinical skills medical education peer-teaching curriculum curricular mapping learning objectives Fertigkeiten Praktische Fertigkeiten Klinische Fertigkeiten medizinische Ausbildung peer-teaching curriculum curricular mapping Lernziele medicine Humanmedizin 20120115 20120522 20120620 20120808 germ engl 1860-3572 29 4 GMS Zeitschrift für Medizinische Ausbildung GMS Z Med Ausbild 58 Zielsetzung: Die Bedeutung des Erwerbs praktischer Fertigkeiten im Medizinstudium nimmt zu. Mit dem Konsensusstatement „praktische Fertigkeiten“ hat die GMA im Rahmen der Entwicklung des Nationalen Kompetenzbasierten Lernzielkatalogs Medizin (NKLM) eine Referenz für deren Vermittlung entwickelt, die 290 Lernziele nach Organsystem, Typ (Kern- oder Wahlziel), Reifezeitpunkt der Studierenden und Lernzieltiefe gliedert. Durch den Abgleich eines umfangreichen und gut evaluierten studentischen Tutorienangebots mit dem Konsensusstatement soll einerseits der praktische Nutzen des Konsensusstatements analysiert und andererseits das Tutorienangebot selbst auf Vollständigkeit hin untersucht werden.Methodik: Vier Bewerter/-innen haben in einem ersten Schritt in zwei Gruppen alle Lernziele des Konsensusstatements durch eines der 48 angebotenen Tutorien unabhängig voneinander klassifiziert. Zwischen den Bewertern/-innen einer Gruppe wurde die Interrater-Reliabilität insgesamt und in Abhängigkeit vom Organsystem berechnet. In einem zweiten Schritt wurde Dissens in der Klassifikation durch Diskussion und Konsensfindung gelöst. Anschließend wurde die Abdeckung der Lernziele in der geforderten Tiefe durch das Tutorienangebot getrennt nach Lernzieltyp und Organsystem analysiert. Gründe für den initialen Dissens wurden protokolliert und thematisch gruppiert. Ergebnisse: Die Klassifikationen der beiden Bewerter/-innen korrelieren signifikant in moderater Stärke, die Stärke der Korrelation variiert in Abhängigkeit vom Organsystem und damit auch der Formulierung der einzelnen Lernziele. Nach Konsentierung ergab sich folgendes Bild: 66% aller Lernziele und 74% der Kernziele wurden durch das Tutorienangebot abdeckt. Der Grad der Abdeckung unterschied sich abhängig von Organsystem und Reifezeitpunkten. Schlussfolgerung: Das Konsensusstatement ist geeignet, ein Unterrichtsangebot systematisch zu analysieren und weiterzuentwickeln. Der Abgleich mit etablierten Curricula eröffnet darüber hinaus Möglichkeiten für die Weiterentwicklung des Konsensusstatements und damit des NKLMs. Objective: The importance of the acquisition of practical medical skills during medical school is increasing. With the consensus statement “Practical Skills,” developed by the GMA as part of the National Competency-Based Learning Objective Catalogue for Medicine (NKLM), a reference frame was created for the procurement of such skills. This frame consists of 290 learning objectives divided by “organ system,” type (core or elective learning objective), current stage of medical education and level of instruction. By comparing a large and well evaluated range of student tutorials with the consensus statement, one can analyze the practical benefit of the statement, as well as evaluate the tutorial program for completeness. Methods: In the first stage, four evaluators in two groups independently classified all consensus statement’s learning objectives by each of the 48 tutorials currently offered. The inter-rater reliability among the evaluators of each group was calculated both collectively, and according to each organ system. In the second stage, disagreements in the classification were resolved through discussion and consensus decision-making. The coverage of the learning objectives by the tutorials, in the required level of instruction, was then analyzed separately by learning objective type and organ system. Reasons for any initial dissent were recorded and grouped thematically. Results: The correlation between the classifications of the two evaluators was moderately significant. The strength of this correlation, and thus the precision of individual learning goals wording, varied according to organ system. After a consensus was reached, the results show that the offered tutorials covered 66% of all learning objectives, as well as 74% of the core objectives. The degree of coverage differed according to organ system and stage of medical education. Conclusion: The consensus statement is suitable to systematically analyze and develop teaching units. The comparison with established curricula also offers possibilities for further development of the consensus statement, and therefore also of the NKLM. EinleitungDie Bedeutung des Erwerbs praktischer (ärztlicher) Fertigkeiten während des Medizinstudiums hat in den letzten Jahren zugenommen , . Gleichzeitig orientieren sich medizinische Curricula zunehmend an Outcomedefinitionen und/oder (nationalen) Lernzielkatalogen , . In Deutschland arbeitet die Gesellschaft für Medizinische Ausbildung (GMA) gemeinsam mit dem Medizinischen Fakultätentag (MFT) seit 2009 an der Entwicklung eines Nationalen Kompetenzbasierten Lernzielkatalogs Medizin (NKLM) . Im Rahmen dieser Entwicklung des NKLM ist kürzlich das Konsensusstatement “praktische Fertigkeiten im Medizinstudium” [6] publiziert worden, das 289 Lernziele, gegliedert in Kern- und Wahlziele sowie in 16 Organsysteme umfasst. Das Konsensusstatement „soll einen formativen Effekt auf die Fakultäten haben, ihre praktischen Unterrichtsinhalte entsprechend der Leitlinien auszurichten“ . Die vorliegende Validierung untersucht das Konsensusstatement als nationale Referenz auf seine Eignung, ein umfangreiches Curriculum – hier das Tutorienangebot des Lernzentrums der Charité – zu „kartieren“.„Curriculumskartierung“ („curriculum mapping“) beinhaltet u.a. die transparente, feingranulare Abbildung von Ausbildungsinhalten und -zielen sowie ihrer Zusammenhänge und thematischen Zuordnungen untereinander. Sie ist geeignet, Aspekte wie Gliederung und Vollständigkeit, Relevanz, Komplexität, Stimmigkeit und Organisation des Curriculums darstellbar und nachvollziehbar zu machen und wird von der Association for Medical Education in Europe AMEE empfohlen (vgl. ). Eine Kartierung jedes (medizinischen) Curriculums ist dabei aus drei Gründen essentiell:Die medizinischen Fakultäten sind der Gesellschaft und dem Gesetzgeber Rechenschaft über die Eignung der Absolventen zum Arztberuf schuldig (§41 ÄAPPO) .Zielklarheit und Zielverbundenheit fördern Zufriedenheit und Leistung der Studierenden , , , .Die Orientierung von Lehrenden und Studierenden über die inhaltliche Einbettung ihres Unterrichts in das Curriculum steigert die Unterrichtsqualität und die Prüfungsleistung der Studierenden .Das Lernzentrum der Charité, das aus dem ehemaligen „Trainingszentrum für ärztliche Fertigkeiten“ hervorgegangen ist, betreibt ein umfangreiches Programm an peer-teaching Tutorien zur Vermittlung praktischer Fertigkeiten . Dazu beschäftigt das Lernzentrum zurzeit 19 studentische Tutoren/-innen, die regelmäßig medizinisch-fachlich und didaktisch geschult werden. Die Tutoren/-innen ermitteln den Bedarf an Tutorien eigenständig, ebenso konzipieren sie neue Tutorien - unter Einbindung von Experten/-innen. Jährlich werden rund 500 Termine zu einem von aktuell 48 Themen angeboten. Das Angebot wird jährlich von etwa 4500 Studierenden wahrgenommen, die Teilnahme ist freiwillig und kostenlos. Alle Tutorien werden systematisch durch den Evaluationsbereich der Charité evaluiert. Die Studierenden sind sehr zufrieden mit Inhalt und Umfang der Tutorien und ihrem Lernerfolg durch dieses Training (Median 1 auf einer sieben-stufigen Likert Skala) . Die Tutoren/-innen entwickeln die einzelnen Tutorien und das gesamte Angebot anhand der Evaluationsergebnisse selbstständig weiter. IntroductionThe importance of the acquisition of practical (medical) skills in medical school has increased in recent years , . At the same time, medical curricula are increasingly relying on outcome definitions and/or (national) learning objective catalogues , . In Germany, the Medical Education Society (GMA), in conjunction with the German Medical Faculty Association (MFT), has been working since 2009 on the development of a National Competency-Based Learning Objective Catalogue for Medicine (NKLM) . As part of this project, the consensus statement “Practical Skills in Medical School” was recently published, which comprises 289 learning objectives, divided into core/elective goals and 16 organ systems. The consensus statement “should have a formative effect on the faculties, to bring the content of their practical teachings in accordance to the guidelines” .The current validation study analyzes the suitability of the consensus statement as a national reference, to “map” a comprehensive curriculum – here the tutorials offered by the Learning Center of the Charité.“Curriculum Mapping” includes the transparent, well-defined presentation of educational content and objectives, as well as their correlation and thematic association. It renders aspects such as structure, completeness, relevance, complexity, coherence, and curricular organization in a clear and understandable manner, and is also recommended by the Association for Medical Education in Europe AMEE (see ). In this process, a mapping of each (medical) curriculum is essential for three reasons:The medical schools are accountable, to the public and to the legislators, for the competency of their graduates to practice medicine (§41 ÄAPPO) .Clarity of purpose and adherence to the objectives contribute to student satisfaction and performance , , , .The integration of teaching content in the curriculum provides a reference for teachers and students, thus enhancing the quality of instruction and student examination performances .The Learning Center of the Charité, which emerged from the former “Training Center for Medical Skills,” runs an extensive program of peer-teaching tutorials for the conveyance of medical skills . The Learning Center currently employs 19 student tutors, who receive regular training in the performance of medical procedures, as well as in didactics. These tutors independently determine the demand for new tutorials, and are responsible for their development under the supervision of experts. Each year, about 500 tutorials are offered on 48 topics. These classes are visited by approximately 4 500 students, and the participation is voluntary and free of charge. All tutorials are systematically evaluated by the Evaluation Department of the Charité. The students are extremely satisfied with the content and scope of the tutorials, as well as the effectiveness of the training (median 1 on a seven-point Likert scale) . Based on these evaluations, the tutors independently refine the individual tutorials, as well as the range of the courses offered. FragestellungZiel der vorliegenden Arbeit ist es, das Angebot an peer-teaching Tutorien im Lernzentrum durch eine Kartierung mit dem Konsensusstatement „praktische Fertigkeiten im Medizinstudium” abzugleichen. Der Abgleich soll drei Fragen beantworten:Ist das Konsensusstatement geeignet, ein umfangreiches und sehr gut evaluiertes Tutorienangebot neu zu strukturieren und damit die „praktischen Unterrichtsinhalte entsprechend der Leitlinien auszurichten“ , wie es das Statement anstrebt?Ist das Tutorienangebot des Lernzentrums im Sinne des Konsensusstatements vollständig/ bestehen Lücken oder ungewollte Redundanzen?Ergibt sich durch den Abgleich mit dem Konsensusstatement eine sinnvolle Reihenfolge, um Tutorien zu besuchen? Research ObjectivesThe aim of the current study is the mapping of the Learning Center’s peer-teaching tutorials, and a comparison with the consensus statement “Practical Skills in Medical School”. The comparison should answer three questions:Is the consensus statement suited to re-/structure a comprehensive and well evaluated range of tutorials, and therefore to “bring the content of their practical teachings in accordance to the guidelines” , as the statement strives to do?For the purposes of the consensus statement, is the tutorial program of the Learning Center complete, or are there gaps or unintended redundancies? Does the comparison with the consensus statement suggest that the tutorials should be visited in a particular order? MethodenAbgleich von Tutorienangebot und KonsensusstatementDas Konsensusstatement beschreibt 289 Lernziele, von denen 232 als Kernziele gekennzeichnet sind. Jedes Lernziel ist mindestens einem von 16 Organsystemen zugeordnet. Das Lernziel 275 ist dem Organsystem Wachstum/Altern, Notfall zugeordnet. Für diese Arbeit wurde dieses Lernziel doppelt aufgenommen und den beiden Organsystemen „Wachstum/Altern“ und „Kompetenzbereich Notfall“ je einmal zugeordnet, so dass sich insgesamt 290 Lernziele ergeben.Für jedes Lernziel ist weiterhin für einen von drei Zeitpunkten die zu erreichende Tiefe auf einer von drei Stufen definiert. Die Zeitpunkte umfassen Famulaturreife (bis zum Beginn der ersten Famulatur), PJ-Reife (bis zum Beginn des praktischen Jahres) und Weiterbildungsreife (bis zum Beginn der Weiterbildung), die Tiefen sind beschrieben als „demonstriert bekommen haben“, „unter Aufsicht durchgeführt haben“ und „routiniert handwerklich können“ (vgl. ).Um die Lernziele des Konsensusstatements mit den Tutorien abgleichen zu können, wurde klassifiziert, in welcher Tiefe ein Tutorium ein Lernziel behandelt. Die Klassifikation erfolgt auf der im Konsensusstatement verwendeten Tiefenskala, die für diesen Zweck leicht modifiziert wurde und in Tabelle 1 dargestellt ist.Um für 48 Tutorien abzubilden, in welcher Tiefe eines von 290 Lernzielen darin behandelt wird, sind 13920 (48*290) Klassifikationen nötig.Klassifikation durch BewerterVier studentische Tutoren/-innen mit langjähriger Erfahrung als peer teacher des Lernzentrums wurden in zwei Bewertergruppen geteilt:Die Autorinnen AKR und AJ haben die Behandlung der 129 Lernziele zu den Organsystemen Atmung, Blut/Abwehr, GI-Trakt, Herz-Kreislauf, Nervensystem, Psyche, Sinnesorgane und Wachstum/Altern in den 48 angebotenen Tutorien klassifiziert, KAD und TF die Behandlung der 161 Lernziele zu den Organsystemen Bewegungsapparat, endokrines System, Grenzbereich Kommunikation, Grenzbereich Notfall, Grenzbereich soft skills, Harn-/Geschlechtsorgane, Haut und Organsystem übergreifende Fertigkeiten in ebenfalls allen 48 Tutorien. Die Klassifikation haben die Bewerter/-innen in einem ersten Schritt unabhängig voneinander vorgenommen. Anschließend wurde die Interrater-Reliabilität ermittelt. In einem zweiten Schritt wurden ungleiche Klassifikationen durch Diskussion und Konsens in eine endgültige Klassifikation überführt, aus denen die prozentuale Abdeckung der nationalen Lernziele durch die aktuell angebotenen Tutorien ermittelt wurde. Dabei wurden die Gründe für den initialen Dissens protokolliert.DatenauswertungIn Libre Office 3 wurden die Klassifikationen gesammelt und die Abdeckung der Lernziele durch die Tutorien getrennt nach Organsystem, Kern- oder Wahlziel sowie Reifezeitpunkt der Studierenden berechnet.Zur Berechnung der Interrater-Reliabilität wurde die Korrelation zwischen den Ratern nach Spearman mit SPSS 19 getrennt für jede Bewertergruppe berechnet. Zudem wurde die Korrelation getrennt nach Organsystem berechnet, um die Frage zu prüfen, welchen Interpretationsspielraum die Lernzielformulierungen des Konsensusstatements zulassen. Die protokollierten Gründe für Dissens in der Klassifikation wurden von den Bewertergruppen gemeinsam thematisch gruppiert, um Ansatzpunkte für die weitere Entwicklung des Konsensusstatements zu benennen. MethodsComparison of the Tutorial Program with the Consensus StatementThe consensus statement describes 289 learning objectives, 232 of which are defined as core objectives. Each learning objective is assigned to at least one of 16 organ systems. The objective 275 is assigned to the organ system Growth/Ageing and Emergency. This learning objective was recorded twice in this study, and assigned to both “Growth/Ageing” and “Emergency Medicine” organ systems, leading to a total of 290 learning objectives.In one of three stages of the medical education, the target level of instruction for each objective is defined as one of three levels. These stages include the beginning of the first elective clinical rotation, the beginning of the practical year, and the beginning of residency. The level of instruction is described as “was given demonstration”; “performed under supervision”; and “skilled performance” (see ).In order to compare the learning objectives of the consensus statement with the tutorials, the depth at which the tutorial deals with a particular objective was classified. The classification was based on the Level of Instruction Scale of the consensus statement, which was slightly modified for this study, and is shown in Table 1 . In order to depict the level of instruction of the 290 learning objectives in the 48 tutorials, a total of 13 920 (48 x 290) classifications were needed.Classification by the EvaluatorsFour student tutors with long term experience in peer-teaching at the Learning Center were divided into two evaluation groups:The authors AKR and AJ classified the parameters of 129 learning objectives, in all 48 available tutorials, for the following organ systems: respiratory, blood/immunology, gastrointestinal, cardiovascular, nervous, psyche, sensory organs, and Growth/Ageing. The authors KAD and TF classified 161 learning objectives, also in all 48 tutorials, for the following organ systems: musculoskeletal, endocrine, communication, emergency medicine, soft skills, urinary/sexual, dermatological, and comprehensive skills.In the first step, the evaluators classified the objectives independently from each other, allowing for the calculation of the inter-rater reliability. In the second step, classification discrepancies were resolved through discussion and consensus decision-making, until a final classification was achieved. This classification was then used to determine the percentage of the national learning objectives that were covered by the currently available tutorials. Reasons for any initial dissent were recorded.Data AnalysisThe classifications were gathered in Libre Office 3, and the coverage of the learning objectives by the tutorials was calculated separately by organ system, type of objective (core or elective), as well as current stage of medical education.In order to calculate the inter-rater reliability, the correlation between evaluators was determined separately for each group using Spearman’s correlation with SPSS19. Additionally, the correlation was calculated separately by organ system, in order to examine to which extent the consensus statement’s wording for the learning objectives left a margin for interpretation. The reasons for initial dissent among the evaluators in the classification procedure were recorded and grouped thematically, so as to identify issues and aid the further development of the consensus statement. ErgebnisseQualität der Lernzielformulierung im KonsensusstatementBewertergruppe 1 hat die Behandlung von 129 Lernzielen in 48 Tutorien durch zusammen 6192 Klassifikationen bewertet und dabei eine signifikante Übereinstimmung moderater Stärke erzielt (r=0,66). Bewertergruppe 2 hat die Behandlung von 161 Lernzielen in 48 Tutorien durch zusammen 7728 Klassifikationen bewertet und dabei eine signifikante Übereinstimmung mäßiger Stärke erzielt (r=0,31).Die Übereinstimmung der Bewerter/-innen ist abhängig vom Organsystem, die Höhe der Korrelation unterscheidet sich zwischen den Organsystemen teilweise erheblich: Die höchste Übereinstimmung wurde für die 192 Klassifikationen des Organsystems Psyche erzielt (r=1,0), die geringste Übereinstimmung für die 624 Lernziele des Organsystems Harn-/Geschlechtsorgane (r=0,2). In Tabelle 2 sind die Anzahl der Klassifikationen und die Übereinstimmung der Bewertungen nach Organsystemen gegliedert dargestellt. Der Grad der Übereinstimmung ist, wie aus Tabelle 2 ersichtlich, unabhängig von der Anzahl der Lernziele im Konsensusstatement und damit der Zahl der Klassifikationen pro Organsystem. Abdeckung der LernzieleDas aktuelle Tutorienangebot des Lernzentrums deckt 65,9% aller Lernziele und 73,7% der Kernziele des Konsensusstatements ab. Einige Lernziele werden in nahezu allen Tutorien behandelt: 42 Tutorien behandeln das Ziel „Berücksichtigung des Arbeits- und Gesundheitsschutzes in der eigenen ärztlichen Tätigkeit und Verantwortung, z.B. Nadelstichverletzung, rückenschonendes Arbeiten, Recapping, Handschuhtragen, ...; “ (Grenzbereich soft skills), 39 Tutorien behandeln das Ziel „Vorgehen bei Untersuchung an Patienten vermitteln [zu] können“ (Grenzbereich Kommunikation).Die Tiefe der im Konsensusstatement geforderten Abdeckung eines Lernziels nimmt über die Zeit zu, die Abdeckung durch das Tutorienangebot bis zu dieser Tiefe nimmt für die im Statement definierten Zeitpunkte ab: die Abdeckung der Lernziele in bis zur Famulaturreife geforderten Tiefe durch die Tutorien beträgt 63% für alle Lernziele (und 70,3% für die Kernziele bis zur Famulaturreife). Die bis zur PJ-Reife geforderte Tiefe wird zu 48,6% abgedeckt (Kernziele 53%), bis zur Weiterbildungsreife zu 39,3% (Kernziele 41,8%).Die Abdeckung der Lernziele unterscheidet sich zudem nach Organsystem teils erheblich. So deckt das Tutorienangebot 90% der Lernziele des Organsystems Nervensystem (Kernziele 100%) aber nur 30% des Systems Atmung (Kernziele 50%) ab.In Tabelle 3 ist die Abdeckung der Lernziele durch das Tutorienangebot getrennt nach Organsystem und Zeitpunkt dargestellt. Für alle Organsysteme nimmt die Abdeckung in der geforderten Tiefe mit Zunahme über die Reifestadien ab.Ansatzpunkte für die weitere Entwicklung des KonsensusstatementsDie protokollierten Gründe für einen Dissens in der Klassifikation lassen sich einer von drei Ursachen zuordnen: unscharfe Formulierung der Lernziele, Unterschiede im Umfang der Lernziele und lernzielunabhängige Ursachen. Am häufigsten sahen die Bewerter/-innen den Grund für Unterschiede in ihrer Klassifikation in unscharf formulierten Lernzielen des Konsensusstatements. Beispielsweise war den Bewertern/-innen unklar, welche Art von Zugängen im Lernziel 90 „Zugänge anlegen“ eingeschlossen sind oder was genau unter dem Lernziel 115 „Indikationsstellung und Anordnung technischer Untersuchungen“ zu verstehen ist.Eine zweite wesentliche Ursache für Unterschiede in ihrer Klassifikation sahen die Bewerter/-innen im teils erheblichen Unterschied im Umfang der formulierten Lernziele. Während etwa das Lernziel „Aktive und passive Untersuchung der oberen Extremität inkl. Schulter- , Ellenbogen- und Handgelenken, sowie der Langfinger und Daumen (insbesondere Inspektion, Auffinden anatomischer Landmarken, Durchführung der Neutral-Null-Methode und der Funktion für die Gelenke)“ sehr umfangsspezifisch formuliert ist, lässt beispielsweise das Lernziel 182 „Neuroradiologische Untersuchungsmethoden“ mehr Interpretation hinsichtlich Art und Umfang der zu erwerbenden Fähigkeiten zu. Die lernzielunabhängigen Ursachen beziehen sich auf das Konsensusstatement als Ganzes. Beispielsweise war den Bewertern/-innen unklar, ob die Tatsache, dass einzelne Lernziele explizit Untersuchungen am Modell erwähnen, impliziert, dass dies für alle anderen Lernziele nicht gilt. ResultsQuality of Objective Formulation in the Consensus StatementGroup 1 analyzed parameters for 129 learning objectives in 48 tutorials, for a total of 6 192 classifications, and reached a moderately significant agreement between the evaluators (r=0.66). Group 2 analyzed parameters for 161 learning objectives in 48 tutorials, for a total of 7 728 classifications, and reached a modest, but significant agreement between the evaluators (r=0.31).The congruence between tutors varied in relation to organ system, and the intensity of this correlation was in some cases substantial: the highest congruence rate was reached in the 192 classifications of the “Psyche” organ system (r=1.0), and the lowest in the 624 classifications of the “Urinary/Sexual” organ system (r=0.2). Table 2 shows the number of classifications and the consistency of the ratings for each organ system. As seen in Table 2 , the level of congruence is independent from the number of learning objectives, and thus also the number of classifications, per organ system.Coverage of the Learning ObjectivesThe current tutorial program covers 65.9% of all learning goals, and 73.7% of the core objectives listed in the consensus statement. Some of the learning goals are covered in nearly all tutorials: 42 tutorials deal with the objective “Regard to occupational health and safety in the personal medical activities and responsibilities, per example, needle stick injury, working in an ergonomic manner, recapping, wearing gloves, ...” (Soft Skills); 39 tutorials deal with the objective “Being able to explain the procedures to the patient during an examination” (Communication). The level of instruction to which an objective must be covered, as required by the consensus statement, increases along with stage of medical education. The coverage of these objectives by the tutorial program, to the consensus statements’ required depth and at higher stages of medical education, decreases: the objectives that must be covered, to the required depth, by the time of the first elective clinical rotation amounts to 63% of all learning objectives (and 70.3% of the core objectives). The target level of instruction was achieved by the beginning of the practical year for 48.6% of the objectives (53% of the core objectives), and 39.3% of the objectives (41.8% of the core objectives) by the beginning of the continuing education.The coverage of the learning goals varied, in some cases considerably, in relation to organ system. The tutorials offered covered 90% of the learning objectives (100% of core objectives) for the Nervous System, but only 30% of the goals (50% core objectives) for the Respiratory System.Table 3 shows the coverage of learning objectives by the tutorials in relation to organ system and stage of education. For all organ systems, there is a decrease in the coverage of objectives (to the required depth) as the student level of education increases.Key Issues for the Further Development of the Consensus StatementThe disagreements recorded during the classification procedure were attributed to one of three causes: ambiguous formulation of learning objectives, unspecific scope of the objective, or objective-independent causes. The most frequent problem listed was vague formulation of the consensus statement. For example, the evaluators had difficulty determining what types of infusion lines were included in objective 90 “Establishing lines” (German: “Zugänge anlegen”; usually refers to starting an IV line, but can include central, arterial, intraosseous lines, etc), or how exactly to interpret objective 115, “Indications and regulations for technical examinations.”A second major cause for inconsistencies in the classification process was the vague scope of some objectives. While the learning objective “Active and passive examination of the upper extremities including shoulder, elbow and wrist, as well as fingers and thumb (especially inspection, locating anatomical landmarks, establishing range of motion, and functionality of the joints)” is extremely precise and well defined, others, such as the objective “Neuroradiological examinations methods,” leave a significant gap in terms of type and extent of the skills to be acquired. The objective-independent causes refer to the consensus statement as a whole. For example, it was unclear to the evaluators whether practice on simulators, which was specifically mentioned in some learning objectives, implied its exclusion for all other objectives. DiskussionKonsensusstatementDas Tutorienangebot des Lernzentrums der Charité ist seit 1999 etabliert und wird kontinuierlich weiterentwickelt. Seit seiner Entwicklung wird das Programm systematisch evaluiert, die Ergebnisse fließen ebenso wie die Erfahrungen und Eindrücke der nun siebten Tutorengeneration in das Programm ein. Der Abgleich dieses umfangreichen und etablierten Programms mit dem Konsensusstatement kann also als ein Argument für die Bewertung der Validität des Konsensusstatements dienen. Das aktuelle Tutorienangebot deckt sowohl insgesamt als auch pro Organsystem ausnahmslos einen deutlich höheren Anteil an Kernzielen ab, als es über die Gesamtheit der Lernziele des Konsensusstatements abdeckt. Die Priorisierung der Inhalte der Tutorien gleicht und unterstützt also die im Konsensusstatement getroffene Priorisierung.Weiter nimmt die geforderte Komplexität der Lernziele des Konsensusstatements über die drei Reifezeitpunkte zu. Die Abdeckung dieser Lernziele in der geforderten Tiefe durch die Tutorien nimmt sowohl insgesamt als auch getrennt nach Organsystemen ab. Die Komplexitätsbewertungen des Konsensusstatements gleichen also denen des Tutorienangebots, was die im Statement vorgenommene Tiefenforderungen unterstützt.Die in Tabelle 2 dargestellte, sehr unterschiedliche Übereinstimmung der Bewerter/-innen in Abhängigkeit vom Organsystem lässt vermuten, dass sich die im Konsensusstatement formulierten Lernziele hinsichtlich der Möglichkeit ihrer Zuordnung zu konkreten Lehrveranstaltungen unterscheiden. Mögliche Ursachen könnten die aus den Gründen für Dissens extrahierten Themen „unscharfe Formulierung der Lernziele“, „Unterschiede im Umfang der Lernziele“ und „lernzielunabhängige Ursachen“ sein. Eine systematische Aufarbeitung dieser Ansatzpunkte kann zu einer Weiterentwicklung des Konsensusstatements beitragen. Es wäre darüber hinaus interessant, zu untersuchen, ob die Vermittlung praktischer Fertigkeiten durch die curriculare Pflichtlehre der Fakultäten im Sinne des Konsensusstatements vollständig und frei von Redundanz ist.TutorienprogrammMit den gewonnenen Erkenntnissen können Lücken und Überlappungen im Tutorienangebot identifiziert werden. Diese Daten werden zur Restrukturierung des Angebots eingesetzt.Durch den Vergleich der Behandlungstiefe eines Lernziels im Tutorium mit der zu unterschiedlichen Zeitpunkten im Konsensusstatement geforderten Tiefe ist es darüber hinaus möglich, Studierenden mögliche sinnvolle Reihenfolgen für ihre Tutoriumsteilnahme zu empfehlen. Das Konsensusstatement ist also geeignet, bestehende Curricula neu zu strukturieren. Wir haben begonnen, das Curriculum der studentischen Tutorien in die bereits vorhandene Lehrveranstaltungs- und Lernzielplattform der Charite zu integrieren, die aktuell nur für die Kartierung der Pflichtlehre genutzt wird. Damit soll den Studierenden auf Grundlage der hier erhobenen Daten und Zuordnungen eine Online-Navigation zur Verfügung gestellt werden, die ihnen bei Interesse an ausgewählten Lernzielen und ggf. unter Angabe bereits besuchter Tutorien sinnvoll mögliche weitere Tutorien vorschlägt.LimitationenIn der vorliegenden Arbeit wird die Behandlung der Lernziele des Konsensusstatements „praktische Fertigkeiten“ durch die im Lernzentrum angebotenen Tutorien in einer Behandlungstiefe durch unabhängige Bewerter/-innen klassifiziert. Die Interrater-Reliabilität wird als Korrelation nach Spearman berechnet, weil die Autoren die in Tabelle 1 dargestellte Skala als ordinal skaliert betrachten. Es existiert eine umfangreiche Diskussion in der Literatur zur Frage, ob Skalen wie die hier eingesetzte mit parametrischen statistischen Verfahren behandelt werden können (vgl. , ). Einige Autoren berechnen für solche und selbst für nominal skalierte Merkmale Intraklassen-Korrelationen (IKK) . Die Berechnung von Korrelationen nach Spearman reduziert die Power der Untersuchung (und damit die Stärke der Korrelation), die Berechnung von IKKs würde stärkere Korrelationen ergeben, könnte aber den α-Fehler erhöhen , . Insofern stellen die hier berechneten Korrelationen eine konservative Schätzung der tatsächlichen Übereinstimmung der Bewerter/-innen dar.Die erhobenen Gründe für den initialen Dissens in der Klassifikation wurden thematisch gruppiert. Die Analyse dieser Daten folgt keiner qualitativen Methodik. Die Bewertung, in welcher Tiefe ein Lernziel des Konsensusstatements in einem der bisher 48 Tutorien behandelt wird, erfolgte durch erfahrene studentische Tutoren, weil sie die Abdeckung eines solchen Lernziels in den von ihnen unterrichteten Tutorien fundiert einschätzen können. Dabei bleibt unklar, inwiefern diese studentische Klassifikation der Einschätzung durch approbierte Ärzte gleicht, die sich dazu allerdings zunächst detailliert praktische Erfahrungen mit dem Tutorienprogramm aneignen müssten. DiscussionConsensus StatementThe tutorial program in the Learning Center of the Charité was established in 1999, and has been continually evolving. Since the beginning, the tutorials have been systematically evaluated, and now the results of the seventh generation of tutors demonstrate their experience and influence. The analysis of the consensus statement against this extensive and well established program can help appraise the statement’s validity. The current tutorial program covers a significantly higher proportion of core learning objectives than the total list of objectives. This is true, without exceptions, for individual organ systems as well as for the consensus statement as a whole. The prioritization of the tutorial content supports, and is congruent with, the priorities set by the consensus statement. Furthermore, the complexity of the learning objectives increases along with the three set stages of medical education. The coverage of these objectives by the tutorials, at the required depth, decreases both overall and according to organ system. The level of complexity required by the consensus statement matches that of the tutorials, which supports the statement’s requirements.The stated objectives differ as to the practicality of their integration in specific courses, as suggested by the inconsistency between evaluators in relation to organ system, shown in table 2 . The following themes were listed as possible causes: “Ambiguous formulation of learning objectives,” “Unspecific scope of the objective,” and “Objective-independent causes.” A systematic review of these issues can contribute to the further development of the consensus statement. It would be also interesting to investigate whether the conveyance of practical skills, as established by the faculty in the mandatory curriculum, are complete and free of redundancy by the standards of the consensus statement.Tutorial programIn light of the results, gaps and overlaps in the tutorials could be identified, and the data was further used to restructure the tutorial program.By comparing the level of instruction of a particular learning objective in the tutorials with the level required at specific milestones by the consensus statement, it is possible to recommend to students the tutorial participation in a specific order. The consensus statement is therefore suitable for the restructure of existing curricula. We have started to integrate the tutorial curriculum in the existing courses and teaching platform of the Charité , which has so far only been used to chart mandatory courses. This encompasses the development of a student online navigation system, which uses the data collected from this study to suggest tutorials based on the student’s interest, or as a meaningful follow-up to the tutorials already visited.LimitationsIn the current study, the coverage of the learning objectives of the consensus statement “Practical Skills” by the tutorials from the Learning Center of the Charité was independently classified. The inter-rater reliability was calculated using Spearman’s correlation, as the authors considered the scale shown in table 1 to be an ordinal scale. There is an extensive discussion in the literature as to whether a scale such as the one used in this study can be appraised using parametric statistics (see , ). Some authors evaluate such scales, and even nominal scales, using intraclass correlations (ICC) . The use of Spearman’s correlation reduces the power of the examination (and therefore the strength of the correlation), and although the use of ICCs provide stronger correlations, it can potentially increase the α-error , . Therefore, the correlation shown here represents solely a conservative estimate of the actual evaluator congruency. The initial reasons for dissent among the evaluators during the classification procedure were grouped thematically. No qualitative methods were regarded during the data analysis. Experienced student tutors, as experts on their own tutorials, were deemed most apt to estimate whether the 48 tutorials cover, and to what depth, the objectives of the consensus statement. It remains unclear how the classification by students would relate to a classification by licensed physicians, though the latter would first require extensive practical experience in the tutorial program. FazitStudentische Tutorien unterstützen das Selbststudium der Studierenden. Der Abgleich mit dem Konsensusstatement „praktische Fertigkeiten“ ist geeignet, ein bestehendes Unterrichtsangebot systematisch weiter zu entwickeln und „praktische Unterrichtsinhalte entsprechend der Leitlinien auszurichten“ . Aus dem Abgleich mit etablierten Curricula ergeben sich darüber hinaus evidenzbasierte Möglichkeiten für die weitere Entwicklung des Konsensusstatements und damit des NKLM. ConclusionThe student-led tutorials support student independent studies. The comparison with the consensus statement “Practical Skills” is suitable to systematically analyze and develop teaching units and to “bring the content of their practical teachings in accordance to the guidelines” . The comparison with established curricula offers evidence-based possibilities for further development of the consensus statement, and therefore also of the NKLM. AnmerkungDie Autoren Dannenberg, Friedrich, Jarczewski und Reinsch haben zu gleichen Teilen beigetragen. NoteThe authors Dannenberg, Friedrich, Jarczewski and Reinsch contributed equally. DanksagungDie Autoren danken Dr. Henrike Hölzer, Berlin, Dr. Claudia Kiessling, MPH, München und Dr. Kai Schnabel, MME, Bern sowie zwei anonymen Reviewern für ihre konstruktive und kollegiale Kritik am Manuskript. Besonderer Dank gilt Sebastian Schubert, Berlin für seine konstruktive Mitarbeit an Studiendesign und Manuskript. Wir möchten zudem Rudi Mörgeli für die Übersetzung des Manuskripts danken. AcknowledgementThe authors thank Dr. Henrike Hölzer, Berlin, Dr. Claudia Kiessling, MPH, Munich, and Dr. Kai Schnabel, MME, Bern, as well as two anonymous reviewers for their constructive and collegial critic of the manuscript. Special thanks to Sebastian Schubert, Berlin, for his constructive involvement in the study design and the manuscript. We would also like to thank Rudi Mörgeli for the translation of the manuscript. InteressenkonfliktDie Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben.WB leitet das Lernzentrum der Charité und ist Mitglied der GMA und deren Ausschüsse „Praktische Fertigkeiten“ und „Methodik der Ausbildungsforschung“. KAD, TF, AJ und AKR sind studentische Tutor/-innen des Lernzentrums und Studierende der Charité. OA leitet die Abteilung für Curriculumsorganisation und ist Mitglied der GMA sowie des GMA-Ausschusses „Methodik der Ausbildungsforschung“. Competing interestsThe authors declare that they have no competing interests.WB is the head of the Learning Center of the Charité, a member of the GMA, and of the GMA commitees “Practical Skills” and “Educational Research Methods.” KAD, TF, AJ and AKR are student tutors of the Learning Center, and students of the Charité. OA is head of the Department of Curricular Organization, a member of the GMA, as well as a member of the GMA committee “Educational Research Methods.” Hudson JL Tonkin AL Clinical skills education: outcomes of relationships between junior medical students, senior peers and simulated patients 2008 Med Educ 901-908 Hudson JL, Tonkin AL. Clinical skills education: outcomes of relationships between junior medical students, senior peers and simulated patients. Med Educ. 2008;42(9):901-908. DOI: 10.1111/j.1365-2923.2008.03107.x http://dx.doi.org/10.1111/j.1365-2923.2008.03107.x Yudkowsky R Otaki J Lowenstein T Riddle J Nishigori H Bordage G A hypothesis-driven physical examination learning and assessment procedure for medical students: initial validity evidence 2009 Med Educ 729-740 Yudkowsky R, Otaki J, Lowenstein T, Riddle J, Nishigori H, Bordage G. A hypothesis-driven physical examination learning and assessment procedure for medical students: initial validity evidence. Med Educ. 2009;43(8):729-740. DOI: 10.1111/j.1365-2923.2009.03379.x http://dx.doi.org/10.1111/j.1365-2923.2009.03379.x Frank JR Danoof D The CanMEDS initiative: implementing an outcomes-based framework of physician competencies 2007 Med Teach 642-647 Frank JR, Danoof D. The CanMEDS initiative: implementing an outcomes-based framework of physician competencies. Med Teach. 2007;29(7):642-647. DOI: 10.1080/01421590701746983 http://dx.doi.org/10.1080/01421590701746983 Bloch R Bürgi H The Swiss catalogue of learning objectives 2002 Med Teach 144-150 Bloch R, Bürgi H. The Swiss catalogue of learning objectives. Med Teach. 2002;24(2):144-150. DOI: 10.1080/01421590220120759 http://dx.doi.org/10.1080/01421590220120759 Hahn EG Fischer MR Nationaler Kompetenzbasierter Lernzielkatalog Medizin (NKLM) für Deutschland: Zusammenarbeit der Gesellschaft für Medizinische Ausbildung (GMA) und des Medizinischen Fakultätentages (MFT) 2009 GMS Z Med Ausbild Doc35 Hahn EG, Fischer MR. Nationaler Kompetenzbasierter Lernzielkatalog Medizin (NKLM) für Deutschland: Zusammenarbeit der Gesellschaft für Medizinische Ausbildung (GMA) und des Medizinischen Fakultätentages (MFT). GMS Z Med Ausbild. 2009;26(3):Doc35. DOI: 10.3205/zma000627 http://dx.doi.org/10.3205/zma000627 Schnabel KP Boldt PD Breuer G Fichtner A Karsten G Kujumdshiev S Schmidts M Stosch C Konsensusstatement "Praktische Fertigkeiten im Medizinstudium" – ein Positionspapier des GMA-Ausschusses für praktische Fertigkeiten 2011 GMS Z Med Ausbild Doc58 Schnabel KP, Boldt PD, Breuer G, Fichtner A, Karsten G, Kujumdshiev S, Schmidts M, Stosch C. Konsensusstatement "Praktische Fertigkeiten im Medizinstudium" – ein Positionspapier des GMA-Ausschusses für praktische Fertigkeiten. GMS Z Med Ausbild. 2011;28(4):Doc58. DOI: 10.3205/zma000770 http://dx.doi.org/10.3205/zma000770 Trainingszentrum für Ärztliche Fertigkeiten 2012 Tutorienangebot Trainingszentrum für Ärztliche Fertigkeiten. Tutorienangebot. Berlin: Charite Universitätsmedizin; 2012. Zugänglich unter/available from: http://taef.charite.de http://taef.charite.de Kraft R Haase C 2011 Auswertung des studentischen Fragebogens zu den TÄF-Tutorien und des Trainingszentrums für ärztliche Fertigkeiten im Sommer 2011 Kraft R, Haase C. Auswertung des studentischen Fragebogens zu den TÄF-Tutorien und des Trainingszentrums für ärztliche Fertigkeiten im Sommer 2011. Berlin: Charite Universitätsmedizin; 2011. Zugänglich unter/available from: http://taef.charite.de http://taef.charite.de Harden RM AMEE Guide No. 21: Curriculum mapping: a tool for transparent and authentic teaching and learning 2001 Med Teach 123-137 Harden RM. AMEE Guide No. 21: Curriculum mapping: a tool for transparent and authentic teaching and learning. Med Teach. 2001;23(2):123-137. DOI: 10.1080/01421590120036547 http://dx.doi.org/10.1080/01421590120036547 Bundesministerium für Gesundheit Approbationsordnung für Ärzte vom 27. Juni 2002 2002 Bundesgesetzbl 2417 Bundesministerium für Gesundheit. Approbationsordnung für Ärzte vom 27. Juni 2002. Bundesgesetzbl. 2002;I(44):2417. Locke EA Latham GP 1990 A theory of goal setting and task performance Locke EA, Latham GP. A theory of goal setting and task performance. Englewood Cliffs, NJ: Prentice Hill; 1990. Braun OL Berufliche Zielklarheit im Studium 2001 Lebenslanges Lernen 261-276 Braun OL. Berufliche Zielklarheit im Studium. In: Müller GF (Hrsg). Lebenslanges Lernen. Landau: Knecht; 2001. S.261-276. Gollwitzer PM Zielbegriffe und -theorien in der heutigen Psychologie 1995 Bericht über den 39. Kongress der Deutschen Gesellschaft für Psychologie in Hamburg 1994 295-300 Gollwitzer PM. Zielbegriffe und -theorien in der heutigen Psychologie. In: Pawlik K (Hrsg). Bericht über den 39. Kongress der Deutschen Gesellschaft für Psychologie in Hamburg 1994. Goettingen: Hogrefe; 1995. S.295-300. Kähler R 2010 Individuelle Einflussfaktoren auf Studienzufriedenheit und persönliche Ziele von Medizinstudierenden der Charité – Universitätsmedizin Berlin Kähler R. Individuelle Einflussfaktoren auf Studienzufriedenheit und persönliche Ziele von Medizinstudierenden der Charité – Universitätsmedizin Berlin. Berlin: Dissertationan der Charité; 2010. Zugänglich unter/available from: http://www.diss.fu-berlin.de/diss/servlets/MCRFileNodeServlet/FUDISS_derivate_000000007656/Dissertation_Ragna_Kaehler.pdf http://www.diss.fu-berlin.de/diss/servlets/MCRFileNodeServlet/FUDISS_derivate_000000007656/Dissertation_Ragna_Kaehler.pdf Ahlers O Georg W Blaum W Stieg M Hanfler S Bubser F Spies C Der Einsatz einer interdisziplinären, webbasierten Lernzielplattform verbessert sowohl die Unterrichtsqualität als auch die Klausurergebnisse Studierender 2010 Ahlers O, Georg W, Blaum W, Stieg M, Hanfler S, Bubser F, Spies C. Der Einsatz einer interdisziplinären, webbasierten Lernzielplattform verbessert sowohl die Unterrichtsqualität als auch die Klausurergebnisse Studierender. Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Bochum, 23.-25.09.2010. Düsseldorf: German Medical Science GMS Publishing House, 2010, Doc10gma13. Jamieson S Likert scales: how to (ab)use them 2004 Med Educ 1212-1218 Jamieson S. Likert scales: how to (ab)use them. Med Educ. 2004; 38(12):1212-1218. DOI: 10.1111/j.1365-2929.2004.02012.x http://dx.doi.org/10.1111/j.1365-2929.2004.02012.x Norman G Likert scales, levels of measurement and the ‘‘laws’’ of statistics 2010 Adv in Health Sci Educ 625-632 Norman G. Likert scales, levels of measurement and the ‘‘laws’’ of statistics. Adv in Health Sci Educ. 2010;15(5):625-632. DOI: 10.1007/s10459-010-9222-y http://dx.doi.org/10.1007/s10459-010-9222-y Cook DA Erwin PJ Triola MM Computerized virtual patients in Health Professions Education: a systematic review and meta-analysis 2010 Acad Med 1589-1602 Cook DA, Erwin PJ, Triola MM. Computerized virtual patients in Health Professions Education: a systematic review and meta-analysis. Acad Med. 2010;85(10):1589-1602. DOI: 10.1097/ACM.0b013e3181edfe13 http://dx.doi.org/10.1097/ACM.0b013e3181edfe13 11de1en

22de2en

33de3en

3 0 0 0