A station-based concept for teaching the neurological examination: A prospective quasi-experimental study

zma001076 10.3205/zma001076 urn:nbn:de:0183-zma0010761 article Artikel A station-based concept for teaching the neurological examination: A prospective quasi-experimental study Ein Stationen-basiertes Konzept für die Lehre der neurologischen Untersuchung: Eine prospektive, quasi-experimentelle Studie Brich Brich Jochen J MD

Department of Neurology and Neuroscience, Medical Center – University of Freiburg, Breisacherstraße 64, D-79106 Freiburg i. Br., Germany, Phone: +49 (0)761/270-50010, Fax: +49 (0)761/270-53100Department of Neurology and Neuroscience, Medical Center – University of Freiburg, Freiburg i. Br., Germany

Klinik für Neurologie und Neurophysiologie, Universitätsklinikum Freiburg, Breisacherstraße 64, 79106 Freiburg i. Br., Deutschland, Tel.: +49 (0)761/270-50010, Fax:+49 (0)761/270-5300Klinik für Neurologie und Neurophysiologie, Universitätsklinikum Freiburg, Freiburg i. Br., Deutschland

jochen.brich@uniklinik-freiburg.de author Rijntjes Rijntjes Michael M MD

Department of Neurology and Neuroscience, Medical Center – University of Freiburg, Freiburg i. Br., Germany

Klinik für Neurologie und Neurophysiologie, Universitätsklinikum Freiburg, Freiburg i. Br., Deutschland

michael.rijntjes@uniklinik-freiburg.de author German Medical Science GMS Publishing House

Düsseldorf

610 neurological examination small group teaching self-assessment Neurologische Untersuchung Kleingruppenunterricht Selbsteinschätzung Clinical Skills Klinische Fertigkeiten 20160212 20160805 20160812 20161115 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 2366-5017 33 5 GMS Journal for Medical Education GMS J Med Educ 77 Hintergrund: Die neurologische Untersuchung gilt als komplex und trägt zum Phänomen der „Neurophobie“ bei. Sie wird traditionell in Kleingruppen durch Assistenzärzte unterrichtet („traditionelles Konzept“), wodurch der Lernerfolg teilweise vom klinischen Ausbildungsstand, der didaktischen Ausbildung und der persönlichen Motivation des Assistenzarztes abhängt. Ziel der Studie war es, die Effekte eines neu entwickelten Konzeptes („Stationen-Konzept“) für die Lehre der neurologischen Untersuchung hinsichtlich eines verbesserten und gleichmäßigeren Transfers von Wissen und praktischen Fertigkeiten zu untersuchen. Methoden: Ein prospektives, quasi-experimentelles Design wurde angewandt, um das traditionelle Konzept mit dem Stationen-Konzept zu vergleichen. Dabei wurde der Lehrinhalt in acht Teilbereiche (Stationen) unterteilt wurde, wobei ein Assistenzarzt zu jeder Station zugeteilt wurde. Die primären Endpunkte der Studie waren die Unterschiede in der Selbsteinschätzung der Studierenden hinsichtlich des Lernerfolges in unterschiedlichen Bereichen der neurologischen Untersuchung. Sekundäre Analysen bezogen sich auf die Ergebnisse der Evaluationen der Studierenden und der Assistenzärzte.Ergebnisse: 144 Studierende und 28 Assistenzärzte nahmen am traditionellen Konzept teil (Sommersemester 2012) und 151 Studierende und 28 Assistenzärzte am Stationen-Konzept (Wintersemester 2012/13). Beim Stationen-Konzept verbesserten sich die Selbsteinschätzungen der Studierenden im Vergleich zum traditionellen Konzept signifikant in den Bereichen „Motorisches System“, „Koordination“ und „Mentaler Status“. Die Evaluationen der Studierenden ergaben signifikante Verbesserungen in fünf von acht Punkten. Fünfzig Prozent der Assistenzärzte bewerteten den Stationen-Ansatz besser als den traditionellen Ansatz, zehn Prozent als schlechter. Schlussfolgerung: Das Stationen-Konzept verbesserte den von den Studierenden selbst eingeschätzten Lernerfolg wie auch die Evaluationsergebnisse bei gleichzeitig hoher Akzeptanz bei den Assistenzärzten. Background: The neurological examination is considered to be complex and contributes to the phenomenon of “neurophobia”. It is traditionally taught in small groups by residents (“traditional concept”), making the learning success partially dependent on the resident’s level of clinical training, didactic education and personal motivation. Aim of this study was to examine the effects of a newly developed concept (“station concept”) for teaching the neurological examination on achieving an improved and more equal transfer of knowledge and practical skills.Methods: A prospective quasi-experimental design was used to compare the traditional concept with the newly developed station concept, in which the teaching content was divided in eight subdivisions (stations) with one resident being assigned to one station. The primary endpoints of the study were the differences in students’ self-assessments of learning success in the different subdomains of the neurological examination, and secondary analyses focused on evaluation results of students and residents.Results: 144 students and 28 residents participated in the traditional concept (summer semester 2012) and 151 students and 28 residents in the station concept (winter semester 2012/13). In the station-concept students’ self-assessment significantly improved in the domains “Motor System”, “Coordination” and “Mental Status” compared to the traditional concept. Students’ evaluation showed significant improvement in five out of eight points. Fifty percent of residents rated the new approach superior to the traditional approach, ten percent as inferior.Conclusion: The station concept improved students’ self-assessed learning success as well as evaluation results while simultaneously achieving high acceptance in residents. IntroductionThe neurological examination (NE) is considered to be difficult and complex and contributes to the internationally recognized phenomenon of “neurophobia” , , , , , . Nevertheless the correct performance and interpretation of the results of the NE is still of great significance, since history and the NE are the basis for the topical diagnosis in neurology, which remains important for clinical decision making also in the era of cross sectional imaging.The content , and different approaches of teaching the NE (hypothesis-driven or screening NE ) have been addressed by educational studies, but apart from anecdotal essays (for example ) to our knowledge no systematic studies about educational strategies for teaching the NE to undergraduate students exist.Although lacking good evidence , most medical schools traditionally use the small group interactive learning approach with residents as teachers. One characteristic of this teaching approach is the close relationship between the resident as a teacher and the group of students, which creates a mostly well appreciated tight and individual mentoring. But even after completion of a didactical training – which is not obligatory in German universities - this close relationship still can cause a strong dependency on the resident’s individual qualifications concerning the level of postgraduate education and professional experience. This may result in an uncontrollable and heterogeneous learning outcome for the students. Under these circumstances a fair and objective assessment of the NE for example with an Objective Structured Clinical Examination (OSCE) could be hampered, which was an important obstacle for implementation of an OSCE in our institution.To overcome these limitations we developed a station concept for teaching the NE. The aim of this prospective quasi-experimental study was to examine the effects of the station concept on students’ self-assessed learning success compared to the traditional concept. Furthermore, we wanted to examine the acceptance for the station-based concept in students and residents. EinführungDie neurologische Untersuchung (NU) wird als schwierig und komplex eingeschätzt und trägt zu dem international beschriebenen Phänomen der „Neurophobie“ bei , , , , , . Gleichwohl ist die korrekte Durchführung und Interpretation der Ergebnisse der NU weiterhin von großer Bedeutung, da die Anamnese und die NU die Basis für die topische Diagnostik in der Neurologie darstellen, welche auch in der Ära der Schnittbildgebung weiterhin wichtig für die klinische Entscheidungsfindung bleibt.Der Inhalt , und die unterschiedlichen Ansätze der Vermittlung der NU (Hypothesen-orientiert oder als „Screening“-Untersuchung ) wurden in Lehrstudien untersucht, aber abgesehen von anekdotischen Abhandlungen (zum Beispiel ) existieren nach unserem Wissen keine systematischen Studien zur Vermittlung der NU an Studierende. Trotz eines Mangels an guter Evidenz nutzen die meisten medizinischen Fakultäten traditionell den interaktiven Kleingruppenunterricht mit Assistenzärzten als Dozenten. Ein Charakteristikum dieses Lehransatzes ist die enge Beziehung zwischen dem Assistenzarzt und der Gruppe der Studierenden, welche zu einer meist geschätzten intensiven und individuellen Betreuung führt. Aber auch nach dem Absolvieren eines Didaktik-Trainings - welches an deutschen Universitäten nicht verpflichtend ist – kann diese enge Beziehung eine starke Abhängigkeit von den individuellen Qualifikationen des Assistenzarztes hinsichtlich seines Weiterbildungsstandes und professioneller Erfahrung haben. Dies kann in einem unkontrollierbaren und heterogenen Lehrergebnis resultieren. Unter diesen Umständen kann eine faire und objektive Prüfung der NU zum Beispiel mit einer „Objective Structured Clinical Examination“ (OSCE) erschwert sein, was ein wichtiges Hindernis für eine OSCE-Implementierung an unserer Institution war.Um diese Einschränkungen zu überwinden entwickelten wir ein Stationen-Konzept für die Lehre der NU. Das Ziel dieser prospektiven, quasi-experimentellen Studie war es, die Effekte des Stationen-Konzeptes auf den selbsteingeschätzten Lernerfolg der Studierenden im Vergleich zu dem traditionellen Konzept zu untersuchen. Zusätzlich wollten wir die Akzeptanz des Stationen-Konzeptes bei den Studierenden und Assistenzärzten untersuchen. MethodsGeneral ContextThe neurology clerkship at the Department of Neurology at the University Medical Center Freiburg usually takes place during the students’ third or fourth year. The mandatory three-week block course includes disease-oriented lectures, symptom-oriented seminars, practical teaching of the neurological examination and bedside teaching. The course ends with a summative multiple choice-question examination for all participants covering all course sections, usually containing two out of 40 questions referring to the NE or its neuroanatomical background. Since the questions of the multiple-choice examinations are made public we could not use the same questions in the next semester making a direct comparison between the results of the students participating in the traditional and the station concepts impossible. At the time of this study no practical assessment for the NE was conducted.Design of the StudyThe traditional concept was compared to the station concept using a prospective quasi-experimental design using the entire student populations of two consecutive semesters. Primary endpoints of the study were the differences in students’ self-assessments of learning success in six subdomains of the NE, and secondary analyses focused on evaluation results of students and residents. The study was approved by the Ethics Committee of the University Medical Center Freiburg, Germany.The traditional conceptOne resident taught a small group of 6 (5 to 7) students on two consecutive afternoons for 3 hours each. The content was based on a 24-page script developed for the students and structured in the chapters mental status, cranial nerves, motor system, reflexes, sensory system, and coordination with gait in accordance with published consensus-statements , . Residents received an additional 5-page handout listing the 59 single tests they should teach in a structure according to the chapters in the students’ script with short accompanying examples how to perform these tests.The station conceptThe same content of the NE as in the traditional concept was divided into 8 stations. The examination of the cranial nerves was split in three 25-minute lasting stations “Impaired Seeing” (cranial nerves II, III, IV and VI), “Face” (cranial nerves V and VII) and “Tongue and Throat” (cranial nerves IX, X and XII with extra space for cranial nerves I and XI). Tests for cranial nerve VIII were subsumed under “Coordination”. The station “Motor System” lasted 75 minutes and included tests for muscle tone, strength and reflexes. Tests for the sensory system, coordination and gait were combined into a 40-minute lasting station “Sensation and Coordination”. The stations “Mental Status” (focusing on symptoms concerning alertness, perception, language, concentration and memory) and “Neurologic Examination in Patients with Altered Level of Consciousness” lasted 40 minutes. The closing station “Screening NE” recapitulated the essential steps of the NE , and was used to demonstrate and exercise the NE in one sequence. The independence of the content of all stations (except for the closing station “Screening NE”) was an important requirement for the development of the station concept and was carefully paid attention to. For the residents, we developed a specific one-page guideline for every station to provide a structuring and didactical aid. The basic didactic scheme was identical for all stations: After a short introduction by the resident (optionally using the introducing clinical case of the new script, see below) defining the station’s content, its learning objectives, the clinical context and its neuroanatomical background, the resident should demonstrate the tests belonging to the station. Subsequently the students should practice these tests with their peers with immediate feedback from the resident. Afterwards students should be invited to ask remaining questions. Finally, the resident gives a summary of the station with emphasis on the achieved learning objective.In the station-concept one resident was assigned to teach the content of one station per day resulting in two to six repeats depending on the length of the station. The students’ groups of 6 (5 to 7) students had to rotate through the stations following a default plan (see Table 1 ): At day one students were instructed alternately in the three cranial nerves stations and the “Motor Station”, at day two the three stations “Sensation and Coordination”, “Neurologic Examination in Patients with Altered Level of Consciousness” and “Mental Status” were instructed in parallel. For the closing station “Screening NE” students remained at the residents who instructed the prior station.The students’ script of the station concept was identical with regard to content to the script of the traditional concept. The structure was adapted to the stations by assigning one chapter per station. Two new chapters “Neurologic Examination in Patients with Altered Level of Consciousness” and “Screening NE” were introduced by regrouping the existing examination tests. Two short clinical vignettes establishing the clinical context and the learning objectives introduced all chapters. The newly formatted script maintained the length of 24 pages.Self-assessment and evaluation of studentsTwo days after accomplishing the NE-course students of both semesters were asked to voluntarily self-assess their personal learning success for each of the six commonly accepted domains of the NE (mental status, cranial nerves, motor system, reflexes, coordination and sensory system , ) on a six-level grading scale allowing a comparison between the two concepts. They were also invited to evaluate for motivation, engagement and quality of mentoring of the residents, the group size and the usefulness of the student script on a 6-point-Likert-scale. Furthermore they were asked to evaluate their subjectively achieved competence to perform the basic steps of the NE and the degree of preparation for bedside use of these acquired practical skills. Finally students were asked for an overall rating of the NE course.Evaluation of residentsWe determined the duration of residency and educational qualifications (attendance of workshops, didactic certificates etc.) for every resident at each time point of teaching the NE. After ending the neurology clerkship we conducted a voluntary online-survey evaluation for each of the teaching concepts: Residents should grade the respective concept of teaching NE that they absolved. We also asked those who participated in both concepts for a comparison of the two concepts.Statistical analysisThe Likert-scaled results of the evaluations and self-assessments were statistically analyzed using SPSS 21 (IBM, USA). Data are presented as mean with standard deviation. The p-values were derived from t-tests (significance level 5%, two-tailed). Adjustment for multiple testing was carried out calculating the false discovery rate (FDR). MethodenAllgemeiner KontextDas neurologische Blockpraktikum der Klinik für Neurologie und Neurophysiologie am Universitätsklinikum Freiburg findet üblicherweise im dritten oder vierten Studienjahr statt. Der verpflichtende Drei-Wochen-Blockkurs beinhaltet Krankheits-orientierte Vorlesungen, Symptom-orientierte Seminare, praktischen Unterricht der NU und Unterricht am Krankenbett. Der Kurs endet mit einer summativen Multiple-Choice-Prüfung für alle Teilnehmer über alle Kursteile, wobei sich gewöhnlich zwei der 40 Fragen auf die NU oder ihren neuroanatomischen Hintergrund beziehen. Da die Fragen der Multiple-Choice-Klausuren veröffentlicht werden, konnten wir nicht dieselben Fragen im nächsten Semester verwenden, was einen direkten Vergleich der Ergebnisse der an den traditionellen oder Stationen-Konzeptes teilnehmenden Studierenden nicht ermöglichte. Zum Zeitpunkt der Durchführung dieser Studie wurde keine praktische Prüfung der NU durchgeführt.StudiendesignDas traditionelle Konzept wurde in einem prospektiven, quasi-experimentellen Studiendesign mit dem Stationen-Konzept verglichen, wobei die gesamten Studierenden-Populationen zweier aufeinanderfolgender Semester herangezogen wurden. Primärer Endpunkt der Studie waren die Selbsteinschätzungen der Studierenden der hinsichtlich ihres Lernerfolges in sechs Bereichen der NU. Sekundäre Analysen bezogen sich auf die Ergebnisse der Evaluationen der Studierenden und der Assistenzärzte. Die Studie wurde von der Ethik-Kommission des Uniklinikums Freiburg genehmigt.Das traditionelle KonzeptEin Assistenzarzt unterrichtete eine kleine Gruppe von 6 (5 bis 7) Studierenden für jeweils 3 Stunden an zwei aufeinanderfolgenden Nachmittagen. Der Inhalt basierte auf einem 24-seitigen, für die Studierenden entwickeltem Skript, das in Übereinstimmung mit den publizierten Konsensus-Statements , in die Kapitel „Mentaler Status“, „Hirnnerven“, „Motorisches System“, „Reflexe“, „Sensorisches System“ und „Koordination mit Gang“ unterteilt war. Die Assistenzärzte erhielten ein zusätzliches, 5-seitiges Hand-out, welches die zu unterrichtenden 59 Einzeltests analog der Struktur des Studierenden-Skriptes mit kurzen begleitenden Beispielen zur Durchführung auflistete.Das Stationen-KonzeptDer Inhalt der NU des traditionellen Konzeptes wurde auf 8 Stationen aufgeteilt. Die Untersuchung der Hirnnerven wurde in drei, jeweils 25 Minuten dauernde Stationen „Sehstörungen“ (Hirnnerven II, III,IV und VI), „Gesicht“ (Hirnnerven V und VII) und „Zunge und Rachen“ (Hirnnerven IX, X und XII mit extra Freiraum für die Hirnnerven I und XI) verteilt. Tests für den VIII. Hirnnerv wurden unter „Koordination“ zusammengefasst. Die Station „Motorisches System“ dauerte 75 Minuten und beinhaltete Tests für die Prüfung des Muskeltonus, der Kraft und der Reflexe. Tests für das sensorische System, die Koordination und den Gang wurden in der 40-minutigen Station „Sensibilität und Koordination“ kombiniert. Die Stationen „Mentaler Status“ (die sich auf die Symptome Aufmerksamkeit, Wahrnehmung, Sprache, Konzentration und Gedächtnis fokussierte) und „Die neurologische Untersuchung von vigilanzgeminderten Patienten“ dauerten 40 Minuten. Die abschließende Station „Die neurologische Screening-Untersuchung“ fasste die unverzichtbaren Untersuchungsschritte der NU zusammen und wurde zur Demonstration und Übung der NU in einer Sequenz genutzt. Die inhaltliche Unabhängigkeit aller Stationen voneinander (außer für die Abschluss-Station „Die neurologische Screening-Untersuchung“) war eine wichtige Voraussetzung für die Entwicklung des Stationen-Konzeptes und wurde sorgfältig beachtet. Für die Assistenzärzte entwickelten wir für jede Station einen spezifischen, einseitigen Leitfaden, um eine strukturierende und didaktische Hilfe zur Verfügung zu stellen. Das grundsätzliche didaktische Schema war für alle Stationen identisch: Nach einer kurzen Einführung durch den Assistenzarzt (wahlweise mit einem einführenden klinischen Fall des neuen Skriptes, siehe unten), in der der Inhalt der Station, ihre Lernziele, der klinische Kontext und der neuroanatomische Hintergrund dargestellt wurden, sollte der Assistenzarzt zunächst die Untersuchungsschritte der Station demonstrieren. Anschließend sollten die Studierenden diese Untersuchungsschritte mit ihren Kommilitonen unter direktem Feedback des Assistenzarztes üben. Danach sollten die Studierenden ermuntert werden, ihre verbleibenden Fragen zu stellen. Zum Abschluss gab der Assistenzarzt eine Zusammenfassung der Station mit Schwerpunkt auf die erreichten Lernziele.Im Stationen-Konzept wurde jeweils ein Assistenzarzt festgelegt, um den Inhalt einer Station pro Tag zu unterrichten, was – abhängig von der Länge der Station – in zwei bis sechs Wiederholungen resultierte. Die Studierenden-Gruppen von 6 (5-7) Studierenden mussten anhand eines vorgegebenen Plans (siehe Tabelle 1 ) durch die Stationen rotieren: Am Tag eins wurden die Studierenden wechselweise in den drei Hirnnerven-Stationen und der motorischen Station unterrichtet, am Tag zwei wurde parallel in den drei Stationen „Sensibilität und Koordination“, „Mentaler Status“ und „Die neurologische Untersuchung von vigilanzgeminderten Patienten“ unterrichtet. Für die Abschluss-Station „Die neurologische Screening-Untersuchung“ verblieben die Studierenden bei dem Assistenzarzt, der die vorherige Station unterrichtet hatte. Das Studierenden-Skript des Stationen-Konzeptes war inhaltlich identisch mit dem Skript des traditionellen Konzeptes. Die Gliederung wurde an die Stationen angeglichen, indem ein Kapitel pro Station zugeordnet wurde. Die zwei neuen Kapitel „Die neurologische Untersuchung von vigilanzgeminderten Patienten“ und „Die neurologische Screening-Untersuchung“ wurden durch Umgruppierung der existierenden Untersuchungsschritte erstellt. Zwei kurze klinische Vignetten, die den klinischen Bezug herstellen sollten, und die Lernziele wurden allen Kapiteln vorangestellt. Das neu formatierte Skript behielt die Länge von 24 Seiten bei.Selbsteinschätzung und Evaluation der StudierendenZwei Tage nach der Durchführung des Kurses zur NU wurden die Studierenden beider Semester gefragt, freiwillig ihren persönlichen Lernerfolg für jede der allgemein akzeptieren 6 Bereiche der NU (Mentaler Status, Hirnnerven, motorisches System, Reflexe, Koordination und sensorisches System , ) auf einer 6-stufigen Bewertungsskala selbst einzuschätzen. Dies erlaubte einen Vergleich zwischen den beiden Konzepten. Die Studierenden wurden zudem gebeten, die Assistenzärzte hinsichtlich ihrer Motivation und ihres Engagements sowie ihrer Gesamt-Betreuung zu evaluieren, ebenso sollte die Gruppengröße und das Studierenden-Skript auf eine 6-stufigen Likert-Skala bewertet werden. Weiterhin wurden sie gefragt, ihre subjektiv erreichte Kompetenz hinsichtlich der Durchführung der grundlegenden Schritte der NU und den Grad der Vorbereitung für den Einsatz dieser erlernten praktischen Fertigkeiten am Krankenbett zu bewerten.Evaluation der AssistenzärzteWir bestimmten die Dauer der Weiterbildung und die didaktischen Qualifikationen (Absolvierung von Workshops, Didaktik-Zertifikate etc.) für jeden Assistenzarzt bei jedem Zeitpunkt des Unterrichts der NU. Nach Ende des Blockpraktikums führten wir eine freiwillige Online-Evaluation für jedes der Lehr-Konzepte durch: Die Assistenzärzte sollten das jeweils durchgeführte Lehr-Konzept bewerten. Wir erfragten bei Assistenzärzten, die an beiden Konzepten teilgenommen hatten, eine vergleichende Bewertung. Statistische AuswertungDie Likert-skalierten Ergebnisse der Evaluationen und die Ergebnisse der Selbsteinschätzungen wurden mit Hilfe von SPSS 21 (IBM, USA) statistisch ausgewertet. Die Daten werden als Mittelwert mit Standardabweichung präsentiert. Die p-Werte wurden mit Hilfe von t-Tests (Signifikanz-Level 5%, zweiseitig) berechnet. Eine Anpassung für multiples Testen wurde durch die Berechnung der „False Discovery Rate“ (FDR) vorgenommen. ResultsCharacteristics of participating students and residents are shown in Table 2 .144 of 156 students (92,3%) completing the NE course with the traditional concept and 139 out of 153 students (90,8%) completing the NE course with the station concept participated in self-assessments and evaluation. The results of the self-assessed learning success and evaluation results of each cohort are shown in Table 3 . Eight items were significantly rated better in the station concept: Three items of the self-assessed learning success (“motor system”, “coordination” and “mental status”) and five items of the evaluation (motivation and engagement of the residents, mentoring of the residents, usefulness of the script, feeling of preparedness for clinical practice and the overall-grade).Ten residents (41,7%) participated in the online-evaluation of the traditional concept. Two residents rated the concept “1= excellent”, seven “2= good” and one “3= satisfactory”, resulting in an average grade of 1,9. In the online-evaluation of the station concept 21 residents (87,5%) participated. Nine rated “1= excellent”, eleven “2= good”, and one “3= satisfactory”, resulting in an average grade of 1,6 with no significant difference to the average grade of the traditional concept. Ten out of 20 residents participating in both concepts rated the station concept better (50%) and eight rated it equally (40%) to the traditional concept. Two residents favored the traditional concept (10%). ErgebnisseDie Charakteristika der teilnehmenden Studierenden und Assistenzärzte sind in Tabelle 2 dargestellt. Einhundertvierundvierzig von 156 Studierenden (92,3%), die den NU-Kurs mit dem traditionellen Konzept absolvierten, und 139 von 153 Studierenden (90,8%), die den NU-Kurs mit dem Stationen-Konzept absolvierten, nahmen an der Selbsteinschätzung und der Evaluation teil. Die Ergebnisse hinsichtlich des selbsteingeschätzten Lernerfolges und der Evaluation von jeder Kohorte sind in Tabelle 3 dargestellt. Acht Punkte wurden beim Stationen-Konzept signifikant besser bewertet: Drei Bereiche der NU hinsichtlich des selbsteingeschätzten Lernerfolges („Motorisches System“, Koordination“ und „Mentaler Status“) und fünf Unterpunkte in der Evaluation (Motivation und Engagement der Assistenzärzte, die Betreuung durch die Assistenzärzte, der Nutzen des Skriptes, das Gefühl für das Vorbereitet sein auf die klinische Praxis und die Gesamtbewertung).Zehn Assistenzärzte (41,7%) nahmen an der Online-Evaluation des traditionellen Konzeptes teil. Zwei Assistenzärzte bewerteten das Konzept mit „1=sehr gut“, sieben mit „2=gut“ und einer mit „3=zufriedenstellend“, was zu einer durchschnittlichen Bewertung von 1,9 führte. An der Online-Evaluation des Stationen-Konzeptes nahmen 21 Assistenzärzte (87,5%) teil. Neun bewerteten das Konzept mit „1=sehr gut“, elf mit „2=gut“ und einer mit „3=zufriedenstellend“, was zu einer durchschnittlichen Bewertung von 1,6 führte (ohne signifikanten Unterschied zur Durchschnittsnote des traditionellen Konzeptes). Zehn von 20 an beiden Konzepten teilnehmenden Assistenzärzten bewerteten das Stationen-Konzept als „besser“ (50%) und acht als „gleichwertig“ (40%) im Vergleich zum traditionellen Konzept. Zwei Assistenzärzte favorisierten das traditionelle Konzept (10%). DiscussionTeaching the NE by residents is an often-used approach, because they use the NE in daily routine and it is thought to be a well-defined content making teaching manageable for residents in their first years. In our clinic more than 40% of the residents teaching the NE to undergraduates had less than 2 years of residency and less than 20% of all teaching residents were formally taught in educational skills. On the other hand those who had completed didactical training had more than 3 years of residency. This leads to a distinct inhomogeneity of teaching residents: on one side clinically less experienced residents without educational qualification, on the other side residents with more clinical experience and higher chance of educational qualification. This might especially have an impact on teaching the NE, since it becomes apparent, that it includes an extensive content of tests and corresponding neuroanatomical background knowledge resulting in textbooks devoted exclusively to the NE , , , . In our course traditionally 59 tests were taught, leading to a great amount of teachable content and relevant neuroanatomical background. Teaching this mix of practical skills and complex background knowledge is difficult for clinically less experienced residents, who are not didactically trained. The division of the entire content into stations enabled the residents a focused preparation of specific domains of the NE, resulting not only in a substantiated knowledge in this domain but also in better confidence in the own examination skills. This was shown before to be an important factor for successfully teaching practical skills , which likely contributed to the better-evaluated motivation and engagement and the appreciated feeling of good mentoring. Being better prepared in contents also allowed residents to concentrate more on didactic aspects of teaching. Since only a minority of residents completed an educational training we provided a basic didactic structure that was individualized for the content of each station and served as a guideline for teaching. Interestingly, due to the repetitions of the stations, residents noticed a learning curve in their didactical skills (personal communication). This is reflected by the preference for the station concept by 50% of the residents, while only 10% favored the traditional concept.As primary outcome for students’ learning success we used aggregated self-assessments, which were recently demonstrated to have a good correlation with external standards for estimation to the effectiveness of new teaching programs , . The aggregated self-assessments in our study showed a significant increase in three of the six domains of the NE taught with the station concept. Teaching the extensive and complex examining steps for motor function (tests for muscle tone and strength) and coordination (including gait) did benefit from the structured approach. The self-assessed learning success of examination of the mental status can be most likely contributed to the above-described better preparation and improvement of teaching techniques of the residents, since especially the examination of the mental status is a rather abstract and challenging topic for teaching. Three domains of the NE (Reflexes, Cranial nerves and Sensation) were already rated close to maximum in the traditional concept, maybe because these domains offer an intrinsic framework for teaching. These domains therefore offered very little room for improvement and there was no significant difference with the station concept.With regard to the students’ evaluation results there are several notable points. The students evaluated the station concept significantly better in their feeling of being prepared for clinical practice although their feeling of competence to conduct the basic examination steps did not differ between the two groups. We believe that creating a clinical context by introducing the short clinical vignettes of the adapted script as an introduction for each station contributed to this increase, since in clinical practice only a selection of the 59 tests are needed in a patient, depending on the actual complaints. This is already a step towards the hypothesis-driven approach of the NE . Furthermore, structuring the initially overwhelming quantity of neurological tests in smaller subdivision may also contribute to the better overall evaluation results. This conclusion is supported by significantly better evaluation results for usefulness of the new script that with regards to content remained identical to the script of the traditional concept, but in structure was aligned to the station concept.There are limitations to this study. We did not determine the baseline skills of the participants, but since neurology is taught at only this particular time in our curriculum we assumed that the participants of our study did not differ much in their previous neurological knowledge and experience. Since we used aggregated self-assessment and evaluations of students as main outcome measure we could not demonstrate better practicing of students in neurological tests which is usually assessed with an OSCE, but early work by Anderson et al. demonstrated good correlations for aggregated self-assessments of neurological skills with results assessed with an OSCE. In addition, this study was conducted to provide a fair basis for an OSCE since obvious differences in teaching qualifications did exist in the traditional system. Furthermore, by controlling for group size, which remained constant in both concepts and showed similar results in the evaluation of both concepts, we can demonstrate that the evaluations and self-assessments are reliable methods to differentiate between unchanged and changed results. The highly rated motivation and engagement of the residents may be partially explained by the Hawthrone effect, but the continuing excellent evaluations of the now well-established station concept in our clinic point to a true result. DiskussionDie Lehre der NU durch Assistenzärzte ist ein häufig verwendeter Ansatz, da diese die NU in ihrer täglichen Routine anwenden und man annimmt, dass die NU aufgrund des gut definierten Inhaltes auch von Assistenzärzten in den ersten Weiterbildungsjahren gut vermittelbar ist. In unserer Klinik hatten mehr als 40% der Assistenzärzte, die den Studierenden die NU lehrten, weniger als zwei Weiterbildungsjahre und weniger als 20% aller lehrenden Assistenzärzte wurden formell in Didaktik-Fertigkeiten ausgebildet. Auf der anderen Seite hatten all diejenigen, die ein Didaktik-Training absolviert hatten, mehr als drei Weiterbildungsjahre. Dies führt zu einer ausgeprägten Ungleichheit der lehrenden Assistenzärzte: Auf der einen Seite klinisch weniger erfahrene Assistenzärzte ohne didaktische Ausbildung, auf der anderen Seite klinisch erfahrenere Assistenzärzte mit einer höheren Wahrscheinlichkeit einer didaktischen Ausbildung. Dies könnte einen Einfluss insbesondere auf die Lehre der NU haben, da sich bei genauerer Betrachtung eine umfangreiche Menge an Tests und dazugehörigem neuroanatomischen Hintergrundwissen offenbart, was auch dazu geführt hat, dass es ausschließlich der NU gewidmete Lehrbücher gibt , , , . In unserem Kurs wurden traditionell 59 Tests unterrichtet, was zu einer großen Menge an zu unterrichtenden Inhalten und relevantem neuroanatomischen Hintergrund geführt hat. Die Lehre dieser Mischung aus praktischen Fertigkeiten und komplexem Hintergrundwissen ist schwierig für klinisch weniger erfahrene Assistenzärzte, die nicht didaktisch ausgebildet wurden. Die Aufteilung des gesamten Inhaltes in Stationen ermöglichte den Assistenzärzten eine gezielte Vorbereitung auf spezielle Teilbereiche der NU. Das führte nicht nur zu einem fundiertem Wissen in diesem Teilbereich, sondern auch zu einem größeren Selbstvertrauen in die eigenen Untersuchungsfertigkeiten. Es wurde gezeigt, dass dies ein wichtiger Faktor für die erfolgreiche Vermittlung von praktischen Fertigkeiten ist , und hat wahrscheinlich auch zu der besseren Evaluierung von Motivation und Engagement sowie zu dem Gefühl der besseren Betreuung beigetragen. Die verbesserte inhaltliche Vorbereitung erlaubte es den Assistenzärzten dann auch, sich mehr auf die didaktischen Aspekte des Unterrichtens zu konzentrieren. Da nur eine Minderheit der Assistenzärzte ein didaktisches Training absolviert hatte, stellten wir eine grundlegende didaktische Struktur zur Verfügung, die individuell an den Inhalt jeder Station angepasst wurde und als Leitfaden für das Unterrichten diente. Interessanterweise bemerkten die Assistenzärzte durch die Wiederholungen der Stationen eine Lernkurve hinsichtlich ihrer didaktischen Fertigkeiten (persönliche Mitteilungen). Dies spiegelt sich in der Präferenz von 50% der Assistenzärzte für das Stationen-Konzept wieder, während nur 10% das traditionelle Konzept favorisierten. Als primären Endpunkt für den Lernerfolg der Studierenden benutzten wir kumulierte Selbsteinschätzungen, von denen kürzlich gezeigt wurde, dass sie eine gute Korrelation mit externen Standards für die Abschätzung der Effektivität von neuen Unterrichtsmethoden darstellen , . Die kumulierten Selbsteinschätzungen in unserer Studie zeigten bei Unterricht mit dem Stationen-Konzept eine signifikante Verbesserung in drei der 6 Bereiche der NU. Der Unterricht der umfangreichen und komplexen Untersuchungsschritte für die motorischen Funktionen (Test für Muskeltonus und Kraft) und Koordination (inklusive Gang) profitierte dabei von dem strukturierten Ansatz. Der selbsteingeschätzt größere Lernerfolg für die Untersuchung des mentalen Status kann wahrscheinlich am ehesten auf die oben beschriebene bessere Vorbereitung und Verbesserung der Unterrichtstechniken der Assistenzärzte zurückgeführt werden, da insbesondere die Untersuchung des mentalen Status ein eher abstraktes und herausforderndes Unterrichtsthema ist. Drei Bereiche der NU (Reflexe, Hirnnerve und Sensibilität) wurden bereits im traditionellen Konzept fast an der Höchstgrenze evaluiert, vielleicht auch, da sich bei diesen Bereichen bereits eine intrinsische Grundstruktur für das Unterrichten anbietet. Daher bot sich hier wenig Raum für Verbesserungen und es ergab sich bei diesen Bereichen kein signifikanter Unterschied mit dem Stationen-Konzept.In Bezug auf die Evaluationsergebnisse der Studierenden gibt es einige bemerkenswerte Punkte. Die Studierenden evaluierten das Stationen-Konzept signifikant besser bezüglich ihrer Einschätzung, gut für die klinische Praxis vorbereitet zu sein, obwohl die Einschätzung ihrer Fähigkeit, die wesentlichen Untersuchungsschritte durchzuführen, zwischen den Gruppen keinen Unterschied zeigte. Wir vermuten, dass die Schaffung eines klinischen Kontext mittels kurzer klinischer Vignetten als Einführung für jede Station im adaptieren Skript dazu beigetragen hat, da in der klinischen Praxis nur eine Auswahl der 59 Tests bei einem Patienten - in Abhängigkeit von seinen aktuellen Beschwerden - nötig ist. Das bedeutet bereits einen Schritt in Richtung des Hypothesen-orientierten Ansatzes der NU .Darüber hinaus könnte auch die Strukturierung der anfänglich überwältigenden Menge an neurologischen Tests in kleinere Einheiten zu der verbesserten Gesamt-Evaluation beigetragen haben. Diese Schlussfolgerung wird durch die signifikant bessere Evaluation des Untersuchungsskriptes unterstützt, dass bezüglich Inhalt mit dem Skript des traditionellen Konzeptes identisch war, aber in seiner Struktur an das Stationen-Konzept angeglichen wurde.Diese Studie hat Einschränkungen. Wir haben nicht die Ausgangsfertigkeiten der Teilnehmer bestimmt. Da aber das Fach Neurologie nur an diesem einen Zeitpunkt in unserem Curriculum unterrichtet wird, gingen wir davon aus, dass die Teilnehmer dieser Studie bezüglich ihrer vorherigen neurologischen Kenntnisse und Erfahrungen keine Unterschiede aufweisen würden. Wir nutzen kumulierte Selbsteinschätzungen und Evaluationen der Studierenden als Outcome-Parameter, so dass wir nicht zeigen konnten, ob die Studierenden bessere Fertigkeiten in der Durchführung der neurologischen Tests erreichten, was üblicherweise mit einer OSCE überprüft wird. Frühe Studien von Anderson et al haben jedoch gezeigt, dass gute Korrelationen zwischen kumulativen Selbsteinschätzungen von neurologischen Fertigkeiten mit Ergebnissen von OSCEs bestehen. Zudem wurde diese Studie auch gerade deshalb durchgeführt, um eine faire Grundlage für eine OSCE zu gewährleisten, da im traditionellen Konzept offensichtliche Unterschiede hinsichtlich der Lehrqualifikationen existierten. Wir konnten weiterhin mit Hilfe der Gruppengröße, die zwischen den beiden Konzepten gleich blieb und ähnliche Ergebnisse in der Evaluation beider Konzepte ergab, zeigen, dass die Evaluation und die Selbsteinschätzung verlässliche Methoden sind, um zwischen unveränderten und veränderten Ergebnissen zu differenzieren. Die hohe Bewertung der Motivation und des Engagements der Assistenzärzte könnte teilweise durch den Hawthrone-Effekt erklärt werden, aber die kontinuierlich exzellente Evaluierung des jetzt fest implementierten Stationen-Konzeptes in unserer Klinik deuten auf ein reales Ergebnis. ConclusionsThe station concept proved to be a successful teaching tool improving the students’ self-assessed learning success and acceptance compared with the traditional concept, especially for those aspects that were regarded as more complex. Furthermore, by reducing the teaching content for residents, providing basic didactic support and enabling repeated teaching of the same content in a short period of time it also offers a good chance especially for clinically and didactically less experienced residents to improve teaching skills. The effort for converting a traditional NE course in a station concept course is relatively low but it creates the requirements for a fair assessment of students in an OSCE. At our institution we successfully proceeded with the station concept and have finalized an OSCE for the NE to start next semester, additionally to the theoretical multiple choice examination to better represent the field of Neurology.Since the NE is a fundamental and essential step in diagnosing and treating patients with neurological disorders, this new teaching concept may be another effective step for making neurology more attractive to students. SchlussfolgerungDas Stationen-Konzept erwies sich als eine erfolgreiche Unterrichtsmethode, die im Vergleich zu dem traditionellen Konzept zu einer verbesserten Selbsteinschätzung der Studierenden in Bezug auf den Lernerfolg führte, insbesondere in den Bereichen, die als komplexer eingeschätzt wurden. Zudem bietet es insbesondere für klinisch und didaktisch weniger erfahrene Assistenzärzte durch die Reduktion des Lehrinhalts, eine basale didaktische Unterstützung und der Ermöglichung des wiederholten Unterrichtens desselben Inhalts, eine gute Möglichkeit, ihre didaktischen Fertigkeiten zu verbessern. Der Aufwand, einen traditionellen NU-Kurs in einen Stationen-Kurs zu überführen, ist relativ gering, schafft aber die Voraussetzungen für eine faire Überprüfung der Studierenden in einer OSCE. In unserer Abteilung haben wir das Stationen-Konzept erfolgreich fortgeführt und eine OSCE für das nächste Semester fertig gestellt, welche dann zusätzlich zur theoretischen Multiple-Choice-Prüfung zu einer besseren Abbildung des Faches Neurologie führen soll. Da die NU einen grundlegenden und unverzichtbaren Schritt bei der Diagnoseerstellung und Behandlung von Patienten mit neurologischen Erkrankungen darstellt, kann dieses neue Unterrichtskonzept ein zusätzlicher effektiver Schritt sein, Neurologie für Studierende attraktiver zu machen. AnmerkungIn diesem Artikel gelten grammatikalisch maskuline Personenbezeichnungen gleichermaßen für Personen männlichen und weiblichen Geschlechts. Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben. Flanagan E Walsh C Tubridy N 'Neurophobia' - attitudes of medical students and doctors in Ireland to neurological teaching 2007 Eur J Neurol 1109–1112 Flanagan E, Walsh C, Tubridy N. 'Neurophobia' - attitudes of medical students and doctors in Ireland to neurological teaching. Eur J Neurol. 2007;14(10):1109–1112. DOI: 10.1111/j.1468-1331.2007.01911.x http://dx.doi.org/10.1111/j.1468-1331.2007.01911.x Schon F Hart P Fernandez C Is clinical neurology really so difficult? 2002 J Neurol Neurosurg Psychiatry 557–559 Schon F, Hart P, Fernandez C. Is clinical neurology really so difficult? J Neurol Neurosurg Psychiatry. 2002;72(5):557–559. DOI: 10.1136/jnnp.72.5.557 http://dx.doi.org/10.1136/jnnp.72.5.557 Sanya EO Ayodele OE Olanrewaju TO Interest in neurology during medical clerkship in three Nigerian medical schools 2010 BMC Med Educ 36 Sanya EO, Ayodele OE, Olanrewaju TO. Interest in neurology during medical clerkship in three Nigerian medical schools. BMC Med Educ. 2010;10:36. DOI: 10.1186/1472-6920-10-36 http://dx.doi.org/10.1186/1472-6920-10-36 Youssef FF Neurophobia and its implications: evidence from a Caribbean medical school 2009 BMC Med Educ 39 Youssef FF. Neurophobia and its implications: evidence from a Caribbean medical school. BMC Med Educ. 2009;9:39. DOI: 10.1186/1472-6920-9-39 http://dx.doi.org/10.1186/1472-6920-9-39 Zinchuk AV Flanagan EP Tubridy NJ Miller WA McCullough LD Attitudes of US medical trainees towards neurology education: "Neurophobia" - a global issue 2010 BMC Med Educ 49 Zinchuk AV, Flanagan EP, Tubridy NJ, Miller WA, McCullough LD. Attitudes of US medical trainees towards neurology education: "Neurophobia" - a global issue. BMC Med Educ. 2010;10:49. DOI: 10.1186/1472-6920-10-49 http://dx.doi.org/10.1186/1472-6920-10-49 Jozefowicz RF Neurophobia: the fear of neurology among medical students 1994 Arch Neurol 328–329 Jozefowicz RF. Neurophobia: the fear of neurology among medical students. Arch Neurol. 1994;51(4):328–329. DOI: 10.1001/archneur.1994.00540160018003 http://dx.doi.org/10.1001/archneur.1994.00540160018003 Moore FG Chalk C The essential neurologic examination: what should medical students be taught? 2009 Neurology 2020-2023 Moore FG, Chalk C. The essential neurologic examination: what should medical students be taught? Neurology. 2009;72(23):2020-2023. DOI: 10.1212/WNL.0b013e3181a92be6 http://dx.doi.org/10.1212/WNL.0b013e3181a92be6 Lima MA Maranhão-Filho P What is the essential neurological examination? 2012 Arq Neuropsiquiatr 939-941 Lima MA, Maranhão-Filho P. What is the essential neurological examination? Arq Neuropsiquiatr. 2012;70(12):939-941. DOI: 10.1590/S0004-282X2012001200007 http://dx.doi.org/10.1590/S0004-282X2012001200007 Kamel H Dhaliwal G Navi BB Pease AR Shah M Dhand A Johnston SC Josephson SA A randomized trial of hypothesis-driven vs screening neurologic examination 2011 Neurology 1395-1400 Kamel H, Dhaliwal G, Navi BB, Pease AR, Shah M, Dhand A, Johnston SC, Josephson SA. A randomized trial of hypothesis-driven vs screening neurologic examination. Neurology. 2011;77(14):1395-1400. DOI: 10.1212/WNL.0b013e3182315249 http://dx.doi.org/10.1212/WNL.0b013e3182315249 Wiles CM Introducing neurological examination for medical undergraduates - how I do it 2013 Pract Neurol 49-50 Wiles CM. Introducing neurological examination for medical undergraduates - how I do it. Pract Neurol. 2013;13(1):49-50. DOI: 10.1136/practneurol-2012-000282 http://dx.doi.org/10.1136/practneurol-2012-000282 O'Dunn-Orto A Hartling L Campbell S Oswald AE Teaching musculoskeletal clinical skills to medical trainees and physicians: a Best Evidence in Medical Education systematic review of strategies and their effectiveness: BEME Guide No. 18 2012 Med Teach 93-102 O'Dunn-Orto A, Hartling L, Campbell S, Oswald AE. Teaching musculoskeletal clinical skills to medical trainees and physicians: a Best Evidence in Medical Education systematic review of strategies and their effectiveness: BEME Guide No. 18. Med Teach. 2012;34(2):93-102. DOI: 10.3109/0142159X.2011.613961 http://dx.doi.org/10.3109/0142159X.2011.613961 Heckmann JG Knossalla F Gollwitzer S Lang C Schwab S OSCE in the neurology clerkship. Experiences at the neurological department of the university hospital Erlangen 2009 Fortschr Neurol Psychiatr 32-37 Heckmann JG, Knossalla F, Gollwitzer S, Lang C, Schwab S. OSCE in the neurology clerkship. Experiences at the neurological department of the university hospital Erlangen. Fortschr Neurol Psychiatr. 2009;77(1):32-37. DOI: 10.1055/s-0028-1100833 http://dx.doi.org/10.1055/s-0028-1100833 Gelb DJ Gunderson CH Henry KA Kirshner HS Jozefowicz RF Consortium of Neurology Clerkship Directors and the Undergraduate Education Subcommittee of the American Academy of Neurology. The neurology clerkship core curriculum 2002 Neurology 849–852 Gelb DJ, Gunderson CH, Henry KA, Kirshner HS, Jozefowicz RF. Consortium of Neurology Clerkship Directors and the Undergraduate Education Subcommittee of the American Academy of Neurology. The neurology clerkship core curriculum. Neurology. 2002;58(6):849–852. DOI: 10.1212/WNL.58.6.849 http://dx.doi.org/10.1212/WNL.58.6.849 Schnabel KP Boldt PD Breuer G Fichtner A Karsten G Kujumdshiev S Schmidts M Stosch C A consensus statement on practical skills in medical school - a position paper by the GMA Committee on Practical Skills 2011 GMS Z Med Ausbild Doc58 Schnabel KP, Boldt PD, Breuer G, Fichtner A, Karsten G, Kujumdshiev S, Schmidts M, Stosch C. A consensus statement on practical skills in medical school - a position paper by the GMA Committee on Practical Skills. GMS Z Med Ausbild. 2011;28(4):Doc58. DOI: 10.3205/zma000770 http://dx.doi.org/10.3205/zma000770 Campbell WW 2012 DeJong's The Neurologic Examination Campbell WW. DeJong's The Neurologic Examination. 7th ed. Philadelphia, USA: Lippincott Williams & Wilkins; 2012. Blumenfeld H 2011 Neuroanatomy Through Clinical Cases, Text with Interactive eBook Blumenfeld H. Neuroanatomy Through Clinical Cases, Text with Interactive eBook. 2nd ed. Sunderland, USA: Sinauer Associates, Inc.; 2011. Fuller G 2008 Neurological Examination Made Easy Fuller G. Neurological Examination Made Easy. 4th ed. London, UK: Churchill Livingstone; 2008. Biller J Gruener G Brazis PW 2011 DeMyer's The Neurologic Examination: A Programmed Text Biller J, Gruener G, Brazis PW. DeMyer's The Neurologic Examination: A Programmed Text. 6th ed. New York City, USA: McGraw-Hill Professional; 2011. Ramani S Orlander JD Strunin L Barber TW Whither bedside teaching? A focus-group study of clinical teachers 2003 Acad Med 384-390 Ramani S, Orlander JD, Strunin L, Barber TW. Whither bedside teaching? A focus-group study of clinical teachers. Acad Med. 2003;78(4):384-390. DOI: 10.1097/00001888-200304000-00014 http://dx.doi.org/10.1097/00001888-200304000-00014 Peterson LN Eva KW Rusticus SA Lovato CY The readiness for clerkship survey: can self-assessment data be used to evaluate program effectiveness? 2012 Acad Med 1355-1360 Peterson LN, Eva KW, Rusticus SA, Lovato CY. The readiness for clerkship survey: can self-assessment data be used to evaluate program effectiveness? Acad Med. 2012;87(10):1355-1360. DOI: 10.1097/ACM.0b013e3182676c76 http://dx.doi.org/10.1097/ACM.0b013e3182676c76 D'Eon MF Trinder K Evidence for the Validity of Grouped Self-Assessments in Measuring the Outcomes of Educational Programs 2014 Eval Health Prof 457-469 D'Eon MF, Trinder K. Evidence for the Validity of Grouped Self-Assessments in Measuring the Outcomes of Educational Programs. Eval Health Prof. 2014;37(4):457-469. DOI: 10.1177/0163278713475868 http://dx.doi.org/10.1177/0163278713475868 Anderson DC Harris IB Allen S Satran L Bland CJ Davis-Feickert JA Poland GA Miller WJ Comparing students' feedback about clinical instruction with their performances 1991 Acad Med 29-34 Anderson DC, Harris IB, Allen S, Satran L, Bland CJ, Davis-Feickert JA, Poland GA, Miller WJ. Comparing students' feedback about clinical instruction with their performances. Acad Med. 1991;66(1):29-34. DOI: 10.1097/00001888-199101000-00009 http://dx.doi.org/10.1097/00001888-199101000-00009 11en1de

22en2de

33en3de

3 0 0 0