zma001052 10.3205/zma001052 urn:nbn:de:0183-zma0010526 article Artikel Feedback fördert den Lernerfolg – auch für Lehrende? Welches Feedback enthält ein fachübergreifender OSCE zum Thema „Entscheidungsfindung“ für die Fakultät? Stibane Stibane Tina T Dr.

Universität Marburg, Fachbereich Medizin, Dr. Reinfried Pohl-Zentrum für medizinische Lehre (RPZ), Conradistraße 9, D-35043 Marburg, GermanyUniversität Marburg, Fachbereich Medizin, Dr. Reinfried Pohl-Zentrum für medizinische Lehre (RPZ), Marburg, Germany

Universität Marburg, Fachbereich Medizin, Dr. Reinfried Pohl-Zentrum für medizinische Lehre (RPZ), Conradistraße 9, 35043 Marburg, DeutschlandUniversität Marburg, Fachbereich Medizin, Dr. Reinfried Pohl-Zentrum für medizinische Lehre (RPZ), Marburg, Deutschland

stibane@staff.uni-marburg.de author Sitter Sitter Helmut H

Universität Marburg, Dekanat Medizin, Marburg, Germany

Universität Marburg, Dekanat Medizin, Marburg, Deutschland

sitter@staff.uni-marburg.de author Neuhof Neuhof Despina D

Praxis für Allgemeinmedizin, Braunfels, Germany

Praxis für Allgemeinmedizin, Braunfels, Deutschland

d.neuhof@t-online.de author Wiechens Wiechens Helena H

ehem. Universität Marburg, Fachbereich Medizin, Dr. Reinfried Pohl-Zentrum für medizinische Lehre (RPZ), Marburg, Germany

ehem. Universität Marburg, Fachbereich Medizin, Dr. Reinfried Pohl-Zentrum für medizinische Lehre (RPZ), Marburg, Deutschland

helena.wiechens@gmx.de author Schönbauer Schönbauer Andrea A

Universität Marburg, Fachbereich Medizin, Dr. Reinfried Pohl-Zentrum für medizinische Lehre (RPZ), Marburg, Germany

Universität Marburg, Fachbereich Medizin, Dr. Reinfried Pohl-Zentrum für medizinische Lehre (RPZ), Marburg, Deutschland

schoenb2@uni-marburg.de author Bösner Bösner Stefan S

Universität Marburg, Abteilung für Allgemeinmedizin, Präventive und Rehabilitative Medizin, Marburg, Germany

Universität Marburg, Abteilung für Allgemeinmedizin, Präventive und Rehabilitative Medizin, Marburg, Deutschland

boesner@staff.uni-marburg.de author Baum Baum Erika E

Universität Marburg, Abteilung für Allgemeinmedizin, Präventive und Rehabilitative Medizin, Marburg, Germany

Universität Marburg, Abteilung für Allgemeinmedizin, Präventive und Rehabilitative Medizin, Marburg, Deutschland

erika.baum@staff.uni-marburg.de author German Medical Science GMS Publishing House

Düsseldorf

610 medical education competency-based assessment feedback-role of assessment faculty development Medizinische Ausbildung kompetenzorientierte Prüfung Feedbackfunktion von Prüfungen Curriculumsentwicklung Clinical skills Praktische Fertigkeiten 20150929 20160531 20160531 20160815 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 2366-5017 33 4 GMS Journal for Medical Education GMS J Med Educ Clinical skills 53 Praktische klinische Fertigkeiten, die klinisches Denken erfordern und über technisches Können hinausgehen, lassen sich schwer prüfen. Anamneseerhebung, zielgerichtetes diagnostisches Vorgehen, differentialdiagnostisches Denken, Therapieempfehlung und Beratung müssen in verschiedensten komplexen Anforderungssituationen angewendet werden und sind selber komplexer als isolierte Aufgaben wie Lungenauskultation. Bei Marburger Studierenden der Humanmedizin im 3. klinischen Studienjahr wird diese Kompetenz in einem fächerübergreifenden und formativen OSCE-„Entscheidungsfindung“ überprüft. Die Leistungen von 218 Studierenden im Studienjahr 2014/2015 wurden statistisch ausgewertet. Die Analyse der Ergebnisse gibt den beteiligten Lehrenden, ihren Fächern und auch der Fakultät als Ganzes ein Feedback über ihre Lehre. Clinical skills such as history taking, diagnostic reasoning, therapy planning, and giving advice are even more complex than practical skills like lung auscultation and have to be applied in complex clinical situations. We judged this competence in an interdisciplinary formative OSCE conducted with students of Marburg University. Results of 218 students passing 643 OSCE stations composed of 37 different scenarios were analyzed. As a competence based examination that reflects the practical skills gained during clinical training, the here presented analysis serves also as a feedback instrument for clinical teachers, their respective disciplines and the medical faculty as a whole. 1. IntroductionDuring the last years objective structured clinical examinations (OSCEs) are widely used in medical education in Germany . They are well suited to test practical skills of students , , . With OSCE at Philipps-University Marburg it was shown, that basic practical skills of physical examination could be improved by structured practical teaching . The ability for a target oriented clinical examination, which students have to develop during the course of their studies, is much more complex: the performance of clinical examinations is accompanied by a comprehensive knowledge about diseases and diagnostic criteria. The doctor-patient-interaction is more complex, if it is not only a modular task for a test for students. During students’ education decision making is more and more in the focus and discussed in clinical courses. Explicitly this is the case in the integrated lecture of the third clinical year and in the seminar general practice, which accompanies the corresponding clinical course. This is the reason for establishing an interdisciplinary assessment in the curriculum of Marburg, which tests different competences of physicians: the “OSCE decision making”. Within the frame of two dissertations (Neuhof D, Wiechens H) and in cooperation with the department of general practice and a centre of medical education, belonging to the deanery of education, case vignettes, scripts for role plays, and evaluation criteria were developed, tested, and identified as suitable. For the choice of case vignettes, which had to be dealt with at the different stations, the frequency and relevance of different causes for consultations in the primary care setting were relevant. At the same time it should be possible to test a broad range of basic practical skills with the case vignettes. Especially their matching with practical skills in the curriculum of the department and with the National Competence Based Catalogues of Learning Objectives for Undergraduate Medical Education (NKLM) was emphasized. Designed as an interdisciplinary examination in a setting of a general physician, during the course of time more and more clinical disciplines were motivated for participating at OSCE-decision making.In this way a pool of over 40 stations was generated, and every student in the third clinical year visits - according to a random principle - three stations with 20 minutes each, directly after the practical course “general practice”. During the first 15 minutes there is interaction between the “physician” (student) and the “patient” (standardised patient), during the last five minutes differential diagnoses and preventabale dangerous courses of disease are discussed. The reviewers give feedback on action, behaviour, and clinical reasoning of the students. During the last five minutes the standardised patients score according to a check list the behaviour of the students with respect to performance, shown empathy, and presentation of information during the interaction with an overall score each. After the examination the students have the chance to know their score by the examiner as well as the score of the interaction in written form as a scholar mark from 1 (very good) to 5 (unsatisfactory). Nevertheless this examination has no relevance for the students’ certificates. The examiners as well as the standardised patients are trained for applying this scoring and the majority of them is experienced. As feedback to the examiners the students could give a comment on the format of the examination with free text at the end. An examination which tests the presence of a practical skill which was taught in lessons before, directs the learning behaviour of the students and leads to practical exercise of students and acquirement of job specific and practice oriented competence . The examination of complex decision making which consists of parts from the whole course of the study does not have – as a one shot event during the study - a directive function for learning, because focused rehearsal is not possible. This is one of the reasons why the OSCE - decision making was introduced as a formative examination without any danger of failing. Therefore an otherwise important aspect of an examination, the selection, is missing. Nevertheless this examination should fulfill a feedback function, where the trained standardised patients give additional feedback. Between January 2012 and March 2013 a total of 937 free text answers (cues, lists, whole sentences) from 272 participants from 11 OSCE examinations were evaluated. More than two third (70.43%) of all statements were categorised as positive feedback. Special emphasis is on an additional 1.28% of statements, which recurred on the format of the examination as a chance for learning: “Such examinations are good for self reflected learning! Unfortunately, this shows clearly the problem of theoretical studying. One is forced to think much more in terms of differential diagnoses, for this reason such examinations are great and should be implemented more often.” That this examination provides very good feedback to students was shown by the evaluation of the free texts . However which kind of feedback is generated by this examination format for the involved medical disciplines? Is it possible to recognize the specific positive and negative aspects of the education as a whole and in different clinical disciplines through the results of the students in the OSCE decision making? 1. EinleitungOSCE-Prüfungen (objective structured clinical examination) haben in der medizinischen Ausbildung in Deutschland in den letzten Jahren weite Verbreitung gefunden . Sie sind geeignet, praktische Fertigkeiten der Studierenden zu prüfen , , . Mithilfe einer OSCE-Prüfung konnte an der Philipps-Universität in Marburg nachgewiesen werden, dass praktische Basisfertigkeiten bei der körperlichen Untersuchung durch einen strukturierten praktischen Unterricht verbessert werden konnten . Die Fähigkeit zur zielgerichteten Untersuchung, die im Laufe des Studiums entwickelt werden muss, ist jedoch weitaus komplexer: die Untersuchungsdurchführung ist von einem kritisch-analytischen Denken auf der Basis eines breiten Wissens über Erkrankungen und diagnostische Kriterien begleitet. Auch die Arzt-Patienten-Interaktion wird komplexer, wenn es sich nicht um fragmentierte Aufgaben für die Studierenden in einer Prüfung handelt. Im Studium werden Entscheidungsfindungen immer wieder thematisiert und in klinischen Praktika diskutiert. Explizit ist dies insbesondere in der integrierten Vorlesung des 3. klinischen Studienjahres sowie im Seminar Allgemeinmedizin, das begleitend zum entsprechenden Blockpraktikum stattfindet, der Fall. Aus diesem Grund wurde eine fachübergreifende Prüfung im Marburger Curriculum etabliert, die verschiedene ärztliche Kompetenzen formativ prüft, der OSCE-„Entscheidungsfindung“. Im Rahmen zweier Dissertationen (Neuhof D, Wiechens H, s.a.) wurden, in Zusammenarbeit mit der Abteilung für Allgemeinmedizin und dem Lernzentrum, das dem Studiendekanat untersteht, Fallvignetten, Rollenskripte und Beurteilungskriterien entwickelt, erprobt und als geeignet identifiziert. Bei der Auswahl der Fallvignetten, die an den jeweiligen Stationen bearbeitet werden sollen, war vor allem die Häufigkeit und Relevanz verschiedener Konsultationsanlässe in der Primärversorgung entscheidend. Zugleich sollte ein breites Spektrum praktischer Basisfertigkeiten im Rahmen der Fallvignetten geprüft werden können. So wurde auf deren Übereinstimmung mit den praktischen Fertigkeiten im Curriculum des Fachbereichs sowie mit denen des Nationalen Kompetenzbasierten Lernzielkatalogs für die Medizin (NKLM) geachtet. Angelegt als Disziplin-übergreifende Prüfung in einem allgemeinmedizinischen Setting, konnten nach und nach immer mehr klinische Fächer für die Beteiligung am OSCE-„Entscheidungsfindung“ gewonnen werden. Aus dem so entstandenen Pool von über 40 Stationen durchläuft – nach dem Zufallsprinzip – jeder Studierende im 3. klinischen Studienjahr im Anschluss an das Blockpraktikum Allgemeinmedizin drei Stationen á 20 Minuten. In den ersten 15 Minuten interagieren „Arzt“ (Studierende/r) und „Patient“ (Simulationspatient/in, „SP“), in den letzten fünf Minuten werden die Differentialdiagnosen und abwendbar gefährlichen Verläufe (AgV) besprochen. Auch geben die Prüfenden ein Feedback zum Vorgehen, Verhalten und den klinischen Schlussfolgerungen der Studierenden. Die Simulationspatienten beurteilen während der letzten 5 Minuten einer Station auf der Grundlage einer Checkliste das Verhalten der Prüflinge in Bezug auf ihr Auftreten, die gezeigte Empathie und die Informationsvermittlung in der Interaktion jeweils mit einer Globalnote. Im Nachgang zur Prüfung können die Studierenden sowohl ihre Bewertung durch die Prüfenden als auch die Bewertung der Interaktion schriftlich, in Form von Schulnoten von 1 (sehr gut) bis 5 (ungenügend) erhalten; die Prüfung geht jedoch in keine Note ein. Sowohl die Prüfer als auch die Simulationspatienten sind hinsichtlich der Beurteilung unterwiesen und größtenteils immer wieder beteiligt. Als Feedback an die Prüfer wurden die Studierenden am Ende um Kommentierung des Prüfungsformates in Form freier Texte gebeten. Eine Prüfung, die die Beherrschung der zuvor in einer bestimmten Lehrveranstaltung vermittelten praktischen Fertigkeiten überprüft, steuert das Lernverhalten der Studierenden und führt dazu, dass Studierende praktisch üben und berufstypische, praxisorientierte Kompetenzen erwerben . Die Prüfung komplexer Entscheidungsfindung, in die aus dem gesamten Studium Lerngegenstände eingehen, kann – als einmaliges Ereignis im Studium – diese lernsteuernde Funktion nicht erfüllen, da eine gezielte Vorbereitung darauf nicht möglich ist. Auch deshalb wurde der OSCE-„Entscheidungsfindung“ als formative Prüfung eingeführt, ohne die Gefahr des Durchfallens. Damit entfällt eine sonst maßgebliche Prüfungsfunktion, die Selektion. Umso mehr soll diese Prüfung eine Feedbackfunktion erfüllen, zumal auch die entsprechend geschulten SPs ein zusätzliches Feedback geben. Zwischen Januar 2012 und März 2013 wurden 937 Freitextantworten (Stichworte, Aufzählungen, ganze Sätze) von 272 Teilnehmern aus 11 OSCE-Prüfungen ausgewertet. Über zwei Drittel aller Aussagen (70,43%) konnten als positives Feedback kategorisiert werden. Besonders hervorzuheben waren weitere 1,28% der Aussagen, die sich auf das Prüfungsformat als Lernchance bezogen: „Solche Prüfungen bringen sehr viel für den Selbstlernprozess! Was leider auch deutlich wird, ist das Problem des theoretischen Studiums. Man muss viel mehr in Differentialdiagnosen denken, dafür sind solche Prüfungen super und sollten häufiger durchgeführt werden“. Dass die Prüfung für die Studierenden eine sehr gute Feedbackfunktion erfüllt, konnte anhand der Freitextevaluation nachgewiesen werden . Welches Feedback jedoch generiert das Prüfungsformat für die beteiligten Fächer? Lassen sich spezifische Stärken und Schwächen der Ausbildung als Ganzes und in den klinischen Fachrichtungen durch die Leistungen der Studierenden im OSCE-„Entscheidungsfindung“ erkennen? 2. Description of the projectEvery parcours consists of a minimum of 6 and maximum of 10 stations for 14 to 30 students, who take the examination on one date. Every student passes three stations in well-equipped simulation rooms (home visit scenario and private practice), simulator technique is used in addition to the trained standardised patient. Every station is passed by 6 to 9 students. The students are informed about the interdisciplinary formative examination in general at the beginning of their general practice course and about the details and the procedure directly before the examination. At the time of the examination their practical course in private practices is just finished which entails that they are prepared for the setting of the cases of the examination. In contrast to the OSCE of the first clinical year, where a standard procedure for clinical examination techniques was developed, the selected situations here allow different possibilities to achieve the goal. A series of anamnestic questions, physical examinations and other diagnostic actions are necessary as standards in the given setting due to guidelines for general practicioners and expert opinions, but some students relatively quickly get a target-oriented diagnosis in their mind and therefore ask and examine in a clear direction, while others do not, but arrive as well at the right diagnosis. Some steps of a clinical examination are adequate, but not always necessary. Searching techniques for clarifying differential diagnoses belong to this. This is important for the evaluation criteria. A checklist with items, often used in OSCE for practical skills, does not take into account the variance, therefore on the evaluation sheet relevant items of the case are given which include the exclusion of differential diagnoses because of clinical reasoning. However five permanent evaluation criteria were determined for every single step of the interaction and of the differential diagnostic procedure in the course of the development process and with their case specific associated items global scores were introduced. For the scores 1, 3, and 5 requirements are described, the scores 2, and 4 can be used for further differentiation. Evaluated items are (partly word by word) :History taking. In order to avoid the definition of single questions a question-category is built with every case. “Pain” for example, consists completely of all questions about pain, i.e. character of pain, first appearance, course, cause etc. “Diseases and drugs” consists of all important questions for the main symptoms about accompanying, previous, and family diseases and drugs taken.Target-oriented selection of physical examinations and target-oriented administration of diagnostic actions. For each case there is a list of necessary findings, which are on the check list of the examiner. Evaluated is which physical examinations and requests for medical findings are ordered by the student.Physical examination and interpretation of findings. Evaluated are the procedural quality of the performed investigations on the standardised patient or the simulator and the interpretation of the other findings present from the previous requested clinical examination.Proposal of therapy, consulting and termination of interaction. The termination of each case has to make sense, there exist big differences: According to the case the proposal of therapy should be correct, risks for the patient or the future actions should be addressed. Differential diagnostic weighing. The consideration of “preventable adverse courses” as well as the correct diagnosis, which is given on the checklist lead to the score.2.1. Data analysisThe performance of all students, who participated during winter term 2014/2015 and during summer term 2015 at the OSCE decision making was analysed in the criteria “history taking”, “target-oriented selection of physical examinations and target-oriented administration of diagnostic actions”, “quality of taking findings”, “termination of interaction and future actions”, and “differential diagnostic thinking” with respect to distribution of scores, average scores and standard deviation at the different stations as well as the comparison of means at all stations and all disciplines by ANOVA and Scheffe-test in order to test the influence of differences in performance statistically. The significance level was chosen as 0.05. The results of the students at different stations were treated as independent data, because data analysis with dependent data was not necessary for the addressed questions.The evaluation, which the standardised patients gave on the competence of communication and behavior were analysed, according to their distribution in the categories “performance”, “empathy”, and “information” for all students and stations.The data analysis (figure 1 , table 1 , frequencies, means, standard deviations, significances, ANOVA)) was performed with the statistics software SPSS (IBM SPSS Statistics 22) and for the figure 2 , figure 3 and figure 4 the software EXCEL (Microsoft Office Excel 2007) was used. 2. ProjektbeschreibungJeder Parcours besteht aus einer Anzahl von minimal sechs und maximal zehn Stationen für 14 bis 30 Studierende, die an einem Termin geprüft werden. Jede/r Studierende durchläuft drei Stationen in gut ausgestatteten Simulationsräumen (Hausbesuchs-Szenarien und Praxisräume), z.T. werden Simulatoren zusätzlich zu trainierten SP eingesetzt. Jede Station wird von 6 bis 9 Studierenden durchlaufen. Die Studierenden werden zu Beginn des Blockpraktikums Allgemeinmedizin über die fachübergreifende formative Prüfung ganz allgemein und über die Details und den Ablauf direkt vor der Prüfung informiert. Durch das zum Zeitpunkt der Prüfung gerade abgeschlossene Blockpraktikum in der Hausarztpraxis sind sie auf das Setting, in dem die Fälle allokiert sind, vorbereitet. Anders als im OSCE des ersten klinischen Jahres, in dem ein Standardvorgehen bei den Untersuchungstechniken entwickelt wurde, gibt es jedoch in den ausgewählten Situationen in aller Regel verschiedene Möglichkeiten zum Ziel zu kommen. Eine Reihe von Anamnesefragen, körperlichen Untersuchungen und anderen diagnostischen Maßnahmen sind zwar entsprechend den Leitlinien aus dem primärärztlichen Bereich sowie Expertenmeinung bei dem vorgegebenen Setting als Standard notwendig, doch manche/r Studierende hat schneller eine zielführende Verdachtsdiagnose im Kopf und fragt deshalb in eine bestimmte Richtung oder untersucht zielgerichteter als andere, die dennoch genauso gut zu einem Ergebnis kommen. Manche Untersuchungsschritte sind möglich, aber nicht immer zwingend notwendig. „Suchbewegungen“ im Abklären von Differentialdiagnosen gehören dazu. Dies ist von Bedeutung, wenn es um die Beurteilungskriterien geht. Eine Item-Checkliste, wie sie bei OSCE-Prüfungen für praktische Fertigkeiten häufig verwendet wird, wird dieser Varianz nicht gerecht, darum stehen auf dem Beurteilungsbogen für den Fall relevante Stichpunkte, die den Ausschluss von Differentialdiagnosen aufgrund klinischen Schlussfolgerns umfassen. Jedoch wurden für einzelne Schritte der Interaktion und für die differenzialdiagnostischen Überlegungen im Laufe des Entwicklungsprozesses fünf gleichbleibende Beurteilungskriterien festgelegt und für diese, mit ihren fallspezifisch assoziierten „Stichpunkten“, Globalnoten eingeführt. Für die Noten 1, 3 und 5 werden Anforderungen beschrieben, die Noten 2 und 4 stehen zur weiteren Differenzierung zur Verfügung. Beurteilt werden (z.T. wörtlich übernommen) :Die Anamneseerhebung. Zur Vermeidung der Definition von Einzelfragen werden zu jedem Fall Fragen-Kategorien gebildet. „Schmerz“ z.B. umfasst vollständig alle Fragen zum Schmerz, also Schmerzcharakter, erstes Auftreten, Verlauf, Auslöser usw. „Erkrankungen und Medikamente“ umfassen alle für die Leitsymptomatik wichtigen Fragen zu Begleit-, Vor- oder familiären Erkrankungen und eingenommenen Medikamenten.Zielführende Auswahl an körperlichen Untersuchungen und zielführende Anordnung diagnostischer Maßnahmen. Zu jedem Fall gibt es eine Reihe von Befundanforderungen, die in der Checkliste des Prüfers aufgeführt sind. Bewertet wird, zu welchen Untersuchungen und Befundanforderungen sich die Studierenden entscheiden.Körperliche Untersuchung und Interpretation der Befunde. Bewertet werden die Durchführungsqualität der vorgenommen Untersuchungen am Simulationspatienten oder Simulator und die Interpretation der anderen vorliegenden Befunde, der im vorherigen Schritt angeforderten Untersuchungen.Therapievorschlag, Beratung und Abschluss des Gesprächs. Jeder Fall muss sinnvoll abgeschlossen werden, dabei gibt es große Unterschiede: Je nach Fall sollte der Therapievorschlag medizinisch korrekt sein, Risiken für den Patienten sollten zur Sprache kommen oder das weitere Prozedere besprochen werden.Differentialdiagnostische Abwägungen, der Einbezug der „Abwendbaren gefährlichen Verläufe“ (AgV) sowie die richtige Diagnose, die auf der Checkliste genannt sind, führen zur Note.2.1. DatenanalyseDie Leistung aller Studierenden, die im Wintersemester 2014/1015 und im Sommersemester 2015 den OSCE-„Entscheidungsfindung“ durchliefen, wurde nach den Kriterien „Anamneseerhebung“, „Anforderungen, bzw. Auswahl der Untersuchungen und Befundanforderungen“, „Qualität der Befunderhebung“, „Abschluss des Gesprächs und Folgemaßnahmen“ sowie „differenzialdiagnostisches Denken“ in ihrer Notenverteilung, Durchschnittsnote und Standardabweichung an den Stationen ausgewertet sowie mittels ANOVA und Scheffe-Test einem Mittelwertvergleich aller Stationen und Fächer unterworfen, um deren Einfluss auf die Leistungsunterschiede statistisch zu überprüfen. Als Signifikanzniveau wurde 0,05 gewählt. Die Ergebnisse der Studierenden an den verschiedenen Stationen wurden für die vorliegenden Analysen wie unabhängige Daten behandelt, da eine Datenanalyse abhängiger Daten für die behandelten Fragestellungen nicht notwendig erschien.Die Bewertungen, die die Simulationspatienten zur Kommunikationskompetenz vornahmen, wurden in ihrer Verteilung nach den Kategorien „Auftreten“, „Empathie“ und „Information“ über alle Studierenden und Stationen hinweg analysiert. Für die Datenanalyse (Abbildung 1 , Tabelle 1 , Häufigkeiten, Mittelwerte, Standardabweichungen, Signifikanz, ANOVA) wurde das Statistikprogramms SPSS (IBM SPSS Statistics 22) und für die Abbildung 2 , Abbildung 3 bis Abbildung 4 das Rechenprogramm Excel (Microsoft Office Excel 2007) verwendet. 3. ResultsBetween November 2014 and July 2015 altogether 218 students who had just finished their practical course general practice participated in an interdisciplinary OSCE decision making. 208 students attended three stations each (altogether 624 stations), 9 students attended only two stations (examiner was late) (altogether 18 stations). One student cancelled the examination due to illness after one station. During this period of time 37 different stations were used, these stations are mapped to 18 clinical disciplines (see table 1 ).3160 evaluations were documented on the evaluation sheets of the examiners in the categories history taking, request, findings, therapy and differential diagnosis. Considering all stations 55 single scores (1.71%) are missing (see table 2 ).The frequency distribution of the average scores in figure 1 has a mean of 2.33 with a left handed skewnees for better scores.The distribution of the mean values of the scores range for the five categories from a minimum value of 2.17 for history taking as best result to a maximum value of 2.48 for recommendation of therapy as worst result, shown in table 2 and figure 2 . The number of the scores 4 and 5 was only 61 (9.5%) for history taking, but 125 (19.4%) for therapy. For physical examination and interpretation of results the students got in 61% (N=388) of cases the score 1 or 2, but in 15% (N=95) of cases the score 4 or 5. Looking at the distribution of scores only by comparison of means, the post-hoc-test resulted in a significant difference between the categories history taking and request.Considering the distribution of scores in the disciplines, descriptively there are marked differences, which are significant in the comparison of means by ANOVA, but if every discipline is tested against every other discipline by post-hoc test (Scheffe) the overall difference rests only on a few significant differences between two disciplines. Statistically significant differences of the scores between the five disciplines selected here for illustration purposes are only seen between general practice and neurology as well as between cardiology and neurology. All other differences are statistically not significant (see figure 3 ).The standardised patients evaluated for 643 stations 590 valid evaluation sheets with altogether 1729 evaluations of the interaction “doctor” and “patient” (53 times there was no filled in evaluation sheet by the standardised patient, i.e. because of lack of time). The score is missing or equivocal 10 times in the category performance, 15 times in the category empathy, and 16 times in the category information (missing values altogether: 2.31%). Figure 4 shows that the standardised patients evaluate the students much more often than average with the scholar marks 1 or 2 (80.34%) and only in 3.2% of the evaluations with 4 or 5. The situation is similar with empathy, 78.08% receive 1 or 2 and only 4.43% receive 4 or 5. The evaluation of “information” was worse, with two third of the evaluations (68.84%) 1 or 2, but also 11.32% of evaluations with 4 or 5. In 10 evaluation sheets students were rated in all three categories with 4 or worse. 3. ErgebnisseZwischen November 2014 und Juli 2015 nahmen insgesamt 218 Studierende am Ende ihres Blockpraktikums Allgemeinmedizin am fächerübergreifenden OSCE-„Entscheidungsfindung“ teil. 208 Studierende absolvierten je drei Stationen (624 Stationen), von 9 Studierenden liegen nur von zwei Stationen Beurteilungen vor (Prüfer kam verspätet) (18 Stationen) 1 Studierender unterbrach die Prüfung krankheitsbedingt nach 1 Station. Insgesamt wurden in diesem Zeitraum 37 unterschiedliche Stationen eingesetzt, die 18 klinischen Fächern zugeordnet werden können (siehe Tabelle 1 ). Auf den Bewertungsbögen der Prüfer finden sich insgesamt 3160 Bewertungen für die Kategorien Anamnese, Anforderung, Befund, Therapie und DD, 55 Einzelnoten (1,71%) fehlen über alle Stationen (siehe Tabelle 2 ). Die Häufigkeitsverteilung der Durchschnittsnoten zeigt in Abbildung 1 bei einem Mittelwert von 2,33 eine Linksverschiebung zugunsten der besseren Noten. Über die fünf Bewertungskategorien verteilen sich die Noten zwischen 2,17 für die Anamneseerhebung als bestes Ergebnis, bis zu 2,48 für die Therapieempfehlung mit dem schlechtesten durchschnittlichen Ergebnis, wie Tabelle 2 und Abbildung 2 zeigen. Während die Noten 4 und 5 für die Anamneseerhebung nur 61 Mal (9,5%) vergeben wurden, wurden sie für die Therapie 125 Mal (19,4%) vergeben. Für die körperliche Untersuchung und Interpretation der Befunde erhielten die Studierenden in 61% (N=388) der Fälle eine 1 oder 2, allerdings in 15% (N=95) der Fälle eine Note 4 oder 5. Betrachtet man die Notenverteilung in den Beurteilungskriterien nur im Mittelwertvergleich, ergibt sich im post-hoc-Test ein signifikanter Unterschied zwischen den Kategorien Anamnese und Anforderung.Auch wenn man die Notenverteilungen in den Fächern betrachtet, ergeben sich deskriptiv deutliche Unterschiede, die im Mittelwertvergleich mittels ANOVA signifikant sind, die allerdings, wird im Post-hoc-Test (Scheffé) jedes Fach mit jedem Fach verglichen, nur auf wenigen signifikanten Unterschieden zwischen zwei Fächern beruhen. Statistisch signifikant unterscheidet sich die Notengebung der hier zur Darstellung ausgewählten fünf Fächer nur zwischen der Allgemeinmedizin und Neurologie sowie zwischen der Kardiologie und Neurologie. Alle anderen Unterschiede sind statistisch nicht signifikant (siehe Abbildung 3 ). Die Simulationspatienten gaben im Untersuchungszeitraum für 643 Stationen 590 auswertbare Bewertungsbögen mit insgesamt 1729 Beurteilungen in Schulnoten für die Interaktion von „Arzt“ und „Patient“ ab (53 Mal wurde kein Bewertungsbogen vom SP ausgefüllt, z.B. aus Zeitmangel). 10 Mal fehlt eine Note oder ist nicht eindeutig in der Kategorie Auftreten, 15 Mal bei Empathie und 16 Mal bei Information (fehlende Werte insgesamt: 2,31%). Wie Abbildung 4 zeigt, bewerten die Simulationspatienten das Auftreten der Studierenden weit überdurchschnittlich häufig mit den Schulnoten 1 oder 2 (80,34%) und nur in 3,27% der Beurteilungen mit 4 oder 5. Die Empathie schneidet mit 78,08% Einsern oder Zweiern und nur 4,34% mit den Noten 4 oder 5 ähnlich gut ab. Die Beurteilung der „Information“ durch die Studierenden fällt hingegen schlechter, mit noch über zwei Dritteln der Bewertungen (68,84%) gut bis sehr gut, aber auch 11,32% der Bewertungen mit der Note 4 oder 5, aus. In 10 Bewertungsbögen wurden Studierende in allen drei Kategorien mit 4 oder schlechter bewertet. 4. DiscussionThe students get an individual feedback on their observed clinical competence by the patient cases from different clinical disciplines, due to the systematics of the stations, and due to the post-examination discussion with the examiner. The performance of the totality of students however expresses how much the students are prepared for the whole spectrum of practical skills of their future job by the teaching of reference disciplines. The average results of all stations in the categories history taking, decision for request of clinical examinations and investigations, termination of “doctor-patient” interaction, and therapy, as well as differential diagnostic feedback give information about the whole teaching process. The reliability of the evaluation was proven to be sufficient in a previous test [Neuhof D], whereas a formal evaluation of validity was not performed. The overall result was, that the students showed a good level of education before the start of the “practical year”. This does not apply to everybody to the same amount: It is apparent, that with positive overall performance, a small part of students (3.6%) at one station in all five categories is inferior to 4.0 and 2 students (<1%) are at all stations inferior to 4.0. In addition the standardised patient´s state marked shortcomings in 10 cases of all evaluated aspects of doctor-patient-communication.The fact that history taking is part of the curriculum in clinical as well as in communicative teaching in several lectures, resembles the good results for this part of the task at the stations. Here the task to recommend a therapy or risk reducing behaviour to the patient or to explain necessary actions gets the most inferior marks. One reason for this might be, that in this step of the examination a decision about an intervention is warranted and this is addressed in the teaching not in detail, one trusts that this area is taught in detail during the “practical year”.The difference in the performance of the students according to disciplines can be recognised descriptively, but significant differences in the comparison of the means are present only in a few cases. Consideration of the distribution of scores at a single station give each discipline a chance for detailed reflexion about the causes of evaluation scores and for adaptation of their teaching contents.The evaluations of the doctor-patient-communication by the standardised patients are very favourable; nevertheless the standardised patients also identify single students, by whom they feel treated not adequately in several aspects. The results in total show a positive image of the performance of the students. Furthermore the OSCE decision making as a competence oriented examination is not only well suited as feedback for students but also for the reference disciplines, to check for theoretical teaching content and how it can be applied in a reality-near situation. In addition the OSCE decision making can be used as orientation by the faculty to decide, whether the education of students is sufficient successful with respect to measurable competences in the examination.A shortcoming might be that students perhaps take a formative examination not serious enough, and therefore show not their maximum performance. The low number of stations, which are conducted by the students, might be another source of bias of the individual results with respect to objective performance. Chance plays an important role, if previous experience from “practice” with the addressed differential diagnoses is present, or if a specific skill is needed which has been taught only in one lecture. Furthermore success or failure at the first station might influence the future performance and for sure the length of time from lecture to examination has an influence on the result. A restriction with respect to measuring performance is the fact that not all pathologic findings can be simulated well (i.e. blood pressure and heart rate) and the change of standardised patients and simulators pose problems for accomplishing the task by the students. In spite of this potential bias concerning measurement of individual performance and quality of test, the authors share the opinion, that the results altogether can be used as feedback to the faculty. In this sense the OSCE decision making in its present form is not a reliable instrument for measurement of performance, but an instrument for reflexion of individual and discipline specific - and moreover by the spectrum of 18 clinical disciplines also faculty-related – teaching related strengths and weaknesses and is therefore able to contribute to the “learning success” of a faculty. 4. DiskussionDie Studierenden erhalten durch die Patientenfälle aus verschiedenen fachlichen Bereichen, die Systematik der Stationen und das Nachgespräch mit den Prüfern eine individuelle Rückmeldung über ihre beobachtete klinische Kompetenz. Die Leistungen der Gesamtheit der geprüften Studierenden sagen jedoch etwas darüber aus, inwiefern sie durch die Lehre der Referenzfächer und insgesamt auf das in der Prüfung abgebildete Spektrum der praktischen Anforderungen des Berufs vorbereitet wurden. So lassen die durchschnittlichen Ergebnisse über alle Stationen der Leistungskategorien Anamnese, Entscheidung für bestimmte Untersuchungen und ihre Durchführung, Abschluss des Gesprächs und Therapie sowie das differentialdiagnostische Nachgespräch Rückschlüsse auf die Ausbildung als Ganzes zu. Die Reliabilität der Beurteilung wurde in einem Prätest als zufriedenstellend beurteilt (Neuhof D, s.a.), eine formale Evaluation der Validität fand dagegen nicht statt. Insgesamt zeigt sich, dass die Studierenden vor dem Eintritt in das Praktische Jahr über die Fächer und Kompetenzbereiche hinweg in ihrer Gesamtheit betrachtet gut ausgebildet sind. Dies trifft aber nicht für alle in gleichem Maße zu; es fällt auf, dass bei den insgesamt positiven Leistungen, ein geringer Anteil von Studierenden (3,6%) an einer Station über 5 Kategorien schlechter als 4,0 und 2 Studierende (<1%) über alle durchlaufenen Stationen schlechter als 4,0 abschneidet. Auch stellen die Simulationspatienten in 10 Fällen auf allen Interaktionsebenen große Defizite fest.Die Tatsache, dass die Anamneseerhebung curricularer Bestandteil sowohl auf fachlicher als auch auf kommunikativer Ebene vieler Lehrveranstaltungen ist, spiegelt sich auch in den besten Noten für diesen Teil der Aufgabe in den Stationen wider. Am schlechtesten schneidet hier die Aufgabe ab, den Patienten eine Therapie oder ein risikoarmes Verhalten zu empfehlen oder auch weitere notwendige Maßnahmen zu erklären. Ein Grund hierfür könnte sein, dass in diesem Schritt der Prüfung über eine Intervention entschieden werden muss und dies in der Lehre weniger ausführlich behandelt wird oder man darauf vertraut, dass dieser Bereich im Praktischen Jahr vertieft wird. Der Unterschied in den Leistungen der Studierenden nach Fächern ist deskriptiv zwar erkennbar, statistisch signifikant ist er aber in den Mittelwertvergleichen nur in wenigen Fällen. Die Sichtung der Notenverteilung pro Station erlaubt jedem Fach eine differenzierte Reflexion über die Ursachen der Leistungswerte und ggf. eine Anpassung seiner Lehrinhalte. Die Beurteilungen der Arzt-Patienten-Interaktion durch die Simulationspatienten fallen sehr positiv aus; allerdings identifizieren auch die Simulationspatienten einzelne Studierende, von denen sie sich gleich in mehrfacher Hinsicht schlecht behandelt fühlen. Die Ergebnisse zeigen insgesamt ein positives Bild der Leistungen der Studierenden. Darüber hinaus eignet sich der OSCE-„Entscheidungsfindung“ als kompetenzorientierte Prüfung nicht nur für die Studierenden als Feedbackinstrument, sondern ebenfalls für die Referenzfächer, inwiefern die theoretischen Lehrinhalte in einer praxisnahen Situation angewendet werden können. Darüber hinaus kann der OSCE-Entscheidungsfindung der Fakultät als Orientierung dienen, ob die Ausbildung der Studierenden hinsichtlich der in der Prüfung beobachtbaren Kompetenzen zum Lernerfolg führt. Einschränkend muss erwähnt werden, dass eine formative Prüfung evtl. von den Studierenden weniger erstgenommen wird und deshalb keine maximalen Leistungen gezeigt werden. Auch ist die geringe Anzahl von Stationen, die die Studierenden durchlaufen, eine Ursache für eine Verzerrung der individuellen Ergebnisse in Bezug auf die objektiven Leistungen. Es ist natürlich stark vom Zufall abhängig, ob bereits aus Famulaturen oder Praktika Erfahrungen mit den infrage kommenden Differentialdiagnosen vorliegen, oder eine Station fachliche Anforderungen stellt, die nur in einer Lehrveranstaltung thematisiert wurden. Auch kann der Erfolg bzw. Misserfolg an der ersten Station Einfluss auf die anschließenden Leistungen haben und sicher beeinflusst auch der zeitliche Abstand zu den Lehrveranstaltungen des Faches das Ergebnis. Eine Einschränkung in Bezug auf die Leistungsmessung stellt darüber hinaus die Tatsache dar, dass nicht alle pathologischen Befunde gut simulierbar sind (z.B. Blutdruck- und Pulswerte) und Wechsel zwischen Simulationspatienten und Simulatoren manchen Studierenden Probleme bei der Aufgabenbewältigung machen. Trotz diesem potentiellen Bias, die individuelle Leistungsmessung und Testgüte betreffend, sind die Autoren der Ansicht, dass die Ergebnisse insgesamt als Feedback an die Fakultät genutzt werden können. Insofern ist der OSCE-„Entscheidungsfindung“ im jetzigen Umfang zwar kein reliables Instrument zur Leistungsmessung, jedoch ein Instrument zur Reflexion der individuellen und fachspezifischen - und darüber hinaus durch das Spektrum von 18 klinischen Fächern auch fakultären - lehrbezogenen Stärken und Schwächen und kann in diesem Sinne auch zum „Lernerfolg“ einer Fakultät beitragen. 5. ConclusionsThe OSCE decision making has been worked up to an important feedback tool in the Marburg course of studies in human medicine. The fact, that it is interdisciplinary is for many disciplines a chance to participate, because they do not have to fill several stations from a certain discipline, but they can assess a part of their learning objectives. At the same time the totality of stations tests the majority of practical skills defined in the curriculum, and a lot of competence oriented learning targets are evaluated, which so far are not addressed in any other examination. These results encourage to present regularly a summary of analysed examination data to the disciplines and to stimulate the discussion of their specific results.Being one of the few competence oriented examinations at the faculty of medicine in Marburg, it is desirable to spread this format to more stations. Within the planned restructuring of the curriculum and the future consideration of reimbursement of educational trained medical examiners this possibility seems to come true in practice. In addition, it makes sense and it is feasible, to consult and to supervise students, who performed unsatisfactory in this examination during their further course of studies and their practical year. In one case this has already been done. 5. SchlussfolgerungenDer OSCE-„Entscheidungsfindung“ hat sich zum wichtigen Feedback-Instrument im Marburger Humanmedizin-Studiengang entwickelt. Die Tatsache, dass er fächerübergreifend ist, ermöglicht es vielen Fächern, sich zu beteiligen, da nicht alle Stationen durch Prüfer einer Abteilung besetzt werden müssen, jedes Fach aber mit einem Teil seiner Lehrinhalte vertreten sein kann. Gleichzeitig werden, auf die Gesamtheit der Stationen bezogen, die meisten praktischen Fertigkeiten, die curricular verankert sind und viele kompetenzorientierten Lernziele geprüft, die bisher keiner anderen Prüfung unterliegen. Die vorliegenden Ergebnisse ermutigen dazu, den Fächern, anders als in der Vergangenheit, regelmäßig zusammengefasste Datenanalysen der Prüfungen zur Verfügung zu stellen und sie zur Diskussion ihrer fachbezogenen Ergebnisse anzuregen.Als eine der bisher wenigen kompetenzorientierten Prüfungen am Fachbereich Medizin in Marburg wäre eine Ausweitung des Formates auf mehr Stationen als bisher wünschenswert. Im Rahmen der in Marburg avisierten Curriculumsreform und zukünftigen Einberechnung der besonderen Leistungen der fakultätsinternen Prüfer in die Personalorientierungszahl (Stellen für Lehre) rückt diese Möglichkeit auch praktisch in Reichweite. Darüber hinaus ist es sinnvoll und machbar, Studierende, die in dieser Form der Prüfung als besonders leistungsschwach erscheinen, besonders zu beraten oder enger in der weiteren Studienphase oder im Praktischen Jahr zu begleiten. In einem Fall ist dies bereits erfolgt. Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autoren erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben. Möltner A Duelli R Resch F Schultz JH Jünger J Fakultätsinterne Prüfungen an den deutschen medizinischen Fakultäten 2010 GMS Z Med Ausbild Doc44 Möltner A, Duelli R, Resch F, Schultz JH, Jünger J. Fakultätsinterne Prüfungen an den deutschen medizinischen Fakultäten. GMS Z Med Ausbild. 2010;27(3):Doc44. DOI: 10.3205/zma000681 http://dx.doi.org/10.3205/zma000681 Harden RM and Gleeson FA Assessment of clinical competence using an objective structured clinical examination (OSCE) 1979 Med Educ 41-54 Harden RM and Gleeson FA. Assessment of clinical competence using an objective structured clinical examination (OSCE). Med Educ. 1979;13(1):41-54. DOI: 10.1111/j.1365-2923.1979.tb00918.x http://dx.doi.org/10.1111/j.1365-2923.1979.tb00918.x Nikendei C Jünger J OSCE - praktische Tipps zur Implementierung einer klinisch-praktischen Prüfung 2006 GMS Z Med Ausbild Doc47 Nikendei C, Jünger J. OSCE - praktische Tipps zur Implementierung einer klinisch-praktischen Prüfung. GMS Z Med Ausbild. 2006;3(3):Doc47. Zugänglich unter/available from: http://www.egms.de/static/de/journals/zma/2006-23/zma000266.shtml http://www.egms.de/static/de/journals/zma/2006-23/zma000266.shtml Van der Vleuten C Swanson DB Assessment of clinical skills with standardized patients: State of the art 1990 Teach Learn Med 58-76 Van der Vleuten C, Swanson DB. Assessment of clinical skills with standardized patients: State of the art. Teach Learn Med. 1990;2:58-76. DOI: 10.1080/10401339009539432 http://dx.doi.org/10.1080/10401339009539432 Stibane T Schönbauer A Jerrentrup A Pressel T Baum E Bösner S Sytematischer praktischer Unterricht führt zu mehr praktischer Kompetenz 2012 Z Allg Med 184-191 Stibane T, Schönbauer A, Jerrentrup A, Pressel T, Baum E, Bösner S. Sytematischer praktischer Unterricht führt zu mehr praktischer Kompetenz. Z Allg Med. 2012;88(4):184-191. Schnabel KP Boldt PD Breuer G Fichtner A Karsten G Kujumdshiev S Schmidts M Stosch C Konsensusstatement "Praktische Fertigkeiten im Medizinstudium" – ein Positionspapier des GMA-Ausschusses für praktische Fertigkeiten 2011 GMS Z Med Ausbild Doc58 Schnabel KP, Boldt PD, Breuer G, Fichtner A, Karsten G, Kujumdshiev S, Schmidts M, Stosch C. Konsensusstatement "Praktische Fertigkeiten im Medizinstudium" – ein Positionspapier des GMA-Ausschusses für praktische Fertigkeiten. GMS Z Med Ausbild. 2011;28(4):Doc58. DOI: 10.3205/zma000770 http://dx.doi.org/10.3205/zma000770 Stibane T 2015 Neue Herausforderungen an Prüfungsformate durch das kompetenzorientierte Paradigma. Die Implementierung von kompetenzorientierten Prüfungsinstrumenten am Beispiel des Studiengangs der Humanmedizin an der Philipps-Universität Marburg Stibane T. Neue Herausforderungen an Prüfungsformate durch das kompetenzorientierte Paradigma. Die Implementierung von kompetenzorientierten Prüfungsinstrumenten am Beispiel des Studiengangs der Humanmedizin an der Philipps-Universität Marburg. Gießen: Universität Gießen-Marburg; 2015. 11en1de

Table 1: Reference disciplines (N=18) and corresponding cases/stations (N=37) for “OSCE decision making“ during the teaching year 2014/2015

Tabelle 1: Referenzfächer (N=18) und zugehörige Prüfungsfälle/Stationen (N=37) im OSCE-„Entscheidungsfindung“ im Studienjahr 2014/2015

22en2de

Table 2: Distribution, Mean and Standard deviation for the 5 categories of target oriented clinical action for all students (N=218) and stations (N=37)

Tabelle 2: Verteilung, Mittelwert und Standardabweichung für die 5 Kategorien des zielgerichteten ärztlichen Vorgehens über alle Studierenden (N=218) und Stationen(N=37)

2

1 1en 1de Figure 1: Frequency of mean scores (D) for all students and stations Abbildung 1: Häufigkeiten der Durchschnittsnoten (D) über alle Studierenden und Stationen

2 2en 2de Figure 2: Distribution of scores (1=very good – 5=unsatisfactory) in percent in the five categories history taking, request, findings, therapy, and differential diagnosis (DD) Abbildung 2: Notenverteilung in Prozent in den fünf Kategorien Anamnese, Anforderung, Befund, Therapie und differentialdiagnostisches Denken

3 3en 3de Figure 3: Distribution of mean scores (1=very good – 5=unsatisfactory) in selected disciplines Abbildung 3: Verteilung der durchschnittlichen Leistungen nach ausgewählten Fächern

4 4en 4de Figure 4: Distribution of scores for doctor-patient-interaction in the categories performance, empathy and information (1=very good - 5=unsatisfactory) due to the judgement of standardised patients Abbildung 4: Notenverteilung für die Arzt-Patienten-Interaktion auf die Kategorien Auftreten, Empathie und Information bei einem Notenspektrum von 1 bis 5(nach Schulnoten) in der Beurteilung durch die Simulationspatienten

4 0 0