zma000494 Vortrag/Lecture Möltner Möltner Andreas A

Universität Heidelberg, Kompetenzzentrum für Prüfungen in der Medizin, INF 346, 69120 Heidelberg, DeutschlandUniversität Heidelberg, Kompetenzzentrum für Prüfungen in der Medizin, Heidelberg, Deutschland

andreas.moeltner@med.uni-heidelberg.de author Nikendei Nikendei Christoph C

Universität Heidelberg, Heidelberg, Deutschland

christoph.nikendei@med.uni-heidelberg.de author Schultz Schultz Jobst-Hendrik JH

Universität Heidelberg, Kompetenzzentrum für Prüfungen in der Medizin, Heidelberg, Deutschland

jobst-hendrik.schultz@med.uni-heidelberg.de author Jünger Jünger Jana J

Universität Heidelberg, Kompetenzzentrum für Prüfungen in der Medizin, Heidelberg, Deutschland

jana.juenger@med.uni-heidelberg.de author German Medical Science GMS Publishing House

Düsseldorf

610 Humanmedizin 20071102 20071106 20071114 20080215 germ 1860-3572 25 1 GMS Zeitschrift für Medizinische Ausbildung GMS Z Med Ausbild 10 TextPrüfer haben sicher einen gewissen Einfluss auf die Beurteilung von Prüfungsleistungen. Von praktischer Relevanz ist, ob dies eine ernsthafte Minderung von Objektivität und Reliabilität zur Folge hat. Ziel der Untersuchung war, bei einem OSCE folgende Prüfereffekte zu analysieren: systematisch niedrigere oder höhere Bewertungen, ungleiche Ausnutzung der Bewertungsskalen und Unterschiede in der Fähigkeit, zwischen „guten“ und „schlechten“ Kandidaten zu differenzieren („Trennschärfe des Prüfers“). Schließlich sollten die Auswirkungen dieser Prüfereffekte auf Reliabilität und Messgenauigkeit der Prüfung bestimmt werden.Vorgestellt wird die Untersuchung des OSCE „Innere Medizin“ des WS 2006/07 an der medizinischen Fakultät Heidelberg. Der OSCE umfasste zwölf Stationen, an denen in zwölf Durchgängen 135 Studierende von insgesamt 39 Prüfern beurteilt wurden. An den einzelnen Stationen waren über den gesamten Prüfungsverlauf hinweg jeweils zwei bis vier verschiedene Prüfer eingesetzt. Unabhängige Mehrfachbewertungen an gleichen Stationen wurden nicht durchgeführt.Die Analyse der Prüfereffekte (a) und (b) erfolgte mittels konventioneller Gruppenvergleiche der von den Prüfern vergebenen Punktwerte. Für die Fragestellungen (c) und (d) wurden Auswertungen im methodischen Rahmen der Generalisierbarkeitstheorie durchgeführt.Es konnte gezeigt werden, dass systematische Prüfereffekte der Formen (a), (b) und (c) auftraten und an den Gesamtergebnissen einen signifikanten Anteil hatten, in ihrer Höhe die Reliabilität aber nicht erheblich verminderten. Einzelne Prüfer fielen jedoch durchaus durch deutliche Abweichungen hinsichtlich ihrer Punktvergabe oder ihrer „Trennschärfe“ auf.Aus dem Ergebnis folgt, dass zur Qualitätssicherung von Prüfungen kontinuierliche Kontrollen auf der Ebene der einzelnen Prüfer erforderlich sind, die dazu dienen, gezielte Prüferschulungen durchzuführen sowie Verbesserungen an Strukturierung und Standardisierung der Stationen vorzunehmen. 0 0 0 0