Fakultätsinterne Prüfungen an den deutschen medizinischen Fakultäten

zma000681 10.3205/zma000681 urn:nbn:de:0183-zma0006818 Forschungsarbeit/research article Fakultätsinterne Prüfungen an den deutschen medizinischen Fakultäten School-specific assessment in German medical schools Möltner Möltner Andreas A Dr. phil.

Ruprecht-Karls-Universität Heidelberg, Kompetenzzentrum Prüfungen in der Medizin Baden-Württemberg, Im Neuenheimer Feld 346, 69130 Heidelberg, Deutschland, Tel.: 06221/56-8249, Fax: 06221/56-7175Ruprecht-Karls-Universität Heidelberg, Kompetenzzentrum Prüfungen in der Medizin Baden-Württemberg, Heidelberg, Deutschland

andreas.moeltner@med.uni-heidelberg.de author Duelli Duelli Roman R PD Dr. med.

Ruprecht-Karls-Universität Heidelberg, Medizinische Fakultät, Studiendekanat, Heidelberg, Deutschland

roman.duelli@med.uni-heidelberg.de author Resch Resch Franz F Prof. Dr. med.

Ruprecht-Karls-Universität Heidelberg, Medizinische Fakultät, Heidelberg, Deutschland

franz.resch@med.uni-heidelberg.de author Schultz Schultz Jobst-Hendrik JH Dr. med.

Ruprecht-Karls-Universität Heidelberg, Kompetenzzentrum Prüfungen in der Medizin Baden-Württemberg, Heidelberg, Deutschland

jobst-hendrik_schultz@med.uni-heidelberg.de author Jünger Jünger Jana J Dr. med.

Ruprecht-Karls-Universität Heidelberg, Kompetenzzentrum Prüfungen in der Medizin Baden-Württemberg, Heidelberg, Deutschland

jana.juenger@med.uni-heidelberg.de author German Medical Science GMS Publishing House

Düsseldorf

610 medical education quality criteria for assessment Medizinische Ausbildung Qualitätskriterien für Prüfungen Humanmedizin 20091002 20091222 20100112 20100517 germ 1860-3572 27 3 GMS Zeitschrift für Medizinische Ausbildung GMS Z Med Ausbild 44 Mit der im Jahr 2002 novellierten Ärztlichen Approbationsordnung gewannen die fakultätsinternen Prüfungen im klinischen Studienabschnitt erheblich an Bedeutung. Sie sollen die Stärkung des Praxisbezugs der medizinischen Ausbildung abbilden und sind Teil des Abschlusszeugnisses. Um eine Übersicht zu gewinnen, wie sich dadurch die „Prüfungskultur“ an den medizinischen Fakultäten entwickelt hat, wurde im Herbst 2007 eine Umfrage an allen medizinischen Fakultäten in Deutschland durchgeführt. Allen Studiendekanaten wurde ein Fragebogen zugesandt, welcher Fragen zur zentralen Organisation enthielt. Für alle Leistungsnachweise wurde das Prüfungsformat erfragt und erhoben, ob für die Prüfungsaufgaben eine strukturierte Begutachtung und eine statistische Auswertung der Ergebnisse erfolgt. Von den 36 medizinischen Fakultäten antworteten 31 Fakultäten. Zu den 15 Leistungsnachweisen im vorklinischen Abschnitt des Studiums machten 28 Fakultäten Angaben, zu den 38 Fächern im klinischen Abschnitt alle 31 Fakultäten. In beiden Abschnitten des Studiums dominieren Klausuren mit Mehrfachauswahlfragen. Strukturierte praktische Prüfungen werden selten eingesetzt. Geregelte Begutachtungsverfahren der Aufgaben und statistische Auswertungen erfolgen bei etwa 40 % der Prüfungen, wobei sich hier charakteristische Unterschiede zwischen Fakultäten zeigen. Zusammenfassend folgt aus den Ergebnissen, dass zwar erhebliche Anstrengungen zur Durchführung qualitativ hochwertiger Prüfungen unternommen werden, sich insgesamt aber die angestrebte höhere Praxisorientierung des Studiums noch nicht hinreichend abbildet, die Integration von Prüfungen als wesentlicher Bestandteil der Lehre häufig noch nicht erfolgt und die Einhaltung internationaler Mindeststandards an die Qualität der Leistungsmessung zweifelhaft ist. Als Maßnahmen zur qualitativen Verbesserung der Prüfungen werden Schulungen und universitäre Kooperationen zur logistischen und inhaltlichen Etablierung praxisnaher Prüfungsformen, die Festlegung adäquater Qualitätsstandards sowie die Bildung von Prüfungsverbünden als notwendig erachtet. The 2002 licensing regulation for doctors significantly increased the importance of school-specific assessment during the clinical phase of medical education. School-specific assessment should strengthen the practical element of medical training; due to the licensing reform, students now obtain individual grades for each clinical subject, which then count toward the final degree. In order to gain an overview of how the assessment procedure has evolved in light of this reform, a survey was carried out in all medical schools in Germany in autumn 2007. The dean of each school received a questionnaire containing questions on central organization. The questionnaire inquired about and recorded information on the format of all graded assessments and whether a structured appraisal and a statistical analysis were carried out for exam questions. Thirty-one out of 36 medical schools responded. Twenty-eight schools provided information on the 15 graded assessments taken during the pre-clinical phase of medical training, and all 31 provided information on the 38 subjects that comprise the clinical phase of the degree course. Multiple choice examinations dominate in both phases of medical training. Structured practical assessments are seldom used. Regulated evaluation procedures and statistical analysis of the questions take place in approximately 40% of all assessments, whereby differences between the individual schools of medicine do exist. In summary, the results show that although considerable effort has been made to carry out high-quality assessments, overall a stronger focus on practical elements within medical education has not yet been achieved. Often, assessment has not yet become an integral part of studies and it is doubtful that international minimum standards on assessment quality are being maintained. Necessary measures to improve the quality of assessments include training courses and cooperation between universities to help with content and organizational aspects of establishing assessment forms with strong practical components; the specification of adequate quality standards; and the creation of examination boards. Einleitung Hintergrund Mit der im Jahr 2002 novellierten Ärztlichen Approbationsordnung gewannen die fakultätsinternen Prüfungen im klinischen Studienabschnitt erheblich an Bedeutung. Sie sollen die Stärkung des Praxisbezugs der medizinischen Ausbildung abbilden und sind als benotete Leistungsnachweise Teil des Abschlusszeugnisses. So nennt §1 der Approbationsordnung bei den Zielen der ärztlichen Ausbildung nicht nur u. a. die für das ärztliche Handeln erforderlichen allgemeinen Kenntnisse, Fähigkeiten und Fertigkeiten in Diagnostik, Therapie, Gesundheitsförderung, Prävention und Rehabilitation, praktische Erfahrungen im Umgang mit Patienten, einschließlich der fächerübergreifenden Betrachtungsweise von Krankheiten und der Fähigkeit, die Behandlung zu koordinieren, sondern fordert explizit im Unterschied zur vorhergehenden Approbationsordnung „Das Erreichen dieser Ziele muss von der Universität regelmäßig und systematisch bewertet werden.“ Dies hat bei konsequenter Umsetzung erhebliche Auswirkungen auf die von den medizinischen Fakultäten durchzuführenden Prüfungen: So können praktische Fertigkeiten nur praktisch abgeprüft werden, klassische mündliche oder schriftliche Prüfungen (insbesondere im Format von Mehrfachauswahlfragen – „Multiple Choice“) sind hierfür nur äußerst eingeschränkt geeignet , , . Dies hat zur Konsequenz, dass bei den Fächern, in denen praktische Kenntnisse und Fertigkeiten vermittelt werden, wie etwa Chirurgie, Allgemeinmedizin, Innere Medizin usw., auch praktische Prüfungen etabliert werden müssen. Für die medizinischen Fakultäten erwächst daraus eine anspruchsvolle Aufgabe: Sie sollen bei knappen personellen, institutionellen und finanziellen Ressourcen Prüfungen durchführen, die Qualitätsanforderungen entsprechen, wie sie international anerkannt etwa in den „Standards for Educational and Psychological Testing" [8] oder speziell für die Durchführung medizinischer Prüfungen im „Test Administration Handbook“ niedergelegt sind (vgl. hierzu auch die Richtlinien der WHO und der WFME ). Seitens der Fakultäten sind somit zwei Ziele zu verfolgen: Einerseits müssen die Leistungsnachweise höheren Anforderungen genügen als die früher gängigen Teilnahmebescheinigungen, was einen deutlich höheren Aufwand bei Prüfungserstellung, -durchführung und -nachbereitung nach sich zieht, andererseits ist auf Grund der knappen Ressourcen eine möglichst ökonomische Vorgehensweise erforderlich. Ziel der Studie Um eine Übersicht zu gewinnen, wie sich im Anschluss an die Novellierung der Ärztlichen Approbationsordnung die „Prüfungskultur“ an den medizinischen Fakultäten in Deutschland tatsächlich entwickelt hat, wurde vom Medizinischen Fakultätentag im Sommer 2007 dem Studiendekanat der Medizinischen Fakultät Heidelberg die Aufgabe übertragen, eine Umfrage zum Thema „fakultätsinterne Prüfungen“ durchzuführen. In dieser sollte primär erhoben werden, welche Prüfungsformate (schriftlich, mündlich, praktisch) für die von der ÄAppO vorgeschriebenen Leistungsnachweise verwendet werden. Dabei liegt hier der Schwerpunkt auf den Leistungsnachweisen im klinischen Studienabschnitt, da hier zum einen der Bezug zur praktischen ärztlichen Tätigkeit deutlich ausgeprägter ist als im ersten Studienabschnitt und zum anderen benotete Leistungsnachweise erstellt werden müssen (§27 (5) der ÄAppO). Bedeutsam ist auch, inwieweit Leistungen durch unterschiedliche Prüfungsformen abgeprüft werden (sog. „Triangulation“). Konkret stellt sich die Frage, ob in Bereichen, in denen sowohl theoretische wie auch praktische Fertigkeiten oder Kenntnisse vermittelt werden sollen, diese auch durch adäquate Methoden geprüft werden: für lexikalisches Wissen sind Multiple-Choice-Aufgaben (MC) sicherlich gut geeignet für Entscheidungs- oder Anwendungswissen gut formulierte MC-Fragen und andere schriftlichen Prüfungsformen für praktische Fertigkeiten strukturierte praktische Prüfungen wie z. B. objektive strukturierte klinische Prüfungen oder objektiv strukturierte praktische Prüfungen (engl. Abk. OSCE bzw. OSPE). Weiterhin von Interesse bei der Studie waren Aspekte der Qualitätssicherung und der ökonomischen Durchführung der universitären Prüfungen, im Rahmen dieser Umfrage konnten jedoch nur strukturelle Bedingungen abgefragt werden (s.u.). Methoden „Fragebogen Prüfungen“ Im Sommer 2007 übernahmen das Studiendekanat der medizinischen Fakultät Heidelberg und das Kompetenzzentrum für Prüfungen in der Medizin Baden-Württemberg vom Medizinischen Fakultätentag der Bundesrepublik Deutschland die Aufgabe, eine Umfrage zu Organisation und Form der von den Fakultäten vergebenen Leistungsnachweise im Studium der Humanmedizin durchzuführen. Hierzu wurde ein Kurzfragebogen erstellt, der an alle 36 Studiendekanate der medizinischen Fakultäten in elektronischer Form übersandt wurde (s. u.). Der Kurzfragebogen gliederte sich in einen allgemeinen Teil und in zwei prüfungsspezifische Teile für den vorklinischen und den klinischen Abschnitt des Studiums. Im allgemeinen Teil war die Frage Welche logistischen Aufgaben bei Prüfungsvorbereitung und –nachbereitung sind an Ihrer Fakultät zentral organisiert? Raumvergabe(ja/nein) Terminvergabe(ja/nein) Erstellung von Prüfungsmaterialien(ja/nein) Auswertung von Prüfungen(ja/nein) Personaleinsatz (z. B. Prüfungsaufsicht)(ja/nein) zu beantworten. Daneben enthielt der allgemeine Teil noch zwei offene Fragen zu den Hauptschwierigkeiten bei der Durchführung universitärer Prüfungen und den besonderen Schwierigkeiten bei den Prüfungen nach der neuen ÄAppO im klinischen Abschnitt, die jedoch nicht Gegenstand der vorliegenden Studie sind. In den beiden prüfungsspezifischen Teilen sollten für die in Anlage 1 der ÄAppO 15 genannten praktischen Übungen, Kurse und Seminare im vorklinischen Abschnitt sowie den in §27 aufgeführten Fächern, Querschnittsbereichen und Blockpraktika im klinischen Abschnitt folgende Fragen beantwortet werden: Welche Prüfungsformate werden verwendet? Gibt es bei der Erstellung der Prüfungsaufgaben ein geregeltes Reviewverfahren (Begutachtung der Aufgabenqualität und evtl. erforderliche Überarbeitung der Aufgaben), an dem neben dem Aufgabenautor mindestens zwei weitere Fachvertreter teilnehmen? Erfolgt in der Regel eine statistische Auswertung der Prüfungsergebnisse, die mindestens die Bestimmung von Aufgabenschwierigkeiten und Trennschärfe umfasst? 1) a) Schriftlich Multiple Choice (ja/nein) Andere schriftliche Prüfungen (ja/nein) b) Mündlich (ja/nein) PraktischOSPE/OSCE (ja/nein) Andere praktische Prüfungen (Welches Format?) 2) Aufgabenreview (ja/teilweise/nein) 3) Statist. Auswertungen (ja/teilweise/nein) Mit der zweiten und dritten Frage sollten strukturelle Bedingungen für die Qualitätssicherung von Prüfungen erfasst werden. Als bedeutendste Bereiche wurden die Durchführung eines Begutachtungsprozesses der Aufgaben vor der Prüfung („Pre-Review“) und als Voraussetzung einer guten Nachbereitung die statistische Auswertung der Prüfungsergebnisse erachtet. Gemäß der Leitlinie der Gesellschaft für Medizinische Ausbildung (GMA) für fakultätsinterne Leistungsnachweise sollten am Pre-Review neben dem Aufgabenautor noch mindestens zwei weitere Fachvertreter teilnehmen [, Punkt 2.4.2] und die Auswertung wenigstens die Kennwerte Aufgabenschwierigkeit und Trennschärfe umfassen [, Punkt 5.1]. Eine genauere Erfassung der Maßnahmen zur Qualitätssicherung von Prüfungen wäre sicherlich wünschenswert, praktische Erfahrungen des Kompetenzzentrums Prüfungen bei ähnlichen Erhebungen zeigen jedoch, dass hierzu die alleinige Verwendung von Fragebögen nicht genügt, sondern ein direkter Kontakt mit Studiendekanaten und Prüfungsverantwortlichen vor Ort erforderlich ist. Versand der Fragebogen Die Fragebogen wurden vom Studiendekanat Heidelberg im Herbst 2007 an alle Studiendekanate der medizinischen Fakultäten in Deutschland als e-mail mit der Bitte um Rücksendung (ebenfalls als e-mail oder schriftlich) versandt. War nach zwei Monaten noch keine Antwort eingetroffen, wurde eine Erinnerung geschrieben, erfolgte hierauf ebenfalls keine Antwort, wurde ein zweites Mal nachgefragt. Bei zwei Fakultäten erfolgte während des Befragungszeitraums ein Wechsel im Studiendekanat. Hier verzögerte sich die vollständige Rückmeldung noch weiter, so dass die Umfrage schließlich bis Mitte des Jahres 2008 abgeschlossen wurde. Auswertung Die Auswertung der Fragen erfolgte mit deskriptiven Statistiken der Antworthäufigkeiten. Bei den geschlossenen Fragen waren die Antwortmöglichkeiten „ja“, „teilweise“ „nein“ und bei fehlenden Angaben „k. A.“ zu berücksichtigen. Für die Frage nach der Form anderer praktischen Prüfungen (d. s. alle praktischen Prüfungen mit Ausnahme OSCE) wurde für die deskriptive Auswertungen eine weitere kategoriale Variable „andere praktische Prüfungen“ mit den Ausprägungen „ja“, „nein“ und „k. A.“ gebildet. Ergebnisse Rücklauf Von den 36 medizinischen Fakultäten antworteten nach spätestens der zweiten Nachfrage 31 Fakultäten. Damit beläuft sich die Rücklaufquote auf 86%. Während von allen Studiendekanaten Angaben zu 38 Fächern, Querschnittsbereichen und Blockpraktika des klinischen Abschnitts des Studiums gemacht wurden (Wahlfächer wurden nicht in die Umfrage mit einbezogen), fehlen diese für die 15 Leistungsnachweise des vorklinischen Abschnitts bei zwei Universitäten ebenso wie bei einer Fakultät, bei der nur der klinische Studienabschnitt angeboten wird. Somit liegen Daten zum vorklinischen Abschnitt von insgesamt 28 Fakultäten vor. Allgemeiner Teil 1. Zentrale Logistik Die Abbildung 1 zeigt die Häufigkeiten bei der zentralen Organisation im Bereich Prüfungen. Deutlich ist, dass Raum- und Terminvergabe bei den meisten Fakultäten zentral organisiert sind, hingegen wird nur bei einem Teil eine zentrale Prüfungsauswertung durchgeführt. Noch geringer ist der Zentralisierungsgrad bei der Erstellung von Prüfungsmaterialien oder gar dem Personaleinsatz. In den Bereichen „Erstellung von Prüfungsmaterialien“ und „Auswertung von Prüfungen“ wäre durch eine Zentralisierung noch eine verbesserte Ressourcennutzung möglich. 2. Vorklinischer Abschnitt des Medizinstudiums Im vorklinischen Abschnitt des Medizinstudiums sind gemäß der ÄAppO 15 Leistungsnachweise von den Studierenden zu erbringen. Fasst man die Antworten zu den Fragen über alle 28 Fakultäten, die geantwortet haben, zusammen, fußen die Aussagen auf insgesamt 420 Einzelantworten zu den Leistungsnachweisen. Prüfungsformate Eine Zusammenfassung der Antworten aller Leistungsnachweise im vorklinischen Abschnitt ist in Tabelle 1 zu finden. Dabei waren bei den Antworten nach der Form „anderer praktischer Prüfungen“ in den meisten Fällen „Testate“ o. ä. genannt (über 90%). Daneben finden sich vereinzelt Antworten wie „Mikroskopieren“, „Präparationen“ oder „Testanalysen“. Bei den Prüfungsformen dominieren eindeutig die schriftlichen Prüfungen, wobei von diesen knapp zwei Drittel in der Form von Multiple-Choice-Prüfungen durchgeführt werden. Einen deutlich geringeren Anteil haben mündliche Prüfungen und praktische Leistungsbeurteilungen (primär Testate). Bei letzteren muss allerdings offen bleiben, inwieweit diese tatsächlich als praktische Leistungserfassung einzustufen ist. Strukturierte praktische Prüfungen (OSPE) spielen nahezu keine Rolle. Qualitätssicherung der Prüfungen Die Zusammenfassung für die Fragen zur Qualitätssicherung findet sich ebenfalls in Tabelle 1 . Ein Review der Aufgaben findet bei 101 und „teilweise“ bei 59 Leistungsnachweisen statt (siehe Tabelle 1 ). Das entspricht zusammen 42.1% aller Leistungsnachweise, für die Angaben gemacht wurden. Statistische Auswertungen erfolgen bei 108 Prüfungen, „teilweise“ bei 28 (zusammen 35.8%). Differenzierung nach Leistungsnachweisen Eine die verschiedenen Leistungsnachweise differenzierende Auflistung ist in Tabelle 2 enthalten. Dabei wurden die Antwortmöglichkeiten „ja“ und „teilweise“ zu „ja“ zusammengefasst. Es sind deutliche Unterschiede zwischen diesen festzustellen. So werden etwa MC-Prüfungen am häufigsten im Praktikum der Biochemie/Molekularbiologie eingesetzt, während der Leistungsnachweis für das Praktikum zur Einführung in die Klinische Medizin meist ohne Prüfung erworben werden kann (vgl. hierzu §2 (7) der ÄAppO). Leistungserhebung mit unterschiedlichen Prüfungsformen „Triangulation“ Schließlich ist noch von Interesse, ob Kombinationen von Prüfungsformen eingesetzt werden (sog. „Triangulation“, vgl. auch den entsprechenden Abschnitt für den klinischen Teil des Studiums). Da bei 41 Leistungsnachweisen nur unvollständige Angaben gemacht wurden, bezieht sich Tabelle 3 auf die Angaben zu 379 Leistungsnachweisen. Bei 66 (17.4%) der Leistungsnachweise sind von den Studiendekanaten keine Prüfungen angegeben (s. o.). 165 der Leistungsnachweise werden allein schriftlich abgeprüft, davon die Mehrzahl (97) ausschließlich mit MC-Fragen. In Kombination mit anderen Prüfungsformen werden schriftliche Prüfungen bei 113 (29.8%) Leistungsnachweisen verwendet. Praktische Prüfungen (im Wesentlichen „Testate“) kommen allein oder in Kombination mit anderen Prüfungsformen bei 87 (23.0%) Leistungsnachweisen zum Einsatz. 3. Klinischer Abschnitt des Medizinstudiums Laut ÄAppO sind im klinischen Studienabschnitt von den medizinischen Fakultäten 39 benotete Leistungsnachweise in den einzelnen Fächern, Querschnittsbereichen und Blockpraktika zu erstellen. Für die Auswertungen wurde das Wahlfach nicht berücksichtigt, so dass insgesamt von den 31 Fakultäten Angaben zu jeweils 38 Leistungsnachweisen zur Verfügung standen. Einen zusammenfassenden Überblick gibt Tabelle 4 . Prüfungsformate Eine Auflistung der einzelnen Formate und ihrer Verwendungshäufigkeiten findet sich in Tabelle 4 (vgl. auch den Abschnitt „Triangulation“). Bei der überwiegenden Zahl aller Leistungsnachweise (907, das sind 79.1%) werden MC-Klausuren eingesetzt, andere schriftliche Prüfungen bei 181 Fächern (16.3%). Mündliche Prüfungen gibt es bei 253 Leistungsnachweisen (22.0%). Besonderes Interesse gilt im klinischen Studienabschnitt den praktischen Prüfungen. Bei 110 Leistungsnachweisen werden OSCEs durchgeführt (9.6%), in 107 Fällen werden andere praktische Prüfungsformen verwendet (9.3%). Die detaillierte Auflistung ist in Tab. 5 enthalten. Qualitätssicherung der Prüfungen Bei den Indikatoren der Qualitätssicherung ergibt sich ein ähnliches Bild wie im vorklinischen Abschnitt. Bei 1101 Leistungsnachweisen, zu denen Angaben gemacht wurden, führen 449 (40.8%) ein Review der Aufgaben vor der Prüfung durch, statistische Auswertungen erfolgen bei 428 von 1137 (37.6%) Leistungsnachweisen. Die Angaben für die einzelnen Fächer, Querschnittsbereiche und Blockpraktika finden sich ebenfalls in Tabelle 5 . Leistungserhebung mit unterschiedlichen Prüfungsformen („Triangulation“) Tabelle 6 listet die eingesetzten Kombinationen von Prüfungsformen die in der ÄAppO genannten Leistungsnachweise auf (Fächer, Querschnittsbereiche und Blockpraktika). Nicht aufgeführt sind dabei Angaben zu Wahlfächern. Es dominieren Prüfungen im MC-Format. Bei 609 von 1150 Leistungsnachweisen (53.0%), für die vollständige Angaben zu den Prüfungsformaten gemacht wurden, werden ausschließlich MC-Prüfungen verwendet. Schriftliche Prüfungen allein werden bei 737 (64.1%) genannt. Die für das Ziel der „Triangulation“ besonders interessierende Kombination einer praktischen Prüfung mit wenigstens einem anderen Prüfungsformat (schriftlich oder mündlich oder schriftlich und mündlich) erfolgt bei lediglich 158 (13.7%) Leistungsnachweisen. Differenzierung nach Fächern, Querschnittsbereichen und Blockpraktika Zwischen den verschiedenen Leistungsnachweisen ist die Häufigkeit des Einsatzes praktischer Prüfungsformate auf Grund der unterschiedlich deutlich ausprägten „Praxisnähe“ verschieden. So sind praktische Prüfungen in Fächern wie Innere Medizin oder Orthopädie eher naheliegend, während sie für den Bereich „Geschichte der Medizin“ kaum eine Bedeutung besitzen. Als Beispiele für „praxisnahe“ Fächer/Querschnittsbereiche seien „Chirurgie“, „Notfallmedizin“ und „Frauenheilkunde“ ausgewählt (siehe Abbildung 2 , vergleiche Tabelle 5 ): Während im Fach „Chirurgie“ an 9 Fakultäten praktische Prüfungen durchgeführt werden (sieben OSCE, eine Fallvorstellung, ein MiniCex (klinische Kurzbeobachtung mit einer Dauer von etwa 15-20 Minuten ), einmal OSCE und Fallvorstellung), gibt es im Fach „Frauenheilkunde, Geburtshilfe“ mit Ausnahme von 2 Fakultäten keine Leistungsmessung praktischer Fertigkeiten. Auch bei diesen beiden Fakultäten erfolgen lediglich eine Fallvorstellung und eine Prüfung am Simulator. Konsequente strukturierte Prüfungen (wie OSCE oder MiniCex) erfolgen nirgends. Im Querschnittsbereich Notfallmedizin werden an 15 Fakultäten praktische Prüfungen durchgeführt, neben den acht Fakultäten, an denen OSCEs durchgeführt werden, sind eine Reihe weiterer praktischer Prüfungsformen im Einsatz: 5 MiniCex, 2 mal Simulator und einmal Triple Jump (eine Doppelnennung). Im Unterschied zur Chirurgie werden im Querschnittsbereich Notfallmedizin deutlich öfter klinische Kurzbeobachtungen oder weitere praktische Prüfungsformen neben dem OSCE eingesetzt. Die Fächer, bei denen am häufigsten OSCEs durchgeführt werden, sind Anästhesiologie (7 Fakultäten), Chirurgie (7 Fakultäten), Innere Medizin (8 Fakultäten), Orthopädie (8 Fakultäten) und der Querschnittsbereich Notfallmedizin (8 Fakultäten) sowie das Blockpraktikum Chirurgie (8 Fakultäten). Auch bei den Indikatoren zur Qualitätssicherung sind fachspezifische Unterschiede festzustellen (siehe Tabelle 5 ). Aufgabenreviews finden am seltensten bei den Blockpraktika, am häufigsten im Fach „Innere Medizin“ (17 Nennungen) statt. Ähnliches gilt für die statistische Auswertung von Prüfungen. Weniger als 10 Nennungen erfolgen wieder bei den Blockpraktika sowie in „Urologie“ und „Geschichte, Theorie, Ethik der Medizin“, mindestens an 15 Fakultäten erfolgen Auswertungen in „Arbeitsmedizin, Sozialmedizin“, „Hygiene, Mikrobiologie, Virologie“, „Rechtsmedizin“ und „Epidemiologie, med. Biometrie und Informatik“. Differenzierung nach Fakultäten Deutliche Unterschiede sind auch zwischen den Fakultäten festzustellen. An manchen Fakultäten werden praktische Prüfungen erheblich häufiger eingesetzt als an anderen (siehe Tabelle 7 ). So werden an acht Fakultäten keine OSCEs verwendet, 15 Fakultäten setzen OSCSs bei einem bis vier Fächern ein und an acht Fakultäten in 5 oder mehr Fächern. Ein ähnliches Bild ergibt sich für andere praktische Prüfungsformen: Wieder gibt es acht Fakultäten ohne andere praktische Prüfungen, an 13 Fakultäten sind solche an ein bis vier Fächern und an 10 Fakultäten bei mehr Fächern im Einsatz. Auch bei den Indikatoren der Qualitätssicherung ist eine erhebliche Streuung zwischen den Fakultäten festzustellen. Während es wieder jeweils acht Fakultäten ohne Review-Prozess der Aufgaben vor der Prüfung oder statistische Auswertung der Ergebnisse gibt, werden an einigen Fakultäten in der überwiegenden Zahl von Fächern Reviews oder Auswertungen durchgeführt (siehe Tabelle 7 ). Zusammenfassung der Ergebnisse und Diskussion Die Antworten zur zentralen Logistik bei den Prüfungsdurchführungen ergeben, dass die Raum- und Terminvergabe bei der Mehrzahl der Fakultäten zentral organisiert wird, hingegen die Vor- und Nachbereitung der einzelnen Prüfungen meist dezentral stattfindet. Insbesondere obliegt der Personaleinsatz in der überwiegenden Zahl der Fälle den einzelnen Fächern. Im vorklinischen Abschnitt werden etwa 73% aller Leistungsnachweise mit MC-Klausuren abgeprüft, daneben gibt es zwar häufig praktische Prüfungen, die jedoch nur selten als „strukturiert“ bezeichnet werden können. Reviews der Aufgaben oder statistische Auswertungen werden in gut 40% bzw. 35% aller Leistungsnachweise durchgeführt. Im klinischen Abschnitt des Studiums dominieren eindeutig MC-Klausuren (ca.79%). Mündliche Prüfungen spielen eine zweitrangige Rolle. Praktische Prüfungen sind immer noch eher selten (jeweils knapp 10% OSCEs und 10% andere praktische Prüfungen), auf Grund von Doppelnennungen ergeben sich praktische Prüfungen bei etwa 17.7% aller Leistungsnachweise. Die insgesamt niedrige Rate von praktischen Prüfungen bedingt auch die geringe Zahl von „Triangulationen“. Bei lediglich 13.7% aller Leistungsnachweise werden praktische Prüfungen mit anderen Prüfungsformaten kombiniert. Für die Indikatoren zur Qualitätssicherung ergibt sich ein ähnliches Bild wie im vorklinischen Abschnitt: 40.8% der Fächer führen ein Aufgabenreview vor der Prüfung durch, bei 37.6% aller Leistungsnachweise wird eine basale statistische Auswertung der Ergebnisse durchgeführt. Deutliche Unterschiede zwischen verschiedenen Fächern sind hinsichtlich der Etablierung praxisnaher Prüfungen zu finden. Dies gilt auch, wenn man sich auf die Fächer mit offensichtlich stark ausgeprägtem Praxisbezug beschränkt. Geringere Unterschiede gibt es in Bezug auf die Indikatoren zur Qualitätssicherung „Aufgabenreviews“ und „statistische Auswertungen“. Erhebliche Unterschiede zwischen verschiedenen medizinischen Fakultäten sind hinsichtlich der Etablierung praxisnaher Prüfungen, der Durchführung von Aufgabenreviews und der Qualitätskontrolle von Prüfungen mittels statistischer Auswertungen festzustellen. Offensichtlich stehen die Fakultäten noch auf unterschiedlichen „Entwicklungsstufen“ ihrer Prüfungskultur, an einigen Universitäten ist die Etablierung praxisnäherer Prüfungen und von Maßnahmen zur Qualitätssicherung der Leistungserfassung weiter fortgeschritten, an anderen Fakultäten ist eine entsprechende Entwicklung jedoch noch nicht in Gang gesetzt. Resümee Die Ergebnisse einer Umfrage sind natürlich nur mit Vorsicht zu interpretieren, dennoch muss – auch bei wohlwollender Betrachtung –- konstatiert werden, dass sich die durch die geänderte ÄAppO geforderte höhere Praxisorientierung des Medizinstudiums noch nicht hinreichend in der Prüfungspraxis der Fakultäten abbildet. Bei einer Reihe von Fakultäten sind bereits wichtige Schritte in Richtung praxisbezogener Prüfungen unternommen worden, jedoch sind auch bei diesen noch nicht alle praxisrelevanten Fächer oder Querschnittsbereiche einbezogen. Ebenfalls sind bei einigen Fakultäten die Grundlagen für qualitätssichernde Maßnahmen von Prüfungen geschaffen. Insgesamt muss für die an den deutschen medizinischen Fakultäten durchgeführten Prüfungen jedoch noch befürchtet werden, dass international anerkannte Qualitätsstandards für benotete Leistungsnachweise zu selten eingehalten werden. Erforderliche Maßnahmen Ganz offensichtlich ist das Prüfungswesen bei vielen deutschen medizinischen Fakultäten noch stark verbesserungsbedürftig. Von den meisten Fakultäten ist sicherlich erkannt worden, dass qualitativ hochwertige Prüfungen ein essentieller Bestandteil einer guten universitären Ausbildung sind. Häufig stellen aber die organisatorischen, personellen und finanziellen Probleme ein Hindernis bei der Etablierung „guter“ Prüfungen dar. Hier gilt es vor allem aufzuzeigen, wie durch geschickte Nutzung vorhandener Ressourcen ein solches Ziel erreicht werden kann. Entsprechende Weiterbildungsangebote und Schulungen, die sich an die in der Lehre tätigen Personen richten, gibt es bereits. Hierzu gehört etwa, dass der Bereich „Prüfungen“ einen wichtigen Bestandteil im Curriculum des „Master of Medical Education“ darstellt. Spezielle ein- oder mehrtägige Workshops werden z. B. an den medizinischen Fakultäten in Tübingen, Heidelberg, München oder der Charité in Berlin angeboten. Eine Reihe von Universitäten hat auch begonnen, fakultätsübergreifende Kooperationen zur Entwicklung von Prüfungen zu bilden. Ein Beispiel dafür ist das integrierte Prüfungsdatenbanksystem (IMSm ), welches von den Universitäten in München, Heidelberg und Berlin initiiert wurde und an dem sich bereits neun weitere Fakultäten beteiligen und das die Möglichkeit zur Etablierung eines Prüfungsverbunds bietet. Ein weiterer Punkt besteht in der Etablierung von Qualitätsstandards für die universitären Prüfungen. So wurde zu Beginn des Jahres 2008 federführend vom „Ausschuss Prüfungen der Gesellschaft für medizinische Ausbildung“ eine „Leitlinie für Fakultäts-interne Leistungsnachweise während des Medizinstudiums“ veröffentlicht und von den Fakultäten des Landes Baden-Württemberg als anzustrebender Qualitätsstandard anerkannt. Anderson LW Krathwohl DR Airasian PW Cruikshank KA Mayer RE Pintrich PR Raths J Wittrock MC 2001 A Taxonomy for Learning, Teaching, and Assessing - A Revision of Bloom's Taxonomy of Educational Objectives Anderson LW, Krathwohl DR, Airasian PW, Cruikshank KA, Mayer RE, Pintrich PR, Raths J, Wittrock MC. A Taxonomy for Learning, Teaching, and Assessing - A Revision of Bloom's Taxonomy of Educational Objectives. München: Addison-Wesley; 2001 Bundesminsterium für Wissenschaft und Gesundheit Approbationsordnung für Ärzte vom 27. Juni 2002 2002 Bundesgesetzbl 2405–2435 Bundesminsterium für Wissenschaft und Gesundheit. Approbationsordnung für Ärzte vom 27. Juni 2002. Bundesgesetzbl. 2002;Teil I(44):2405–2435 Brass K Hochlehnert A Jünger J Fischer M Holzer M Studiumbegleitende Prüfungen mit einem System: ItemManagementSystem für die Medizin 2008 GMS Z Med Ausbild Doc37 Brass K, Hochlehnert A, Jünger J, Fischer M, Holzer M. Studiumbegleitende Prüfungen mit einem System: ItemManagementSystem für die Medizin. GMS Z Med Ausbild. 2008;25(1):Doc37. Zugänglich unter: http://www.egms.de/static/de/journals/zma/2008-25/zma000521.shtml http://www.egms.de/static/de/journals/zma/2008-25/zma000521.shtml Gesellschaft für Medizinische Ausbildung GMA-Ausschuss Prüfungen Kompetenzzentrum Prüfungen Baden-Württemberg Leitlinie für Fakultäts-interne Leistungsnachweise während des Medizinstudiums: Ein Positionspapier des GMA-Ausschusses Prüfungen und des Kompetenzzentrums Prüfungen Baden-Württemberg (Stand 30.01.2008) 2008 GMS Z Med Ausbild Doc74 Gesellschaft für Medizinische Ausbildung, GMA-Ausschuss Prüfungen, Kompetenzzentrum Prüfungen Baden-Württemberg. Leitlinie für Fakultäts-interne Leistungsnachweise während des Medizinstudiums: Ein Positionspapier des GMA-Ausschusses Prüfungen und des Kompetenzzentrums Prüfungen Baden-Württemberg (Stand 30.01.2008). GMS Z Med Ausbild. 2008;25(1):Doc74. Zugänglich unter: http://www.egms.de/static/de/journals/zma/2008-25/zma000558.shtml http://www.egms.de/static/de/journals/zma/2008-25/zma000558.shtml Gleeson F 1997 Assessment of clinical competence using the Objective Structured Long Examination Record (OSLER) Gleeson F. Assessment of clinical competence using the Objective Structured Long Examination Record (OSLER). Edinbourgh: AMEE; 1997. Zugänglich unter: http://www.medev.ac.uk/resources/features/AMEE_summaries/AMEE9.doc http://www.medev.ac.uk/resources/features/AMEE_summaries/AMEE9.doc National Board of Medical Examiners 2003 Test Administration Handbook National Board of Medical Examiners. Test Administration Handbook. Philadelphia: National Board of Medical Examiners; 2003 National Council on Measurement in Education 2002 Standards for educational and psychological testing National Council on Measurement in Education. Standards for educational and psychological testing. Madison, WI: NCME; 2002 Norcini JJ Blank LL Arnold GK Kimball HR The mini-CEX (clinical evaluation exercise): a preliminary investigation 1995 Ann Intern Med 795-799 Norcini JJ, Blank LL, Arnold GK, Kimball HR. The mini-CEX (clinical evaluation exercise): a preliminary investigation. Ann Intern Med. 1995;123(10):795-799 Painvin C Neufeld V Norman G Walker I Whelan G The “triple jump“ exercise--a structured measure of problem solving and self directed learning 1979 Annu Conf Res Med Educ 73-77 Painvin C, Neufeld V, Norman G, Walker I, Whelan G. The “triple jump“ exercise--a structured measure of problem solving and self directed learning. Annu Conf Res Med Educ. 1979;18:73-77 Schuwirth LW van der Vleuten CP Challenges for educationalists 2006 BMJ 544-546 Schuwirth LW, van der Vleuten CP. Challenges for educationalists. BMJ. 2006;333(7567):544-546. DOI:10.1136/bmj.38952.701875.94 http://dx.doi.org/10.1136/bmj.38952.701875.94 Van der Vleuten CP Schuwirth LW Assessing professional competence: from methods to programmes 2005 Med Educ, 309-317 Van der Vleuten CP, Schuwirth LW. Assessing professional competence: from methods to programmes. Med Educ, 2005;39(3):309-317. DOI:10.1111/j.1365-2929.2005.02094.x http://dx.doi.org/10.1111/j.1365-2929.2005.02094.x WHO/WFME 2005 Guidelines for Accreditation of Basic Medical Education WHO/WFME. Guidelines for Accreditation of Basic Medical Education. Geneva/Copenhagen: WHO/WFME; 2005 11

1 1 Abbildung 1: Zentrale Logistik, zentrale Organisation von logistischen Aufgaben bei Prüfungsvorbereitung, -durchführung und -nachbereitung

2 2 Abbildung 2: Zentrale Logistik, zentrale Organisation von logistischen Aufgaben bei Prüfungsvorbereitung, -durchführung und -nachbereitung 2 0 0