zma000558 Positionspapier/position paper Gesellschaft für Medizinische Ausbildung Gesellschaft für Medizinische Ausbildung author Kompetenzzentrum Prüfungen Baden-Württemberg Kompetenzzentrum Prüfungen Baden-Württemberg author Fischer Fischer Martin R. MR Dr. med. MME (Bern)

Ludwig-Maximilians-Universität München, Klinikum der Universität München, Medizinische Klinik - Innenstadt, Schwerpunkt Medizindidaktik, Ziemssenstraße 1, 80336 München, Deutschland, Tel.: 089/5160-2289, Fax: 089/5160-2366Gesellschaft für Medizinische Ausbildung, GMA-Ausschuss PrüfungenLudwig-Maximilians-Universität München, Klinikum der Universität, Medizinische Klinik-Innenstadt, Schwerpunkt Medizindidaktik, München, Deutschland

m.fischer@lmu.de author German Medical Science GMS Publishing House

Düsseldorf

610 Medical education assessment guidelines quality criteria for assessment Medizinische Ausbildung Prüfungsleitlinien Qualitätskriterien für Prüfungen Humanmedizin 20080111 20080130 20080130 20080215 germ 1860-3572 25 1 GMS Zeitschrift für Medizinische Ausbildung GMS Z Med Ausbild 74 Die neue ärztliche Approbationsordnung (ÄAppO) aus dem Jahre 2002 verlagert die Prüfungsverantwortung insbesondere für den klinischen Studienabschnitt auf die Fakultäten:39 benotete Leistungsnachweise sind zwischen der ersten Staatsprüfung und praktischem Jahr zu erstellen. Diese neue Aufgabe stellt besondere Anforderungen an das fakultäre Prüfungswesen. Um eine angemessene Qualität der fakultären Prüfungen sicher zu stellen, sind eine Reihe von Voraussetzungen zu erfüllen. Die vorliegenden Leitlinien des GMA-Ausschusses Prüfungen und des Kompetenzzentrums Prüfungen des Landes Baden-Württemberg wurden erstellt, um die Fakultäten in dieser Aufgabe zu unterstützen. Die vorliegenden Leitlinien definieren die Qualitätsanforderungen unter Berücksichtigung internationaler Standards und wurden in breitem Konsens entwickelt. Ihre Wirkung im Hinblick auf die Qualitätsverbesserung der fakultären Prüfungen im klinischen Studienabschnitt in Deutschland soll durch Begleitforschungsprojekte zukünftig dokumentiert werden. With the implementation of a new licensing regulation for doctors in 2002 the responsibility for assessment was assigned from the German national examination board to the individual faculties, especially so for clinical subjects.39 graded reports have to be issued between the first national board examination (after 2 years of preclinical studies) and the start of the internship (6th year). This new task provides special demands for assessment organization at faculty level. A number of prerequisites have to be met to guarantee adequate quality in assessment. To support faculties in meeting these requirements, guidelines were issued in cooperation with GMA assessment committee and the Baden-Württemberg competence centre for assessment in medical education. Developed on broad consensus these guidelines define quality requirements based on international standards. Their effect on quality improvement in German medical faculty’s examinations in clinical subjects is to be researched concomitantly. EinleitungDiese Leitlinie ist an Dozentinnen und Dozenten1 gerichtet, die mit der Planung, Durchführung und Auswertung von fakultätsinternen Prüfungen betraut sind. Die Leitlinie beinhaltet Qualitätsstandards, die u. a. für eine objektive, zuverlässige, valide - und damit justitiable - Prüfung Vorraussetzung sind. In Form einer Checkliste geschrieben, soll die Leitlinie als praktisches Arbeitsinstrument zur Organisation von Prüfungen dienen. HintergrundDurch die neue ÄAppO von 2002 ist den medizinischen Fakultäten die Aufgabe zugewiesen worden, für insgesamt 39 Fächer, Querschnittsbereiche und Blockpraktika Unterrichts-begleitende benotete Prüfungen durchzuführen. Gleichzeitig sollen die Prüfungen besser die tatsächlich erforderlichen Fertigkeiten der ärztlichen Tätigkeit abbilden, als dies mit den bisher üblichen mündlichen und schriftlichen Prüfungen allein möglich ist. Es sind deshalb zusätzlich Prüfungsformen einzusetzen, die primär an der Praxis orientiert sein sollen (am bekanntesten ist hier das Objektive Strukturierte Klinische Examen „OSKE“ bzw. engl. „OSCE“).Für die medizinischen Fakultäten erwächst daraus eine anspruchsvolle Aufgabe: Sie sollen bei knappen personellen, institutionellen und finanziellen Ressourcen Prüfungen durchführen, die den Qualitätsanforderungen entsprechen, wie sie international anerkannt etwa in den „Standards for Educational and Psychological Testing“ oder speziell für die Durchführung medizinischer Prüfungen im „Test Administration Handbook“ niedergelegt sind.Um eine Umsetzung der Qualitätskriterien hochwertiger Prüfungen zu garantieren, ist es notwendig, entsprechende Leitlinien zur Erstellung und Durchführung medizinischer Prüfungen zu entwickeln, die adäquate und praktikable Mindeststandards definieren und von den Fakultäten als verbindlich anerkannt sind. Durch die Anwendung der Leitlinien kann im Rahmen einer institutionellen Selbstevaluation der Fakultäten sichergestellt werden, dass die Qualität der Prüfungen den allgemein anerkannten internationalen Standards entsprechen , , , , .Warum diese Leitlinie?Prüfungen sind ein unverzichtbarer und integraler Teil der Lehre, der sowohl für die Innen- als auch für die Außenwahrnehmung der medizinischen Fakultäten profilbildend ist. Prüfungen haben eine stark lernsteuernde Wirkung („Assessment drives learning“). Zugespitzt formuliert sind alle curricularen Reformen und Innovationen wirkungslos, wenn das Curriculum nicht in einer qualitativ hochwertigen Prüfungskonzeption abgebildet wird. Summative und formative Prüfungsformate sind für eine solche Prüfungskonzeption gleichermaßen wichtig: es geht nicht nur um eine Leistungskontrolle am Ende, sondern auch um eine Unterstützung des kontinuierlichen Lernprozesses. Ohne regelmäßige konstruktive Rückmeldung über Stärken und Schwächen ist kein Lernen möglich. Prüfungen stellen in entscheidendem Maße Weichen für die persönliche Entwicklung der Prüflinge. Deshalb sind Lehrende an medizinischen Fakultäten in hohem Maße dafür verantwortlich, ihre Entscheidungen über „Erfolg und Versagen“ der Studierenden fair und korrekt zu treffen. Vor diesem Hintergrund ist der hohe Aufwand für objektive, zuverlässige und valide Prüfungen an den medizinischen Fakultäten gerechtfertigt. Es wäre ganz im Sinne der an der Verfassung der vorliegenden Leitlinien Beteiligten, wenn – sofern dies nicht bereits geschehen ist – die Qualitätskriterien Eingang in die Studien- und Prüfungsordnungen bekommen würden.Die Prüfungen bieten nicht zuletzt auch das Potential, sich unter bestimmten Voraussetzungen als Faktor für eine differenzierte leistungsorientierte Mittelvergabe innerhalb der Fakultäten und im interfakultären Vergleich über den schriftlichen Teil des 2. Staatsexamens des IMPP hinaus zu etablieren. Diese Leitlinien eignen sich für eine Reihe von Prüfungsformaten: Neben klassischen schriftlichen Prüfungen im Multiple-Choice-Format sind sie z. B. auch auf OSKE und strukturierte mündliche Prüfungen anwendbar. Sie sollen nicht die einschlägigen Veröffentlichungen zur Formulierung qualitativ hochwertiger Prüfungsaufgaben ersetzen. Es sei in diesem Zusammenhang auf das Themenheft Prüfungen der GMS Zeitschrift für Medizinische Ausbildung 23. Jg. (3) 2006, ISSN 1860-7446 verwiesen. Empfehlungen/ ErläuterungenEmpfehlungen und Erläuterungen zur Leitlinie für fakultätsinterne Leistungsnachweise während des MedizinstudiumsE1: Prüfungsformen (siehe Abbildung 1 , Teil 1)Die an der Fakultät verwendbaren Prüfungsformen sollten in der Studienordnung oder in geeigneten Ausführungsbestimmungen aufgeführt und hinsichtlich ihrer Durchführung und Bewertung festgelegt sein. Dabei ist Sorge zu tragen, dass die Bestimmungen hinreichend Raum für die Etablierung innovativer Prüfungsformen bieten, insbesondere ist darauf zu achten, dass die Prüfungsinhalte mit der jeweils adäquaten Prüfungsform abgeprüft werden, z. B. praktische Prüfungsinhalte mit einem OSKE. Nur Prüfungsformen, die den Qualitätsanforderungen an Objektivität, Reliabilität (Zuverlässigkeit) und Validität (Gültigkeit) genügen, sollten Verwendung finden.E2: Bewertungsskalen und Bestehensgrenzen (siehe Abbildung 2 , Teil 2) a) BewertungsskalenDie zu verwendenden Bewertungsskalen (Noten, Punkte) von Prüfungen sollten für die gesamte Fakultät einheitlich und verbindlich sein. Setzen sich die laut Approbationsordnung im Zeugnis aufzuführenden Noten aus mehreren Teilprüfungen zusammen, sollten die Bewertungen der Teilprüfungen auf einer hinreichend differenzierten Bewertungsskala vorgenommen werden. Die verwendete Bewertungsskala sollte die durch die ÄAppO bei schriftlichen Prüfungen geforderte Gleichabständigkeit der Notengrenzen berücksichtigen (25%, 50% und 75% der über die Bestehensgrenze hinaus korrekt beantworteten Zahl von Fragen). Es wird empfohlen, die Bewertungen auf einer notenäquivalenten Skala mit wenigstens einer Kommastelle durchzuführen (Dezimalnoten), die von 0,5 bis 4,5 reicht. Der Bereich von 0,5 bis einschließlich 1,5 entspricht der klassischen ganzen Note 1, der Bereich größer 1,5 bis einschließlich 2,5 der klassischen Note 2 usw. Die Erweiterung der Notenskala auf das Intervall von 0,5 bis 4,5 ist erforderlich, um einerseits die Gleichabständigkeit der Grenzen der ganzen Noten zu wahren und andererseits eine einfache (lineare) Umrechnung von Punktwerten in die Bewertungsskala zu ermöglichen.b) TeilnotenFür die Bildung der Gesamtnote eines Faches aus mehreren Teilnoten sind die Teilnoten mit einer Genauigkeit von mindestens drei Dezimalstellen zu beachten.c) RundungDie Rundung der Noten sollte eindeutig festgelegt werden (Problem z. B. bei 2,55). Rundungen auf ganze Zahlen, wie sie bei der Bildung der durch die ÄAppO für das Zeugnis geforderten Notenstufen 1, 2, 3 und 4 notwendig sind, sollten immer in Richtung der nächstliegenden ganzen Zahl durchgeführt werden. Bei gleichem Abstand (Dezimalstellen 0,500) ist zu Gunsten der Studierenden zu runden, so ist etwa 1,500 auf die ganze Note 1, hingegen ist 1,501 auf die ganze Note 2 zu runden.d) BestehensgrenzenBestehensgrenzen sollten möglichst anhand inhaltlicher Kriterien festgelegt werden (kriteriumsorientiert, z.B. Verfahren des Standardsetzens beim OSKE). Bei MC-Fragen können alternativ formale Kriterien (z. B. 60%-Regel) eingesetzt werden. Ergänzend zu einer kriteriumsorientierten Bestehensgrenze sollte eine der Gleitklausel in der ÄAppO entsprechende Regelung zur Kompensation unangemessen schwieriger Prüfungen getroffen werden, die den Studierenden rechtzeitig bekannt gegeben werden muss. Die Gleitklausel sollte einheitlich für die Fakultät geregelt seinWir empfehlen zur Vereinfachung eine modifizierte Gleitklausel, die die durchschnittliche Prüfungsleistung aller Teilnehmer (ohne Beschränkung auf Studierende in der Regelstudienzeit o. Ä.) berücksichtigt, wobei zum Bestehen mindestens 50% der Fragen korrekt beantwortet werden sein müssen (s. a. E7). Die Rundung der Bestehensgrenzen ist verbindlich festzulegen. Ergibt sich rechnerisch eine Bestehensgrenze von 63,4 Punkten, so wird empfohlen, diese auf 64 Punkte aufzurunden, falls bei den Prüfungsaufgaben nur ganze Punkte vergeben werden. Werden auch halbe Punkte vergeben, so wäre die Bestehensgrenze entsprechend auf 63,5 Punkte zu setzen.E3: Gewichtung von Teilprüfungen (siehe Abbildung 3 , Teil 3)Setzt sich die Gesamtnote eines Fachs oder Querschnittsbereichs aus mehreren Teilprüfungen zusammen, so sind die Gewichtungen bekannt zu geben. Insbesondere sind klare Übergangsregelungen für Studierende zu formulieren, welche Prüfungen wiederholen müssen. E4: Einsichtnahme in Prüfungsergebnissea) EinsichtnahmeDen Studierenden muss auf Anfrage Einsicht in ihre eigene Prüfungsarbeit gewährt werden. Dabei ist eine angemessene Zeit zur Einsichtnahme nach Bekanntgabe des Ergebnisses zu gewährleisten. Die Einsichtnahme in die Klausur sollte wenigstens 1 Jahr lang gewährt werden, das Terminangebot zur Einsichtnahme muss angemessen sein. Für die Zeit der Einspruchsfrist sollte das Terminangebot öffentlich bekannt gemacht sein. Die Institution kann feste Zeiten für eine solche Einsichtnahme festsetzen. Diese müssen mit den Ankündigungen zur Prüfung veröffentlicht werden. Die Einsichtnahme sollte unter Aufsicht erfolgen, deshalb ist eine Terminsetzung zur Vorbereitung einer parallelen Einsichtnahme mehrerer Teilnehmer sinnvoll. Eine Mitnahme bzw. Kopie auch von Teilen der Aufgaben oder Antworten sollte nicht ermöglicht werden.b) EinspruchsfristDie Frist zum Einspruch gegen Prüfungsergebnisse sollte wenigstens einen Monat umfassen. Hierüber hat eine Rechtsbehelfsbelehrung zu erfolgen, die der Ankündigung der Prüfung und dem Aushang der Ergebnisse schriftlich beigefügt ist und zusätzlich am Beginn der Prüfung mündlich erfolgt. E5: Regelungen bei Einsprüchen gegen Bewertung und Prüfungsaufgaben (siehe Abbildung 4 , Teil 4) Bei begründeten Einsprüchen gegen Prüfungsaufgaben oder ihrer Bewertung sind die notwendigen Korrekturen bei allen Prüfungsabsolventen durchzuführen (d. h. nicht nur bei den Beschwerdeführern) und bekannt zu geben. Es ist darauf zu achten, dass berechtigte Einsprüche und die daraus resultierenden Korrekturen (Verantwortlichkeiten bei Entscheidungen) dokumentiert sind. Werden Prüfungsaufgaben als fehlerhaft erkannt, so ist ein verbindliches Vorgehen notwendig, bei dem gewährleistet ist, dass durch fehlerhafte Aufgabenstellungen Studierende nicht benachteiligt werden. Ist eine Aufgabe nicht lösbar, so kann (1) die Aufgabe aus der Wertung genommen und die maximal erreichbare Punktzahl entsprechend angepasst werden oder (2) die bei dieser Aufgabe ursprünglich vorgesehene erreichbare Punktzahl allen Studierenden zugebilligt werden (hier bleibt die maximal erreichbare Punktzahl unverändert). Sind mehr Antwortmöglichkeiten als ursprünglich vorgesehen korrekt, so sind auch diese Antwortmöglichkeiten als korrekt zu werten. Bei Korrekturen der Antwortmöglichkeiten nach Bekanntgabe des Ergebnisses dürfen Prüfungsbewertungen der Studierenden nicht nachträglich verschlechtert werden. E6: Veröffentlichung von PrüfungsaufgabenEine Veröffentlichung der Prüfungsaufgaben wird - zumindest solange kein hinreichend großer Aufgabenpool zur Verfügung steht - nicht empfohlen. Eine einheitliche Regelung und Empfehlungen diesbezüglich (z.B. Notwendigkeit eines vollständigen Rückflusses der Aufgabenblätter) sollte innerhalb einer Fakultät angestrebt und den Studenten bekannt gemacht werden. Eine eindeutige Zuordnung sowohl des Aufgaben- als auch des Antwortblattes zu jedem Studierenden und eine kontrollierte Abgabe ist für einen vollständigen Rückfluss aller Aufgabenblätter empfehlenswert. E7: Wiederholungs- und NachprüfungenDas Prüfungsformat für Wiederholungs- und Nachprüfungen sollte mit dem Format der Erstprüfung übereinstimmen, z. B. sollte keine schriftliche oder mündliche Nachprüfung bei nicht bestandenem OSKE durchgeführt werden. Ebenfalls sollte bei Nichtbestehen einer schriftlichen Prüfung keine mündliche Nachprüfung erfolgen. Nachgewiesenermaßen besteht bei einer mündlichen Prüfung im Vergleich zur schriftlichen Prüfung eine Tendenz zur besseren Bewertung. Beispiel: Kandidat A besteht die Prüfung nicht und erhält die Möglichkeit einer mündlichen Nachprüfung. Mit hoher Wahrscheinlichkeit erhält er mindestens die Note 3. Kandidat B besteht die schriftliche Prüfung mit einer 4. Er erhält deshalb keine Möglichkeit zu einer Nachprüfung und behält im Endzeugnis die Note 4. Kandidat B hat keine Möglichkeit, die Note zu verbessern und ist gegenüber Kandidat A benachteiligt.Bei eigenständigen Wiederholungsprüfungen (also Prüfungen, in denen mehrheitlich Kandidaten geprüft werden, die mindestens einmal nicht bestanden haben), ist u. U. eine Modifikation der Gleitklausel zu empfehlen. E8: Weiterbildung der PrüfungsverantwortlichenJeder Prüfungsverantwortliche für eine Lehreinheit (Fach, Modul, Block etc.) sollte eine zertifizierte Weiterbildung zum Thema Prüfungen aufweisen können. Dies sollte in einer Übergangsphase von 2 Jahren angestrebt werden.E9: ReliabilitätZum Erreichen einer Mindestreliabilität von 0,8 sind in der Regel wenigstens 40 qualitativ hochwertige MC-Fragen erforderlich, bei OSKE wenigstens 12 Stationen. Zur Abschätzung der zu erwartenden Reliabilität sollten die Kennwerte entsprechender früherer Prüfungen des Faches herangezogen werden.Setzt sich die Gesamtbewertung eines Faches aus mehreren Teilprüfungen zusammen, so ist das Kriterium der Mindestreliabilität von 0,8 auf die Gesamtbewertung anzuwenden, nicht notwendigerweise auf die einzelnen Teilprüfungen. Hierzu ist eine Rücksprache mit der Biometrie empfehlenswert.E10: Ressourcensparende PrüfungenDarunter sind Möglichkeiten einer Einsparung von Ressourcen bei der Konzeption, Durchführung und Auswertung der Prüfungen zu verstehen. Dazu gehören z. B. Einlesen der Antwortbögen durch Belegleser, adäquate Anzahl der Aufsichtspersonen, Verwendung eines fakultätsübergreifenden Prüfungspools, Einsatz computerbasierter Durchführung, standardisierte teststatistische Auswertung (z. B. zentral in der Fakultät), Verwendung der Mindestanzahl von Prüfern (z.B. beim OSKE einer pro Station bei zentraler Aufsicht ausreichend), Wahl ressourcensparender Prüfungsformate und Aufgabenformate (offene Fragen auf das Notwendige beschränken). E11: Erwartungshorizont, Korrekturrichtlinien und BewertungsmodusDie richtigen Antworten und der Erwartungshorizont liegen dem Prüfer schriftlich vor. Die schriftliche Korrekturanleitung für eine Klausur ist eindeutig (z.B. zur Vergabe halber Punkte bzw. zur Korrektur offener Fragen). Empfehlung: Nur ein Prüfer sollte die Antworten aller Studenten einer offenen Frage korrigieren. Der Bewertungsmodus bei einem OSKE ist eindeutig festgelegt. Für jede OSKE-Station/ bzw. -Aufgabe ist eindeutig festgelegt, welche und wie viele Punkte anhand einer Checkliste oder auf Basis einer globalen Beurteilung („Global Rating“) der Fertigkeit/Fähigkeit vergeben werden. Für mündliche Prüfungen gilt Entsprechendes. E12: Gewichtung einzelner FragenBei schriftlichen Prüfungen ist bei nicht einheitlicher Gewichtung der Aufgaben dies in der Klausur anzugeben. E13: Anmeldung zur PrüfungSummative Prüfungen sind als Abschluss der Lehrveranstaltung zu sehen und sollten sich direkt auf das vorangegangene Curriculum beziehen. Deshalb ist es empfehlenswert, die Prüfung verpflichtend für alle Studierenden nach Abschluss der Lehrveranstaltung durchzuführen. Bei unentschuldigtem Nichterscheinen gilt die Prüfung als nicht bestanden. E14: Prüferschulung bzgl. einheitlicher BewertungskriterienEin möglichst gemeinsames Training derjenigen, die die Prüflinge bewerten, wird zur Erhöhung der Interprüfer-Reliabilität empfohlen. Dies ist insbesondere bei parallelen Prüfungsparcours eines OSKE, bei mündlichen Prüfungen oder bei schriftlichen Prüfungen mit offenen Fragen notwendig, deren Korrektur nicht von einem Prüfer allein gewährleistet werden kann. E15: Computerausfall bei computerbasierten PrüfungenBei Computerausfall wird das Anbieten einer Wiederholungsprüfung für alle Prüfungsteilnehmer und die Wertung des besseren Prüfungsergebnisses empfohlen. E16: Primär- und Endauswertung von PrüfungenFür die Auswertung von Prüfungen wird ein zweistufiges Vorgehen empfohlen: Im ersten Schritt wird eine teststatistische Auswertung der Prüfung vorgenommen, nach der kontrolliert wird, ob einzelne Aufgaben hinsichtlich Schwierigkeit oder Trennschärfe „auffällig“ sind. Hier sind erfahrungsgemäß insbesondere sehr schwere Aufgaben (Schwierigkeiten unter 0,4) oder Aufgaben mit sehr niedriger Trennschärfe (unter 0,2) hinsichtlich ihrer inhaltlichen Korrektheit von den Prüfungsverantwortlichen zu überprüfen. Erweisen sich dabei Aufgaben als fehlerhaft, ist eine Neuauswertung der Prüfung erforderlich. Erst im Anschluss an diese Auswertung sollten die Prüfungsergebnisse bekannt gegeben werden. Eine nochmalige Auswertung ist notwendig, wenn z. B. auf Grund begründeter studentischer Einwände weitere Korrekturen an der Aufgabenbewertung vorgenommen werden müssen. E17: Kontrolle der KorrekturenNeben einer stichprobenartigen Kontrolle der Korrektur ist eine Kontrolle der Prüfungsleistungen aller durchgefallenen Studierenden zu empfehlen. Kontrollen schriftlicher Prüfungen müssen durch unabhängige Korrektoren vorgenommen werden. Bei Multiple-Choice-Prüfungen ist zu beachten, dass die Kontrolle nicht mit Hilfe von Schablonen, sondern direkt an Hand des Antwortbogens erfolgen muss. Positiv-Schablonen (Schablonen, bei denen nur das Feld der korrekten Antwort frei bleibt) besitzen den Nachteil, dass Mehrfachkreuzungen nicht als solche erkannt werden, während mit Negativ-Schablonen nicht beantwortete Aufgaben (kein Kreuz) als korrekt bewertet würden. Werden Klausuren mit Hilfe von Beleglesern eingelesen, so sind ebenfalls stichprobenartige Überprüfungen notwendig. Art und Umfang von Kontrollen sollten dokumentiert sein. E18: Dokumentation der Prüfungsergebnisse2Aufbewahrungsfristen für Prüfungen und Prüfungsunterlagen sind verbindlich (z. B. in der Prüfungsordnung) festzulegen. Es gibt keine einheitlichen Vorgaben für die Aufbewahrungszeiten – es gelten die entsprechenden Bestimmungen vor Ort.Als Anhaltspunkt können folgende Regelungen gelten: Schriftliche Prüfungen und mündliche Prüfungsprotokolle sind nach abgeschlossener Prüfung mindestens 18 Monate aufzubewahren. Bei computerbasierten Prüfungen sind die Einzelergebnisse in Form von Prüfungsprotokollen 18 Monate abzuspeichern. Die Listen über Prüfungsteilnehmer und Leistungsnachweise sind mindestens 10 Jahre in Papierform oder digital zentral aufzubewahren. Bei Einsprüchen gegen die Prüfung dürfen bis zur endgültigen Entscheidung keine Unterlagen vernichtet werden. E19: Regularien zum formalen PrüfungsablaufBei jeder Prüfung sollten klare Regularien für den formalen Prüfungsablauf standardmäßig eingehalten werden. Diese Regularien sollten einmalig schriftlich niedergelegt werden und folgende Aspekte enthalten: TeilnahmevoraussetzungenForm und Terminvorgaben für PrüfungsankündigungForm und Terminvorgaben für die Anmeldung der Studierenden zur PrüfungZahl und Qualifikation der PrüferDauer der PrüfungPrüfungseinführungen (z. B. eigener Termin zur Einweisung für computerbasierte Prüfungen) Ansagen zu Beginn der PrüfungBei der Prüfung erlaubten HilfsmittelMitnahme von PrüfungsunterlagenUmgang bei verspätetem Erscheinen zur PrüfungVorgehen bei TäuschungsversuchenE20: Bekanntgabe des PrüfungsergebnissesIm Allgemeinen sollte die Bekanntgabe des Prüfungsergebnisses innerhalb eines Zeitraums von längstens vier Wochen erfolgen.2Erläuterungen zur Entwicklung der Leitlinie In Anlehnung an die „Leitlinie für das Planen, Durchführen und Auswerten von Prüfungen an der ETHZ“ und das „Leitbild des Reformstudiengangs Medizin der Charité – Berlin“ http://www.reformstudiengang-medizin.de/ Pruefungen/Leitbild.html wurde im Jahr 2005 vom Kompetenzzentrum für Prüfungen in der Medizin Baden-Württemberg eine „Fragenliste Prüfungen“ erstellt, in der neben Form und Häufigkeiten medizinischer Prüfungen Qualitätsmerkmale erhoben werden, die folgenden Bereiche umfassen:Objektivität Justitiabilität VergleichbarkeitReliabilität Transparenz Nützlichkeit für StudierendeValidität Ökonomie Integration in die LehreDie „Fragenliste Prüfungen“ wurde für eine Statuserhebung über Art, Umfang und Qualität der an den medizinischen Fakultäten des Landes Baden-Württemberg (Freiburg, Heidelberg, Mannheim, Tübingen, Ulm) durchgeführten Prüfungen im klinischen Studienabschnitt eingesetzt und die Ergebnisse mit den Beteiligten intensiv diskutiert.Aufbauend auf diesen Vorarbeiten wurde die Erstellung dieser Leitlinien vom Ausschuss Prüfungen der GMA übernommen, wobei diese in Anlehnung an die Vorgehensweise bei der Entwicklung von Leitlinien der Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften und des Ärztlichen Zentrums für Qualität in der Medizin , erfolgen sollte (vgl. auch den 10-Stufen-Plan der DEGAM , ).Im Ausschuss Prüfungen der GMA, dem sowohl Prüfungsbeauftragte verschiedener medizinischer Fakultäten wie auch mit der Prüfungskonzeption, -durchführung und –auswertung betraute Psychologen, Pädagogen und Mathematiker angehören, wurden die Leitlinien im Umlaufverfahren mehrfach überarbeitet und schließlich eine zweite Fassung erstellt (diese entspricht im Drei-Stufen-Prozess der Leitlinienentwicklung der Stufe S1 ).Im Rahmen eines Workshops auf der Jahrestagung der GMA am 10. November 2006 wurde diese zweite Version öffentlich vorgestellt. In mehreren Arbeitsgruppen wurden von den Teilnehmern Ergänzungen und Modifikationen der Leitlinien erarbeitet, in einer gemeinsamen Abschlussrunde diskutiert und der bei strittigen Punkten erzielte Konsens dokumentiert (entsprechend dem nominalen Gruppenprozess und der Konsensuskonferenz in ).Die Ergebnisse wurden eingearbeitet und im Januar 2007 die überarbeitete Version in einem öffentlichen Internetforum der LMU München zugänglich gemacht http://link.medinn.med.uni-muenchen.de/ medizindidaktik/wiki/pmwiki/pmwiki.php. Im Zeitraum bis November 2007 sind weitere Anmerkungen und Ergänzungsvorschläge eingegangen, die im Rahmen eines Workshops auf der Jahrestagung der GMA diskutiert wurden und in der jetzt vorliegenden Version der Leitlinie berücksichtigt sind.Parallel wurde an den medizinischen Fakultäten der LMU München und der Universität Heidelberg für ausgewählte Prüfungen die Leitlinie zur standardisierten Beurteilung der Prüfungen eingesetzt, um ihre Praktikabilität zu überprüfen. Die dabei gewonnenen Erfahrungen führten zu weiteren Verbesserungen hinsichtlich Formulierungen sowie der Eindeutigkeit und Verständlichkeit einzelner Punkte.Damit kann die Stufe S2 des Entwicklungsprozesses als erreicht angesehen werden. In der nun folgenden Implementierungsphase sollen die Leitlinien eingesetzt und die praktischen Möglichkeiten ihrer Umsetzung diskutiert werden. Diese Phase soll einer begleitenden wissenschaftlichen Evaluation unterzogen werden. Anmerkungen1 Zur besseren Lesbarkeit wurde im Text z.T. auf die Nennung der weiblichen Form verzichtet - beide Geschlechter sind immer in gleichberechtigter Weise gemeint.2 Diese Leitlinien haben keine rechtlich bindende oder präjudizierende Wirkung. Es gelten jeweils die entsprechenden Regelungen der für die Prüfung verantwortlichen Institutionen bzw. die Gesetzeslage. DanksagungUnser besonderer Dank gilt allen, die an der Erstellung der Leitlinien, ihrer Diskussion und ihrer Evaluation mitgewirkt haben. Besonders hervorzuheben sind dabeiDr. med. Tom Böker, Heidelberg Dipl.-Psych Julia Klawohn, BerlinDipl.-Inform. med. Konstantin Brass, Heidelberg Dipl.-Inform. med. Winfried Kurtz, HeidelbergDr. rer. nat. Katrin Brauns, Berlin Hubert Liebhardt M. A., UlmDr. med. Steffen Briem, Heidelberg Dr. phil., Dipl.-Math. Andreas Möltner, HeidelbergPD Dr. med. Roman Duelli, Heidelberg Prof. Dr. med. Udo Obertacke, MannheimDr. med. Martin Fischer, München (Vorsitzender des Ausschusses Prüfungen der GMA) Dipl.-Psych. Simone Scheffer, BerlinDipl.-Päd. Waltraud Georg (Ärztin), Berlin Sebastian Schubert (Arzt), BerlinDr. med. Markus Gulich, Ulm PD Dr. med. Jobst-Hendrik Schultz, HeidelbergDr. med. Achim Hochlehnert, Heidelberg Markus Stieg (Arzt), BerlinDipl.-Ing. Matthias Holzer, München Irmgard Streitlein-Böhme (Ärztin), FreiburgDr. med. Jana Jünger, Heidelberg (stellv. Vorsitzende des Ausschusses Prüfungen der GMA und Leiterin des Kompetenzzentrums Prüfungen Baden-Württemberg) Prof. Dr. med. Stephan Zipfel, TübingenDr. med. Thomas Rotthoff, DüsseldorfPD Dr. rer. nat. Wolfgang Hampe, HamburgZineb Nouns (Ärztin), Berlin National Council on Measurement in Education 2002 Standards for educational and psychological testing National Council on Measurement in Education. Standards for educational and psychological testing. Madison, WI: NCME; 2002. Zugänglich unter: http://www.ncme.org. http://www.ncme.org National Board of Medical Examiners 2003 Test Administration Handbook National Board of Medical Examiners. Test Administration Handbook. Philadelphia: National Board of Medical Examiners; 2003. Zugänglich unter: http://www.nbme.org. http://www.nbme.org WHO/WFME 2005 Guidelines for Accreditation of Basic Medical Education WHO/WFME. Guidelines for Accreditation of Basic Medical Education. Geneva/Copenhagen: WHO/WFME; 2005. Zugänglich unter: http://www.wfme.org. http://www.wfme.org WFME 2003 Basic Medical Education WFME. Basic Medical Education. WFME Global Standards for Quality Improvement. Copenhagen: WFME Office University of Copenhagen; 2003. Zugänglich unter: http://www.wfme.org. http://www.wfme.org Liaison Committee on Medical Education 1997 Functions and Structure of a Medical School Liaison Committee on Medical Education. Functions and Structure of a Medical School. Standards for Accreditation of Medical Education. Programs Leading to the MD Degree. Association of American Medical Colleges and the American Medical Association. Washington DC/Chicago: Liaison Committee on Medical Education; 1997. Australian Medical Council 1998 Guidelines for the Assessment and Accreditation of Medical Schools Australian Medical Council. Guidelines for the Assessment and Accreditation of Medical Schools. 2nd edn. Canberra: Australian Medical Council; 1998. Commission of the European Communities 1992 Report and Recommendations on Undergraduate Medical Education Commission of the European Communities. Report and Recommendations on Undergraduate Medical Education. Doc. III/F/5127/3/92. Advisory Committee on Medical Training. Brussels: Commission of the European Communities; 1992. Eugster B Lutz L 2004 Leitlinie für das Planen, Durchführen und Auswerten von Prüfungen an der ETHZ Eugster B, Lutz L. Leitlinie für das Planen, Durchführen und Auswerten von Prüfungen an der ETHZ. Zürich: Didaktikzentrum Eidgenössische Technische Hochschule Zürich; 2004. AWMF 1996 Erarbeitung von Leitlinien für Diagnostik und Therapie. Methodische Empfehlungen ("Leitlinien für Leitlnien") AWMF. Erarbeitung von Leitlinien für Diagnostik und Therapie. Methodische Empfehlungen ("Leitlinien für Leitlnien"). Düsseldorf: Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften; 1996. AWMF/ÄZQ Das Leitlinien-Manual von AWMF und ÄZQ 2001 Z Arztl Fortbild Qualitatssich AWMF/ÄZQ. Das Leitlinien-Manual von AWMF und ÄZQ. Z Arztl Fortbild Qualitatssich. 2001:95(Suppl 1). Gerlach FM Beyer M Berndt M Szecsenyi J Abholz HH Fischer GC Das DEGAM-Konzept - Entwicklung,Verbreitung, Implementierung und Evaluation von Leitlinien für die hausärztliche Praxis 1999 Z Arztl Fortbild Qualitatssich 111-120 Gerlach FM, Beyer M, Berndt M, Szecsenyi J, Abholz HH, Fischer GC. Das DEGAM-Konzept - Entwicklung,Verbreitung, Implementierung und Evaluation von Leitlinien für die hausärztliche Praxis. Z Arztl Fortbild Qualitatssich. 1999;93(2):111-120. AWMF/ÄZQ 2005 Deutsches Instrument zur methodischen Leitlinien-Bewertung (DELBI) AWMF/ÄZQ. Deutsches Instrument zur methodischen Leitlinien-Bewertung (DELBI). Düsseldorf: AWMF/ÄZQ; 2005. Zimmerling W Brehm RG Prüfungsrecht (3. Auflage) Zimmerling W, Brehm RG. Prüfungsrecht (3. Auflage). Köln: Carl Heymanns Verlag; 2007. 0

1 1 Abbildung 1: Leitlinie für fakultätsinterne Leistungsnachweise während des Medizinstudiums

2 2 Abbildung 2: Leitlinie für fakultätsinterne Leistungsnachweise während des Medizinstudiums

3 3 Abbildung 3: Leitlinie für fakultätsinterne Leistungsnachweise während des Medizinstudiums

4 4 Abbildung 4: Leitlinie für fakultätsinterne Leistungsnachweise während des Medizinstudiums

4 0 0