Erarbeitung von Empfehlungen zu universitären Prüfungen an der Medizinischen Fakultät Ulm

zma000644 10.3205/zma000644 urn:nbn:de:0183-zma0006444 Projekt/project Erarbeitung von Empfehlungen zu universitären Prüfungen an der Medizinischen Fakultät Ulm Development of recommendations for university level assessment at the Ulm Medical Faculty Rau Rau Thea T Dr.

Universität Ulm, Medzinische Fakultät, Studiendekanat, Prüfungsentwicklung, Steinhövelstr. 2, 89075 Ulm, DeutschlandUniversität Ulm, Medzinische Fakultät, Studiendekanat, Prüfungsentwicklung, Ulm, Deutschland

thea.rau@uni-ulm.de author Thumser-Dauth Thumser-Dauth Katrin K Dr.

Universität Stuttgart, Stabsstelle Qualitätsentwicklung, Stuttgart, Deutschland

katrin.thumser@qe-uni-stuttgart.de author Liebhardt Liebhardt Hubert H

Universität Ulm, Medzinische Fakultät, Studiendekanat Humanmedizin, Ulm, Deutschland

hubert.liebhardt@uni-ulm.de author Böckers Böckers Anja A Dr.

Universität Ulm, Institut für Anatomie und Zellbiologie, Ulm, Deutschland

anja.boeckers@uni-ulm.de author Muche Muche Rainer R Prof. Dr.

Universität Ulm, Institut für Biometrie, Ulm, Deutschland

rainer.muche@uni-ulm.de author Gulich Gulich Markus M Dr.

Universität Ulm, Institut für Allgemeinmedizin, Ulm, Deutschland

markus.gulich@uni-ulm.de author Barth Barth Holger H Prof. Dr.

Universität Ulm, Institut für Pharmakologie und Toxikologie, Ulm, Deutschland

markus.gulich@uni-ulm.de author Kornmann Kornmann Marko M Prof. Dr.

Universität Ulm, Klinik für Allgemein-, Viszeral- und Transplantationschirurgie, Ulm, Deutschland

marko.kornmann@uniklinik-ulm.de author Fegert Fegert Jörg M. JM Prof. Dr.

Universität Ulm, Medizinische Fakultät, Studiendekan, Ulm, Deutschland Universität Ulm, Kinder- und Jugendpsychiatrie/Psychotherapie, Ulm, Deutschland

joerg.fegert@uniklinik-ulm.de author Öchsner Öchsner Wolfgang W Dr.

Universität Ulm, Kardioanästhesiologie, Ulm, Deutschland

wolfgang.oechsner@uni-ulm.de author German Medical Science GMS Publishing House

Düsseldorf

610 assessment in medicine quality standards faculty development Prüfungen in Medizin Qualitätsstandards Fakultätsentwicklung Humanmedizin 20090813 20091116 20091119 20100224 germ 1860-3572 27 1 GMS Zeitschrift für Medizinische Ausbildung GMS Z Med Ausbild 07 Zielsetzung: Ziel des vorgestellten Projekts war es, auf der Basis der „Leitlinien zu Fakultäts-internen Leistungsnachweisen während des Medizinstudiums“ der Gesellschaft für Medizinische Ausbildung (GMA) und des Kompetenzzentrums Prüfungen Baden-Württemberg innerhalb eines abgesteckten Zeitrahmens für die Medizinische Fakultät der Universität Ulm Empfehlungen für fakultätsinterne Prüfungen zu erarbeiten. Anhand des Ulmer Beispiels wird dargestellt, wie allgemein formulierte Leitlinien auf spezifische Anforderungen einer Fakultät übertragen werden können. Methodik: Die Erstellung von „Empfehlungen zu universitären Prüfungen in der Medizinischen Fakultät Ulm“ erfolgte in 3 Arbeitsphasen. Zunächst erfolgte ein Abgleich der bereits gängigen Ulmer Prüfungspraxis mit den Leitlinien und die Identifikation fehlender Anteile. Dann wurde, um die für Veränderungsprozesse wichtige breite Partizipation sicher zu stellen , , in einem modifizierten Delphi-Verfahren , die schrittweise Anpassung der Leitlinien an die Ulmer Anforderungen vorgenommen. Im letzten Schritt erfolgte schließlich die Verabschiedung der Empfehlungen durch die Fakultätsgremien.Der gesamte Prozess nahm acht Monate in Anspruch und wurde von einer aus Studiengebühren finanzierten wissenschaftlichen Mitarbeiterin des Studiendekanats begleitet.Ergebnisse: Mit Verabschiedung im Fakultätsrat liegen der Medizinischen Fakultät Ulm jetzt Empfehlungen zu Prüfungen nach den Qualitätsstandards der GMA vor, die künftig Prüfern und Studierenden als Orientierung dienen werden. Innerhalb der Fakultät besteht Konsens, die Qualität der Prüfungen gemäß diesen Empfehlungen zu verbessern und aktiv an einer Umsetzung der Vorgaben mitzuwirken. Aktuell sind dazu bereits zahlreiche Projekte angestoßen worden. Schlussfolgerung: Die Erstellung von Empfehlungen zu Prüfungen nach den Qualitätsstandards der GMA kann innerhalb eines relativ kurzen Zeitraumes erfolgen, sofern die für die Durchführung Verantwortlichen in die Entwicklungsprozesse einbezogen werden und eine Passung in bestehende Strukturen gelingt. Objective: The aim of this project was to develop, within a limited time frame, recommendations based on the “Guidelines for internal assessment in the medical curriculum” of the GMA assessment committee and the Baden-Württemberg competence center for assessment in medical education. This paper describes the adaptation of generally formulated GMA guidelines to specific faculty requirements. Methods: The development of “recommendations for university assessment at the Ulm medical faculty” was performed in several steps. All departments as well as student representatives were involved in this stepwise process of guideline adjustment , , therefore securing a broad participation in this change management process , . Finally, the recommendations were approved by the official faculty board.The entire process took eight months. All participants received compensation for their time from official teaching funds. Results: After passing the faculty board, the assessment recommendations based on the GMA quality standards were published as an examination standard for students and examiners. Among faculty members, there was consensus to improve assessment quality according to the recommendations and to participate actively in the process of guideline implementation. Several assessment-improving projects have commenced as a result of this commitment. Conclusions: We showed that it is possible to develop assessment recommendations based on GMA quality standards within a few months if those who are responsible for the implementation are promptly involved in the development process and if it is possible to integrate the recommendations into existing structures. EinleitungPrüfungen sollen sich an den Lernzielen der Fächer orientieren und durch unterschiedliche Formate sowohl Wissen als auch klinisch-praktische Fähigkeiten sowie ärztliche Grundeinstellungen angemessen prüfen. Sie sollen die studentischen Fähigkeiten valide, objektiv und reliabel bewerten sowie rechtlichen Vorgaben genügen. Um diesen hohen Ansprüchen zu genügen, liegt es in der Verantwortung der Fakultäten, durch interne Vorgaben qualitätssichernde Maßnahmen für das Prüfungswesen festzulegen. Aus diesem Anlass hatte sich bereits eine Arbeitsgruppe von Vertretern des Ausschusses „Prüfungen“ der Gesellschaft für Medizinische Ausbildung (GMA) und des Kompetenzzentrums Prüfungen Baden-Württemberg in Heidelberg zusammengefunden, um, auch unter Berücksichtigung internationaler Standards, Vorschläge für Mindestanforderungen an ein qualitativ hochwertiges Prüfungswesen zu entwickeln. Im Jahr 2006 veröffentlichte diese Arbeitsgruppe die „Leitlinien für Fakultäts-interne Leistungsnachweise während des Medizinstudiums“ und legte damit den Fakultäten Grundlagen für standortspezifische Umsetzungen vor. Dadurch und durch die Ergebnisse einer von extern geführten Umfrage aus dem Jahre 2007, welche deutlich einen Veränderungsbedarf im Prüfungswesen zeigte , , wurde in der Studienkommission der Medizinischen Fakultät Ulm eine Diskussion über bessere Prüfungsqualität angestoßen. Die Jahre 2008/2009 wurden schließlich im Rahmenplan zur Verwendung der Studiengebühren als Schwerpunktjahre zum Thema Prüfungen festgelegt. Mit personeller Aufstockung aus Studiengebühren sollten in diesem Zeitraum zentrale Aspekte qualitativ hochwertiger Prüfungen an der Medizinischen Fakultät Ulm implementiert werden und eine aktive Umsetzung der o.g. Leitlinien zu Prüfungen erfolgen.Im April 2008 fand eine erste interne Erhebung der aktuellen Prüfungssituation in der Medizinischen Fakultät Ulm statt. Die Ergebnisse zeigten eine geringe Homogenität der bestehenden Prüfungspraxis. Darüber hinaus wurde festgestellt, dass es neben der Studienordnung keine auf Rechtssicherheit geprüfte Grundlage für strittige Fragen im Prüfungswesen gab. Bei allfällig auftauchenden Problemen war daher der Servicebereich im Studiendekanat stark beansprucht, um jeweils praktikable und zufriedenstellende Lösungen zu finden. Das Positionspapier des GMA-Ausschusses Prüfungen und des Kompetenzzentrums Prüfungen Baden-Württemberg erschien deshalb als gute Grundlage für eine bessere Standardisierung und zur Qualitätssicherung im Ulmer Prüfungswesen, allerdings mit dem Anspruch auf Berücksichtigung eventueller ortsspezifischer Erfordernisse. ProjektbeschreibungZiel des Projektes war es, in Anlehnung an allgemeine Qualitätsstandards, in einem überschaubaren Zeitraum fakultätsinterne Prüfungsstandards für die Medizinische Fakultät der Universität Ulm zu definieren und entsprechende praktikable und allgemein akzeptierte Empfehlungen zur Durchführung von Prüfungen zu formulieren. Insbesondere im Hinblick auf Praktikabilität und Akzeptanz sollten lokale Spezifika und eingespielte Prüfungsmodalitäten, wenn möglich und sinnvoll, berücksichtigt werden. MethodeDie Empfehlungen zu Prüfungen wurden im Rahmen eines Projektstrukturplanes erarbeitet. Das methodische Vorgehen war dabei in drei praktische Arbeitsphasen untergliedert (siehe , sowie Tabellen 1 , 2 , 3 ): Zunächst eine Ist-Soll-Analyse mit Eruierung und Sichtung bestehender Dokumente zu Prüfungen und mit anschließender Erarbeitung eines Arbeitspapiers, dann die Erstellung und interaktive Überarbeitung des Arbeitspapiers durch Vertreter der Medizinischen Fakultät Ulm unter Einbezug aller betroffenen Gruppen, und schließlich die Verabschiedung der Empfehlungen in den Gremien mit anschließender fakultätsweiter Veröffentlichung. Schaffung struktureller VoraussetzungenIn der Vorbereitungsphase erfolgte im Zusammenwirken mit den Einrichtungen eine eindeutige Festlegung der Zuständigkeiten. Alle Institute und Kliniken wurden aufgefordert, Prüfungsbeauftragte als Ansprechpartner für ihr Fach zu benennen. Weiterhin wurden mit allen Fächern individuelle Zielvereinbarungen für das Jahr 2008 abgeschlossen, die die Verbesserung der Prüfungssituation thematisierten, beispielsweise den Ausbau mündlich-praktischer Prüfungen, die Verwendung eines Auswertungstools mit Berechnung von Reliabilität, Schwierigkeitsgrad und Trennschärfe, die Erstellung von Prüfungsberichten, oder auch weitere individuell abgesprochene Maßnahmen zur Verbesserung der jeweiligen (Fach-)Prüfungen. Die Einhaltung dieser Zielvereinbarungen wurde Anreiz fördernd im Rahmen der internen „Leistungsorientierten Mittelvergabe“ (LOM) boniert. Erstellung von „Empfehlungen zu universitären Prüfungen in der Medizinischen Fakultät der Universität Ulm“Arbeitsphase 1:Zunächst erfolgte die Eruierung und Sichtung von bestehenden Dokumenten zu Prüfungen. Berücksichtigt wurden folgende Dokumente: Die durch Anfragen oder durch Beschwerden induzierten praxisorientierten Regelungsvermerke des Studiendekanats, die Studienordnung des Studiengangs Humanmedizin der Universität Ulm , , die aktuelle Approbationsordnung , und eine von der Medizinischen Fakultät Ulm herausgegebene „Handreichung zur Durchführung von Prüfungen“ , welche die prinzipiell zulässigen Prüfungsformate der Medizinischen Fakultät abbildet. Weitere Informationen zur Qualitätssicherung in Prüfungen wurden via Internet recherchiert. Auch wurden nichtmedizinische Einrichtungen mit langjähriger Erfahrung im Bereich Prüfungsentwicklung (z.B. Industrie- und Handelskammer (IHK), Handwerkskammer (HK), Studiengang Psychologie) befragt und bundesweite Entwicklungen zu Qualitätsrichtlinien an Medizinischen Fakultäten berücksichtigt.Parallel dazu wurde eine Befragung aller Fächer und der studentischen Vertreter initiiert, um aktuelle Vorgehensweisen bei Prüfungen, aber auch Schwachpunkte und Unzufriedenheiten aufzudecken.In einem weiteren Schritt wurde von den für die Prüfungsentwicklung zuständigen Mitarbeitern des Studiendekanats ein Arbeitspapier entworfen, welches sowohl die Punkte der Leitlinien als auch die zusammengetragenen internen Praktiken und Informationen berücksichtigte. Alle Passagen des Arbeitspapiers wurden mit einer exakten Angabe der Datenquelle versehen. Anhand von Ampelfarben wurde zudem kenntlich gemacht, welche Punkte nach Einschätzung des Bereichs Prüfungsentwicklung zum Zeitpunkt der Zusammenstellung ohnehin bereits gängige Ulmer Praxis darstellten („grün“), welche Passagen noch deutlichen Handlungsbedarf nach sich ziehen würden („gelb“), und welche als „problematisch in der Umsetzung“ anzusehen wären bzw. gravierende Änderungen bedeuten würden („rot“) (siehe Tabelle 1 ). Arbeitsphase 2:Um eine praxisgerechte Überarbeitung des Arbeitspapiers mit möglichst hoher Akzeptanz zu erreichen, wurde durch die Studienkommission eine befristete ad hoc Arbeitsgruppe (Arbeitsgruppe Prüfungsangelegenheiten) gegründet. Die Mitglieder setzen sich aus Vertretern der Institute und Kliniken, Studierenden der Fachschaft, dem Studiendekan sowie aus Mitarbeitern des Studiendekanats zusammen. Die Auswahl der 12 Mitglieder erfolgte nach Qualifikation („Master of Medical Education“, „Master of Science in Medical Education Cardiff“) oder aufgrund von Arbeitsschwerpunkten im Prüfungsbereich. Die Institute und Kliniken der Medizinischen Fakultät wurden per E-Mail über die Gründung der Arbeitsgruppe und deren Auftrag informiert.In drei aufeinanderfolgenden Sitzungen wurde der Entwurf von der Arbeitsgruppe überarbeitet. Insbesondere für die mit den Ampelfarben „rot“ und „gelb“ markierten Passagen wurde intensiv diskutiert, ob und in welcher Form die in die Leitlinien aufgeführten Standards in der Medizinischen Fakultät Ulm realistisch umgesetzt werden könnten. In einem modifizierten Delphi-Verfahren , wurde über geschützte elektronische Foren auch zwischen den Sitzungen die Weiterentwicklung des Arbeitspapiers vorangetrieben. Das Studiendekanat übernahm die Koordination der Arbeitsgruppe und war für die Gesamtplanung der Abläufe zuständig. Während der einzelnen Arbeitsphasen wurden die Einrichtungen der Fakultät über die Arbeit der Arbeitsgruppe informiert: Zum einen wurde über den persönlichen Kontakt der Verlauf der Arbeit in die Institute und Kliniken kommuniziert. Zum anderen dienten Treffen des Studiendekans Humanmedizin mit den Lehr- und Prüfungsbeauftragten aller Kliniken und Instituten als Plattform für einen Austausch zu Prüfungsfragen. Schließlich erfolgte noch eine Durchsicht des Arbeitspapiers auf Rechtskonformität und Rechtssicherheit durch die Abteilung für Rechtsfragen der Universität Ulm. Als Ende 2008 eine für die Arbeitsgruppe prinzipiell zufriedenstellende Version der künftigen Prüfungsempfehlungen erarbeitet war, wurden in einem erneuten Delphi-Verfahren alle Leiter der Kliniken und Institute, alle Lehr- und Prüfungsbeauftragte sowie die Fachschaft Humanmedizin in die Detailbearbeitung des Arbeitspapiers miteinbezogen. Diejenigen Institute und Kliniken, welche massive Bedenken zur Umsetzung geäußert hatten, wurden zu einem Treffen mit der Arbeitsgruppe Prüfungsangelegenheiten geladen. In der Diskussion wurden alle Vorbehalte thematisiert und bei begründeten Einwänden einzelne Passagen der Empfehlungen entsprechend modifiziert (siehe Tabelle 2 ).Arbeitsphase 3:Im Januar 2009 wurde das Arbeitspapier der Studienkommission Humanmedizin vorgelegt. Es wurde mehrheitlich dem Fakultätsrat zur Verabschiedung empfohlen und mit der Bezeichnung „Empfehlungen zu universitären Prüfungen in der Medizinischen Fakultät der Universität Ulm“ versehen. Anschließend erfolgte die Präsentation der Empfehlungen durch den Studiendekan Humanmedizin und die Verabschiedung im Fakultätsrat. Die Empfehlungen wurden elektronisch fakultätsweit kommuniziert. Sie wurden allen Prüfenden sowie Studierenden der Medizinischen Fakultät der Universität Ulm über die Lehr- und Lernplattform MOODLE zugänglich gemacht. Geplant wurde die Bonierung von Umsetzungsmaßnahmen für die einzelnen Fächer in Form der Leistungsorientierten Mittelvergabe; dazu waren entsprechende Zielvereinbarungen zur Prüfungsverbesserung mit allen Fächern abgeschlossen worden. Weiterhin wurden Schulungen geplant, die den Fächern bei der Umsetzung der Empfehlungen Hilfestellung leisten sollten. Für das Kalenderjahr 2010 wurde eine erneute Überprüfung und gegebenenfalls Modifikation der Empfehlungen vorgesehen (siehe Tabelle 3 ). ErgebnisseHauptdokument: Empfehlungen zur universitären PrüfungenMit Verabschiedung im Fakultätsrat im Februar 2009 liegen der Medizinischen Fakultät Ulm Empfehlungen zu Prüfungen nach den Qualitätsleitlinien der Gesellschaft für Medizinische Ausbildung und des Kompetenzzentrums Baden-Württemberg zu Prüfungen in Heidelberg vor. Sie sind als Argumentations- und Handlungsgrundlage für Studierende und Prüfende zu verstehen. In nur acht Monaten wurde damit ein transparentes und allgemein akzeptiertes Regelwerk zu Prüfungen geschaffen, welches insgesamt 18 Regelungsbereiche umfasst. Einzelne Passagen wurden praktisch wörtlich aus dem Positionspapier des GMA-Ausschusses Prüfungen und des Kompetenzzentrums Prüfungen Baden-Württemberg übernommen. So zum Beispiel Ausführungen zu rechtlichen Regelungen wie etwa zum Widerspruchsverfahren. „(…) (2) Bei abgeholfenen Widersprüchen gegen Multiple-Choice-Prüfungsaufgaben oder ihre Bewertung, sind die notwendigen Korrekturen bei allen Prüfungsabsolventen durchzuführen und bekannt zu geben. Berechtigte Widersprüche und die daraus resultierenden Korrekturen müssen unter Angabe der Verantwortlichkeiten für Entscheidungen schriftlich dokumentiert sein.“ .Einzelne Punkte (z.B. die Dokumentation des Prüfungsablaufes, Zeitfenster für die Weiterbildung der Prüfenden) wurden demgegenüber weiterhin in der Verantwortung der jeweiligen Einrichtungen belassen, um eine gewisse Autonomie zu wahren und keine „Überreglementierung“ anzustreben.An wieder anderen Stellen wurden sogar zusätzliche Konkretisierungen für die Ulmer Fakultät vorgenommen (z.B. Zeitvorgaben für Prüfungsankündigungen und Ergebnismitteilungen). "(…) Prüfungsergebnisse müssen innerhalb eines Zeitraumes von maximal drei Wochen nach Prüfungsleistung bekannt gegeben werden.“ .Die Empfehlungen beinhalten zudem Verweise auf vorab bestehende Dokumente der Medizinischen Fakultät Ulm (z.B. bezüglich der zulässigen Prüfungsformate). Die Empfehlungen werden mittlerweile bei auftauchenden Unklarheiten oder bei Problemen mit Prüfungen sowohl von Studierenden als auch von Prüfenden häufig zu Rate gezogen bzw. zitiert. Nachfolgend sind übersichtshalber die einzelnen Teilüberschriften der Empfehlungen aufgeführt (siehe Abbildung 1 ).Weitere DokumenteIn Ergänzung zu den Empfehlungen liegt der Fakultät eine Checkliste zur Erstellung, Durchführung und Auswertung qualitativ hochwertiger Prüfungen, und als Anlage eine Empfehlung zu „Bewertungssystemen für die verschiedenen Prüfungsformate“ vor. Qualitätscheckliste zu PrüfungenDie Checkliste stellt einzelne Punkte der Empfehlungen von der Prüfungsplanung über die Durchführung bis hin zum Post-Review zeitlich geordnet dar, so dass die einzelnen Schritte nach und nach abgearbeitet und entsprechend „abgehakt“ werden können (siehe Abbildung 2 ). Weiterhin sind einzelne Konkretisierungen (z.B. zu Fragentypen bei MC-Fragen) dort rasch auffindbar. Bewertungssysteme für unterschiedliche PrüfungsformateDas mit den Empfehlungen im Fakultätsrat verabschiedete Arbeitsmaterial „Bewertungssysteme für unterschiedliche Prüfungsformate“ steht den Prüfenden insbesondere für die Bewertungsmodalitäten in neuen Prüfungsformaten zur Verfügung. In einem Pilotprojekt hatten hierzu im Wintersemester 2008/ 2009 einzelne Fächer testweise unterschiedliche Bewertungsverfahren z.B. für Leistungen in Blockpraktika angewandt und diese anschließend im Expertengremium und mit Vertretern des Studiendekanats ausgewertet. Das Dokument bietet Anregungen, wie eine angemessene, an der Lehr- und Prüfungsmethodik ausgerichtete Leistungsmessung der Studierenden erfolgen kann. Umsetzungen der EmpfehlungenIn weiten Teilen erfolgt derzeit eine Umsetzung der Empfehlungen inklusive der beigefügten Dokumente (Qualitätscheckliste zu Prüfungen, Bewertungssysteme für unterschiedliche Prüfungsformate). Begünstigt wurde die Umsetzung a priori durch den hohen Anteil von mit der Ampelfarbe „grün“ markierten Passagen (insgesamt ca. 80 Prozent der Passagen), welche die in Ulm bereits vorab gängige Praxis abbildeten. Der mit den Ampelfarben „gelb“ bzw. „rot“ markierte Anteil (z.B. Anpassung von Prüfungsformaten, Prä-Post-Review-Verfahren) war Anlass für die Einleitung umfangreicher Maßnahmen zur Qualitätssicherung, z.B. von Beratungs- und Schulungsangeboten durch das Studiendekanat. Im Zuge der in den Empfehlungen geforderten Passung von Lernzielen und Prüfungsformat prüfen mit Unterstützung des Studiendekanats nun neun Fächer im Format einer „Objective Structured Clinical Examination“ (OSCE). Des Weiteren erarbeiteten fünf Fächer detaillierte Bewertungsbögen für die Leistungsbewertung in den Blockpraktika.Weiterhin legten einzelne Fächer klare inhaltliche Prüfungsschwerpunkte fest. Damit wurden erste Schritte zur Einbindung der Prüfungsinhalte in einen inhaltlichen Gesamtprüfungsplan angeregt.In den Fächern „Innere Medizin“ und „Augenheilkunde“ wurde gemeinsam mit dem Studiendekanat ein umfassendes Verfahren zu Review-Prozessen erarbeitet. Die in den Empfehlungen geforderte elektronische Auswertung der Prüfungen erfolgt derzeit in 24 Fächern aus dem vorklinischen und klinischen Abschnitt anhand der Prüfungssoftware „Klaus“ (http://blubbsoft.de). Daran geknüpft ist die statistische Auswertung der Prüfungen, welche ebenfalls über die Zielvereinbarungen 2008 vom Studiendekan Humanmedizin eingefordert wurde. Weiterhin starteten die Fächer „Innere Medizin“ und „Chirurgie“ Forschungsprojekte zu Prüfungsformaten.Zu verzeichnen ist ein deutlich steigender Bedarf an Schulungen zum Thema Prüfungen. 246 von insgesamt 650 Prüfern nahmen bisher an M2-Prüferschulungen teil; das neue Angebot einer zunächst fakultätsinternen Weiterbildung zur Erstellung, Durchführung und Auswertung von MC-Klausuren war sofort ausgebucht und wird jetzt regelmäßig angeboten. Zudem haben sich fakultätsintern Patenschaften gegründet, um fachübergreifend Prüfungsfragen zu diskutieren (siehe Tabelle 4 ). DiskussionDie „Empfehlungen zu universitären Prüfungen in der Medizinischen Fakultät der Universität Ulm“ werden sowohl von Lehrenden als auch von Studierenden positiv wahrgenommen. Anerkennend hervorgehoben werden die qualitätssichernden Komponenten und die durch ein explizites „Regelwerk“ gegebenen klaren Vorgaben zu einzelnen Regelungsbereichen. Abzuwarten ist, wie sich die Etablierung innerhalb der Medizinischen Fakultät weiter entwickelt und welche Erfahrungen mit den Empfehlungen langfristig gesammelt werden. Mit Abschluss des Projektes zeigt sich, dass es gelungen ist, ohne nennenswerte Widerstände aus den Einrichtungen klare Vorgaben für Prüfungen festzulegen. Dieser Erfolg ist sicher zum Teil auf die angewandte Arbeitsstrategie zurückführen: Durch die zeitnahe Einbindung der Einrichtungen in die Projektziele und die Gründung der Arbeitsgruppe Prüfungsangelegenheiten als Fachausschuss wurde die Mitwirkung der Verantwortlichen angefragt und mit der Beteiligung im modifizierten Delphi-Verfahren , die Akzeptanz für das Projekt über alle Hierarchiestufen hinweg erreicht . Das lässt darauf schließen, dass auch in der weiteren Umsetzung, eine akzeptable Selbstkontrolle zur Einhaltung der Empfehlungen zu erwarten ist. Zudem war es von Vorteil, möglichst viele der bisherigen Prüfungspraktiken beibehalten zu können und neue Vorgaben auf Mindestanforderungen an ein hochwertiges Prüfungsverfahren zu reduzieren. In den Gremien wurde entschieden, den Empfehlungen vorerst keine „gesetzesähnliche“ Verbindlichkeit zuzusprechen, wie es beispielsweise für die Studienordnung der Fall ist. Vorläufig soll eine Erprobungsphase bis Ende 2010 erfolgen, um dann erneut Entscheidungen über die Verbindlichkeit der Empfehlungen zu treffen. Die Erfahrung zeigt, dass eine Honorierung des Engagements, hier durch die Berücksichtigung in der LOM, maßgeblich die Motivation der Einrichtungen zur Beteiligung am Prozess steigert. Praktisch umgesetzt wurde dies durch den Abschluss konkreter und überprüfbarer Zielvereinbarungen mit allen Fächern bezüglich Verbesserung ihrer Prüfungen, eine in den Medizinischen Fakultäten Baden-Württembergs bisher einzig dastehende, und nach unseren Erfahrungen sehr wirkungsvolle Maßnahme. Mit der Einrichtung eines allgemeinen elektronischen Beschwerde- und Ideenmanagements im Sommersemester 2009 ist ein weiteres Instrument geschaffen, um Probleme bzw. Schwachstellen zu Prüfungen auch aus der Sicht der Adressatengruppe zu erfassen und damit die Bereitschaft der Einrichtungen zur Umsetzung der Empfehlungen zu kontrollieren . Studierende sind darin aufgefordert, an die Kliniken und Institute u.a. Rückmeldungen zu Prüfungen zu geben. Es wurde deutlich, dass die Fächer zur Umsetzung der Prüfungsempfehlungen einen deutlichen Unterstützungsbedarf anmelden: Beispielsweise müssen ein internes Weiterbildungsangebot und ausreichend Personal für z.B. klinisch-praktische Prüfungen zur Verfügung stehen. Auch ist über angemessene Freistellungen der Ärzte für Lehre und Prüfungsaufgaben, und über Honorierungssysteme für Lehrengagement zu diskutieren. Nicht zuletzt muss auch die Bereitstellung von geeigneten Lehr- und Prüfungsräumen gelingen. Derartige Innovationen bedürfen somit stets des Rückhalts und der Unterstützung durch die gesamte Fakultät. Die mit den Empfehlungen eingeforderten Abläufe müssen zudem erprobt und dann eventuell erneut überarbeitet werden. Dieser Prozess muss über mehrere Jahre begleitet werden und erfordert ausreichend personelle Kapazität auch im Studiendekanat. Wenn es gelingt, über eine longitudinale Dokumentation Entwicklungen festzuhalten, kann die Nachhaltigkeit der Qualitätsverbesserung auch unter wissenschaftlichen Gesichtspunkten untersucht werden. Aktuell werden Forschungsarbeiten im Bereich „Lehre und Prüfungen“ durch das Studiendekanat zusammengetragen und ausgewertet, sowie neue Forschungsfragen angestoßen. SchlussfolgerungDie „Empfehlungen zu universitären Prüfungen der Medizinischen Fakultät der Universität Ulm“ stellen eine Grundlage dar, um die Verantwortlichkeit der Fakultät für die qualitativ hochwertige Erstellung, Durchführung und Auswertung von Prüfungen hervorzuheben und ein einheitliches Vorgehen bei Prüfungen zu etablieren. Sie bieten mehr Handlungssicherheit für die Praxis und könnten nach ihrer Überprüfung und Überarbeitung im Jahre 2010 gegebenenfalls Eingang in die Studienordnung finden. Die Erfahrung bei der Erstellung der Empfehlungen hat gezeigt, dass die Akzeptanz durch die Anwender verbessert wird, wenn bei der Etablierung neuer Empfehlungen schon vorhandenes Regelwerk ebenso miteinbezogen wird wie die bisher von den Fächern geübte Praxis. Eine transparente Vorgehensweise bei der Erstellung der Empfehlungen und der kontinuierliche Kontakt zu den Anwendern mit der Option der Rückmeldung sind dabei ebenso entscheidend. Mit dem Positionspapier des GMA-Ausschusses Prüfungen und des Kompetenzzentrums Prüfungen Baden-Württemberg in Heidelberg ist somit letztendlich der Anstoß gegeben worden, ortsspezifisch ausgerichtete Empfehlungen zu Prüfungen zu formulieren, sich mit den Prüfungsmodalitäten innerhalb der Fakultät auseinanderzusetzen und die Qualität der Prüfungen zu verbessern. AnmerkungIm Text werden die „Empfehlungen zu universitären Prüfungen in der Medizinischen Fakultät der Universität Ulm“ mit „Empfehlungen“ abgekürzt. Gemeint sind damit keine Empfehlungen im eigentlichen Wortgebrauch. DanksagungAn der Entwicklung der „Empfehlungen zu universitären Prüfungen in der Medizinischen Fakultät der Universität Ulm“ waren sowohl zahlreiche Vertreter aus den Kliniken und Instituten als auch Vertreter aus der Fachschaft Humanmedizin beteiligt, welchen an dieser Stelle für ihre Mitwirkung gedankt wird. Besonderer Dank gilt Frau Tümmers aus dem Dezernat II Studium, Lehre und Internationales, und Frau Pichler aus der Abteilung II-2 Studiensekretariat für die rechtliche Prüfung und detaillierte Überarbeitung der Arbeitspapiere. Gesellschaft für Medizinische Ausbildung GMA-Ausschuss Prüfungen & Kompetenzzentrum Prüfungen Baden-Württemberg Fischer (Korrespondenzautor) MR Leitlinie für Fakultäts-interne Leistungsnachweise während des Medizinstudiums: Ein Positionspapier des GMA-Ausschusses Prüfungen und des Kompetenzzentrums Prüfungen Baden-Württemberg 2008 GMS Z Med Ausbild Doc74 Gesellschaft für Medizinische Ausbildung, GMA-Ausschuss Prüfungen & Kompetenzzentrum Prüfungen Baden-Württemberg, Fischer (Korrespondenzautor) MR. Leitlinie für Fakultäts-interne Leistungsnachweise während des Medizinstudiums: Ein Positionspapier des GMA-Ausschusses Prüfungen und des Kompetenzzentrums Prüfungen Baden-Württemberg. GMS Z Med Ausbild. 2008;25(1):Doc74. Zugänglich unter: http://www.egms.de/en/journals/zma/2008-25/zma000558.shtml http://www.egms.de/en/journals/zma/2008-25/zma000558.shtml Medizinische Universität Ulm 2009 Empfehlungen zu universitären Prüfungen in der Medizinischen Fakultät Ulm, verabschiedet durch den Fakultätsrat der Medizinischen Fakultät der Universität Ulm Medizinische Universität Ulm. Empfehlungen zu universitären Prüfungen in der Medizinischen Fakultät Ulm, verabschiedet durch den Fakultätsrat der Medizinischen Fakultät der Universität Ulm. Ulm: Medizinische Fakultät der Universität Ulm; 2009. Zugänglich unter: http://www.uni-ulm.de/med/fakultaet/studium-und-lehre/ulmer-lehr-und-lernkonzept/pruefungskonzept.html http://www.uni-ulm.de/med/fakultaet/studium-und-lehre/ulmer-lehr-und-lernkonzept/pruefungskonzept.html Bland CJ Starnaman S Wersal L Moorhead-Rosenberg L Zonia S Henry R Curricular Change in Medical Schools: How To Succeed 2000 Acad Med 575-594 Bland CJ, Starnaman S, Wersal L, Moorhead-Rosenberg L, Zonia S, Henry R. Curricular Change in Medical Schools: How To Succeed. Acad Med. 2000;75(6):575-594. DOI:10.1097/00001888-200006000-00006 http://dx.doi.org/10.1097/00001888-200006000-00006 Evans R 1991 The Human Side of School Change. Reform, resistance and the real-life problems of Innovation Evans R. The Human Side of School Change. Reform, resistance and the real-life problems of Innovation. San Francisco: Jossey-Bass Inc; 1991. Pill J The Delphi method: substance, context, a critique and an annotated bibliography 1971 Socio-Econ Plan Servic 57-71 Pill J. The Delphi method: substance, context, a critique and an annotated bibliography. Socio-Econ Plan Servic. 1971;5:57-71. DOI:10.1016/0038-0121(71)90041-3 http://dx.doi.org/10.1016/0038-0121(71)90041-3 Häder M 2002 Delphi-Befragungen Häder M. Delphi-Befragungen. Wiesbaden: Westdeutscher Verlag GmbH; 2002. Möltner A Schultz JH Briem S Jünger J 2007 Kompetenzzentrum für Prüfungen in der Medizin Baden-Württemberg Möltner A, Schultz JH, Briem S, Jünger J. Kompetenzzentrum für Prüfungen in der Medizin Baden-Württemberg. Fakultätsinterne Prüfungen nach der neuen AO: Statusbericht der medizinischen Fakultät der Universität Ulm. Ulm: Universität Ulm; 2007. Fegert JM Obertacke U Resch F Hilzenbecher Die Qualität der Lehre nicht dem Zufall überlassen 2009 Dtsch Arztebl Fegert JM, Obertacke U, Resch F, Hilzenbecher. Die Qualität der Lehre nicht dem Zufall überlassen. Dtsch Arztebl. 2009;106(7). Universität Ulm 2007 Verwendung der Studiengebühren der Medizinischen Fakultät 2007 bis 2009 Universität Ulm. Verwendung der Studiengebühren der Medizinischen Fakultät 2007 bis 2009. Ulm: Universität Ulm; 2007. Lessel W 2002 Projektmanagement. Projekte effizient planen und erfolgreich umsetzen Lessel W. Projektmanagement. Projekte effizient planen und erfolgreich umsetzen. Berlin: Cornelsen Verlag; 2002. Universität Ulm 2005 Studienordnung der Universität Ulm bis zum Ersten Abschnitt der Ärztlichen Prüfung des Studiengangs Humanmedizin (Vorklinik) Universität Ulm. Studienordnung der Universität Ulm bis zum Ersten Abschnitt der Ärztlichen Prüfung des Studiengangs Humanmedizin (Vorklinik). Ulm: Universität Ulm; 2005. Universität Ulm 2007 Studienordnung der Universität Ulm im klinischen Studienabschnitt (3 271-276 Universität Ulm. Studienordnung der Universität Ulm im klinischen Studienabschnitt (3., 4. und 5. Studienjahr) im Studiengang Humanmedizin. Ulm: Universität Ulm; 2007. S.271-276. Bundesministerium für Gesundheit Approbationsordnung für Ärzte vom 27. Juni 2002 2005 Bundesgesetzbl 1818 Bundesministerium für Gesundheit. Approbationsordnung für Ärzte vom 27. Juni 2002. Bundesgesetzbl. 2005:1818. Arbeitsgruppe „Prüfungen“ der Medizinischen Fakultät der Universität Ulm 2005 Handreichung zur Durchführung von Prüfungen nach neuer ÄAppO Arbeitsgruppe „Prüfungen“ der Medizinischen Fakultät der Universität Ulm. Handreichung zur Durchführung von Prüfungen nach neuer ÄAppO. Ulm: Medizinische Fakultät der Universität Ulm; 2005. Füermann T Dammasch C 2008 Prozessmanagement. Anleitung zur ständigen Prozessverbesserung Füermann T, Dammasch C. Prozessmanagement. Anleitung zur ständigen Prozessverbesserung. 3. Aufl. München: Hanser; 2008. 11

1 1 Abbildung 1: Auflistung der Teilüberschriften aus den „Empfehlungen zu universitären Prüfungen in der Medizinischen Fakultät der Universität Ulm“ [2]

2 2 Abbildung 2: Auszug aus der Qualitätscheckliste zu Prüfungen mit Verweis auf weitere Dokumente zu Prüfungen 2 0 0