zma000703 10.3205/zma000703 urn:nbn:de:0183-zma0007035 Kommentar commentary Exams at Medical Faculties - Quality, Responsibility and Perspectives Fischer Fischer Martin R. MR Prof. Dr. med. MME (Bern)

Universität Witten/Herdecke, Fakultät für Gesundheit, Institut für Didaktik und Bildungsforschung im Gesundheitswesen, Alfred-Herrhausen-Straße 50, D-52448 Witten, DeutschlandGesellschaft für Medizinische Ausbildung (GMA), Ausschuss PrüfungenUniversität Witten/Herdecke, Fakultät für Gesundheit, Institut für Didaktik und Bildungsforschung im Gesundheitswesen, Witten, Deutschland

Universität Witten/Herdecke, Fakultät für Gesundheit, Institut für Didaktik und Bildungsforschung im Gesundheitswesen, Alfred-Herrhausen-Straße 50, D-52448 Witten, GermanyGesellschaft für Medizinische Ausbildung (GMA), Ausschuss PrüfungenUniversität Witten/Herdecke, Fakultät für Gesundheit, Institut für Didaktik und Bildungsforschung im Gesundheitswesen, Witten, Germany

martin.fischer@uni-wh.de author Holzer Holzer Matthias M Dipl.-Ing.

Gesellschaft für Medizinische Ausbildung (GMA), Ausschuss Prüfungen Ludwig-Maximilians-Universität München, Medizinische Klinik Innenstadt, Bayerisches Kompetenznetzwerk Lehre in der Medizin, Kompetenzzentrum Prüfungen, München, Deutschland

Gesellschaft für Medizinische Ausbildung (GMA), Ausschuss Prüfungen Ludwig-Maximilians-Universität München, Medizinische Klinik Innenstadt, Bayerisches Kompetenznetzwerk Lehre in der Medizin, Kompetenzzentrum Prüfungen, Munich, Germany

matthias.holzer@lrz.uni-muenchen.de author Jünger Jünger Jana J PD Dr. med. MME (Bern)

Gesellschaft für Medizinische Ausbildung (GMA), Ausschuss Prüfungen Universität Heidelberg, Medizinische Fakultät, Medizinische Klinik, Kompetenzzentrum für Prüfungen in der Medizin in Baden-Württemberg, Heidelberg, Deutschland

Gesellschaft für Medizinische Ausbildung (GMA), Ausschuss Prüfungen Universität Heidelberg, Medizinische Fakultät, Medizinische Klinik, Kompetenzzentrum für Prüfungen in der Medizin in Baden-Württemberg, Heidelberg, Germany

jana.juenger@med.uni-heidelberg.de author German Medical Science GMS Publishing House

Düsseldorf

610 medicine Humanmedizin 20101024 20101026 20101026 20101115 germ engl 1860-3572 27 5 GMS Zeitschrift für Medizinische Ausbildung GMS Z Med Ausbild 66 KommentarDer Ausschuss Prüfungen der GMA hat zusammen mit dem Kompetenzzentrum für Prüfungen in der Medizin in Baden-Württemberg 2008 eine Leitlinie für Fakultäts-interne schriftliche Leistungsnachweise während des Medizinstudiums publiziert . In der Folge wurde die Umsetzung dieser Leitlinie als Qualitätsstandard lebhaft diskutiert. Eine Umfrage zum Ist-Zustand der Prüfungen in fakultärer Verantwortung wurde im Auftrag des Medizinischen Fakultätentages (MFT) von Heidelberg aus durchgeführt und veröffentlicht . Dabei wurde klar, dass bisher schriftliche Prüfungen im Multiple-Choice (MC) Format vorherrschen und eine Reihe von Verbesserungsmöglichkeiten im Sinne eines allgemeinen Qualitätsstandards für Planung, Fragenerstellung, Review, Durchführung, Auswertung und Ergebnismitteilung bestehen. Nur eine kleine Minderheit der Fächer setzt bisher klinisch-praktische Prüfungsformate wie den OSCE ein, wenn auch mittlerweile fast jede Fakultät in zumindest einem Fach einen OSCE durchführt. Eine Vergleichbarkeit der Noten zwischen den Fakultäten ist aufgrund formal und inhaltlich unterschiedlicher Prüfungen nicht gegeben. Zur Qualitätssicherung und zur Verbesserung des interfakultären Austausches wurden Kompetenznetzwerke für die medizinische Lehre gegründet – zunächst in Baden-Württemberg und dann in Bayern. Das Thema Prüfungen spielt dabei eine zentrale Rolle. Beide Netzwerke mit jeweils fünf medizinischen Fakultäten haben die Umsetzung der GMA-Leitlinien für fakultäre Prüfungen abgefragt , . Erfreulicherweise werden die Leitlinien von allen Fakultäten beachtet und zu einem größeren Teil bereits umgesetzt. Wie bei der MFT-Umfrage ergibt sich aber auch hier ein differenziertes Bild mit unterschiedlichen Umsetzungsrealitäten zwischen den Fakultäten. Das Erreichte ist erfreulich, aber die Weiterentwicklung der Prüfungsqualität und der überfakultäre Austausch dazu gehören weiterhin ganz oben auf die Agenda. Niemand wird den medizinischen Fakultäten diese Arbeit abnehmen. Die Etablierung weiterer regionaler Kooperationsnetzwerke zwischen den Fakultäten ist wünschenswert – können doch dadurch neben aller politisch gewollten und notwendigen Konkurrenz die erforderlichen Synergien entstehen, um die Prüfungskultur weiter zu entwickeln wie in Baden-Württemberg und Bayern gezeigt werden konnte. Ein Beispiel für Synergieeffekte ist die Zusammenarbeit zur Prüfungsfragenerstellung und zur Bewertung der Fragenqualität in einer überfakultären Datenbank. Diese Bemühungen tragen inzwischen an vielen Stellen Früchte. Hier sei stellvertretend für eine Reihe solcher Ansätze das Item-Managementsystem Medizin (IMS-Medizin) genannt, das inzwischen von 15 Fakultäten gemeinsam genutzt wird und vom Kompetenzzentrum in Heidelberg koordiniert wird. Wenn genug hochwertige Prüfungsfragen und OSCE-Stationen in einer Datenbank vorhanden sind, ist die Basis für überfakultäre Prüfungsverbünde und freiwillige interfakultäre Leistungsvergleiche vor dem schriftlichen 2. Staatsexamen mit entsprechenden Korrekturmöglichkeiten gelegt. Die Fragenerstellung und der Reviewprozess sind zentral elektronisch verfügbar. Zukünftig könnte die Veröffentlichung von Prüfungsinhalten bei einer entsprechend großen Zahl verfügbarer hochwertiger Fragen neu diskutiert werden. Der Schwarzhandel mit Altklausuren würde dann der Vergangenheit angehören. Die elektronische Prüfungsdurchführung ist ebenfalls bereits vielerorts etabliert. Die Entwicklung von überfakultären Standardlösungen liegt nahe und wird nicht mehr lange auf sich warten lassen. Wann wohl das schriftliche 2. Staatsexamen erstmals in elektronischer Form vom Institut für Medizinische und Pharmazeutische Prüfungsfragen (IMPP) durchgeführt werden wird?Nur durch Überprüfung von Wissens und Kompetenzen, sowie einer geeigneten Rückmeldung dazu, ist Lernen sinnvoll möglich. Prüfungen stellen dabei eine Lerngelegenheit für Dozenten und Studierende dar. Allerdings sollte untersucht werden, wie die Rückmeldemodi gestaltet sein müssen, damit alle an den Prüfungen Beteiligten auch effektiv daraus lernen können. Formative Prüfungsformate leisten dazu einen wichtigen Beitrag – allen voran der Progresstest Medizin von der Charité - Universitätsmedizin Berlin, den inzwischen ein Drittel aller Medizinischen Fakultäten in Deutschland einsetzten. Solche Prüfungsinstrumente können über die Rückmeldefunktion zum Leistungsstand der Lernenden hinaus auch wichtige Beiträge zur curricularen Steuerung leisten, wie der Beitrag zum Progresstest aus München von Schmidmaier et al. aufzeigt. Der mündliche-praktische Teil des 2. Staatsexamens bedarf der besseren Strukturierung und Standardisierung. Hier entwickeln sich neue Kooperationen zwischen den Fakultäten und den zuständigen Landesprüfungsämtern, die sehr zu begrüßen sind. Die Schweiz erprobt derzeit ihr mündlich-praktisches Staatsexamen, das 2011 mit 12 bis 16 Prüfungsstationen verbindlich für alle Absolventen der Medizin sein wird. Damit ist im Gegensatz zu Deutschland dann eine überfakultäre Vergleichbarkeit nicht nur des in schriftlichen Prüfungen erfassbaren Wissens sondern auch der Fähigkeiten und Fertigkeiten möglich. Die Schweiz verfügt über einen nationalen Lernzielkatalog, auf dem die Prüfungsinhalte des mündlichen-praktischen Staatsexamens fußen. Durch den für die Medizin in Deutschland vom MFT und der GMA auf den Weg gebrachten Nationalen Kompetenzbasierten Lernzielkatalog Medizin arbeiten inzwischen 21 Arbeitsgruppen daran, die Voraussetzungen für eine solche nationale strukturierte mündlich-praktische Prüfung zu schaffen. Etwas Geduld bis zur Fertigstellung ist aber noch gefragt. Doch damit nicht genug: Die GMA und der Ausschuss Prüfungen sollten sich zukünftig auch verstärkt in Zusammenarbeit mit den Ärztekammern um die Qualität der Facharztprüfungen kümmern. Hier besteht erheblicher Weiterentwicklungsbedarf gerade auch im Vergleich zu den Nachbarländern Österreich und Schweiz, die beide einen erheblichen Qualitätsvorsprung im Hinblick auf Objektivität, Reliabilität und Validität der Facharztprüfungen aufzuweisen haben. Es gilt also auf fakultärer, regionaler, nationaler und internationaler Ebene voneinander zu lernen und eine durchgehende Prüfungskultur in hoher Qualität zu etablieren. Hierzu ergeben sich Forschungsfragen in Hülle und Fülle. Es bleibt viel zu tun! CommentaryIn 2008 the Exam Committee of the GMA, together with the Competence Centre for exams in medicine in Baden-Württemberg published a guideline for faculty internal written assessment records in medical school . As a result, the implementation of this guideline as a quality standard was lively debated. A survey of the current state of exams under the faculty’s responsibility was carried out and published at the request of Medizinischer Fakultätentag (MFT) from Heidelberg . It became clear that the Multiple-Choice (MC) format so far predominate in written examinations and that there are a number of opportunities for improvement in terms of general quality standards for design, item construction, review, implementation, evaluation and communicating results. Only a small minority of subjects to date uses clinical-practical examination formats such as the OSCE, although by now every faculty conducts an OSCE at least in one subject. A comparison of the results between the faculties is not possible due to the different form and content of the tests given. To ensure quality and improve interdepartmental exchange, competence networks for medical education were established - first in Baden-Württemberg and then in Bavaria. The subject of examinations plays a central role in these. Both networks, each with five medical schools have requested the implementation of the GMA guidelines for faculty examinations , . We are pleased to note that the guidelines are being observed by all departments and to a greater extent have already been implemented. But as with the MFT survey we get a complex picture with different implementation realities between the faculties.These achievements are encouraging but developing exam quality and the interdisciplinary exchange further remain high on the agenda. No one will relieve the medical schools of the need to do so. Setting up further regional cooperation networks between the faculties is desirable as this can create synergies to further develop the exam culture as could be shown in Baden-Württemberg and Bavaria alongside all the necessary competition demanded by politics.An example of synergetic effects is cooperation on exam question preparation and on test item review in an interdisciplinary database. These efforts are now bearing fruit in many places. We will mention the item-management system medicine (IMS-Medicine) as an example for a number of such approaches, which is now shared by 15 faculties and coordinated by the competence centre in Heidelberg. If enough high-quality test questions and OSCE stations are available in a database, the basis for cross-disciplinary examination associations and voluntary interfaculty comparison of results prior to the second written state examination with appropriate correction options is laid. The creation of questions and the reviewing process are centrally available in digital format. In future the publication of exam content could be discussed again should this become necessary through a large number of available high-quality questions. The black market of former exam sheets would then be a thing of the past. Conducting exams digitally is also well established in many places. The development of interdisciplinary standard solutions is obvious and will not be long in coming. One wonders when the second written national exam will first be carried out in digital form by the Institute of Medical and Pharmaceutical Examination Questions (IMPP).Only by testing knowledge and skills as well as appropriate feedback, sensible learning is possible. Exams represent a learning opportunity for teachers and students. However, it should be investigated how the feedback should be designed so that everyone involved in the exams can learn from it effectively. Formative exam formats make an important contribution to this, especially the Progress-Test Medicine of the Charité Berlin which by now a third of all medical faculties in Germany are using. Such testing tools can make important contributions to the study achievements of students, as shown by the contribution by Schmidmaier at al. from Munich to the Progresstest.The oral-practical part of the second national examination needs to be better structured and standardised. Here new collaborative efforts between the faculties and the relevant state examination boards are being developed, which is very welcome. Switzerland is currently testing their oral-practical state examination which by 2011 will be compulsory for all medical undergraduates with 12 to 16 test stations. In contrast to Germany, this will enable not only interdisciplinary comparison of knowledge evaluated in written examinations but also of knowledge and skills. Switzerland has a national learning objectives catalogue on which the exam content of the oral-practical state exams are based. Through the National Competency-based Learning Objectives Catalogue in Medicine initiated for medical education in Germany by the MFT and the GMA, by now 21 working groups are working to create the conditions for such a national structured oral-practical exam. But it will require some patience before it is completed. But even beyond that, the GMA and the exams committee in future will collaborate more closely with medical associations to improve the quality of the specialist exams. There is considerable need for further development in this area, especially in comparison with the neighbouring countries Austria and Switzerland, both of which have a substantial qualitative head-start in terms of objectivity, reliability and validity of the specialist exams.It is therefore necessary to learn from each other at the faculty, regional, national and international level to establish a continuous audit culture of high quality. For this purpose, research questions arise in abundance and much remains to be done! Gesellschaft für Medizinische Ausbildung Kompetenzzentrum Prüfungen Baden-Württemberg Fischer MR Leitlinie für Fakultäts-interne Leistungsnachweise während des Medizinstudiums: Ein Positionspapier des GMA-Ausschusses Prüfungen und des Kompetenzzentrums Prüfungen Baden-Württemberg 2008 GMS Z Med Ausbild Doc74 Gesellschaft für Medizinische Ausbildung, Kompetenzzentrum Prüfungen Baden-Württemberg, Fischer MR. Leitlinie für Fakultäts-interne Leistungsnachweise während des Medizinstudiums: Ein Positionspapier des GMA-Ausschusses Prüfungen und des Kompetenzzentrums Prüfungen Baden-Württemberg. GMS Z Med Ausbild. 2008;25(1):Doc74. Zugänglich unter/available from: http://www.egms.de/static/de/journals/zma/2008-25/zma000558.shtml http://www.egms.de/static/de/journals/zma/2008-25/zma000558.shtml Möltner A Duelli R Resch F Schultz JH Jünger J Fakultätsinterne Prüfungen an den deutschen medizinischen Fakultäten 2010 GMS Z Med Ausbild Doc44 Möltner A, Duelli R, Resch F, Schultz JH, Jünger J. Fakultätsinterne Prüfungen an den deutschen medizinischen Fakultäten. GMS Z Med Ausbild. 2010;27(3):Doc44. DOI: 10.3205/zma000681. Zugänglich unter/available from: http://www.egms.de/static/de/journals/zma/2010-27/zma000681.shtml http://dx.doi.org/10.3205/zma000681 Reindl M Holzer M Fischer MR Durchführung der Prüfungen nach den Leitlinien des GMA-Ausschusses Prüfungen: Eine Bestandsaufnahme aus Bayern 2010 GMS Z Med Ausbild Doc56 Reindl M, Holzer M, Fischer MR. Durchführung der Prüfungen nach den Leitlinien des GMA-Ausschusses Prüfungen: Eine Bestandsaufnahme aus Bayern. GMS Z Med Ausbild. 2010;27(4):Doc56. DOI: 10.3205/zma000693. Zugänglich unter/available from: http://www.egms.de/static/de/journals/zma/2010-27/zma000693.shtml http://dx.doi.org/10.3205/zma000693 Jünger J Möltner A Lammerding-Köppel M Rau T Obertacke U Biller S Narciß E Durchführung der universitären Prüfungen im klinischen Abschnitt des Medizinstudiums nach den Leitlinien des GMA-Ausschusses Prüfungen: Eine Bestandsaufnahme der medizinischen Fakultäten in Baden-Württemberg 2010 GMS Z Med Ausbild Doc57 Jünger J, Möltner A, Lammerding-Köppel M, Rau T, Obertacke U, Biller S, Narciß E. Durchführung der universitären Prüfungen im klinischen Abschnitt des Medizinstudiums nach den Leitlinien des GMA-Ausschusses Prüfungen: Eine Bestandsaufnahme der medizinischen Fakultäten in Baden-Württemberg. GMS Z Med Ausbild. 2010;27(4):Doc57. DOI: 10.3205/zma000694. Zugänglich unter/available from: http://www.egms.de/static/de/journals/zma/2010-27/zma000694.shtml http://dx.doi.org/10.3205/zma000694 Hahn EG Fischer MR Nationaler Kompetenzbasierter Lernzielkatalog Medizin (NKLM) für Deutschland: Zusammenarbeit der Gesellschaft für Medizinische Ausbildung (GMA) und des Medizinischen Fakultätentages (MFT) 2009 GMS Z Med Ausbild Doc35 Hahn EG, Fischer MR. Nationaler Kompetenzbasierter Lernzielkatalog Medizin (NKLM) für Deutschland: Zusammenarbeit der Gesellschaft für Medizinische Ausbildung (GMA) und des Medizinischen Fakultätentages (MFT). GMS Z Med Ausbild. 2009;26(3):Doc35. DOI: 10.3205/zma000627. Zugänglich unter/available from: http://www.egms.de/static/de/journals/zma/2009-26/zma000627.shtml http://dx.doi.org/10.3205/zma000627 Schmidmaier R Holzer M Angstwurm M Nouns Z Reincke M Fischer MR Querschnittevaluation des Medizinischen Curriculums München (MeCuM) mit Hilfe des Progress Test Medizin (PTM) 2010 GMS Z Med Ausbild Doc70 Schmidmaier R, Holzer M, Angstwurm M, Nouns Z, Reincke M, Fischer MR. Querschnittevaluation des Medizinischen Curriculums München (MeCuM) mit Hilfe des Progress Test Medizin (PTM). GMS Z Med Ausbild. 2010;27(5):Doc70. DOI: 10.3205/zma000707. Zugänglich unter/available from: http://www.egms.de/en/journals/zma/2010-27/zma000707.shtml http://dx.doi.org/10.3205/zma000707 0 0 0 0