zma000979 10.3205/zma000979 urn:nbn:de:0183-zma0009797 congress report Konferenzbericht 8. Partnertreffen des medizinischen Prüfungsverbundes UCAN: „Zukunftsperspektiven für kompetenzorientiertes und qualitätsgesichertes Prüfen“ Thamburaj Thamburaj Ajit Johannes AJ

Universitätsklinikum Heidelberg, Innere Medizin II, Klinik für Allgemeine Innere Medizin und Psychosomatik, Im Neuenheimer Feld 346, 69120 Heidelberg, DeutschlandUmbrella Consortium for Assessment Networks, Heidelberg, DeutschlandUniversitätsklinikum Heidelberg, Innere Medizin II, Klinik für Allgemeine Innere Medizin und Psychosomatik, Heidelberg, Deutschland

author Brass Brass Konstantin K

Umbrella Consortium for Assessment Networks, Heidelberg, Deutschland Universitätsklinikum Heidelberg, Innere Medizin II, Klinik für Allgemeine Innere Medizin und Psychosomatik, Heidelberg, Deutschland

author Herrmann Herrmann Manfred M Dr.

Georg-August Universität, Universitätsmedizin Göttingen, G 1-2 Studiendekanat, Göttingen, Deutschland

author Jünger Jünger Jana J Prof. Dr. med. MME

Universitätsklinikum Heidelberg, Innere Medizin II, Klinik für Allgemeine Innere Medizin und Psychosomatik, Heidelberg, Deutschland

author German Medical Science GMS Publishing House

Düsseldorf

610 Assessment Prüfungen 20150621 20150621 20150621 20151015 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 1860-3572 32 4 GMS Zeitschrift für Medizinische Ausbildung GMS Z Med Ausbild Prüfungen 37 TextOn February 9th and February 10th 2015, the German-speaking members of the “Umbrella Consortium for Assessment Networks (UCAN)” met at the University Medical Center Göttingen for the 8th annual partners meeting. At UCAN, more than 60 institutions from 7 countries work together to create and share new exam contents and formats as well as to support each other in the quality assurance and further development of this content. This year’s meeting focused on “Collaborative Perspectives for Competency-based and Quality-assured Medical Assessment”. More than 80 participants from partner institutions as well as external guests shared their experiences about competency-based assessment, collaborative quality assurance and assessment technology in 12 workshops and numerous plenary sessions. In order to effectively deal with the current challenges, (such as the implementation of the National Competency-based Learning target Catalog in Medicine (NKLM) and the recommendations of the German Council for Science and Humanities) the consortium's joint assessment research work shall be intensified with the establishment of an “advisory board for collaborative research”. Shaping tomorrow’s assessment culture through cooperation“Non scholae, sed vitae discimus” – we learn for life, not for school. With this guiding principle Prof. Dr. Gerhard Burckhardt, Study Dean of the Medical Faculty Göttingen, opened the 8th UCAN partners meeting and reminded the audience that assessment isn’t an end in itself. Highlighting the importance of high quality competency-based exams for a good medical education culture, Burckhardt outlined an agenda as to how students could be enabled to “learn for life” instead of “learning for school” (see figure 1 ).Prof. Dr. Burckhardt’s appeal has the finger on the pulse of medical assessment: instead of only testing knowledge, the evaluation of clinical competencies becomes increasingly important. Especially the implementation of the NKLM and the recommendations of the German Council for Science and Humanities are major challenges for the (German) faculties. Consequently, the main question for the 12 workshops was: How can the turn towards competency-based assessment be implemented efficiently without neglecting the quality assurance? Intensifying collaborative research within the consortiumThe workshops tried to find answers for this central question from different perspectives. In the workshop “Designing Shared OSCE Stations” under the guidance of Dr. Iris Schleicher (Giessen) and Jasmina Sterz (Frankfurt), various partners outlined first standards for the development of OSCE stations that could be shared among the partners.First exemplary surgery OSCE stations for “appendicitis” and “knee joint” were developed. Furthermore, the workshop identified issue areas that need further discussion, such as the standardization of checklist formats and the duration of the stations. In the workshop “Development of a Competency-based Assessment Program for Palliative Medicine” under the guidance of Dr. Bernd Alt-Epping (Göttingen), Benjamin Ilse (Göttingen), Prof. Dr. Jana Jünger (UCAN) and Stephanie Seidemann (Heidelberg), a competency-based assessment program for palliative medicine was developed, which found the consensus of all attendees. It also became clear that the implementation of such a program can only be achieved together as a network of partners. This would be the best way to tackle most of the currently existing problems like the lack of sufficient working hours dedicated to palliative education or the lack of formats to teach and assess a professional attitude in palliative medicine. In a follow-up session on day two, the group developed first formats for assessing communicative skills in palliative medicine.In order to further intensify the joint research in the consortium, an “advisory board for collaborative research” was established at this year’s meeting. The board consists of the assessment coordinators and the designated persons with the qualification of a Master of Medical Education (MME) from the UCAN partner faculties (see figure 2 ). Further strengthen collaborative quality assuranceDuring the workshop “Quality Assurance with the Help of Faculty Reports and the Standardization of Evaluation Methods” under the guidance of Dr. Andreas Möltner (UCAN) and Dr. Irmgard Streitlein-Böhme (Freiburg), participants discussed how the shared exam platform ItemManagementSystem (IMS) can be utilized for collaborative quality assurance. Besides discussing the existing features, the participants also made suggestions for an easier graphical overview of the test statistics as well as a longitudinal comparison of cohorts with the help of a graphical display. In order to further improve the quality of the +200.000 items stored in the database, Dr. Tobias Raupach (Göttingen) conducted a training session titled “Good MC Questions with the Help of the IMS Review and the Blueprinting System”, in which examiners and item authors were trained how to write good MC questions and how the reliability and validity of exams could be enhanced with the IMS quality assurance functions.One slot was dedicated to an open exchange for the German Chambers of Physicians (Ärztekammern) organized in UCAN. One of the main topics was how the participating chambers could use the integrated IMS review system for their quality assurance requirements. In the workshop “Competency-based Student Progress Test” under the guidance of Stefan Wagener (Heidelberg) and Felicitas Eckrich (UCAN), students had the chance to give feedback on the recently conducted progress test and how the student feedback after the test could be improved. The Student Progress Test is a format in which specially trained students create and review the exam content themselves. To generate test questions, “subject groups” (based on the medical licensure act, ÄAppO) and “competency areas” (based on the NKLM) were combined to create a two-dimensional blueprint. Large interest in tablet-based examsIn various technical workshops, the UCAN Partners could learn more about the latest technical developments and new features of the UCAN Tools. During one session, participants learned how to efficiently use the new features of the Examinator for running their post-exam evaluation and test statistics as well as how to use the integrated scanner tool “EDGAR”. In another session, the new features of the IMS were presented, especially how items can be authored with the completely redesigned item editor. Dr. Manfred Herrmann from the University Medical Center Göttingen also gave a presentation on how they plan, prepare and conduct desktop computer-based electronic exams with the UCAN Tool “Campus”. During these sessions, the developers also got important feedback from the users as to how the system could be further improved. One of the most-frequented events of this year's conference was the workshop “Conducting Exams on Tablet Computers” under the guidance of Jörn Heid (UCAN). Apart from the new features of the well-established tOSCE app for tablet-based OSCEs, the UCAN developer team also presented the new app “tEXAM”: with this app, Partners can deliver MCQ exams created with the IMS on tablet computers. Various partners gave a presentation on their first experiences with this new app. In addition to the 15 partners that already use tOSCE, many more partners have announced that they want to switch from paper-based checklists to tOSCE for their practical exams (see figure 3 ). 6 new partners join UCANIn the plenary, six new partners that have recently joined UCAN gave a short presentation about their assessment programs:The Medical Faculty of the University of Halle is now a full UCAN partner and uses the ItemManagementSystem for various exams at their institution.With the Karl Landsteiner University of Health Sciences, a second institution from Austria joined the network. The medical specialist society Foederatio Chirurgicorum Helvetica (fmch) joined UCAN in 2014 and uses the IMS for its Basisexamen Chirurgie.The Swiss Society Oto-Rhino-Laryngology (ORL) also joined UCAN last year and uses the IMS for its MCQ exam. The Schweizer Gesellschaft für Intensivmedizin (SGI) conducts its joint exam with the European Society for Intensive Care Medicine (ESICM) with the help of UCAN Tools. The societies use the IMS, tOSCE and the Examinator for an exam held simultaneously in eight different European cities.With the Touchtstone Institute form Toronto (Canada), UCAN also welcomes its first Partner from North America. The biggest medical assessment center of its kind in Canada assesses internationally educated health professionals (nurses, doctors, optometrists) for their readiness for the residency programs in the state of Ontario. 10th anniversary meeting next year in HeidelbergThe partners meeting concluded with a final plenary session, in which the main results of the conference were summarized. The final documentation of the conference can be obtained from the UCAN office on request.Next year's conference will be the 10th anniversary of UCAN and is going to be held in Heidelberg. More information on the meeting as well as on the medical assessment consortium UCAN can be found at www.ucan-assess.org. TextAm 9. und 10. Februar 2015 fand an der Universitätsmedizin Göttingen das 8. Partnertreffen des medizinischen Prüfungsverbundes Umbrella Consortium for Assessment Networks (UCAN) statt. Bei UCAN sind über 60 Institutionen aus 7 Ländern organisiert, um sich gegenseitig bei der Erstellung und dem Austausch von Prüfungsinhalten, der Qualitätssicherung sowie der Weiterentwicklung ihrer Prüfungen zu unterstützen. Das diesjährige Treffen stand unter dem Motto „Zukunftsperspektiven für kompetenzorientiertes und qualitätsgesichertes Prüfen im Verbund“. Über 80 Teilnehmer aus den Partnerfakultäten sowie Gäste aus weiteren Institutionen tauschten sich in 12 Workshops intensiv über kompetenzorientierte Prüfungskonzeption, Qualitätssicherung für medizinische Prüfungen sowie über die gemeinsam genutzten Softwaretools aus. In Zukunft soll die gemeinsame Prüfungsforschung durch die Gründung eines Beirates für die konzeptionelle Zusammenarbeit weiter verstärkt werden, um so die aktuellen Herausforderungen im Bereich medizinischer Prüfungen (Umsetzung des Nationalen Kompetenzbasierten Lernzielkatalogs in der Medizin, Empfehlungen des Wissenschaftsrates) effektiv zu bewältigen. Wandel in der Prüfungskultur gemeinsam produktiv begegnen„Non scholae, sed vitae discimus“ – nicht für die Schule, sondern für das Leben lernen wir. Mit diesem Leitsatz erinnerte der Göttinger Studiendekan Prof. Dr. Gerhard Burckhardt zu Beginn des 8. UCAN Partnertreffens die Teilnehmer daran, dass Prüfungen kein Selbstzweck sein sollten. Mit seinem Plädoyer für mehr Praxisorientierung in Prüfung und Lehre unterstrich er das Hauptaugenmerk des Treffens, das in diesem Jahr auf praxisnahen, kompetenzorientierten und qualitätsgesicherten Prüfungen lag (siehe Abbildung 1 ).Dieses Thema hat aktuell einen hohen Stellenwert: In der Medizin ist seit einigen Jahren ein Wandel in der Prüfungskultur weg von reinem Faktenwissen hin zu beruflich benötigten Kompetenzen zu verzeichnen. Dieser wird nun erneut durch den 2015 verabschiedeten Nationalen Kompetenzbasierten Lernzielkatalog Medizin (NKLM) und die aktuellen Empfehlungen des Wissenschaftsrates untermauert, was jedoch auch eine große Herausforderung für die (bundesdeutschen) Fakultäten darstellt. Die übergeordnete Frage für die Präsentationen und Workshops des Partnertreffens lautete daher: Wie kann dieser Wandel in der Prüfungskultur unter Berücksichtigung begrenzter Ressourcen bei Einhaltung der gebotenen Qualität produktiv gestaltet werden? Prüfungskonzeption und Forschung im Verbund intensivierenViele Workshops und Präsentationen waren entsprechend darauf ausgerichtet, im Rahmen des Verbunds gemeinsam Antworten für diese Herausforderungen zu entwickeln. Im Workshop „Konzeption gemeinsamer OSCE-Stationen“ unter der Leitung von Dr. Iris Schleicher (Gießen) und Jasmina Sterz (Frankfurt) wurden von den Partnern erste Standards für die Erstellung und interfakultäre Nutzung gemeinsamer OSCE-Stationen erstellt. Außerdem wurde damit begonnen, in Kleingruppen anhand der entwickelten Standards exemplarisch je eine OSCE-Station zum Thema „Appendizitis“ und „Kniegelenk“ zu entwickeln. Während des Workshops wurden außerdem einige Problemfelder benannt, in denen noch weiterer Klärungsbedarf besteht. Diese betrafen zum Beispiel die unterschiedliche Stationsdauer oder das Benutzen verschiedener Checklisten. Im Workshop „Entwicklung eines kompetenzorientierten Prüfungsprogramms in der Palliativmedizin“ unter der Leitung von Dr. Bernd Alt-Epping (Göttingen), Benjamin Ilse (Göttingen), Prof. Dr. Jana Jünger (UCAN) und Stephanie Seidemann (Heidelberg), wurde ein kompetenzorientiertes Gesamtprüfungskonzept für den Querschnittsbereich 13 erarbeitet, welches den Konsens von allen Teilnehmenden gefunden hat. Für dessen Implementierung erscheint eine interfakultäre Kooperation unerlässlich, um derzeit noch existierende Hürden zu überwinden (wie zum Beispiel die geringe Stundenkapazität in der Lehre oder kaum etablierte Lehr- und Prüfungsformate für die Vermittlung einer palliativmedizinischen Haltung). In einem Folgeworkshop wurde dann in Arbeitsgruppen an konkreten Formaten zur Überprüfung kommunikativer Kompetenzen in der Palliativmedizin gearbeitet.Um die gemeinsame konzeptionelle Arbeit im Verbund in Zukunft noch weiter zu intensivieren, wurde auf der Konferenz außerdem ein Beirat für die konzeptionelle Zusammenarbeit ins Leben gerufen, der aus den Prüfungskoordinatoren und Personen mit der Qualifikation eines „Master of Medical Education“ an den Partnerfakultäten bestehen soll (siehe Abbildung 2 ).Kooperative Qualitätssicherung voranbringenIm Workshop „Qualitätssicherung durch Prüfungsbericht und Standardisierung der Auswertung“ unter der Leitung von Dr. Andreas Möltner (UCAN) und Dr. Irmgard Streitlein-Böhme (Freiburg) diskutierten die Teilnehmer, wie die gemeinsam genutzte Softwareplattform ItemManagementSystem (IMS) die Qualitätssicherung bei der Prüfungsauswertung und die Fakultätsberichte noch besser unterstützen könnte. Neben Vorschlägen für die bessere Darstellung der Teststatistik soll die Validität der Prüfungen mehr ins Zentrum rücken und in Zukunft ein longitudinaler Kohortenvergleich anhand einer grafischen Darstellung möglich sein. Um die Qualität der über 200.000 Prüfungsfragen im Fragenpool zukünftig weiter zu verbessern, wurde im Prüfertraining von Dr. Tobias Raupach (Göttingen) unter dem Titel „Gute MC-Fragen mit IMS-Review und Blueprint“ trainiert, wie gute MC-Fragen formuliert werden können und wie die Reliabilität und Validität von Prüfungen mit Hilfe des Review-Systems im IMS erhöht werden kann.Ein weiterer Slot im Bereich kooperative Qualitätssicherung wurde als offener Austausch für die in UCAN organisierten Ärztekammern genutzt. Hier wurde unter anderem darüber diskutiert, wie es gelingen kann, dass die teilnehmenden Ärztekammern aus Qualitätssicherungsgründen das im IMS integrierte Review-System vermehrt nützen. Im Workshop „studentischer kompetenzorientierter Progresstest“ unter der Leitung von Stefan Wagener (Heidelberg) und Felicitas Eckrich (UCAN) konnten Studierende Rückmeldung zum letzten Progresstest geben und Vorschläge erarbeiten, wie das Feedback nach dem Test weiter verbessert werden könnte. Beim studentischen kompetenzorientierten Progresstest handelt es sich um einen Test, bei dem die Prüfungsfragen von dafür qualifizierten Studierenden selbst erstellt und gereviewt werden. Zur Erstellung der Fragen wurden „Fächergruppen“ (basierend auf der Approbationsordnung für Ärzte ÄAppO) und „Kompetenzbereiche“ (basierend auf dem Nationalen Kompetenzbasierten Lernzielkatalog Medizin, NKLM) zu einem zweidimensionalen Blueprint kombiniert.Prüfungen auf Tablets immer beliebterIn verschiedenen Workshops aus dem Bereich „Technik“ wurden außerdem die neuen Features der gemeinsamen Softwareplattform und der weiteren UCAN Tools vorgestellt. So wurden die Teilnehmer in den Neuerungen beim Prüfungsauswertungstool Examinator und bei der Scannersoftware Klaus geschult und lernten, Fragen mit Hilfe des neuen Item-Editors in das IMS einzugeben. Dabei konnte das Entwicklerteam konstruktive Vorschläge für die weitere Verbesserung der Softwaretools mitnehmen. Anhand einer exemplarischen elektronisch durchgeführten Prüfung (e-Prüfung) präsentierte Dr. Manfred Herrmann außerdem, wie an der Universitätsmedizin Göttingen desktopbasierte e-Prüfungen durchgeführt werden.Eine der am besten besuchten Veranstaltungen im Technikbereich war ein Workshop unter der Leitung von Jörn Heid (UCAN), in dem die UCAN Tools zur Durchführung von Prüfungen auf Tablets vorgestellt und diskutiert wurden. Neben den Weiterentwicklungen bei der seit 2 Jahren produktiv eingesetzten App „tOSCE“ für tabletbasierte OSCE Prüfungen wurde auch die neu entwickelte App „tEXAM“ vorgestellt. Mit dieser App können mit dem IMS konzipierte schriftliche Prüfungen auf Tablets durchgeführt werden. Einzelne Partner berichteten von ihren Erfahrungen beim Einsatz der neuen App. Neben den 15 Fakultäten, die tOSCE bereits einsetzen, möchten in Zukunft noch mehr Fakultäten ihre OSCEs mithilfe von tabletbasierten Checklisten durchführen (siehe Abbildung 3 ).6 weitere Institutionen treten UCAN bei Auf der Konferenz wurden außerdem die Partner vorgestellt, die 2014 dem Verbund beigetreten sind:Die medizinische Fakultät der Uni Halle ist nun fester Vertragspartner und setzt das IMS für verschiedene medizinische Klausuren ein. Mit der Karl-Landsteiner-Privatuniversität für Gesundheitswissenschaften aus Krems (Österreich) ist nun die zweite österreichische Universität Mitglied im Verbund. Die Fachgesellschaft Foederatio Chirurgicorum Helvetica (fmch) ist seit 2014 Mitglied und verwendet das IMS für das Basisexamen Chirurgie.Die schweizerische Fachgesellschaft Oto-Rhino-Laryngology (ORL) ist ebenfalls letztes Jahr zu UCAN gestoßen und führt zunächst MC-Prüfungen mit dem IMS durch.Die Schweizerische Gesellschaft für Intensivmedizin (SGI) führt ihr gemeinsames Examen mit der European Society for Intensive Care Medicine (ESICM) mithilfe von UCAN Tools durch. Für die Prüfung, die gleichzeitig an mehreren Orten innerhalb Europas durchgeführt wird, werden das IMS, tOSCE und der Examinator eingesetzt.Mit dem Touchtstone Institute aus Toronto (Kanada) begrüßt UCAN außerdem den ersten Partner aus Nordamerika. Das größte Medical Assessment Center Kanadas prüft für den Bundesstaat Ontario die „internationally educated health professionals (IEHPs)“, z.B. Ärzte und medizinisches Pflegepersonal mit einem Abschluss außerhalb Kanadas.Zehnjähriges Jubiläumstreffen 2016 in HeidelbergDas Treffen endete mit einem gemeinsamen Abschlussplenum, in dem noch einmal die wesentlichen Ergebnisse der Konferenz zusammengefasst wurden. Auf Anfrage können Informationen zu den behandelten Themen auch externen Interessenten zugängig gemacht werden. Im nächsten Jahr wird das UCAN Treffen wieder in Heidelberg stattfinden und ganz im Zeichen des zehnjährigen Verbundjubiläums stehen. Weitere Informationen zu dem Treffen sowie zum Prüfungsverbund finden Sie unter www.ucan-assess.org. Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben. 0

1 1 Figure 1: Prof. Dr. Gerhard Burckhardt, study dean at the University Medical Center Göttingen, delivering the keynote speech at the meeting. Abbildung 1: Studiendekan Prof. Dr. Gerhard Burckhardt bei der Eröffnungsrede der Konferenz

2 2 Figure 2: Plenary session at the 8th UCAN partners meeting. Abbildung 2: Plenum des 8. UCAN Partnertreffens

3 3 Figure 3: Registration desk in the lounge of the University Medical Center Göttingen. Abbildung 3: Registrierung für die Konferenz im Foyer der Universitätsmedizin Göttingen

3 0 0