zma001281 10.3205/zma001281 urn:nbn:de:0183-zma0012811 article Artikel Longitudinale Curriculumsentwicklung: Sukzessive Optimierung am Beispiel eines Biochemieseminars Schneider Schneider Achim A

Ulm University, Institute for Biochemistry and Molecular Biology, Ulm, Germany

Universität Ulm, Institut für Biochemie und Molekulare Biologie, Ulm, Deutschland

achim.schneider@uni-ulm.de author Kühl Kühl Michael M

Ulm University, Institute for Biochemistry and Molecular Biology, Ulm, Germany

Universität Ulm, Institut für Biochemie und Molekulare Biologie, Ulm, Deutschland

michael.kuehl@uni-ulm.de author Kühl Kühl Susanne J. SJ

Ulm University, Institute for Biochemistry and Molecular Biology, Albert-Einstein-Allee 11, D-89081 Ulm, GermanyUlm University, Institute for Biochemistry and Molecular Biology, Ulm, Germany

Universität Ulm, Institut für Biochemie und Molekulare Biologie, Albert-Einstein-Allee 11, 89081 Ulm, DeutschlandUniversität Ulm, Institut für Biochemie und Molekulare Biologie, Ulm, Deutschland

susanne.kuehl@uni-ulm.de author German Medical Science GMS Publishing House

Düsseldorf

610 curriculum development course development vertical integration competence orientation inverted classroom flipped classroom biochemistry quality management Curriculumsentwicklung Lehrveranstaltungsentwicklung vertikale Integration Kompetenzorientierung Inverted Classroom Flipped Classroom Biochemie Qualitätsmanagement Curriculum Development Curriculumsentwicklung 20190519 20190819 20190909 20191115 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 2366-5017 36 6 GMS Journal for Medical Education GMS J Med Educ 73 Zielsetzung: Der Masterplan Medizinstudium 2020 rückt curriculare Entwicklungsprozesse weiter in den Vordergrund. Aber auch institutsintern kann es Gründe wie z.B. schlecht ausfallende Evaluationen geben, die eine Optimierung von Lehrveranstaltungen nahelegen. Häufig stehen jedoch für umfassende Weiterentwicklungen nicht die notwendigen Ressourcen bereit. Mit der vorliegenden Studie wollen wir anhand eines Biochemie-Seminars des vorklinischen Studienabschnitts des Regelstudiengangs der Humanmedizin in Ulm exemplarisch zeigen, wie die Optimierung einer Lehrveranstaltung in kleinen Schritten gelingen kann und Evaluationsergebnisse zur Qualitätssicherung herangezogen werden können.Methodik: In Anlehnung an einen kontinuierlichen Verbesserungsprozess (KVP) wurde ein Biochemie-Seminar über fünf Jahre hinweg in drei Zyklen Schritt für Schritt weiterentwickelt. Dabei wurden strukturelle, methodische und inhaltliche Komponenten, wie vertikale Integration, die Inverted Classroom-Methode und Kompetenzorientierung eingesetzt. Zur Qualitätssicherung wurden die offiziellen und standardisierten Evaluationsbögen von insgesamt N=1248 Studierenden herangezogen. Anhand einzelner Evaluationsfragen, die in verschiedene Kategorien wie „Organisation, Struktur, Aufbau“ oder „Didaktische Umsetzung“ gegliedert sind, Freitextangaben sowie anhand von Ergebnissen einer parallel durchgeführten Pilotstudie wird die Weiterentwicklung differenziert bewertet und die Nützlichkeit von Evaluationsergebnissen herausgearbeitet.Ergebnisse: Jeder Entwicklungsschritt führte auf Studierendenseite zu einer signifikant positiveren Gesamtbewertung des Seminars. Dieses Ergebnis ist unabhängig davon, ob die Entwicklung auf struktureller oder methodisch-inhaltlicher Ebene stattfand. Darüber hinaus finden sich signifikant bessere Bewertungen derjenigen Kategorien, die weiterentwickelt wurden. So geht beispielsweise die vertikale Integration sowie die Einführung der Inverted Classroom-Methode mit einer besseren Bewertung der „Didaktischen Umsetzung“ einher und die strukturelle Veränderung führte schließlich zu einer Verbesserung der Kategorie „Organisation, Struktur, Aufbau“. Ein Abgleich mit den Freitexten der Evaluationsbögen sowie mit den Ergebnissen der Pilotstudie unterstützt die Ergebnisse.Schlussfolgerung: Wenngleich die Weiterentwicklung eines Curriculums oder einer Lehrveranstaltung eine große Aufgabe ist, so kann diese auch erfolgreich in kleinen Schritten erfolgen. Auf diesem Weg ist es möglich, kontinuierlich neue Lernziele, wie z.B. im Masterplan Medizinstudium 2020 gefordert, zu integrieren, und die Zufriedenheit der Studierenden bezüglich einer Lehrveranstaltung zu erhöhen. Studentische Evaluationsergebnisse können in diesem Prozess als eine Art der Qualitätssicherung genutzt werden und wichtige Impulse zur Weiterentwicklung geben. Objective: The Master Plan for Medical Studies 2020 places additional emphasis on curricular development processes. In addition, institutes may recognize a need to optimize their courses, for example because of poor evaluations. Frequently, however, the resources required for comprehensive optimizations are not available. In the present study, we aimed to use the example of a biochemistry seminar that takes place in the preclinical part of the medical degree at Ulm University Medical School to show how a course can be successfully optimized in small steps and evaluation results can be used for quality assurance.Methods: Similar to a continuous improvement process (CIP), over the course of five years a biochemistry seminar was gradually optimized in three steps. This process used structural, methodological, and content components, such as vertical integration, the inverted classroom method, and competence orientation. For quality assurance, we analyzed the official, standardized evaluation sheets from a total of n=1248 students. We evaluated the optimization process on the basis of responses to evaluation statements that were arranged into categories such as “organization, structure, implementation” and “quality of teaching,” free text information, and the results of a pilot study conducted in parallel. We then determined the usefulness of the students’ evaluation results for evaluating the optimization process.Results: Each developmental step resulted in a significantly more positive overall evaluation of the seminar by the students. This result was independent of whether the development was on a structural or methodological/content-related level. In addition, the evaluations of the categories that were optimized were significantly better. For example, the vertical integration and introduction of the inverted classroom method were accompanied by a better evaluation of the “quality of teaching” and a change in the structure led to a higher score in the category “organization, structure, implementation.” A comparison with the free text evaluation sheets and the results of the pilot study supports the results.Conclusion: Although optimization of a curriculum or course is a major task, it can also be successfully completed in small steps. With this approach, new learning goals, for example as required in the Master Plan for Medical Studies 2020, can be continuously integrated and student satisfaction with a course can be increased. Student evaluation results can represent a kind of quality assurance in this process and can provide important impulses for optimization. 1. IntroductionEfforts are being made on both the national and international level to optimize medical education (see , , , , [http://www.nklm.de]). The Federal Government of Germany also wants to redesign medical education and, within the framework of its coalition agreement , is pursuing the implementation of the “Master Plan for Medical Studies 2020,” (MM2020), which was adopted in 2017 . The MM2020 calls for more practical relevance by linking clinical and theoretical content, teaching communication skills, and testing and continuously improving competence-oriented teaching formats.The German Medical Faculty Association created the National Competence-based Catalogue of Learning Objectives in Medicine [http://www.nklm.de] with the aim of facilitating the optimization of their curricula and, at the same time, creating a uniform basis. The catalogue includes learning objectives regarding both the roles of physicians as medical experts, communicators, and team members and physician-patient interactions, among other things.Institutes may also have their own reasons for optimizing a course, such as poor evaluation results, for example.In view of the current developments, every faculty, institute, and person responsible for teaching is faced with the challenge of adapting the curriculum or their own courses to future requirements. There are several ways to do this, but as a rule not all adaptations can be implemented as a one-time innovation, for example because the necessary resources are not available or comprehensive changes entail too much risk.One possibility to implement comprehensive developments, however, is to establish subgoals and realize them one by one, thus gradually moving closer to achieving the overall goal. This method of small steps is used in a similar form in quality management (continuous improvement process [CIP] ).The advantage of using this approach when optimizing courses is that the first steps can be undertaken with limited resources, thus ensuring the capacity to act. It also makes it easier to identify and correct minor developments that do not produce the desired result. To structure the process, one can use models for curriculum development (e.g. Kern’s six-step approach ) or quality assurance (e.g. PDCA/PDSA cycle ) also within the small steps. Similarly, small steps can be planned and implemented in the sense of best evidence medical education (BEME) , .1.1 ObjectiveTo evaluate whether the method of small steps can be successfully applied to optimize a course, we implemented the method in a biochemistry seminar that takes place in the preclinical part of the medical degree at Ulm University Medical School.The changes to the seminar that were implemented between the winter semester (WS) 2012/13 and summer semester (SS) 2017 were changing the scheduling of the seminar, vertical integration, changing the teaching concept, and integrating competence-oriented learning objectives. Apart from the change in scheduling of the seminar, these changes met some of the requirements of the MM2020.We studied the following questions related to these changes:Can a course be successfully optimized in small steps?Are official evaluation measures collected as part of faculty quality management suitable for depicting an optimization in small steps? 1. EinleitungAuf nationaler wie internationaler Ebene gibt es Bemühungen, die medizinische Ausbildung weiterzuentwickeln (vgl. , , , , [http://www.nklm.de]). Auch die Bundesregierung möchte das Medizinstudium umgestalten und verfolgt im Rahmen ihres Koalitionsvertrags die Umsetzung des in 2017 verabschiedeten "Masterplan Medizinstudium 2020" (MM2020) . In diesem werden u.a. mehr Praxisnähe durch die Verknüpfung klinischer und theoretischer Inhalte, die Vermittlung kommunikativer Kompetenzen sowie die Erprobung und Weiterentwicklung kompetenzorientierter Lehrformate gefordert.Mit dem Ziel, den Fakultäten die Weiterentwicklung ihrer Curricula zu erleichtern und gleichzeitig eine einheitliche Basis zu schaffen, hat der Medizinische Fakultätentag (MFT) den Nationalen Kompetenzbasierten Lernzielkatalog Medizin (NKLM) [http://www.nklm.de] erstellt. Enthalten sind darin u.a. Lernziele zu den Arztrollen als medizinischer Experte, als Kommunikator und als Mitglied eines Teams sowie zur ärztlichen Gesprächsführung.Aber auch institutsintern kann es Gründe geben, wie bspw. schlecht ausfallende Evaluationsergebnisse, die die Weiterentwicklung einer Lehrveranstaltung (LV) nahelegen.In Anbetracht der aktuellen Entwicklungen steht jede Fakultät, jedes Institut und jede lehrverantwortliche Person vor der Herausforderung, das Curriculum bzw. die eigenen LV an zukünftige Anforderungen anzupassen. Hierfür gibt es verschiedene Möglichkeiten, jedoch lassen sich in der Regel nicht alle Anpassungen im Rahmen einer einmaligen Innovation umsetzen, da z.B. notwendige Ressourcen nicht zur Verfügung stehen oder allumfassende Veränderungen mit einem zu großen Risiko einhergehen.Eine Möglichkeit, umfassende Weiterentwicklungen dennoch vorzunehmen besteht darin, Teilziele aufzustellen und diese schrittweise umzusetzen, so dass mit jedem Schritt eine Annäherung an das Gesamtziel stattfindet. Diese Methode der kleinen Schritte wird in ähnlicher Form auch im Rahmen des Qualitätsmanagements (kontinuierlicher Verbesserungsprozess (KVP) ) angewandt.Der Vorteil dieses Vorgehens bei der Weiterentwicklung von LV kann darin gesehen werden, dass bereits mit begrenzten Ressourcen erste kleine Schritte unternommen werden können und somit die Handlungsfähigkeit gewährleistet ist. Auch können kleinere Weiterentwicklungen, die nicht zum gewünschten Ergebnis führen, leichter als solche identifiziert und korrigiert werden. Zur Strukturierung lassen sich auch innerhalb von Teilschritten Modelle zur Curriculumsentwicklung (z.B. Kern-Zyklus ) bzw. der Qualitätssicherung (z.B. PDCA-/PDSA-Zyklus ) anwenden. Ebenso können Teilschritte im Sinne von best evidence medical education (BEME) , geplant und durchgeführt werden.1.1 ZielsetzungUm zu überprüfen, ob die Methode der kleinen Schritte erfolgreich auf die Weiterentwicklung einer LV angewendet werden kann, haben wir diese auf ein vorklinisches Biochemie-Seminar des Regelstudiengangs Humanmedizin in Ulm angewendet.Weiterentwicklungen, die an der LV zwischen dem Wintersemester (WS) 2012/13 und dem Sommersemester (SS) 2017 vorgenommen wurden, betreffen die zeitliche Verlegung des Seminars, die vertikale Integration, die Veränderung des Lehrkonzepts und die Einbindung kompetenzorientierter Lernziele. Außer der Verlegung des Seminars gehen die genannten Veränderungen auf die Forderungen durch den MM2020 ein.Folgende Fragestellungen wurden bei der schrittweisen Weiterentwicklung untersucht:Gelingt die Weiterentwicklung einer LV in kleinen Schritten?Sind Maße der offiziellen Evaluation, die im Rahmen des fakultären Qualitätsmanagements erhoben werden, geeignet, um kleinschrittige Weiterentwicklungen abzubilden? 2. Methods2.1 Course to be optimized and starting positionThe optimization in small steps was implemented in the “Integrated Seminar” at the Medical Faculty in Ulm, which – as stated Section 2, Paragraph 2 of the German Medical Licensing Regulations for Physicians – is a compulsory seminar on biochemistry for medical students in the pre-clinical part of their degree. Sixteen groups of 20 students were assigned to the biochemistry seminar in each year of the study period (2012 to 2017). Depending on the year, five to seven different experienced lecturers taught the seminar, whereby each group of students was led by only one lecturer (see for details). During the study, a total of 11 different lecturers were responsible for teaching the seminar, five of them only occasionally: these five lecturers taught only 12 of the 96 seminar groups over the course of the study (in 2012, 2013, 2016, 2017), while the remaining 84 seminar groups were taught by the remaining six lecturers.In the WS 2012/13 seminar, students gave presentations on the principles of biochemistry (e.g. DNA, transcription, translation, and proteins) and the respective lecturer moderated the presentations. The teaching focused on the learning of facts, was neither student nor competence oriented and was scheduled at the end of the 3rd semester, directly after a work-intensive course.2.2 Building blocks for optimizing the seminarFigure 1 illustrates the optimization of the seminar in the respective periods.Structural changesTo better coordinate the curriculum (temporal proximity of lecture and seminar), in the SS 2013 the biochemistry seminar was moved from the end of the 3rd semester to the end of the second semester. In SS 2015, it was moved again to the middle of the second semester.Vertical integrationOne way to increase the practical relevance of the preclinical part of the degree is to include clinical content, an approach that is also referred to as “vertical integration”. Besides increasing the vividness of basic science content and in turn its relevance, vertical integration supports the development of students’ clinical decision-making competence , .In the SS 2013, the principles of biochemistry were taught on the basis of the clinical presentation of Osteogenesis imperfecta, Ehlers-Danlos syndrome, and scurvy to illustrate the relevance of the topics. This change also contributed to fulfilling the MM2020’s requirements for more practical relevance and learning objectives of the National Competence-based Catalogue of Learning Objectives in Medicine (e.g. the doctor as a medical expert, Learning goal 5.2.1.1). In SS 2017, the examples of disease presentations were enhanced (see for details).The inverted classroom method (ICM)The ICM is a blended learning method in which students initially acquire factual knowledge on their own (self-learning phase). This creates space in the subsequent presence phase for students to apply, analyze and synthesize the learned content in the group and with the lecturer , . According to the revised taxonomy of Bloom , this approach enables a higher cognitive learning process. The ICM can also be used for competence-oriented teaching and to increase student motivation .The ICM therefore allows the MM2020 requirements to be met for a competence-oriented design of medical education and for the testing and continuous improvement of corresponding teaching formats. The concrete design of the ICM used here was successfully piloted in the SS 2016 (see for details) and was introduced for all seminar groups in SS 2017.Communication skillsIn recent decades, communication skills have become a key aspect of medical education. Studies and consensus papers on, ideas about, and models for integrating communicative skills into a curriculum have been published demonstrating the efficacy of communication skills training , , , , . The teaching of communication skills is also a key element of MM2020.After a successful pilot study in SS 2016 (see for details), in the SS 2017 learning objectives from the National Competence-based Catalogue of Learning Objectives in Medicine regarding communication in a team, with colleagues and with laypeople were integrated into all seminar groups in the form of role-playing games and tasks for preparing oral examination scenarios.2.3 Data collection and analysisFor the analyses, we used data that had been collected voluntarily and anonymously from students on the official, standardized evaluation forms of the Medical Faculty Ulm for the periods WS 2012/13 to SS 2017. We analyzed the interval-scale data for the categories “organization, structure, implementation of the seminar,” “commitment to teaching of the lecturers,” and “quality of teaching in the seminar”; each of these categories consisted of three evaluation statements that were rated on a Likert-type scale ranging from 1=“does not apply at all” to 6=“fully applies” (see table 1 ). In addition, we evaluated the overall evaluation of the seminar, which had been assessed on a Likert-type scale ranging from 1=“very good” to 6=“insufficient”, and the responses to the dichotomous question whether there was a “need for action to optimize the seminar.”We also quantified free texts: As part of the evaluation, students can express praise in one free text field and criticism in another. Positive or negative free texts in the respective free text fields were counted and summed for each period of time. Negative free texts in the free text field for praise were not included and vice versa, and neutral free texts were not evaluated. Representative free texts are quoted in suitable places below, and more example free texts can be found in the attachment 1 .Because there were no significant differences between the data from the years between which the seminar was not changed (see figure 1 ), the respective data were pooled. Differences between the periods in which changes were made were tested by analyses of variance without repeated measurements, and individual values were compared with the post hoc test Tukey’s HSD. Changes in the “need for action” and the quantified free texts were analyzed by chi-square tests. Differences with a p-value < 0.05 were considered significant and relevant. All analyses were performed with IBM SPSS Statistics for Windows .The Ethics Committee of the University of Ulm considered it unnecessary to submit an official application. 2. Methoden2.1 Gegenstand der Weiterentwicklung und AusgangslageDie Weiterentwicklung in kleinen Schritten wurde anhand des Integrierten Seminars nach §2, Abs. 2 ÄAppO durchgeführt, welches eine Pflichtveranstaltung für Studierende der Humanmedizin im vorklinischen Studienabschnitt ist. Für das Biochemie-Seminar wurden an der Medizinischen Fakultät Ulm im Untersuchungszeitraum 2012 bis 2017 für jedes Jahr 16 Gruppen á 20 Studierende eingeteilt. Je nach Jahr unterrichteten fünf bis sieben unterschiedliche und erfahrene Lehrpersonen, wobei eine Studierendengruppe von jeweils nur einer Lehrperson angeleitet wurde (Details siehe ). Im Untersuchungszeitraum waren insgesamt elf verschiedene Lehrpersonen für die Begleitung der Veranstaltung verantwortlich, wobei fünf der Lehrpersonen jeweils nur vereinzelt eingesetzt wurden. Im Detail unterrichteten diese fünf Personen über den gesamten Untersuchungszeitraum (2012, 2013, 2016, 2017) lediglich 12 der insgesamt 96 Seminargruppen, wohingegen die restlichen 84 Seminargruppen von den anderen sechs Dozierenden angeleitet wurden.Zum WS 2012/13 wurden im Seminar Referate zu biochemischen Grundlagen (z.B. DNA, Transkription, Translation und Proteine) durch Studierende gehalten und durch die jeweiligen Lehrpersonen ergänzend moderiert. Der Unterricht konzentrierte sich auf das Erlernen von Fakten, war weder studierenden- noch kompetenzorientiert und fand am Ende des 3. Semesters direkt im Anschluss an einen arbeitsintensiven Kurs statt.2.2 Bausteine zur SeminarweiterentwicklungAbbildung 1 veranschaulicht die Seminarweiterentwicklung der jeweiligen Zeiträume.Strukturelle VeränderungenUm das Curriculum besser abzustimmen (zeitliche Nähe von Vorlesung und Seminar), wurde das Biochemie-Seminar zum SS 2013 vom Ende des 3. an das Ende des 2. Semesters verlegt. Eine weitere Verlegung erfolgte zum SS 2015 in den Verlauf des 2. Semesters.Vertikale IntegrationEin Weg zu mehr Praxisnähe im vorklinischen Studienabschnitt lässt sich über den Einbezug klinischer Inhalte realisieren, was auch als vertikale Integration bezeichnet wird. Neben der Erhöhung der Anschaulichkeit basiswissenschaftlicher Inhalte und damit verbunden der Relevanz unterstützt die vertikale Integration die Entwicklung der klinischen Entscheidungsfindungskompetenz bei Studierenden , .Zum SS 2013 wurden die biochemischen Grundlagen anhand der Krankheitsbilder Osteogenesis imperfecta, Ehlers-Danlos-Syndrom und Skorbut vermittelt, um die Relevanz des Themas zu verdeutlichen. Auch wird dadurch der Forderung des MM2020 nach mehr Praxisnähe sowie Lernzielen des NKLM (z.B. die Ärztin und der Arzt als medizinische/-r Experte/-in, Lernziel 5.2.1.1) nachgegangen. Zum SS 2017 wurden die Beispiele zu den Krankheitsbildern geschärft (Details siehe ).Die Inverted Classroom-Methode (ICM)Die ICM ist eine Blended Learning-Methode, bei der sich Studierende in einer ersten Phase Faktenwissen aneignen (Selbstlernphase). In den dadurch geschaffenen Freiräumen der darauffolgenden Präsenzphase können Studierende die gelernten Inhalte in der Gruppe und mit der Lehrperson anwenden, analysieren und synthetisieren , . Der überarbeiteten Taxonomie von Bloom folgend wird dadurch ein höherer kognitiver Lernprozess ermöglicht. Auch bietet sich die ICM an, kompetenzorientiert zu lehren und die Motivation von Studierenden zu steigern .Die ICM ermöglicht es daher, den Forderungen des MM2020 nach einer kompetenzorientierten Ausgestaltung der ärztlichen Ausbildung sowie der Erprobung und Weiterentwicklung entsprechender Lehrformate nachzukommen. Die konkrete Ausgestaltung der verwendeten ICM wurde im SS 2016 erfolgreich pilotiert (Details siehe ) und zum SS 2017 für alle Gruppen des Seminars eingeführt.Kommunikative KompetenzenKommunikative Kompetenzen wurden in den letzten Jahrzehnten zu einem zentralen Aspekt der medizinischen Ausbildung. Studien, Konsens-Papiere, Konzepte und Modelle, um kommunikative Kompetenzen in ein Curriculum einzubeziehen, wurden entsprechend beschrieben und belegen die Wirksamkeit von Trainings zu kommunikativer Kompetenz , , , , . Die Vermittlung kommunikativer Kompetenzen ist auch ein Kernpunkt des MM2020.Zum SS 2017 wurden Lernziele des NKLM zur Kommunikation im Team, mit Fachkollegen und mit Laien für alle Seminargruppen in Form von Rollenspielen sowie Aufgaben zur Vorbereitung mündlicher Prüfungsszenarien eingebunden, nachdem diese im SS 2016 erfolgreich pilotiert wurden (Details siehe ).2.3 Datenerhebung und -auswertungFür die Analysen wurden freiwillig und anonym erhobene Daten der offiziellen und standardisierten Evaluationsbögen der Medizinischen Fakultät Ulm für die Zeiträume WS 2012/13 bis SS 2017 eingeholt.Ausgewertet wurden intervallskalierte Daten zu den Kategorien „Organisation, Struktur, Aufbau der LV“, „Lehrengagement der beteiligten Dozierenden“ und „Didaktische Umsetzung der LV“, die sich jeweils aus drei Evaluationsfragen (siehe Tabelle 1 ) zusammensetzen. Zusätzlich wurde die „Gesamtbewertung der LV als Schulnote“ sowie der dichotom erfragte „Handlungsbedarf bezüglich einer Optimierung der LV“ herangezogen.Außerdem wurden Freitexte quantifiziert: Studierende haben innerhalb der Evaluation die Möglichkeit, über ein Freitextfeld Lob auszusprechen sowie über ein weiteres Freitextfeld Kritik zu äußern. Positive bzw. negative Freitexte der jeweils dafür vorgesehenen Freitextfelder wurden für die einzelnen Zeiträume ausgezählt und aufsummiert. Negative Freitexte im Freitextfeld für Lob wurden nicht berücksichtigt und vice versa, neutrale Freitexte wurden nicht ausgewertet. Repräsentative Freitexte sind an geeigneten Stellen aufgeführt, weitere exemplarische Freitexte finden sich im Anhang 1 .Da zwischen den Daten der einzelnen Jahre, zwischen denen keine Veränderung an der LV vorgenommen wurde (siehe Abbildung 1 ), keine signifikanten Unterschiede festgestellt wurden, wurden entsprechende Daten zusammengefasst. Unterschiede zwischen den Zeiträumen, in denen Veränderungen vorgenommen wurden, wurden mittels Varianzanalysen ohne Messwiederholung, Einzelvergleiche mit dem post-hoc Test Tukey-HSD geprüft. Veränderungen zum „Handlungsbedarf“ sowie zu den quantifizierten Freitexten wurden mittels Chi-Quadrat-Tests analysiert. Unterschiede ab einem p-Value <0.05 wurden als signifikant und bedeutsam betrachtet. Alle Analysen wurden mit der Software IBM SPSS Statistics for Windows durchgeführt.Die Ethikkommission der Universität Ulm erachtete einen offiziellen Antrag als nicht notwendig. 3. Results3.1 Evaluations in WS 2012/13The analysis of the evaluations in WS 2012/13 found that students often did not recognize the relevance of the basic topics (quote: “It might be better to link the presentations to certain diseases, to make the relevance clearer [...]”) and were dissatisfied with the communication of facts through presentations by their fellow students (quote: “20 presentations in a row is simply not effective [..]”). This is also reflected in the relatively low scores in the categories “commitment to teaching” and “quality of teaching,” as well as in the “overall evaluation” (see figure 2 and figure 3 ). Because of the large number of presentations and the scheduling of the seminar at the end of the 3rd semester, the motivation during and satisfaction with the seminar were low (quote: “At the end of the really exhausting 3rd semester, it was just ‘get this over with, too ...’“). The majority of free texts (91.5%) were negative (see figure 4 ).3.2 Evaluations in SS 2013 and 2014Moving the seminar to the end of the 2nd semester did not result in any significant difference in the area of “organization, structure, implementation” (p= 0.998; see figure 2 , point A). Hints as to why not were apparent from the following free texts: “Why now? After the semester is ‘over’?”; “[...] then parallel to the psych course [...].”On the other hand, after the vertical integration of clinical diseases the evaluations of “commitment to teaching” and “quality of teaching” improved significantly (see figure 2 , points B and C), which was also expressed in some free texts, for example: “It was good that the lecturer tried to explain what we did not understand by using practical examples.” There was also a significant improvement in the “need for action” (see figure 2 , point D) and the “overall evaluation” (see figure 3 ). The proportion of negative free texts decreased to 77.2% (see figure 4 ).3.3 Evaluations in SS 2015 and 2016After moving the seminar to the middle of the second semester, the scores for “organization, structure, implementation” increased significantly (see figure 2 , point A). There were also only a few critical free texts about the scheduling of the seminar and significant improvements in both the “need for action” (see figure 2 , point D) and the “overall evaluation” (see figure 3 ). The negative free texts decreased further to 66.5% (see figure 4 ).An analysis of the free texts found that there were still some criticisms: Poor motivation and concentration (quote: “The topics are complicated, and it’s difficult to concentrate for four hours”); poor learning atmosphere (quote: “[...] did not manage to create a positive learning atmosphere at any of the sessions [...]”); unclear learning objectives (quote: “[...] because I could not see any relevance for exams or the like.”).3.4 Evaluations in SS 2017The introduction of ICM and the communication-related learning objectives were associated with significant increases in the areas of “organization, structure, implementation,” “commitment to teaching,” and “quality of teaching” (see figure 2 , points A-C). There were also significant improvements in the “need for action” and “overall evaluation” (see figure 2 , point D and figure 3 ). The proportion of negative free texts decreased to 43.8% (see figure 4 ). The following free text is representative of frequent statements about the ICM: “I love this model! Should also be extended to other seminars! The time requirement is almost the same, but the learning is much more productive!” 3. Ergebnisse3.1 Evaluationsergebnisse WS 2012/13Die Analyse der Evaluationsergebnisse des WS 2012/13 zeigte, dass Studierende die Relevanz der grundlagenorientierten Themen häufig nicht erkannten (Zitat: „Es wäre vielleicht besser die Referate an bestimmten Krankheiten aufzuhängen, sodass die Relevanz klarer wird […]“) und mit der Faktenvermittlung über Referate ihrer Mitstudierenden unzufrieden waren (Zitat: „20 Referate am Stück sind einfach nicht effektiv [..]“). Dies drückt sich auch in den relativ niedrigen Skalenwerten in den Kategorien „Lehrengagement“ und „Didaktische Umsetzung“ sowie in der „Gesamtbewertung“ aus (siehe Abbildung 2 und Abbildung 3 ). Durch die hohe Anzahl an Referaten und den Zeitpunkt des Seminars am Ende des 3. Semesters war die Motivation in und die Zufriedenheit mit dem Seminar gering (Zitat: „Am Ende des wirklich kräftezehrenden 3. Semesters war es nur noch 'das halt auch noch rumbekommen...'“). 91,5% der Freitexte fielen negativ aus (siehe Abbildung 4 ).3.2 Evaluationsergebnisse SS 2013 und 2014Die Verlegung des Seminars ans Ende des 2. Semesters führte im Bereich „Organisation, Struktur, Aufbau“ zu keinem signifikanten Unterschied (p= 0.998; siehe Abbildung 2 , Punkt A). Hinweise hierfür gaben folgende Freitexte: „Warum zu diesem Zeitpunkt? Nachdem das Semester ‚gelaufen‘ ist?“, „[…] dann noch parallel zum Psycho-Kurs […]“.Demgegenüber stiegen mit der vertikalen Integration klinischer Krankheitsbilder die Bewertungen zu „Lehrengagement“ und „Didaktische Umsetzung“ signifikant an (siehe Abbildung 2 , Punkt B und Punkt C), was auch durch Freitexte zum Ausdruck kommt: „Gut war, dass die Dozentin versuchte, nicht Verstandenes mit praktischen Beispielen zu erklären.“ Ebenso zeigte sich eine signifikante Verbesserung bzgl. des „Handlungsbedarfs“ (siehe Abbildung 2 , Punkt D) und der „Gesamtbewertung“ (siehe Abbildung 3 ). Der Anteil negativer Freitexte verringerte sich auf 77,2% (siehe Abbildung 4 ).3.3 Evaluationsergebnisse SS 2015 und 2016Nach einer erneuten Verlegung des Seminars in den Verlauf des 2. Semester stiegen die Bewertungen für „Organisation, Struktur, Aufbau“ signifikant an (siehe Abbildung 2 , Punkt A). Auch gab es nur vereinzelt kritische Freitexte zur zeitlichen Verortung des Seminars. Hinsichtlich des „Handlungsbedarfs“ (siehe Abbildung 2 , Punkt D) sowie der „Gesamtbewertung“ (siehe Abbildung 3 ) zeigten sich ebenfalls signifikante Verbesserungen. Die negativen Freitexte verringerten sich weiter auf 66,5% (siehe Abbildung 4 ).Eine Analyse der Freitexte ergab weiterhin bestehende Kritikpunkte: niedrige Motivation und Konzentration (Zitat: „Die Themen sind kompliziert und es ist schwierig vier Stunden konzentriert zu sein“), unbefriedigende Lernatmosphäre (Zitat: „[…] bei keinem der Termine […] eine positive Lernatmosphäre […]“), unklare Lernziele (Zitat: „[…] da jegliche Relevanz für Klausuren o. ä. nicht erkenntlich war.“).3.4 Evaluationsergebnisse SS 2017Die Einführung der ICM und der Lernziele zur Kommunikation gingen mit signifikanten Anstiegen in den Bereichen „Organisation, Struktur, Aufbau“, „Lehrengagement“ und „Didaktische Umsetzung“ einher (siehe Abbildung 2 , Punkte A-C). Auch bzgl. des „Handlungsbedarfs“ sowie der „Gesamtbewertung“ zeigten sich signifikante Verbesserungen (siehe Abbildung 2 , Punkt D und Abbildung 3 ). Der Anteil negativer Freitexte verringerte sich auf 43,8% (siehe Abbildung 4 ). Folgender Freitext steht stellvertretend für häufige Aussagen hinsichtlich der ICM: „Finde dieses Modell super! Sollte auch auf andere Seminare ausgebaut werden! Der Zeitaufwand ist fast derselbe, aber das Lernen sehr viel produktiver!“. 4. Discussion4.1 Baseline situation (WS 2012/2013)The poor overall evaluation and the clear need for action in the evaluation of the WS 2012/13 formed the starting point for the optimization of the seminar. An analysis of the free texts revealed worthwhile steps that could be taken, illustrating the usefulness of student evaluations.4.2 First step (SS 2013 and 2014)Moving the seminar to an earlier time in the semester did not affect the student evaluation of “organization, structure, implementation.” A good explanation for this finding is that the move resulted in the seminar competing with another course and that part of the problem, i.e. the scheduling at the end of the semester, had not been solved. Another explanation is related to the sensitivity of this category and is discussed in more detail below (section 4.3).The improvements in the areas of “commitment to teaching” and “quality of teaching” and the declining proportion of critical free texts were at least partly due to the vertical integration of clinical aspects, which is apparent from the free texts. Studies have shown that vertical integration can have a positive effect on motivation and the depth of understanding , . Lecturers may have been subconsciously sensitized to these issues through the change to the seminar, which in turn could have affected the evaluation results, particularly in the area of “commitment to teaching.” The respective proportion of these effects (vertical integration or sensitization) cannot be clarified on the basis of the available data. This also applies to the improvement of the overall evaluation, although this evaluation gives a positive general impression of the first step.4.3 Second step (SS 2015 and 2016)The rather minor improvement in the area of “organization, structure, implementation” can be attributed to the fact that the evaluation statements on the category were based less on the scheduling of the seminar in the curriculum and more on the organizational aspects of the seminar (see table 1 ). In the free texts, there was only occasional criticism about the scheduling, so we did not change it again. Taken together, the overall evaluation, the decrease in the need for action, and the proportion of critical free texts indicated that the change was positive.4.4 Third step (SS 2017)After the introduction of the ICM and the associated structural change in the seminar, the evaluation in the area of “organization, structure, implementation” further improved significantly. This finding is in line with other studies, which also found that students have a positive perception of the organizational structure of ICM , .The ICM was able to address most of the outstanding needs regarding methodological and teaching aspects. The pilot study of the ICM in the SS 2016 showed that the ICM and the associated involvement of other teaching elements can clarify the relevance of the learning content and increase motivation . The finding in the present study that this effect was also reflected in the categories “commitment to teaching” and “quality of teaching” was also supported by the results of the pilot study: This controlled intervention study found positive changes in the underlying evaluation statements of these categories within the same cohorts, just as we did here between different cohorts . These observations are consistent with the results of other studies, which described more intensive learning and increased motivation as a result of the ICM , . Because both the seminar content and method were optimized, it is not possible to further differentiate between individual effects on “commitment to teaching” and “quality of teaching.”Overall, the improvement in the overall evaluation, the decrease in the need for action and the increase in positive free texts demonstrate that the third step was successful.4.5 Method of small stepsIn our opinion, the optimization of the biochemistry seminar in small steps was successful, even though each individual step, for example the first change in the scheduling of the seminar, did not directly result in an improvement. However, the associated reasons could be easily identified and, in the next step, eliminated, allowing an improvement to be achieved. The advantage of the method is apparent in the small-step approach, which allows relatively simple adjustments to be made. Evidence-based teaching methods can also be integrated into this approach and, if adapted to the local conditions, might lead to more or stronger positive effects.4.6 Suitability of student evaluationsThe validity of student evaluations can be viewed critically . Nevertheless, the data presented here show that student evaluations can be used to depict optimization of a course in small steps, at least to a limited extent. For example, the student evaluations of “organization, structure, implementation” did not change between WS 2012/13 and SS 2013, but they did between the SS 2014 and SS 2015. It is also necessary to draw attention to their limits, however. For example, we could only evaluate the SS 2017 results on “commitment to teaching” and “quality of teaching” in a more differentiated way in association with the results of the pilot study. In the same way, we could only largely rule out effects of the cohort by comparing the results of the pilot study, which was performed within one cohort, with those of the current study. The usefulness of evaluation results also depends on how differentiated the inquiry is, as the discussion on the second development step shows.4.7 LimitationsThe present study focused on student evaluations. Thus, it could not describe the extent to which the optimization had an impact on learning performance. However, the evaluation of learning success on the basis of multiple choice questions in the pilot study indicated non-inferiority of the final step .The WS 2012/13 sample showed a high degree of variability between some evaluation time points (see figure 2 ), which may have had an impact on the results. We attribute this variability to the high dissatisfaction with the format of the seminar at that time, which may have led students to not respond to the statements on “quality of teaching.” A further limitation may be the change in lecturers over the seminar optimization period. Because only one eighth (12 of 96) of the groups were affected, the various lecturers had comparable qualifications, and the changes happened in several different years and were not made with the aim to improve the seminar, however, we do not think it likely that the changes had a significant impact on the results. On the other hand, the continuous improvement in the evaluation results, despite personnel changes, could also be interpreted in favor of a lecturer-independent optimization of the seminar. 4. Diskussion4.1 Ausgangslage (WS 2012/2013)Die schlecht ausfallende Gesamtbewertung sowie der deutliche Handlungsbedarf der Evaluation des WS 2012/13 bildeten den Ausgangspunkt für die Weiterentwicklung des Seminars. Eine Analyse der Freitexte zeigte hierfür lohnenswerte Schritte auf was die Nützlichkeit studentischer Evaluationen verdeutlicht.4.2 Erster Teilschritt (SS 2013 und 2014)Die Vorverlegung des Seminars zeigte keine Auswirkung auf die studentische Bewertung zu „Organisation, Struktur, Aufbau“. Dieser Umstand kann gut dadurch erklärt werden, dass sich durch die Vorverlegung eine Konkurrenzsituation zu einer anderen LV ergab und ein Teilproblem, die zeitliche Verortung am Ende des Semesters, weiterhin bestand. Eine weitere Erklärung bezieht sich auf die Sensitivität dieser Skala und wird weiter unten ausgeführt (Kap. 4.3).Die Verbesserungen in den Bereichen „Lehrengagement“ und „Didaktik“ sowie der rückläufige Anteil an kritikbezogenen Freitexten kann zumindest teilweise auf die vertikale Integration klinischer Aspekte zurückgeführt werden, was durch die Freitexte verdeutlicht wird. Dass sich vertikale Integration positiv auf Motivation und ein tieferes Verständnis auswirken können, wurde durch Studien belegt , . Eine Sensibilisierung der beteiligten Lehrpersonen, die durch die Weiterentwicklung des Seminars unbewusst angestoßen worden sein könnte, könnte ebenfalls Effekte auf die Evaluationsergebnisse gehabt haben, besonders im Bereich „Lehrengagement“. Anhand der vorliegenden Daten lässt sich der jeweilige Anteil dieser Effekte (vertikale Integration oder Sensibilisierung) nicht klären. Dies gilt auch für die Verbesserung der Gesamtbewertung, die jedoch den ersten Teilschritt insgesamt positiv erscheinen lässt.4.3 Zweiter Teilschritt (SS 2015 und 2016)Die eher gering ausfallende Verbesserung im Bereich „Organisation, Struktur, Aufbau“ kann darauf zurückgeführt werden, dass die Evaluationsfragen der Skala weniger auf eine Verortung des Seminars im Curriculum als mehr auf die organisatorischen Aspekte innerhalb der LV abzielen (siehe Tabelle 1 ). Innerhalb der Freitexte trat Kritik bzgl. einer ungünstigen Verortung nur noch vereinzelt auf, so dass wir diesen Punkt nicht mehr änderten. Die Gesamtbewertung, die Abnahme des Handlungsbedarfs sowie des Anteils kritischer Freitexte zeigen eine positive Entwicklung.4.4 Dritter Teilschritt (SS 2017)Mit Einführung der ICM und der damit einhergehenden strukturellen Veränderung innerhalb der LV verbesserte sich die Evaluation im Bereich „Organisation, Struktur, Aufbau“ nochmals deutlich. Dies steht im Einklang mit anderen Studien, die ebenfalls eine positive studentische Wahrnehmung des organisatorischen Aufbaus der ICM beobachten , .Durch die ICM konnte ein Großteil des noch offenen Bedarfs hinsichtlich methodischer und didaktischer Aspekte adressiert werden. Die Pilotierung der ICM im SS 2016 zeigte, dass durch die ICM und die damit einhergehende Einbindung weiterer didaktischer Elemente die Relevanz der Lerninhalte verdeutlicht sowie die Motivation gesteigert werden kann . Dass sich dies auch auf den Skalen zu „Lehrengagement“ und „Didaktische Umsetzung“ für die vorliegende Studie ausdrückt, wird von den Ergebnissen der Pilotstudie gestützt. In dieser kontrollierten Interventionsstudie wurden positive Veränderungen bzgl. der zugrundeliegenden Evaluationsfragen dieser Skalen innerhalb derselben Kohorte, wie sie hier zwischen unterschiedlichen Kohorten für die Skalen bestehen, belegt . Diese Beobachtungen stimmen mit Ergebnissen anderer Studien überein, die ein intensiveres Lernen sowie eine Motivationssteigerung durch die ICM beschreiben , . Da sowohl die Inhalte der LV als auch die Methode weiterentwickelt wurden, ist eine differenziertere Aussage bzgl. einzelner Effekte zu „Lehrengagement“ und „Didaktische Umsetzung“ nicht möglich.Insgesamt zeigen die Verbesserung der Gesamtbewertung, der Rückgang des Handlungsbedarfs sowie die Zunahme positiver Freitexte, dass der dritte Entwicklungsschritt gelungen ist.4.5 Methode der kleinen SchritteWir betrachten die Weiterentwicklung des Biochemie-Seminars in kleinen Schritten als erfolgreich, wenn auch nicht jeder Einzelschritt direkt zu einer Verbesserung führte wie z.B. die erste Verlegung des Seminars. Die Gründe hierfür konnten jedoch leicht ausgemacht, im nächsten Schritt ausgeräumt und somit eine Verbesserung herbeigeführt werden. Der Vorteil der Methode zeigt sich hier im kleinschrittigen Vorgehen, welches eine relativ einfache Adjustierung ermöglicht. Hierdurch können auch evidenzbasierte Lehrmethoden eingebunden, diese an die Bedingungen vor Ort angepasst und so positive Effekte besser genutzt werden.4.6 Eignung studentischer EvaluationenStudentische Evaluationen können bzgl. ihrer Validität durchaus kritisch betrachtet werden . Dennoch zeigen die hier vorgestellten Daten, dass sich kleinschrittige Weiterentwicklungen an einer LV zumindest in eingeschränkter Weise dadurch abbilden lassen. Die ausbleibende Veränderung zwischen dem WS 2012/13 und dem SS 2013 zu „Organisation, Struktur, Aufbau“ sowie die entsprechende Veränderung zwischen dem SS 2014 und dem SS 2015 sei hier exemplarisch genannt. Es muss aber auch auf die Grenzen dieser Daten hingewiesen werden. So konnten die Ergebnisse des SS 2017 zu „Lehrengagement“ und „Didaktische Umsetzung“ erst im Zusammenhang mit den Ergebnissen der Pilotstudie differenzierter bewertet werden. Ebenso konnte erst der Abgleich zwischen den Ergebnissen des Pilots, der innerhalb einer Kohorte durchgeführt wurde, mit denen der vorliegenden Studie genutzt werden, um Kohorteneffekte weitestgehend auszuschließen. Die Nützlichkeit von Evaluationsergebnissen hängt auch von der Differenziertheit der Abfrage ab, wie die Diskussion zum zweiten Weiterentwicklungsschritt zeigt.4.7 LimitationenDie vorliegende Studie konzentriert sich auf studentische Evaluationen. Inwieweit sich die Weiterentwicklungen auf die Lernleistung ausgewirkt haben, konnte hier nicht dargestellt werden. Die Überprüfung des Lernerfolgs anhand von MC-Fragen innerhalb des Pilots deuten jedoch stellvertretend für den letzten Entwicklungsschritt eine Nichtunterlegenheit an .Die Stichprobe des WS 2012/13 zeigt stellenweise eine hohe Variabilität (siehe Abbildung 2 ), die sich auf die Ergebnisse ausgewirkt haben könnte. Wir führen diese Variabilität auf die hohe Unzufriedenheit mit der damaligen Seminarform zurück und einer damit verbundenen Auslassung vorwiegend der Fragen zur „Didaktischen Umsetzung“.Eine weitere Einschränkung könnte sich aus den Wechseln einzelner Lehrpersonen über den Entwicklungszeitraum ergeben. Da insgesamt allerdings nur ein Achtel (12 von 96) der Gruppen hiervon betroffen war, die wechselnden Lehrpersonen vergleichbare Qualifikationen besaßen und der Wechsel in mehreren unterschiedlichen Jahren und nicht aus Optimierungsgründen vollzogen wurde, halten wir einen bedeutsamen Einfluss auf die Ergebnisse für unwahrscheinlich. Andererseits könnte die kontinuierliche Verbesserung der Evaluationsergebnisse trotz Personalwechsel auch zu Gunsten einer Dozierenden-unabhängigen Weiterentwicklung des Seminars interpretiert werden. 5. ConclusionIn summary, the present study shows how a course can be continuously developed in small steps to the benefit of the students. It is thereby noteworthy that each optimization of the various aspects of a course, such as structural, content- and teaching-related, and methodological characteristics, can help to improve student satisfaction. Thus, different approaches can be used, depending on the local conditions.Not every change has to result in a significant improvement. Nevertheless, the experiences and student evaluations can be used for further optimizations and thus small steps can together lead to significant improvements. This approach is particularly suitable when little time or few resources are available to implement major innovations. In this way, necessary and required developments, such as those of the MM2020, can be addressed in an evidence-based approach and medical students can thus be better prepared for the clinical phase of their education and future demands. 5. SchlussfolgerungZusammenfassend zeigt die vorliegende Studie, wie eine LV kontinuierlich in kleinen Schritten für die Studierenden lohnenswert weiterentwickelt werden kann. Bemerkenswert dabei ist, dass die Weiterentwicklung der unterschiedlichen Aspekte wie struktureller, inhaltlich-didaktischer und methodischer Merkmale jeweils für sich dazu beitragen können, die Zufriedenheit der Studierenden zu erhöhen. Zur LV Entwicklung bieten sich so, je nach Möglichkeiten vor Ort, unterschiedliche Herangehensweisen an.Nicht jede Veränderung muss zu einer bedeutsamen Verbesserung führen. Dennoch können die Erfahrungen und studentische Evaluationen für Weiterentwicklungen genutzt werden und so kontinuierlich kleine Schritte in der Summe zu bedeutsamen Verbesserungen führen. Dieses Vorgehen bietet sich gerade dann an, wenn wenig Zeit oder Ressourcen zur Verfügung stehen, um große Innovationen umzusetzen. So können erforderliche und geforderte Entwicklungen wie z.B. die des MM2020 adressiert werden, dabei evidenzbasiert vorgegangen und so Studierende besser auf den klinischen Studienabschnitt sowie auf die zukünftigen Anforderungen vorbereitet werden. AcknowledgementWe would like to thank the Dean of Studies of the Faculty of Medicine of the University of Ulm and the lecturers and students of the seminar. DanksagungBedanken möchten wir uns beim Studiendekanat der Medizinischen Fakultät der Universität Ulm sowie bei den Dozierenden und Studierenden des Seminars. Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben. Irby DM Cooke M O'Brien BC Calls for reform of medical education by the Carnegie Foundation for the Advancement of Teaching: 1910 and 2010 2010 Acad Med 220-227 Irby DM, Cooke M, O'Brien BC. Calls for reform of medical education by the Carnegie Foundation for the Advancement of Teaching: 1910 and 2010. Acad Med. 2010;85(2):220-227. DOI: 10.1097/ACM.0b013e3181c88449 https://doi.org/10.1097/ACM.0b013e3181c88449 Wissenschaftsrat 2014 Empfehlungen zur Weiterentwicklung des Medizinstudiums in Deutschland auf Grundlage einer Bestandsaufnahme der humanmedizinischen Modellstudiengänge Wissenschaftsrat. Empfehlungen zur Weiterentwicklung des Medizinstudiums in Deutschland auf Grundlage einer Bestandsaufnahme der humanmedizinischen Modellstudiengänge. Dresden: Wissenschaftsrat; 2014. CDU CSU SPD 2013 Deutschlands Zukunft gestalten - Koalitionsvertrag zwischen CDU, CSU und SPD CDU; CSU; SPD. Deutschlands Zukunft gestalten - Koalitionsvertrag zwischen CDU, CSU und SPD. Rheinbach: Union Betriebs-GmbH; 2013. Zugänglich unter/available from: https://www.cdu.de/sites/default/files/media/dokumente/koalitionsvertrag.pdf https://www.cdu.de/sites/default/files/media/dokumente/koalitionsvertrag.pdf Bundesministerium für Bildung und Forschung (BMBF) 2017 Masterplan Medizinstudium 2020 Bundesministerium für Bildung und Forschung (BMBF). Masterplan Medizinstudium 2020. Beschlusstext. Berlin: Bundesministerium für Bildung und Forschung; 2017.Zugänglich unter/available from: https://www.bmbf.de/files/2017-03-31_Masterplan%20Beschlusstext.pdf https://www.bmbf.de/files/2017-03-31_Masterplan%20Beschlusstext.pdf Hambach J Czajkowski S Haase E Metternich J Tenberg R Der Weg zur kontinuierlichen Verbesserung 2015 Z Wirtschaft Fabrikbetr 196-200 Hambach J, Czajkowski S, Haase E, Metternich J, Tenberg R. Der Weg zur kontinuierlichen Verbesserung. Z Wirtschaft Fabrikbetr. 2015;110(4):196-200. DOI: 10.3139/104.111308 https://doi.org/10.3139/104.111308 Kern DE Thomas PA Hughes MT 2009 Curriculum development for medical education: a six-step approach Kern DE, Thomas PA, Hughes MT. Curriculum development for medical education: a six-step approach. 2nd ed. Baltimore: The Johns Hopkins University Press; 2009. Moen RD Norman CL Circling back 2010 Qual Prog 22 Moen RD, Norman CL. Circling back. Qual Prog. 2010;43(11):22. Harden M Grant J Buckley G Hart IR BEME Guide No. 1: Best evidence medical education 1999 Med Teach 553-562 Harden M, Grant J, Buckley G, Hart IR. BEME Guide No. 1: Best evidence medical education. Med Teach. 1999;21(6):553-562. DOI: 10.1080/01421599978960 https://doi.org/10.1080/01421599978960 Van Der Vleuten CP Dolmans DH Scherpbier AJ The need for evidence in education 2000 Med Teach 246-250 Van Der Vleuten CP, Dolmans DH, Scherpbier AJ. The need for evidence in education. Med Teach. 2000;22(3):246-250. DOI: 10.1080/01421590050006205 https://doi.org/10.1080/01421590050006205 Kühl SJ Toberer M Keis O Tolks D Fischer MR Kühl M Concept and benefits of the Inverted Classroom method for a competency-based biochemistry course in the pre-clinical stage of a human medicine course of studies 2017 GMS J Med Educ Doc31 Kühl SJ, Toberer M, Keis O, Tolks D, Fischer MR, Kühl M. Concept and benefits of the Inverted Classroom method for a competency-based biochemistry course in the pre-clinical stage of a human medicine course of studies. GMS J Med Educ. 2017;34(3):Doc31. DOI: 10.3205/zma001108 https://doi.org/10.3205/zma001108 Marston R The Robert-Wood-Johnson-Foundation Commission on Medical-Education-the Sciences of Medical-Practice, Summary Report 1992 J Am Med Assoc 1144-1145 Marston R. The Robert-Wood-Johnson-Foundation Commission on Medical-Education-the Sciences of Medical-Practice, Summary Report. J Am Med Assoc. 1992;268(9):1144-1145. DOI: 10.1001/jama.1992.03490090090022 https://doi.org/10.1001/jama.1992.03490090090022 Cooke M Irby D O'Brien B 2010 Carnegie Foundation for the Advancement of Teaching. Educating physicians: A Call for Reform of Medical School and Residency Cooke M, Irby D, O'Brien B. Carnegie Foundation for the Advancement of Teaching. Educating physicians: A Call for Reform of Medical School and Residency. Hoboken (NJ): John Wiley & Sons; 2010. Lage MJ Platt GJ Treglia M Inverting the classroom: A gateway to creating an inclusive learning environment 2000 J Econ Educ 30-43 Lage MJ, Platt GJ, Treglia M. Inverting the classroom: A gateway to creating an inclusive learning environment. J Econ Educ. 2000;31(1):30-43. DOI: 10.1080/00220480009596759 https://doi.org/10.1080/00220480009596759 Tolks D Schäfer C Raupach T Kruse L Sarikas A Gerhardt-Szép S Kllauer G Lemos M Fischer MR Eichner B Sostmann K Hege I An introduction to the inverted/flipped classroom model in education and advanced training in medicine and in the healthcare professions 2016 GMS J Med Educ Doc46 Tolks D, Schäfer C, Raupach T, Kruse L, Sarikas A, Gerhardt-Szép S, Kllauer G, Lemos M, Fischer MR, Eichner B, Sostmann K, Hege I. An introduction to the inverted/flipped classroom model in education and advanced training in medicine and in the healthcare professions. GMS J Med Educ. 2016;33(3):Doc46. DOI: 10.3205/zma001045 https://doi.org/10.3205/zma001045 Anderson LW Krathwohl DR 2001 A taxonomy for learning, teaching, and assessing: Arevision of Bloom's taxonomy of educational objectives Anderson LW, Krathwohl DR. A taxonomy for learning, teaching, and assessing: Arevision of Bloom's taxonomy of educational objectives. NewYork: Longman; 2001. Handke J Sperl A 2012 Das Inverted Classroom Model - Begleitband zur ersten deutschen ICM Konferenz Handke J, Sperl A. Das Inverted Classroom Model - Begleitband zur ersten deutschen ICM Konferenz. Oldenbourg: Oldenbourg Verlag; 2012. Aspegren K BEME Guide No. 2: Teaching and learning communication skills in medicine-a review with quality grading of articles 1999 Med Teach 563-570 Aspegren K. BEME Guide No. 2: Teaching and learning communication skills in medicine-a review with quality grading of articles. Med Teach. 1999;21(6):563-570. DOI: 10.1080/01421599978979 https://doi.org/10.1080/01421599978979 Kiessling C Dieterich A Fabry G Holzer H Langewitz W Mullinghaus M Pruskil S Scheffer S Schubert S Communication and social competency in medical education in German speaking countries: the Basel consensus statement. Results of a Delphi study 2010 Patient Educ Couns 259-266 Kiessling C, Dieterich A, Fabry G, Holzer H, Langewitz W, Mullinghaus M, Pruskil S, Scheffer S, Schubert S. Communication and social competency in medical education in German speaking countries: the Basel consensus statement. Results of a Delphi study. Patient Educ Couns. 2010;81(2):259-266. DOI: 10.1016/j.pec.2010.01.017 https://doi.org/10.1016/j.pec.2010.01.017 Bachmann C Abramovitch H Barbu CG Cavaco AM Elorza RD Haak R Loureiro E Ratajska A Silverman J Winterburn S Rosenbaum M A European consensus on learning objectives for a core communication curriculum in health care professions 2013 Patient Educ Couns 18-26 Bachmann C, Abramovitch H, Barbu CG, Cavaco AM, Elorza RD, Haak R, Loureiro E, Ratajska A, Silverman J, Winterburn S, Rosenbaum M. A European consensus on learning objectives for a core communication curriculum in health care professions. Patient Educ Couns. 2013;93(1):18-26. DOI: 10.1016/j.pec.2012.10.016 https://doi.org/10.1016/j.pec.2012.10.016 Chant S Randle J Russell G Webb C Communication skills training in health care: a review of the literature 2002 Nurse Educ Today 189-202 Chant S, Randle J, Russell G, Webb C. Communication skills training in health care: a review of the literature. Nurse Educ Today. 2002;22(3):189-202. DOI: 10.1054/nedt.2001.0690 https://doi.org/10.1054/nedt.2001.0690 Bachmann C Roschlaub S Harendza S Keim R Scherer M Medical students' communication skills in clinical education: Results from a cohort study 2017 Patient Educ Couns 1874-1881 Bachmann C, Roschlaub S, Harendza S, Keim R, Scherer M. Medical students' communication skills in clinical education: Results from a cohort study. Patient Educ Couns. 2017;100(10):1874-1881. DOI: 10.1016/j.pec.2017.05.030 https://doi.org/10.1016/j.pec.2017.05.030 IBM Corp 2017 Released 2017. IBM SPSS Statistics for Windows, Version 25 Armonk IBM Corp. Released 2017. IBM SPSS Statistics for Windows, Version 25 Armonk. New York: IBM Corp; 2017. Wilkerson L Abelmann WH Producing physician-scientists: a survey of graduates from the Harvard-MIT Program in Health Sciences and Technology 1993 Acad Med 214-218 Wilkerson L, Abelmann WH. Producing physician-scientists: a survey of graduates from the Harvard-MIT Program in Health Sciences and Technology. Acad Med. 1993;68(3):214-218. DOI: 10.1097/00001888-199303000-00014 https://doi.org/10.1097/00001888-199303000-00014 Dahle LO Brynhildsen J Fallsberg MB Rundquist I Hammar M Pros and cons of vertical integration between clinical medicine and basic science within a problem-based undergraduate medical curriculum: examples and experiences from Linköping, Sweden 2002 Med Teach 280-285 Dahle LO, Brynhildsen J, Fallsberg MB, Rundquist I, Hammar M. Pros and cons of vertical integration between clinical medicine and basic science within a problem-based undergraduate medical curriculum: examples and experiences from Linköping, Sweden. Med Teach. 2002;24(3):280-285. DOI: 10.1080/01421590220134097 https://doi.org/10.1080/01421590220134097 Ojennus DD Assessment of Learning Gains in a Flipped Biochemistry Classroom 2015 Biochem Molecular Biol Educ 20-27 Ojennus DD. Assessment of Learning Gains in a Flipped Biochemistry Classroom. Biochem Molecular Biol Educ. 2015;44:20-27. DOI: 10.1002/bmb.20926 https://doi.org/10.1002/bmb.20926 McLaughlin JE Griffin LM Esserman DA Davidson CA Glatt DM Roth MT Gharkholonarehe N Mumper RJ Pharmacy student engagement, performance, and perception in a flipped satellite classroom 2013 Am J Pharma Educ 196 McLaughlin JE, Griffin LM, Esserman DA, Davidson CA, Glatt DM, Roth MT, Gharkholonarehe N, Mumper RJ. Pharmacy student engagement, performance, and perception in a flipped satellite classroom. Am J Pharma Educ. 2013;77(9):196. DOI: 10.5688/ajpe779196 https://doi.org/10.5688/ajpe779196 Hessler M Pöpping DM Hollstein H Ohlenburg H Arnemann PH Massoth C Seidel LM Zarbock A Wenk M Availability of cookies during an academic course session affects evaluation of teaching 2018 Med Educ 1064-1072 Hessler M, Pöpping DM, Hollstein H, Ohlenburg H, Arnemann PH, Massoth C, Seidel LM, Zarbock A, Wenk M. Availability of cookies during an academic course session affects evaluation of teaching. Med Educ. 2018;52(10):1064-1072. DOI: 10.1111/medu.13627 https://doi.org/10.1111/medu.13627 11en1de

Table 1: Statistical parameters of each evaluation statement that make up the scales for evaluating the seminar: “Organization, structure, and implementation of the seminar,” “Commitment to teaching of the lecturers involved in the seminar,” and “Quality of teaching.” The evaluation statements were assessed on a Likert-type scale ranging from 1=“does not apply at all” to 6=“fully applies.” Evaluation data from the pilot project 2016 were not included in the analyses.

Tabelle 1: statistische Kennwerte zu einzelnen Evaluationsfragen (Items), die die Skalen „Organisation, Struktur und Aufbau der Lehrveranstaltung“, „Lehrengagement der an der Lehrveranstaltung beteiligten Dozierenden“ und „Didaktische Umsetzung“ der Evaluation des Seminars bilden. Die Evaluationsfragen wurden anhand einer Likert-Typ Skala von 1=„trifft gar nicht zu“ bis 6=„trifft völlig zu“ bewertet. Evaluationsdaten des Pilotprojekts 2016 wurden nicht in die Analysen mit aufgenommen.

1

1 1en 1de Figure 1: Schematic presentation of the changes to the curriculum between the winter semester 2012/2013 (WS 12/13) and the summer semester 2017 (SS 17). The sample for the analyses comprised 1248 medical students at the University of Ulm who participated in the seminar and completed an evaluation in the period WS 2012/13 to SS 2017. Abbildung 1: Schematische Darstellung der Curriculumsveränderungen im longitudinalen Verlauf vom Wintersemester 2012/2013 (WS 12/13) bis zum Sommersemester 2017 (SS 17). Die Stichprobe für die Analysen setzt sich aus 1248 Studierenden der Humanmedizin aus Ulm zusammen, die im Zeitraum vom WS 2012/13 bis SS 2017 am Seminar und an der Evaluation teilnahmen.

2 2en 2de Figure 2: A-C: Mean scores of the students’ evaluations on the respective scaleA: Organization, structure, implementation of the seminar; B: Commitment to teaching of the lecturers involved in the seminar; C: Quality of teaching in the seminar; Likert-type scale ranging from 1=“does not apply at all” to 6=“fully applies”.D: Proportion of students stating that there is no need for action regarding optimizing the seminar (in %). Abbildung 2: Punkt A-C: Mittelwerte der studentischen Evaluation zu den SkalenA: Organisation, Struktur, Aufbau der Lehrveranstaltung; B: Lehrengagement der beteiligten Dozierenden; C: Didaktische Umsetzung der Lehrveranstaltung; Likert-Typ Skala: von 1=„trifft gar nicht zu“ bis 6=„trifft völlig zu“Punkt D: studentische Angaben, dass kein Handlungsbedarf bezüglich einer Optimierung der Veranstaltung besteht (in %).

3 3en 3de Figure 3: Mean overall scores of the students’ evaluation of the “Integrated Seminar” rated on a Likert-type scale ranging from 1=“very good” to 6=“insufficient”. Abbildung 3: Mittelwerte der studentischen Evaluation zur Gesamtbewertung des „Integrierten Seminars“ (als Schulnote: 1=„sehr gut“ bis 6=„ungenügend“)

4 4en 4de Figure 4: Frequency of positive and negative free text comments at each evaluation time point. All differences between evaluation time points are significant (p<0.05 for each). Abbildung 4: Häufigkeit positiver und negativer Freitext-Kommentare zu den jeweiligen Messzeitpunkten. Unterschiede zwischen allen Messzeitpunkten sind signifikant (alle p<0.05)

4 0 1 1en 1de Excerpts of critical free text (anonymized) Freitextauszüge zur Kritik (anonymisiert) 1