zma000707 10.3205/zma000707 urn:nbn:de:0183-zma0007072 Forschungsarbeit research article Using the Progress Test Medizin (PTM) for evaluation of the Medical Curriculum Munich (MeCuM) Schmidmaier Schmidmaier Ralf R PD Dr. med.

Klinikum der Universität München, Medizinische Klinik Innenstadt, Schwerpunkt Medizindidaktik, Ziemssenstraße 1, D-80336 München, Deutschland, Tel.: +49 (0)89 5160-2351 od. -2111, Fax: +49 (0)89 5160-4410Klinikum der Universität München, Medizinische Klinik Innenstadt, Schwerpunkt Medizindidaktik, München, Deutschland

ralf.schmidmaier@med.lmu.de author Holzer Holzer Matthias M Dipl.-Ing.

Klinikum der Universität München, Medizinische Klinik Innenstadt, Schwerpunkt Medizindidaktik, München, Deutschland

matthias.holzer@lrz.uni-muenchen.de author Angstwurm Angstwurm Matthias M PD Dr. med.

Klinikum der Universität München, Medizinische Klinik Innenstadt, Schwerpunkt Medizindidaktik, München, Deutschland

matthias.angstwurm@med.uni-muenchen.de author Nouns Nouns Zineb Z

Charité - Universitätsmedizin Berlin, Dieter Scheffner Zentrum für medizinische Hochschullehre und evidenzbasierte Ausbildungsforschung, Progress Test Medizin, Berlin, Deutschland

zineb_miriam.nouns@charite.de author Reincke Reincke Martin M Prof. Dr. med.

Universität München (LMU), Medizinische Fakultät, Studiendekanat, München, Deutschland

sekretariat-reincke@med.uni-muenchen.de author Fischer Fischer Martin R. MR Prof. Dr. med. MME (Bern)

Private Universität Witten/Herdecke, Fakultät für Gesundheitsberufe, Institut für Didaktik und Bildungsforschung im Gesundheitswesen, Witten, Deutschland

martin.fischer@uni-wh.de author German Medical Science GMS Publishing House

Düsseldorf

610 Evaluation Progress Test Internal Medicine Knowledge Retention Evaluation Progress Test Innere Medizin erworbenes Wissen medicine Humanmedizin 20100329 20100810 20100820 20101115 germ engl 1860-3572 27 5 GMS Zeitschrift für Medizinische Ausbildung GMS Z Med Ausbild 70 Zielsetzung: Das Medizinische Curriculum München (MeCuM) wurde seit 2004 implementiert. Seit 2007 ist MeCuM im klinischen Studienabschnitt voll etabliert (Ende der Übergangsregelungen). Aktuell sollte MeCuM bezüglich der Nachhaltigkeit des im Modul 2 „Konservative Medizin“ (6./7. Semester) vermittelten Wissens evaluiert werden.Methodik: Im Sommersemester 2009 und Wintersemester 2009/2010 absolvierten 1065 Studierende den Progress Test Medizin (PTM). Zusätzlich beantworteten die Studierenden einen Fragebogen zur Akzeptanz und Bewertung des PTM sowie zu demographischen Basisdaten.Ergebnisse: Das Wissen „Konservative Medizin“ nimmt im klinischen Studienabschnitt kontinuierlich zu, wobei sich deutliche Unterschiede in den internistischen Subdisziplinen zeigen. Die Akzeptanz des PTM ist sehr hoch und nimmt im Studienverlauf zu. Praktische Erfahrungen (Famulatur) beeinflussen das Testergebnis signifikant.Schlussfolgerung: Mit dem PTM kann die Nachhaltigkeit erworbenen Wissens im Verlauf eines klinischen Curriculums evaluiert werden. Aims: The Medical Curriculum Munich (MeCuM) has been implemented since 2004 and was completely established in 2007. In this study the clinical part of MeCuM was evaluated with respect to retention of the knowledge in internal medicine (learning objectives of the 6th/7th semester). Methods: In summer of 2009 and winter of 2009/2010 1065 students participated in the Progress Test Medizin (PTM) from Charité Medical School Berlin. Additionally the students answered a questionnaire regarding the acceptance and rating of the progress test and basic demographic data. Results: The knowledge of internal medicine continuously increases during the clinical part of the medical curriculum in Munich. However, significant differences between the sub-disciplines of internal medicine could be observed. The overall acceptance of the PTM was high and increased further with the study progress. Interestingly, practical experiences like clinical clerkships positively influenced the test score. Conclusions: The PTM is a useful tool for the evaluation of knowledge retention in a specific curriculum. EinleitungProblemlageDas Ziel der ärztlichen Ausbildung ist die Vermittlung von praktischen Fähigkeiten sowie von nachhaltigem Fachwissen . Im Gegensatz zu bestehensrelevanten, summativen Abschlussprüfungen überprüft der formative Progress Test Medizin (PTM) spontan abrufbares, also nachhaltig gespeichertes Wissen, da sich die Studierenden nicht vorbereiten . Hauptziel von Progress-Tests ist das individuelle Feedback an die Studierenden . Die erhobenen Daten können jedoch auch hinsichtlich einer Curriculumsevaluation analysiert werden. Der Progress-Test ist ein verlässliches Instrument, das institutions- und länderübergreifend angewandt wird . In longitudinaler Anwendung (Analyse der Wissenszuwachskurven) können Progress-Tests zum Vergleich verschiedener Curricula bzw. curricularer Veränderungen dienen , , . Dabei ist die longitudinale Wissenszunahme der stabilere und reliablere Parameter als die Messung einzelner Bezugspunkte . In den bisherigen Untersuchungen wurde eine Längsschnitterhebung durchgeführt und der Zuwachs des Wissens gemessen , , , . Im Rahmen des vorliegenden Projektes an der Ludwig-Maximilians-Universität (LMU) München wurde eine Querschnittanalyse durchgeführt und die Nachhaltigkeit von erworbenem Wissen spezieller Fachgebiete – hier exemplarisch der „Konservativen Medizin“ – überprüft. Im klinischen Studienabschnitt des Medizinischen Curriculums München (MeCuM) werden die Studierenden nach einem gemeinsamen Semester zu Grundlagen der klinischen Medizin im 6. Semester auf die Module konservative und operative Medizin verteilt und tauschen im 7. Semester vice versa. Seit Abschaffung der Staatsexamensprüfung vor Beginn des Praktischen Jahres werden die Studierenden nach Erhalt der Leistungsnachweise Innere Medizin und Chirurgie bis zum 2. Abschnitt der Ärztlichen Prüfung am Ende des Studiums nicht mehr bezüglich ihres Wissens in diesen Fächern geprüft bzw. erhielten bisher diesbezüglich kein Feedback. Zum Sommersemester 2009 wurde an der LMU München der Progress Test Medizin der Charite Berlin eingeführt. Den Curriculumsplanern und Modulverantwortlichen des MeCuM war bis zu diesem Zeitpunkt nicht bekannt, wie der Verlauf des Wissens der einzelnen Fächer und Spezialdisziplinen aussieht, ob das Wissen wieder abnimmt, erhalten bleibt oder vielleicht sogar zunimmt.ZielDas Ziel der vorliegenden Arbeit war die Evaluation der Nachhaltigkeit des Wissens aus dem Modul „Konservative Medizin“ im MeCuM. FragestellungWie viel spontan abrufbares Wissen aus dem Lernzielkatalog des Moduls „Konservative Medizin“ erwerben die Studierenden der LMU tatsächlich und wie nachhaltig ist dieses Wissen im weiteren Verlauf des Studiums? Ist der PTM hilfreich für die Evaluation eines medizinischen Curriculums? IntroductionThe ProblemThe goal of medical education is to impart practical skills and knowledge enduringly . In contrast to summative examinations relevant to passing examinations, the formative Medicine Progress Test (MPT) examines spontaneously retrievable, and thus enduringly stored knowledge, because the students do not prepare . The main objective of progress tests is individual feedback to students . But the data can also be analysed with respect to curriculum evaluation. Progress testing is a reliable tool that is used across institutions and countries . Applied longitudinally (analysing knowledge growth curves), progress tests can compare various curricula or curricular changes , , . Here, longitudinal growth of knowledge is a more stable and reliable parameter than measuring of individual points of reference . In previous studies, a longitudinal survey was carried out and growth of knowledge measured , , , . As part of this project at the Ludwig-Maximilians-Universität (LMU) Munich, a cross-sectional analysis was performed and the permanence of acquired knowledge in specific technical topics checked. Here we analyse an example from “conservative medicine”. In the clinical part of the Medical Curriculum Munich (MeCuM), after a share semester on the basics of clinical medicine in the 6th semester, students are divided into two streams, one on conservative and one on surgical medicine and swap in the 7th semester. Since the abolition of the State Examination before the start of the Practical Year, once students have received their certificates in internal medicine and surgery, they will not be examined in these subjects until the Part 2 of the Medical Examinations at the end of their undergraduate studies and received no feedback regarding these subjects. The Medicine Progress Test used by the Charité Berlin was introduced at the LMU Munich in the 2009 summer semester. The curriculum planners and co-managers of MeCuM until then had not known how knowledge of the individual subjects and specialist disciplines was progressing, whether knowledge was regressing, was maintained or even increased.GoalsThe aim of this study was to evaluate the permanence of knowledge gained in the “Conservative Medicine” MeCuM module.ProblemHow big is the gain of spontaneously accessible knowledge in relation to the learning targets of the “Conservative medicine” module students at the LMU acquire and how enduring is this knowledge in the subsequent course of their studies? Is MPT helpful for the evaluation of a medical curriculum? MethodenProgress Test Medizin an der LMU MünchenAbbildung 1 zeigt das Rotationsverfahren der Studentenkohorten im MeCuM sowie die Messzeitpunkte. Die Studierenden aus Modul 1 werden auf die Modul 2 und 3 verteilt, die dann im folgenden Semester wechseln. Im dann folgenden Semester werden die Studierenden auf die Module 4 und 5 verteilt, die dann im folgenden Semester wechseln. In der ersten Semesterwoche der Sommersemester 2009 und Wintersemester 2009/2010 wurde an jeweils drei Messzeitpunkten im klinischen Studienabschnitt der PTM (http://ptm.charite.de) verpflichtend durchgeführt: T1: Beginn des Modul 2 („Konservative Medizin“; M2; Kohorten A+B), T2: Beginn des Modul 4 („Nervensystem und Sensorium“; M4; Kohorten C+D) und T3: während des Praktischen Jahres. In der PJ-Kohorte (T3; Kohorten E+F) wurden nur diejenigen Studierenden im Praktischen Jahr oder Modul 6 geprüft, die nicht im Ausland waren und beim Staatsexamensrepetitorium (LMU-StaR) angemeldet waren. LMU-StaR ist ein PJ-begleitendes fakultatives Blended-Learning-Konzept, das von der Mehrheit der Studierenden im PJ wahrgenommen wird. Eine Analyse der Basisdaten (Alter, Geschlecht, Abiturnote, Note des 1. Abschnitts der Ärztlichen Prüfung) zeigte, dass sich die LMU-StaR-Teilnehmer statistisch nicht signifikant von den restlichen PJ-Studierenden unterschieden. Über die beiden Semester verteilt wurden alle Studierenden des klinischen Studienabschnittes jenseits des Modul 1 genau einmal getestet (N=1065; SoSe09: T1=249, T2=202; T3=156; WiSe09/10: T1=197, T2=190, T3=71). Für die Auswertung wurden die Fragen des PTM durch den Verantwortlichen des Moduls 2 den Modulen des MeCuM, insbesondere dem Modul 2 „Konservative Medizin“ zugeordnet. Zudem erfolgte noch eine Aufgliederung der internistischen Subdisziplinen (Endokrinologie, Gastroenterologie, Infektiologie, Kardiologie, Nephrologie, Onkologie, Pneumologie, Rheumatologie) entsprechend dem Lernzielkatalog des Moduls 2. Unmittelbar im Anschluss an den PTM füllten die Studierenden einen Evaluationsbogen aus. Dieser umfasste zum einen Fragen zum PTM, zum anderen Fragen zur eigenen Person. Die Rücklaufquoten der Evaluation betrugen im SoSe09 T1=94%, T2=92%, T3=94%, im WiSe09/10 T1=79%, T2=82%, T3=89% (Mittelwert insgesamt 88,3%).StatistikDie statistische Auswertung und Erzeugung der Grafiken wurde in dem Open-Source Statistikpaket R (http://www.r-project.org) in der Version 2.9.0 sowie im Programm Microsoft Excel vorgenommen. Da für die Verteilung der Ergebnisse des PTM eine Normalverteilung gezeigt werden konnte, erfolgte die Berechnung der angegebenen Korrelationskoeffizienten nach Pearson. Weiter wurden zu den meisten erhobenen Variablen Mittelwert und Standardabweichung (SD) bestimmt. Die angegebenen p-Werte wurden bei vorliegender Normalverteilung mit einem t-Test ermittelt, ansonsten mit einem Wilcoxon-Rangsummentest. Für die Berechnung der Korrelation der PTM-Leistung mit Items des Fragebogens (Abitur, erstes Staatsexamen, Selbsteinschätzung etc.) wurde der Rangkorrelationskoeffizient Spearmans rho verwendet. Die Boxplots zeigen den Bereich zwischen dem 25% und 75% Perzentil, die Linie innerhalb der Box zeigt den Median an. Überschneiden sich die Einschnürungen (notches) zweier Gruppen nicht, ist der Unterschied signifikant. MethodsMedicine Progress Test at LMU MunichFigure 1 shows the rotation of student cohorts in MeCuM and the measurement time points. Students from Module 1 are distributed between Module 2 and 3, then swap in the following semester. The following semester, students are distributed among Modules 4 and 5, then swap the following semester. In the first week of the 2009 summer semester and 09/10 winter semester, the the PTM (http://ptm.charite.de/) was introduced obligatorily at three points in the clinical part of undergraduate studies: T1: start of Module 2 (“Conservative Medicine”, M2; cohorts A and B), T2: Start of Module 4 (“Nervous System and Sensorium”, M4; cohorts C + D) and T3: during the Practical Year. In the PY cohort (T3; cohorts E + F), only those students in the Practical Year or module 6 were examined who were not abroad and were registered for the State Examination Repetitorium (LMU-StaR). LMU-Star is an optional blended learning concept which accompanies the PY and is used by the majority of students in the PY. An analysis of the basic data (age, gender, school leaving grade, grade of the First Medical Examination) showed that the LMU-Star participants did not differ in a statistically significant way from the rest of PY students. Over the two measurement time points, all students in the clinical stage of studies beyond Module 1 were tested once only (N=1065; Summer Sem. 09: T1=249, T2=202, T3=156; Winter Sem. 09/10: T1=197, T2=190, T3=71). For the evaluation, the MPT questions were assigned to the MeCuM modules, in particular Module 2 “Conservative Medicine”, by the organiser of Module 2. The internal medicine sub-disciplines (endocrinology, gastroenterology, infectious diseases, cardiology, nephrology, oncology, pneumology, rheumatology) were categorised according to the learning targets of Module 2. Immediately after completing the MPT, students filled in an evaluation sheet. This included both questions on the MPT and other questions about personal data. The evaluation response rates were T1=94%, T2=92%, T3=94% (Summer Sem. 09), T1=79%, T2=82%, T3=89% (Winter Sem. 09/10 ), with a mean total of 88.3%.StatisticsThe statistical analysis and generation of the graphics was done in the Open Source statistical package R (http://www.r-project.org/), Version 2.9.0, and using Microsoft Excel. As a normal distribution could be shown for the PTM results, the calculation of correlation coefficients was done according to Pearson. For most collected variables, mean and standard deviation (SD) were also determined. The p-values listed were determined, given the normal distribution, using a t-test, otherwise using a Wilcoxon rank-sum test. To calculate the correlation of MPT performance with items of the questionnaire (leaving grades, First State Examination, self-assessment, etc.), the rank correlation coefficient Spearman’s rho was used. The box plots show the range between the 25% and 75% percentile, the line within the box indicates the median. If the notches of two groups intersect, the difference is significant. ErgebnisseImplementierung, Ergebnisse und Akzeptanz des PTM an der LMUDie Durchführung des PTM war entsprechend den Leitlinien der Charité – Universitätsmedizin Berlin aus organisatorischer Sicht problemlos. Bezüglich der Gesamtleistung sind die Studierenden der LMU mit im Mittel 46,3 Punkten (SD=21,7) zu Beginn des 6. Semesters, 61,7 Punkten (SD=21,8) zu Beginn des 8. Semesters und 77,9 (SD=24,9) zu Beginn des 10. Semesters mit den Studierenden des Regelstudiengangs in Berlin (36,8, 57,7 bzw. 71,2 Punkte; SD=18,2, 22,6, bzw. 27,2) und den Studierenden der Universität Witten/Herdecke (45,8, bzw. 55,3; SD=20,7 bzw. 17,4; keine Daten zu 10. Semester verfügbar) vergleichbar. Die Akzeptanz des PTM durch die LMU-Studierenden war insgesamt sehr hoch. Die Frage „Individuelle Rückmeldung zu meinem Leistungsstand halte ich für wichtig. [Likert-Skala: 1=trifft voll zu; 6=trifft gar nicht zu]“ wurde im Mittel mit 1,73 (N=894; SD=0,91) beantwortet. Dieses Feedback-Bedürfnis nimmt im Verlauf des Studiums zu und erreicht den Wert 1,20 zu Beginn des PJ (T3). Der PTM wurde global („Den Progress Test Medizin bewerte ich insgesamt mit folgender Schulnote:“) mit der durchschnittlichen Schulnote 2,27 (N=917: SD=0,92) bewertet. Dies führt zur ganz überwiegenden Befürwortung der festen Implementierung des PTM an der LMU („Der Progress Test Medizin sollte fest an der LMU eingeführt werden. [Likert-Skala: 1=trifft voll zu; 6=trifft gar nicht zu]“). Entsprechend spricht sich insbesondere die Kohorte T3 zu 67% für die Durchführung einmal pro Semester aus („Wie häufig sollte Ihrer Meinung nach der Progress Test Medizin während des Studiums durchgeführt werden?“; [jedes Semester – einmal im Jahr – seltener – nie]). Nur 4% der Studierenden dieser Kohorte schlugen „seltener“ oder „nie“ vor (T1: 22%; T2: 12%). Verlauf des Wissens „Konservative Medizin“ im MeCuMMittels der Daten der großen Querschnittanalyse wurde eine Evaluation des Moduls 2 „Konservative Medizin“ durchgeführt. Aufgrund subjektiver Einschätzungen von Hochschullehrern der LMU und in Analogie zu einer großen Analyse zum Wissen in Innerer Medizin bei praktizierenden Ärzten , bei der sich eine signifikante, inverse Korrelation zwischen dem Testergebnis und der verstrichenen Zeit seit der Facharztprüfung zeigte, wurde untersucht, ob das Wissen in „Konservativer Medizin“ im weiteren Verlauf des Studiums wieder abnimmt. Überdies bestand die Annahme und subjektive Erfahrung des Curriculumkomitees, dass im Modul 3 „Operative Medizin“ ebenfalls viele Lernziele des Moduls 2 „Konservative Medizin“ vermittelt werden. Durch diese ungezielten Redundanzen entstehen gravierende Inhomogenitäten im Vorwissen der Studierenden, die den Kleingruppenunterricht (Seminare, problem-orienterte Lern-Tutorials) erschweren. Abbildung 2 zeigt, dass das Wissen „Konservative Medizin“ (Modul 2) in Modul 2 und 3 (Vergleich T2 versus T1), aber entgegen der initialen Erwartung auch im weiteren Studienverlauf bis zum Beginn des Praktischen Jahres zunimmt (T3). Die Ergebnisse von SoSe2009 und WiSe09/10 wurden gepoolt und gezeigt wird das Ergebnis in Prozent der erreichten Punkte. Die Zahl der Fragen zur „Konservativen Medizin“ und somit auch die absolute Zahl der erreichbaren Punkte sind in jedem Semester unterschiedlich. In Abbildung 3 ist zu erkennen, dass in Modul 3 ein signifikanter Wissenszuwachs bzgl. „Konservativer Medizin“ erfolgt (A vs. B). Nach Absolvierung beider Module sind die Ergebnisse wieder auf identischem Niveau (C, D) und nehmen bis zum Zeitpunkt T3 (E/F) nochmals zu, wobei diese Zunahme statistisch nicht signifikant ist. Die Lernziele sind im Modul 2 „Konservative Medizin“ abschnittsweise auf die einzelnen Subspezialitäten der Inneren Medizin aufgeteilt. Daher wurde auch untersucht, ob es Unterschiede im Wissenszuwachs zwischen diesen Spezialitäten gibt. Abbildung 4 illustriert, dass Fächer mit höheren Wissenszuwachs (Bsp. Kardiologie oder Rheumatologie) von Fächern unterschieden werden können, bei denen sich das Wissen bezüglich der im Progresstest abgefragten spezifischen Lernziele praktisch nicht ändert (Bsp. Infektiologie oder Nephrologie). Die weitere Analyse zeigt (siehe Abbildung 5 ), dass das Vorwissen aus dem vorklinischen Studienabschnitt und dem Modul 1 „klinische Grundlagen“ bezüglich der spezifischen internistischen Lernziele gering ist. Neben Kardiologie zeigen nur noch Endokrinologie, Onkologie und Pneumologie vergleichbar hohe Ausgangswerte. Unabhängig von diesem Vorwissen kommt es bei Fächern wie der Rheumatologie oder Kardiologie zu einem ausgeprägten Wissenszuwachs im Modul 2. Hier zeigt sich praktisch keine weitere Zunahme im weiteren Verlauf des Studiums. Hingegen holen die Studierenden das mangelnde Wissen in Nephrologie oder Infektiologie im weiteren Studium auf. Hier findet der signifikante Zuwachs erst nach Abschluss von Modul 2 statt. Bei einem Querschnittfach wie Infektiologie ist dies gut nachzuvollziehen.Einflussfaktoren für das Abschneiden im PTMIm Sinne einer Validitätstestung sollte an der gemessenen Kohorte überprüft werden, welche Qualitäten der PTM wirklich misst bzw. genauer gesagt durch welche Parameter auf Seiten der Teilnehmer die Testergebnisse beeinflusst werden. LeistungBetrachtet man das Wissen des Moduls 2 „Konservative Medizin“ zeigt sich eine signifikante Korrelation (rho=-0,38) zwischen dem Abschneiden bei der Modul-2-Klausur und den Punkten beim PTM im Bereich Innere Medizin. Die Modul-2-Klausur ist eine summative schriftliche Prüfung, die in zwei Teilen abgehalten wird (Mitte und Ende des Modul 2) und sowohl Multiple-Choice-Questions (MCQ´s) als auch offene Fragen beinhaltet. Die erreichten Punkte im PTM im Teil Innere Medizin korrelieren darüber hinaus signifikant mit der Note im Abitur (rho=-0,26) bzw. dem 1. Abschnitt der Ärztlichen Prüfung (rho=-0,37). Das Geschlecht der Teilnehmer hatte keinen Einfluss auf das Ergebnis. MotivationAls weiterer Einflussfaktor wurde die Motivation zur Teilnahme untersucht. Als Surrogatparameter wurden die subjektive Globalbewertung des PTM („Schulnote“, s.o.) sowie der Wunsch zur Einführung an der LMU („Implementierung“, s.o.) herangezogen. Hier zeigt sich ein besseres Abschneiden bei besserer subjektiver Bewertung. Eine signifikante Korrelation (rho=-0,29) kann hier ebenso beobachtet werden wie bei der (rho=-0,36) Korrelation zwischen der Selbsteinschätzung („Wie schätzen Sie Ihr Ergebnis im Progress Test Medizin insgesamt/Innere Medizin ein? Ich gehöre in meinem Jahrgang zu den...“ [Likert-Skala (1-5): sehr guten, guten, durchschnittlichen, schlechten, sehr schlechten Teilnehmern]) und dem Ergebnis im PTM. Diese Korrelation zeigt sich in fast identischer Ausprägung für die Items „Konservative Medizin“, jedoch unabhängig davon, ob die Studierenden das Modul 2 „Konservative Medizin“ schon absolviert haben oder nicht. ErfahrungLaut Selbstbeschreibung bildet der PTM den Querschnitt des Wissensniveaus ab, welches von einem Absolventen an seinem ersten Tag im Berufsleben erwartet wird. Ein großer Teil der Items beinhaltet eine klinische Fallvignette. Es sollte daher untersucht werden, ob neben der individuellen Leistungsfähigkeit (reflektiert durch Abiturnote bzw. Physikumsnote) auch die klinische Erfahrung der Studierenden das PTM-Testergebnis beeinflusst. Es zeigt sich ein signifikanter Zusammenhang (p<0,0001) zwischen der Absolvierung einer Famulatur auf das PTM-Gesamtergebnis. Die Verbesserung des Ergebnisses im Bereich „Konservative Medizin“ durch das PJ-Tertial Innere Medizin am Ende des Studiums stellte sich (n=60) nicht als signifikant heraus. ResultsImplementation, Results and Acceptance of the MPT at the LMUThe implementation of the MPT was, in accordance with the guidelines of the Charité - University Medicine Berlin, without problem from an organisational point of view. Regarding overall performance, the LMU students with an average of 46.3 points (SD=21.7) at the beginning of the 6th semester, 61.7 points (SD=21.8) at the beginning of the 8th semester and 77.9 (SD=24.9) at the beginning of the 10th semester are comparable with the students of the control programme in Berlin (36.8, 57.7 and 71.2 points, SD=18.2, 22.6 and 27.2) and the students at the University of Witten/Herdecke (45.8 or 55.3, SD=20.7 and 17.4, no data available for the 10th semester). The acceptance of the MPT by LMU students was very high. The question on “I consider individual feedback on my performance important [Likert scale: 1=strongly agree, 6=strongly disagree]” was answered, on average, with 1.73 (N=894, SD=0.91). This desire fore feedback increases as studies progress and reaches a value of 1.20 at the beginning of the PY (T3). The MPT was globally assessed (“I rate the Medicine Progress Test with the following grade:”) with the average grade of 2.27 (N=917: SD=0.92). This leads into an overwhelming endorsement of the solid implementation of the MPT at the LMU (“The Medicine Progress Test should be introduced at the LMU. [Likert scale: 1=strongly agree, 6=strongly disagree]”). Accordingly, in particular the T3 cohort with 67% argues for conducting it once per semester (“How often do you think the Medicine Progress Test should be carried out during an undergraduate degree?”, [Each semester - once a year - less often - never]). Only 4% of students of this cohort suggested “less often” or “never” (T1: 22% T2: 12%).Knowledge Progression in “Conservative Medicine” in the MeCuMUsing the data of the large cross-sectional analysis, an evaluation of Module 2 “Conservative Medicine” was carried out. Based on subjective judgements by professors at the LMU and in analogy to a large analysis of knowledge on internal medicine amongst practicing physicians [9] which demonstrated a significant inverse correlation between the test result and time elapsed since the certification examination, it was investigated if knowledge in “conservative medicine” decreases in the subsequent progression of studies. Moreover, the curriculum committee assumed and had the subjective experience during Module 3 “Medical Surgery”, many learning targets of Module 2 “Conservative Medicine” were also taught. Through such non-targeted redundancies, serious inhomogeneities are created in the prior knowledge of students, making it teaching in small-groups difficult (seminars, problem-oriented learning tutorials).Figure 2 shows that the knowledge of “Conservative Medicine” (Module 2) increases in Module 2 and 3 (T2 versus T1 comparison) but contrary to initial expectations, continues to increase in the subsequent course of study until the beginning of the Practical Year (T3). The results of the 2009 summer semester and the 09/10 winter semester were pooled and the result is shown as a percentage of points achieved. The number of questions about “Conservative Medicine” and therefore the absolute number of achievable points are different in each semester. Figure 3 shows that in respect to Module 3, a significant increase in knowledge of “Conservative Medicine” occurs (A vs. B). After completion of both modules, the results return to an identical level (C, D) and continue to increase up until T3 (E/F) although this increase is not statistically significant. The learning targets in Module 2 “Conservative Medicine” are divided in the various sub-specialisations of internal medicine. It was therefore also investigated whether there are differences in the knowledge gain between these specialisations. Figure 4 shows that subjects with higher knowledge growth (for example cardiology and rheumatology) can be distinguished from subjects in which knowledge regarding specific learning targets tested in the Progress Test is virtually unchanged (for example infectious diseases and nephrology). Further analysis shows (see Figure 5 ) that prior knowledge from the preclinical stage of studies and Module 1 “Clinical Basics” is low internal medicine with respect to the specific learning targets. Cardiology aside, only endocrinology, oncology and pneumology show comparably high initial levels. Regardless of this prior knowledge, there is a marked increase in knowledge in Module 2 in disciplines such as cardiology or rheumatology. These show virtually no further increase in the further course of studies. On the other hand, students make up for their lack of knowledge in nephrology and infectious diseases as their studies progress. Here the significant growth occurs only after completion of Module 2. In an interdisciplinary subject such as infectious diseases, this is can be easily understood.Influencing Factors for MPT ResultsThe measured cohort was checked for the actual qualities the MPT was measuring for validity testing or more specifically, the participants’ parameters which influenced the test results.PerformanceWhen looking at the knowledge of Module 2 “Conservative Medicine”, a significant correlation (rho=-0.38) can be seen between the performance in the Module 2 exam and the MPT points in internal medicine. The Module 2 exam is a summative written examination to be held in two parts (at the middle and end of Module 2) and contains both multiple-choice (MCQs) and open questions. Also, the achieved MPT points in internal medicine also correlated significantly with school leaving grade (rho=-0.26) or the First Part of the Medical Examination (rho=-0.37). The gender of the participants had no influence on the result.MotivationAnother factor that was checked was motivation to participate. As a surrogate parameter, the subjective global assessment of the MPT (“grading”, see above) and the desire for its introduction at the LMU (“implementation”, see above) was used. Here better subjective evaluation results is linked to better performance. A significant correlation (rho=-0.29) can be observed here, as well as for the (rho=-0.36) correlation between self-assessment (“How do you assess your results in the Medicine Progress Test/Internal Medicine overall? In my year, I belong to the...” [Likert scale (1-5): very good, good, average, poor, very poor participants]) and the MPT result. This correlation is reflected almost identically for the items “Conservative Medicine” but irrespective of whether the students had already taken Module 2 “Conservative Medicine”.ExperienceAccording to self-evaluation, the MPT displays the cross-section of the knowledge level, which is expected of a graduate on their first day at work. Many of the items contain a clinical case vignette. It should therefore be investigated whether, in addition to individual performance (reflected by the school leaving grade or the examination at the end of the pre-clinical phase), the clinical experience of students also affects the MPT test result. A significant correlation (p <0.0001) between the completion of the 4 month work placement (Famulatur) and the overall MPT result. The improved results in “Conservative Medicine” through the PY tertial in internal medicine at the end of undergraduate studies turned out not to be significant (n=60). DiskussionDer Progress Test Medizin ist ein formatives Feedback-Instrument für Studierende, welches das Wissen abprüft, über das ein Arzt an seinem ersten Arbeitstag verfügen sollte . Erfasst man alle Studierenden einer Hochschule zu einem definierten Zeitpunkt und betrachtet nur die Fragen eines bestimmten Inhaltsbereiches, dann kann mit dem gleichen Test der Verlauf des Fachwissens während des Studiums und damit das Curriculum evaluiert werden. Der PTM wurde bislang erst in einer kleinen Studie 2004 im Reformstudiengang der Charité – Universitätsmedizin Berlin spezifisch zu Curriculumsevaluation genutzt. In einer britischen Studie wurden Studierende des letzten Studienjahres bezüglich ihres Wissens im muskulo-skelettalen Bereich evaluiert . Die am ehesten vergleichbare Studie stammt aus den Niederlanden, wo in einem problembasierten, studentenzentrierten Curriculum der Wissenszuwachs in Psychiatrie und Verhaltensforschung analysiert wurde . Hier wurden curriculare Veränderungen vorgenommen, da es in den letzten beiden Studienjahren nicht mehr zur kontinuierlichen Wissenszunahme kam, wie es bei einem POL-Curriculum zu erwarten gewesen wäre. Da die Studierenden den Zeitpunkt der Bearbeitung der Lernziele größtenteils selbst wählten, war eine Analyse der Nachhaltigkeit von einmal erworbenem Wissen hier nicht möglich. Der deutsche Progress Test Medizin der Charité -Universitätsmedizin Berlin wurde bereits zur Curriculumsevaluation genutzt , jedoch vorwiegend zum interfakultären Vergleich und nicht zur Analyse einzelner Bestandteile eines spezifischen Curriculums. Natürlich können mit der in dieser Arbeit beschriebenen Auswertungsmethode nur sehr mittelbar Rückschlüsse auf die Qualität des Curriculums gezogen werden. Jedoch ist der nachhaltige Behalt von Fachwissen ein wichtiger Outcomeparameter eines Studienganges. Kommunikative und praktische Fertigkeiten bleiben jedoch bei dieser Betrachtung beinahe völlig unbeachtet. Der signifikante Einfluss der Famulaturen könnte entweder darauf hinweisen, dass der zu großen Teilen fallbasierte deutsche PTM zu einem relevanten Anteil klinisch relevantes Handlungswissen abprüft oder dass in Famulaturen auch verstärkt Faktenwissen gelernt wird. Die frühe Durchführung einer Famulatur könnte jedoch auch Hinweis auf eine überdurchschnittliche Motivation dieser Gruppe von Studierenden sein. Während die Abiturnote und die subjektive Selbsteinschätzung mit dem Testergebnis korrelieren, ist die Einstellung zum PTM wenig ausschlaggebend. Kritisch muss zur eigenen Analyse angemerkt werden, dass aus organisatorischen Gründen am Zeitpunkt T3 nur diejenigen Studierenden teilnehmen konnten, die im Münchener Staatsexamensrepetitorium LMU-StaR teilnahmen. Bezüglich der Basisdaten (Alter, Geschlecht, Abiturnote, Note 1. Abschnitt der Ärztlichen Prüfung) unterschied sich diese Subgruppe jedoch nicht statistisch signifikant von den anderen Studierenden, so dass der Selektionsbias wohl eher gering ist. Diesbezüglich sollten aber in zukünftigen Untersuchungen auch motivationale Aspekte stärker berücksichtigt werden. Insgesamt erscheint eine Längsschnittanalyse als die geeignetere Methode zur Beantwortung der Fragestellung, jedoch liegt in der raschen Ergebnisgewinnung ein besonderer Charme. Bei Längsschnittbeobachtung könnte erst nach mehreren Jahren eine Curriculumsreform erfolgen und deren Effektivität wieder erst nach mehreren Jahren gemessen werden. Ziel der Querschnittanalyse aller Studierenden im klinischen Studienabschnitt der LMU war die Evaluierung des Moduls 2 „Konservative Medizin und die Klärung der Frage, ob der Progress Test Medizin für einen solchen Zweck als Evaluationsinstrument mit herangezogen werden kann. Das MeCuM ist in autonomen Modulen organisiert, wobei nach den klinischen Grundlagenfächern in Modul 1 bereits sehr früh die internistischen und operativen Basisfächer interrichtet werden. Es bestand und besteht dabei immer die Befürchtung bei Lehrenden und Studierenden, dass dieses Wissen bis zum Eintritt ins PJ größtenteils verloren geht. Die durchgeführte Querschnittanalyse mittels PTM zeigte jedoch, dass das Wissen „Konservative Medizin“ auch nach Abschluss des Moduls 2 „Konservative Medizin“ kontinuierlich zunimmt. Vergleichbare Ergebnisse der Wissenszunahme von absolut 16,6% im Nachhaltigkeitstest nach acht Monaten zeigten sich in einer mexikanischen Untersuchung bei 584 Humanmedizinstudierenden im 3. Ausbildungsjahr im Fach Pharmakologie . Hier hatten sich die Studierenden bewusst auf das Examen vorbereitet und wurden unvorbereitet nach acht Monaten nochmals untersucht. Dieses Setting entspricht im Wesentlichen der an der LMU untersuchten Situation. Interessanterweise konnten diese Ergebnisse in Mexiko nur bei einem neu konzipierten Pharmakologiekurs erhoben werden; bei dem alten, klassischen Kurs kam es dagegen nicht zur Wissenszunahme. Ähnliche Ergebnisse konnten auch bei einer nordamerikanischen Untersuchung gefunden werden . Andere Analysen – überwiegend zum biomedizinischen Grundlagenwissen – ergaben einen Wissensverlust nach 15 bis 21 Monaten zwischen 2,9% und 35% , , . In einer gut geplanten, aktuellen Studie wurden drei Fächer (Immunologie, Physiologie und Neuroanatomie) miteinander verglichen , wobei sich ein Wissensverlust von 17,6%, 19,4% bzw. dramatischen 52,7% nach 10-11 Monaten zeigte. Die Unterschiede standen nicht im Zusammenhang mit den Noten im primären Test oder der Akzeptanz der Kurse durch die Studierenden. Nachhaltiges Wissen wird durch aktives Lernen und die Natur des Lehrmaterials (prozedural versus deklarativ; allgemein versus spezifisch) beeinflusst. Nach einem multidisziplinären Chirurgie-Kurs zur mesorektalen Exzision in Kanada kam es auch nach einem Jahr zu keinem signifikanten Wissensverlust . Aufgrund der unterschiedlichen Curriculumsstruktur und Abfolge der Lernzielimplementierung ist ein korrekter Vergleich der untersuchten Universitäten München (LMU), Berlin und Witten/Herdecke nicht möglich. Wendet man jedoch die Lernzieldefinition der LMU auf die Curricula in Berlin und Witten/Herdecke an, dann ergeben sich auch dort kontinuierlich ansteigende Kurven des Wissens „Konservative Medizin“. Letztlich ist aber nicht zu klären, ob es sich um ein generelles Phänomen im Fach Innere Medizin handelt oder ob alle drei Universitäten aufgrund ihrer besonderen didaktischen Konzepte zu einem besonderen Wissenserhalt führen. Besonders interessant bei der LMU-spezifischen Analyse war, dass im Modul 2 „Konservative Medizin“ in manchen internistischen Subdisziplinen praktisch kein Wissenszuwachs erfolgt, obwohl sie sich im Curriculum bzgl. Lehr- und Prüfungsformen nicht von anderen internistischen Subdisziplinen unterscheiden. Am ehesten handelt es sich dabei um Inkongruenzen des Modul-2-Lernzielkataloges und den Prüfzielen des PTM. Diese Rückmeldung kann zu Optimierungen in Modul 2 führen. Überdies konnten bei Studierenden und Dozenten als störend empfundene, Curriculums-induzierte (insbesondere durch unterschiedliche Modulabfolge, siehe Abbildung 1 ) Inhomogenitäten im Vorwissen der Studierenden durch die Querschnittanalyse belegt werden. Diese Daten unterstützen eine geplante Curriculumsreform an der LMU (organzentriertes, interdisziplinäres, chirurgisch-internistisches Basisjahr).Zusammenfassend zeigt die vorgestellte Analyse, dass durch Einführung des PTM ein Beitrag zur Evaluation eines Curriculums bezüglich nachhaltig vermittelten Fachwissens möglich ist. Am Beispiel der Inneren Medizin wurde dargestellt, dass das nachhaltige Wissen kontinuierlich und in Abhängigkeit von den praktischen Erfahrungen der Studierenden im klinischen Studienabschnitt zunimmt. An anderer Stelle konnten Defizite des Curriculums dokumentiert werden. Mittels wiederholter Durchführung solcher Querschnittanalysen können die Effekte erfolgter Curriculumsveränderungen evaluiert werden. DiscussionThe Medicine Progress Test is a formative feedback tool for students, which checks the knowledge that a doctor on their first day should possess . If one brings together all students of a university at a certain point in time and only examines particular area, then the progression of expertise during the course of their studies and thus the curriculum can be evaluated using the same test. The MPT so far has only been specifically used for curriculum evaluation in a small study in 2004 in the reformed degree course at the Charité University Berlin Medical School. In a UK study, final year students were tested on their knowledge on musculoskeletal topics . The most comparable study comes from the Netherlands. In this study the growth of knowledge in psychiatry and behavioural sciences was analysed in a problem-based, student-centred curriculum . Here curricular changes were because no further knowledge growth could be detected in the last two years of study as would have been the expectation in a PBL curriculum. Since the students were largely self-selecting the date of when they tackled learning targets, an analysis of the permanence of acquired knowledge was not possible here. The German Medicine Progress Test, Charité University Berlin Medical School has already been used for curriculum evaluation but mainly for interdepartmental comparison and not to analyse individual components of a specific curriculum.Of course inferences on the quality of the curriculum can only be drawn very indirectly through the evaluation method described in this study. However, the permanent retention of knowledge is an important outcome parameter of a degree program. Communication and practical skills in this approach, however, are almost completely ignored. The significant impact of the 4 month work placement could either point to the fact that the largely case-based German MPT to a relevant extent tests clinically relevant practical knowledge or that an increased amount of factual knowledge is learned during the 4 month work placement. Holding the 4 month work placement early could, however, be evidence of an above-average motivation of this group of students. While the school leaving grade and the subjective self-assessment correlate with the test result, attitude towards MPT is not a major factor. Being critical towards our own work, it must be noted that for organisational reasons only those students could participate at point T3 who were taking part in the Munich State Examination Repetitorium LMU-StaR. However, in terms of basic data (age, gender, school leaving grade, grade of the First Part of the Medical Examination) this subgroup did not differ in a statistically significantly way from the other students, meaning the selection bias is probably low. Future investigations should give more weight to examining motivational aspects in this regard. Overall, a longitudinal analysis appears to be the appropriate method to for answering this question, however, there is something attractive about getting results quick. In longitudinal studies, curricular reform could onlz take place after several years and its effectiveness again would be measured after several years.The aim of this cross-sectional analysis of all students in the clinical part of their studies at the LMU was the evaluation of Module 2 “Conservative Medicine” and clarification of whether the Medicine Progress Test can be used as an evaluation instrument for such a purpose. The MeCuM is organised into autonomous modules in which basic teaching in internal medicine and surgery is taught soon after the clinical core subjects in Module 1. There always has been, and still is, the fear amongst teachers and students that this knowledge is mostly lost by the start of the PY. Our cross-sectional analysis using MPT showed, however, that knowledge of “Conservative Medicine” continues to expand even after completion of Module 2 “Conservative Medicine”. Comparable results of knowledge increase of 16.6% in absolute terms in the permanence test after eight months were found in a Mexican study of 584 medical students in their 3rd year of training in pharmacology . Here, the students had deliberately prepared for the exam and were examined again after eight months without preparation. This setting broadly corresponds to the situation under investigation at the LMU. Interestingly, these results from Mexico could only be found in a newly-designed pharmacology course; the old, traditional course did not display knowledge gain. Similar results were also found in a North American study. Other analyses, mainly on basic biomedical knowledge, showed between 2.9% and 35% of knowledge loss after 15 to 21 months , , . In a well planned current study, three subjects (immunology, physiology, and neuroanatomy) were compared , showing dramatic loss of knowledge of 17.6%, 19.4% and 52.7% after 10-11 months. The differences were not related to the results in the primary test or the acceptance of the courses by students. The acquisition of permanent knowledge is influenced by active learning and the nature of the teaching material (procedural vs. declarative, general vs. specific). Following a multi-disciplinary surgery course on mesorectal excision in Canada, there was no significant loss of knowledge even after a year . Due to the different curriculum structures and sequence of the implementation of learning targets, a direct comparison between the universities investigated in Munich (LMU), Berlin and Witten/Herdecke is not possible. However, when applying the LMU learning target definition to the curricula in Berlin and Witten/Herdecke, it can be shown that there is also a continuously rising curve of knowledge in “Conservative Medicine”. Ultimately it cannot be clarified whether this is a general phenomenon in the field of internal medicine, or whether all three universities foster a particular type of knowledge retention due to their specific educational concepts. In the LMU-specific analysis, it was particularly interesting that Module 2 “Conservative Medicine” there was virtually no increase in knowledge in some sub-disciplines of internal medicine although they are not differentiated in the curriculum from other forms sub-disciplines of internal medicine as regards their teaching and examination methods. Most likely, these are down to inconsistencies between Module 2 learning targets and the examination objectives of the MPT. This feedback can lead to improvements in Module 2. Moreover, the cross-sectional analysis identify inhomogeneities in the prior knowledge of students, cause by the curriculum (especially through different module sequence, see Figure 1 ) which is perceived as disturbing by students and teaching staff. This data supports the planned curriculum reform at the LMU (an organ-centred, interdisciplinary, surgical-internal medicine base year).In summary, this analysis shows that the introduction of the MPT can contribute to the evaluation of a curriculum regarding permanence of subject knowledge. Using the example of internal medicine, it has been shown that permanent knowledge increase occurs continuously and depends on the practical experiences of students in the clinical part of their studies. Elsewhere, deficits of the curriculum could be documented. Using such cross-sectional analyses repeatedly, the effects of successful curriculum change can be evaluated. AnmerkungDieser Artikel wurde als Projektarbeit im Rahmen des Master of Medical Education (MME)-Studiengangs des Medizinischen Fakultätentages an der Medizinischen Fakultät der Universität Heidelberg erarbeitet. AcknowledgementsThis article was part of a project in the Master of Medical Education (MME) program of the Medical Faculty Day at the Medical Faculty of the University of Heidelberg. InteressenkonfliktDie Autoren erklären, dass sie keine Interessenkonflikte in Zusammenhang mit diesem Artikel haben. Competing interestsThe authors declare that they have no competing interests. Bundesministerium für Gesundheit Approbationsordnung für Ärzte vom 27. Juni 2002 2002 Bundesgesetzbl Bundesministerium für Gesundheit. Approbationsordnung für Ärzte vom 27. Juni 2002. Bundesgesetzbl. 2002;Teil I(Nr.44). Osterberg K Kölbel S Brauns K Der Progress Test Medizin: Erfahrungen an der Charité Berlin 2006 GMS Z Med Ausbild Doc46 Osterberg K, Kölbel S, Brauns K. Der Progress Test Medizin: Erfahrungen an der Charité Berlin. GMS Z Med Ausbild. 2006;23(3):Doc46. Zugänglich unter/available from: http://www.egms.de/static/de/journals/zma/2006-23/zma000265.shtml. http://www.egms.de/static/de/journals/zma/2006-23/zma000265.shtml Blake JM Norman GR Keane DR Mueller CB Cunnington J Didyk N Introducing progress testing in McMaster University's problem-based medical curriculum: psychometric properties and effect on learning 1996 Acad Med 1002-1007 Blake JM, Norman GR, Keane DR, Mueller CB, Cunnington J, Didyk N. Introducing progress testing in McMaster University's problem-based medical curriculum: psychometric properties and effect on learning. Acad Med. 1996;71(9):1002-1007. DOI: 10.1097/00001888-199609000-00016 http://dx.doi.org/10.1097/00001888-199609000-00016 Freeman A van der Vleuten C Nouns Z Ricketts C Progress testing internationally 2010 Med Teach 451-455 Freeman A, van der Vleuten C, Nouns Z, Ricketts C. Progress testing internationally. Med Teach. 2010;32(6):451-455. DOI: 10.3109/0142159X.2010.485231 http://dx.doi.org/10.3109/0142159X.2010.485231 Van der Veken J Valcke M De Maeseneer J Schuwirth L Derese A Impact on knowledge acquisition of the transition from a conventional to an integrated contextual medical curriculum 2009 Med Educ 704-713 Van der Veken J, Valcke M, De Maeseneer J, Schuwirth L, Derese A. Impact on knowledge acquisition of the transition from a conventional to an integrated contextual medical curriculum. Med Educ. 2009;43(7):704-713. DOI: 10.1111/j.1365-2923.2009.03397.x http://dx.doi.org/10.1111/j.1365-2923.2009.03397.x Peeraer G De Winter BY Muijtjens AM Remmen R Bossaert L Scherpbier AJ Evaluating the effectiveness of curriculum change 2009 Is there a difference between graduating student outcomes from two different curricula? Med Teach e64-e68 Peeraer G, De Winter BY, Muijtjens AM, Remmen R, Bossaert L, Scherpbier AJ. Evaluating the effectiveness of curriculum change. Is there a difference between graduating student outcomes from two different curricula? Med Teach. 2009;31(3):e64-e68. DOI: 10.1080/01421590802512920 http://dx.doi.org/10.1080/01421590802512920 Bianchi F Stobbe K Eva K Comparing academic performance of medical students in distributed learning sites: the McMaster experience 2008 Med Teach 67-71 Bianchi F, Stobbe K, Eva K. Comparing academic performance of medical students in distributed learning sites: the McMaster experience. Med Teach. 2008;30(1):67-71. DOI: 10.1080/01421590701754144 http://dx.doi.org/10.1080/01421590701754144 Muijtjens AM Schuwirth LW Cohen-Schotanus J Thoben AJ van der Vleuten CP Benchmarking by cross-institutional comparison of student achievement in a progress test 2008 Med Educ 82-88 Muijtjens AM, Schuwirth LW, Cohen-Schotanus J, Thoben AJ, van der Vleuten CP. Benchmarking by cross-institutional comparison of student achievement in a progress test. Med Educ. 2008;42(1):82-88. DOI: 10.1111/j.1365-2923.2007.02896.x http://dx.doi.org/10.1111/j.1365-2923.2007.02896.x Ramsey PG Carline JD Inui TS Larson EB LoGerfo JP Norcini JJ Wenrich MD Changes over time in the knowledge base of practicing internists 1991 JAMA 1103-1107 Ramsey PG, Carline JD, Inui TS, Larson EB, LoGerfo JP, Norcini JJ, Wenrich MD. Changes over time in the knowledge base of practicing internists. JAMA. 1991;266(8):1103-1107. Basu S Roberts C Newble DI Snaith M Competence in the musculoskeletal system: assessing the progression of knowledge through an undergraduate medical course 2004 Med Educ 1253-1260 Basu S, Roberts C, Newble DI, Snaith M. Competence in the musculoskeletal system: assessing the progression of knowledge through an undergraduate medical course. Med Educ. 2004;38(12):1253-1260. DOI: 10.1111/j.1365-2929.2004.02017.x http://dx.doi.org/10.1111/j.1365-2929.2004.02017.x Van Diest R Van Dalen J Bak M Schruers K Van der Vleuten C Muijtjens A Scherpbier A Growth of knowledge in psychiatry and behavioural sciences in a problem-based learning curriculum 2004 Med Educ 1295-1301 Van Diest R, Van Dalen J, Bak M, Schruers K, Van der Vleuten C, Muijtjens A, Scherpbier A. Growth of knowledge in psychiatry and behavioural sciences in a problem-based learning curriculum. Med Educ. 2004;38(12):1295-1301. DOI: 10.1111/j.1365-2929.2004.02022.x http://dx.doi.org/10.1111/j.1365-2929.2004.02022.x Nouns ZM Brauns K HanflerS Der Progress Test Medizin als Evaluationsinstrument 2005 GMS Z Med Ausbild Doc132 Nouns ZM, Brauns K, HanflerS. Der Progress Test Medizin als Evaluationsinstrument. GMS Z Med Ausbild. 2005;22(4):Doc132. Zugänglich unter/available from: http://www.egms.de/static/de/journals/zma/2005-22/zma000132.shtml http://www.egms.de/static/de/journals/zma/2005-22/zma000132.shtml Rodriguez R Campos-Sepulveda E Vidrio H Contreras E Valenzuela F Evaluating knowledge retention of third-year medical students taught with an innovative pharmacology program 2002 Acad Med 574-577 Rodriguez R, Campos-Sepulveda E, Vidrio H, Contreras E, Valenzuela F. Evaluating knowledge retention of third-year medical students taught with an innovative pharmacology program. Acad Med. 2002;77(6):574-577. DOI: 10.1097/00001888-200206000-00018 http://dx.doi.org/10.1097/00001888-200206000-00018 Saffran M Kennedy WB Kelley PR Retention of knowledge of pharmacology by U.S. and Canadian medical students 1982 Trends Pharmacol Sci 461-463 Saffran M, Kennedy WB, Kelley PR. Retention of knowledge of pharmacology by U.S. and Canadian medical students. Trends Pharmacol Sci. 1982;3:461-463. DOI: 10.1016/0165-6147(82)91235-4 http://dx.doi.org/10.1016/0165-6147(82)91235-4 Swanson DB Case SM Luecht RM Dillon GF Retention of basic science information by fourth year medical students 1996 Acad Med S80-S82 Swanson DB, Case SM, Luecht RM, Dillon GF. Retention of basic science information by fourth year medical students. Acad Med. 1996;71(10 Suppl):S80-S82. DOI: 10.1097/00001888-199610000-00051 http://dx.doi.org/10.1097/00001888-199610000-00051 Watt ME Retention of preclinical knowledge by clinical students 1987 Med Educ 119-124 Watt ME. Retention of preclinical knowledge by clinical students. Med Educ. 1987;21(2):119-124. DOI: 10.1111/j.1365-2923.1987.tb00677.x http://dx.doi.org/10.1111/j.1365-2923.1987.tb00677.x Krebs R Hofer R Bloch R Guibert JJ Conversation et oubli des connaissances en biologie acquises pour le premier examen propedeutique de medicine 1994 MEDUCS Bull Ass Suisse Educ Med 10-15 Krebs R, Hofer R, Bloch R, Guibert JJ. Conversation et oubli des connaissances en biologie acquises pour le premier examen propedeutique de medicine. MEDUCS Bull Ass Suisse Educ Med. 1994;4:10-15. D’Eon MF Knowledge loss of medical students on first year basic science courses at the university of Saskatchewan 2006 BMC Med Educ 5 D’Eon MF. Knowledge loss of medical students on first year basic science courses at the university of Saskatchewan. BMC Med Educ. 2006;6:5. DOI: 10.1186/1472-6920-6-5 http://dx.doi.org/10.1186/1472-6920-6-5 Cheifetz RE Phang PT Evaluating learning and knowledge retention after continuing medical education course on total mesorectal excision for surgeons 2006 Am J Surg 687-690 Cheifetz RE, Phang PT. Evaluating learning and knowledge retention after continuing medical education course on total mesorectal excision for surgeons. Am J Surg. 2006;191(5):687-690. DOI: 10.1016/j.amjsurg.2006.01.043 http://dx.doi.org/10.1016/j.amjsurg.2006.01.043 0

1 1de 1en Abbildung 1: Studentenkohorten und modulare Struktur von MeCuM.Definition der verschiedenen Studierenden-Kohorten im Sommersemester 2009 und Wintersemester 2009/2010, sowie die Messzeitpunkte des Progress-Tests. Figure 1: Student cohorts and modular structure of MeCuM.Definition of the various student cohorts in the 2009 summer semester and the 2009/2010 winter semester and the measurement points of the progress test.

2 2de 2en Abbildung 2: Wissenszuwachs in „Konservativer Medizin“ im MeCuMY-Achse: Anteil der korrekten Antworten; X-Achse: Messzeitpunkte (Definition T1, T2 und T3 siehe Abbildung 1). Figure 2: Knowledge growth on “Conservative Medicine” in the MeCuMY-axis: Share of correct answers; x-axis: measurement points (Definition T1, T2 and T3 at Figure 1).

3 3de 3en Abbildung 3: Wissenszuwachs in „Konservativer Medizin“ im MeCuMErgebnisse der einzelnen Kohorten (Definition siehe Abbildung 1). Figure 3: Knowledge growth on “Conservative Medicine” in the MeCuMResults of individual cohorts (see Figure 1 for definition).

4 4de 4en Abbildung 4: Wissenszuwachs in Subdisziplinen der Inneren Medizin im MeCuMY-Achse: Wissenszuwachs (T2 - T1) in % der erreichbaren Maximalpunktzahl. Figure 4: Knowledge growth in sub-disciplines of internal medicine in the MeCuMY-axis: Knowledge growth (T2 - T1) in % of achievable maximum points.

5 5de 5en Abbildung 5: Wissenszuwachs in Subdisziplinen der Inneren Medizin im MeCuMY-Achse: Anteil (korrekte-falsche) Fragen in den angegebenen Subdisziplinen. X-Achse: Messzeitpunkte (Definition siehe Abbildung 1). Figure 5: Knowledge growth in sub-disciplines of internal medicine in the MeCuMY-axis: Share (correct-wrong) questions in the listed sub-disciplines. X-axis: Measurement points (see Figure 1 for definition).

5 0 0