000270
10.3205/000270
urn:nbn:de:0183-0002708
Research Article
Originalarbeit
National survey of evaluation practices and performance-guided resource allocation at German medical schools
Bundesweite Erhebung zur Lehrevaluation und Leistungsorientierten Mittelvergabe in der Lehre an den medizinischen Fakultäten in Deutschland
Schiekirka-Schwake
Schiekirka-Schwake
Sarah
S
Studiendekanat, Universitätsmedizin Göttingen, Humboldtallee 38, 37073 Göttingen, GermanyStudiendekanat, Universitätsmedizin Göttingen, Germany
Studiendekanat, Universitätsmedizin Göttingen, Humboldtallee 38, 37073 Göttingen, DeutschlandStudiendekanat, Universitätsmedizin Göttingen, Deutschland
sarah.schiekirka-schwake@med.uni-goettingen.de
author
Barth
Barth
Janina
J
Studiendekanat, Universitätsmedizin Göttingen, GermanyStudiendekanat, Universitätsmedizin Göttingen, Germany
Studiendekanat, Universitätsmedizin Göttingen, DeutschlandStudiendekanat, Universitätsmedizin Göttingen, Deutschland
author
Pfeilschifter
Pfeilschifter
Josef
J
Präsidium, Medizinischer Fakultätentag, Berlin, GermanyDekanat des Fachbereichs Medizin, Goethe-Universität Frankfurt, GermanyPräsidium, Medizinischer Fakultätentag, Berlin, GermanyDekanat des Fachbereichs Medizin, Goethe-Universität Frankfurt, Germany
Präsidium, Medizinischer Fakultätentag, Berlin, DeutschlandPräsidium, Medizinischer Fakultätentag, Berlin, DeutschlandDekanat des Fachbereichs Medizin, Goethe-Universität Frankfurt, Deutschland
author
Hickel
Hickel
Reinhard
R
Präsidium, Medizinischer Fakultätentag, Berlin, GermanyDekanat der Medizinischen Fakultät, Ludwig-Maximilians-Universität München, GermanyPräsidium, Medizinischer Fakultätentag, Berlin, GermanyDekanat der Medizinischen Fakultät, Ludwig-Maximilians-Universität München, Germany
Präsidium, Medizinischer Fakultätentag, Berlin, DeutschlandPräsidium, Medizinischer Fakultätentag, Berlin, DeutschlandDekanat der Medizinischen Fakultät, Ludwig-Maximilians-Universität München, Deutschland
author
Raupach
Raupach
Tobias
T
Studiendekanat, Universitätsmedizin Göttingen, GermanyKlinik für Kardiologie und Pneumologie, Universitätsmedizin Göttingen, GermanyHealth Behaviour Research Centre, University College London, United KingdomStudiendekanat, Universitätsmedizin Göttingen, GermanyKlinik für Kardiologie und Pneumologie, Universitätsmedizin Göttingen, GermanyHealth Behaviour Research Centre, University College London, United Kingdom
Studiendekanat, Universitätsmedizin Göttingen, DeutschlandStudiendekanat, Universitätsmedizin Göttingen, DeutschlandKlinik für Kardiologie und Pneumologie, Universitätsmedizin Göttingen, DeutschlandHealth Behaviour Research Centre, University College London, Großbritannien
author
Herrmann-Lingen
Herrmann-Lingen
Christoph
C
Klinik für Psychosomatische Medizin und Psychotherapie, Universitätsmedizin Göttingen, GermanyArbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften e.V., Berlin, GermanyKlinik für Psychosomatische Medizin und Psychotherapie, Universitätsmedizin Göttingen, GermanyArbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften e.V., Berlin, Germany
Klinik für Psychosomatische Medizin und Psychotherapie, Universitätsmedizin Göttingen, DeutschlandKlinik für Psychosomatische Medizin und Psychotherapie, Universitätsmedizin Göttingen, DeutschlandArbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften e.V., Berlin, Deutschland
author
German Medical Science GMS Publishing House
Düsseldorf
610
evaluation
evaluation practice
performance-based funding allocation
Evaluation
Evaluationspraxis
Leistungsorientierte Mittelvergabe
Medical Education
Medizinische Ausbildung
20180802
20190124
2019041820190521
engl
germ
This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung).
1612-3174
17
GMS German Medical Science
GMS Ger Med Sci
04
20190521An authorship information was added.
Hintergrund: Bislang fehlen umfassende Daten zu Evaluationspraktiken und Leistungsorientierter Mittelvergabe (LOM) in der Lehre für die deutschen medizinischen Fakultäten. Vor diesem Hintergrund haben sich die Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften e.V. (AWMF) und der Medizinische Fakultätentag (MFT) das gemeinsame Ziel gesetzt, die Praxis der Evaluationen und LOM in der Lehre (LOM-Lehre) an den medizinischen Fakultäten in Deutschland zu analysieren. Methoden: Die Datenerhebung erfolgte mittels Fragebogen, der an alle medizinischen Fakultäten in Deutschland gesandt wurde.Ergebnisse: An der Befragung nahmen 30 Fakultäten mit insgesamt 33 Studiengängen teil (Rücklauf: 83%). Die an den Fakultäten eingesetzten Erhebungsinstrumente erfassen vorrangig strukturelle und prozedurale Aspekte sowie einen Gesamteindruck der Lehre. Zwischen den Fakultäten herrscht bezüglich der verwendeten Instrumente eine recht hohe Heterogenität. Teilweise bleibt unklar, inwiefern die Erhebungsinstrumente internationalen Qualitätsstandards genügen. Die finanzielle Honorierung der Lehre erfolgt überwiegend im Rahmen der Grundausstattung bzw. nach Kriterien der Lehr-Quantität. Qualitätsb<![CDATA[as</PlainText></TextGroup>ierte Mittelzuweisung spielt eine eher untergeordnete Rolle.</Pgraph><Pgraph><Mark1>Schlussfolgerung</Mark1>: Eine möglichst bundesweite Konsentierung eines Leitbilds guter Lehre sowie die Identifikation bzw. Entwicklung valider und reliabler Erhebungsinstrumente in deutschlandweiter Zusammenarbeit scheint erstrebenswert und würde eine Weiterentwicklung der gültigen LOM-Lehre darstellen. </Pgraph></Abstract>
<Abstract language="en" linked="yes"><Pgraph><Mark1>Background:</Mark1> Little is known about evaluation practices as well as performance-oriented allocation of resources according to teaching quality at German medical schools. For this reason, the Association of the Scientific Medical Societies in Germany and the German Association of Medical Faculties aimed to analyse current practices at German medical schools.</Pgraph><Pgraph><Mark1>Methods:</Mark1> Data were collected by a questionnaire which was sent to all medical schools in Germany.</Pgraph><Pgraph><Mark1>Results: </Mark1>30 medical schools with 33 undergraduate medical programs participated in the survey (response rate: 83%). The evaluation tools used at these schools mainly assessed structural and procedural aspects of teaching and were designed to obtain overall student ratings of teaching quality. Evaluation tools were quite heterogeneous across the sample, and some uncertainty remained with regard to the psychometric properties of these tools and whether they meet international quality standards. Various algorithms underlying resource allocation for teaching are being used, but most focus on quantity rather than quality of teaching. </Pgraph><Pgraph><Mark1>Conclusion:</Mark1> A nationwide agreement on a generalizable definition of high-quality teaching is desirable. At the same time, reliable and valid tools measuring teaching quality need to be identified and/or created. This could be accomplished through a wider collaboration of medical schools and could represent an advancement for the allocation of resources for high-quality teaching.</Pgraph></Abstract>
<TextBlock language="en" linked="yes" name="Background">
<MainHeadline>Background</MainHeadline><Pgraph>There are currently around 92,000 undergraduate medical students in Germany, dispersed among 37 medical schools. Teaching quality must meet high standards, both in terms of content <TextLink reference="1"></TextLink> and the coverage of interprofessionalism and scientificity <TextLink reference="2"></TextLink>. Owing to the purpose of national rankings, “teaching outcome” at individual medical schools is sometimes used as a surrogate marker of “teaching quality”. The second state examination only represents factual knowledge, and the aggregate exams provide but few clues to the specific strengths and weaknesses of individual curricula. Thus medical schools need other data sources to assess their teaching quality. One popular source are student evaluations of teaching. Depending on the survey instrument that is used, up to four dimensions of teaching quality can be mapped. According to Gibson et al., the structural and procedural characteristics of teaching as well as the didactic skills of the teachers and the student learning outcome are differentiated <TextLink reference="3"></TextLink>. However, many evaluation tools focus on structural and process-related parameters <TextLink reference="4"></TextLink> and only ask for student satisfaction with teaching. It is known that, particularly, global assessments by students are subject to a variety of confounding factors (e.g., individual characteristics such as gender, interest in subject, level of performance) <TextLink reference="5"></TextLink>. Such a bias of the evaluation is problematic because at some medical schools the results are discussed as the basis of a performance-based allocation of resources (<Mark2>Leistungsorientierte Mittelvergabe</Mark2>, <Mark2>LOM</Mark2>) for teaching (teaching-LOM). In research, a defined benefit allocation has become well established. Although the parameters and algorithms used in research evaluation are criticized heavily <TextLink reference="6"></TextLink>, there has been a mismatch between incentives for good research and those for good teaching. Although a large amount of money flows into the basic equipment for teaching, the quality of teaching is often not sufficiently considered in resource allocation. Therefore, the perception of many scientists is that commitment to teaching pays off less than involvement in research.</Pgraph><Pgraph>So far, there is a lack of comprehensive data for German medical schools regarding their evaluation practices and the design of LOM algorithms in teaching. Against this background, the Working Group on Evaluation of Performance in Medical Research and Teaching of the Association of Scientific Medical Societies in Germany (AWMF) and the Medical School Association (MFT) have set the common goal of analyzing current evaluation practices at medical schools in Germany. This paper shows the results of a survey conducted at these schools.</Pgraph></TextBlock>
<TextBlock language="de" linked="yes" name="Einleitung">
<MainHeadline>Einleitung</MainHeadline><Pgraph>Im Studium der Humanmedizin werden an den 37 deutschen Fakultäten aktuell rund 92.000 Menschen zu künftigen Ärztinnen und Ärzten ausgebildet. Die Qualität des Studiums muss hohen Ansprüchen genügen: Neben der inhaltlichen Ebene <TextLink reference="1"></TextLink> sind hierbei u.a. auch Aspekte der Interprofessionalität und der Wissenschaftlichkeit abzudecken <TextLink reference="2"></TextLink>. Das „Ergebnis“ der Lehre an den medizinischen Fakultäten wird – auch zum Zweck eines nationalen Rankings – zuweilen an den studentischen Leistungen im schriftlichen Teil des Zweiten Staatsexamens abgeschätzt. Diese Prüfung bildet lediglich Faktenwissen ab und die aggregierten Examensleistungen bieten nur wenige Anhaltspunkte für konkrete Stärken und Schwächen einzelner Curricula. Somit benötigen die Fakultäten andere Datenquellen zur Beurteilung ihrer Lehrqualität. Hierzu werden in der Regel studentische Evaluationen durchgeführt. Hier können – je nach dem eingesetzten Erhebungsinstrument – bis zu vier Dimensionen der Lehrqualität abgebildet werden. Nach Gibson et al. werden diesbezüglich strukturelle und prozedurale Charakteristika der Lehre sowie die didaktischen Fertigkeiten der Lehrenden und der studentische Lernerfolg unterschied<TextGroup><PlainText>en </PlainText></TextGroup><TextLink reference="3"></TextLink>. Viele Evaluationsinstrumente legen ihren Fokus allerdings auf strukturelle und prozessbezogene Parameter <TextLink reference="4"></TextLink> und erfragen in erster Linie die studentische Zufriedenheit mit der Lehre. Dabei ist bekannt, dass insbesondere Global-Bewertungen durch Studierende mannigfachen Störfaktoren (z.B. individuelle Charakteristika wie Geschlecht, Interesse am Thema, Leistungsniveau) unterliegen <TextLink reference="5"></TextLink>. Eine solche Verzerrung der Evaluation ist problematisch, da die Ergebnisse an einigen Fakultäten als Grundlage einer Leistungsorientierten Mittelvergabe (LOM) für Lehre (LOM-Lehre) diskutiert werden. In der Forschung ist eine Leistungsorientierte Mittelzuweisung mittlerweile allgemein etabliert. Obwohl die Parameter und Algorithmen der Forschungsevaluation intensiv kritisiert werden <TextLink reference="6"></TextLink>, ist ein Ungleichgewicht zwischen Anreizen für gute Forschung und solchen für gute Lehre entstanden. Zwar fließen große Summen in die Grundausstattung der Lehre, die Lehrqualität wird bei der Ressourcen-Allokation jedoch häufig nicht ausreichend einbezogen. Dies hat zu Folge, dass sich in der Wahrnehmung vieler WissenschaftlerInnen Engagement in der Lehre weniger auszahlt als Engagement in der Forschung. </Pgraph><Pgraph>Bislang fehlen umfassende Daten zu den Evaluationspraktiken und zur Gestaltung von LOM-Algorithmen in der Lehre für die deutschen medizinischen Fakultäten. Vor diesem Hintergrund haben sich die Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften e.V. (AWMF) und der Medizinische Fakultätentag (MFT) das gemeinsame Ziel gesetzt, die an den medizinischen Fakultäten in Deutschland gängigen Evaluationspraktiken zu analysieren. In dieser Arbeit werden die Ergebnisse einer an allen medizinischen Fakultäten Deutschlands durchgeführten Befragung vorgestellt.</Pgraph></TextBlock>
<TextBlock language="en" linked="yes" name="Methods">
<MainHeadline>Methods</MainHeadline><Pgraph>A standardized questionnaire was developed in a multi-stage procedure and piloted.</Pgraph><Pgraph>The questionnaire covered the following aspects of teaching evaluation and LOM awarding practice in eleven parts:</Pgraph><Pgraph><OrderedList><ListItem level="1" levelPosition="1" numString="1.">grounding of evaluation,</ListItem><ListItem level="1" levelPosition="2" numString="2.">objects of evaluation,</ListItem><ListItem level="1" levelPosition="3" numString="3.">persons involved in the evaluation,</ListItem><ListItem level="1" levelPosition="4" numString="4.">regularity and frequency of evaluation of the curriculum,</ListItem><ListItem level="1" levelPosition="5" numString="5.">format of evaluation by students,</ListItem><ListItem level="1" levelPosition="6" numString="6.">format of the evaluation by academic teachers,</ListItem><ListItem level="1" levelPosition="7" numString="7.">content of the evaluation by students,</ListItem><ListItem level="1" levelPosition="8" numString="8.">use of objective data for quality assurance and evaluation,</ListItem><ListItem level="1" levelPosition="9" numString="9.">processing and distribution of the evaluation results,</ListItem><ListItem level="1" levelPosition="10" numString="10.">consequences of the evaluation,</ListItem><ListItem level="1" levelPosition="11" numString="11.">allocation of funds for teaching.</ListItem></OrderedList></Pgraph><Pgraph>The questionnaire mainly included yes/no questions, sometimes with the possibility of supplementing free text information. Occasionally, numbers were requested, especially for the range of the evaluations, the response rates of student evaluations, and the allocation of funds by the faculties.</Pgraph><Pgraph>The questionnaire was sent in July 2013 via the office of the Medical School Association to all medical schools in Germany. Medical schools were asked for written answers from the responsible staff and for sending relevant materials. In case of non-response, a reminder was issued at the end of August, further missing data were requested by phone in November and December. The (German) questionnaire is available from the authors upon request.</Pgraph></TextBlock>
<TextBlock language="de" linked="yes" name="Methoden">
<MainHeadline>Methoden</MainHeadline><Pgraph>Es wurde ein standardisierter und im Vorfeld in einem mehrstufigen Verfahren pilotierter Fragebogen entwickelt.</Pgraph><Pgraph>Der Fragebogen bildete in elf Abschnitten die folgenden Aspekte der Lehrevaluation und LOM-Vergabepraxis ab:</Pgraph><Pgraph><OrderedList><ListItem level="1" levelPosition="1" numString="1.">Grundlagen der Evaluation,</ListItem><ListItem level="1" levelPosition="2" numString="2.">Gegenstände der Evaluation,</ListItem><ListItem level="1" levelPosition="3" numString="3.">an der Evaluation beteiligte Personengruppen,</ListItem><ListItem level="1" levelPosition="4" numString="4.">Regelmäßigkeit und Häufigkeit der Evaluation des Kerncurriculums,</ListItem><ListItem level="1" levelPosition="5" numString="5.">Format der Evaluation durch Studierende,</ListItem><ListItem level="1" levelPosition="6" numString="6.">Format der Evaluation durch Dozenten,</ListItem><ListItem level="1" levelPosition="7" numString="7.">inhaltliche Aspekte der Evaluation durch Studiere<TextGroup><PlainText>nde</PlainText></TextGroup>,</ListItem><ListItem level="1" levelPosition="8" numString="8.">Nutzung objektiver Daten zu Qualitätssicherung und Evaluation,</ListItem><ListItem level="1" levelPosition="9" numString="9.">Aufbereitung und Verbreitung der Evaluationsergebnisse,</ListItem><ListItem level="1" levelPosition="10" numString="10.">Konsequenzen der Evaluation,</ListItem><ListItem level="1" levelPosition="11" numString="11.">Mittelvergabe für die Lehre.</ListItem></OrderedList></Pgraph><Pgraph>Der Fragebogen enthielt vor allem Ja/Nein-Fragen, teilweise mit der Möglichkeit zu ergänzenden Freitextangaben. Vereinzelt wurden Zahlenangaben, etwa zum Umfang der Evaluationen, den Rücklaufquoten studentischer Evaluationen sowie zur Aufteilung der fakultären Landesmittel erbeten.</Pgraph><Pgraph>Der Fragebogen wurde im Juli 2013 über die Geschäftsstelle des Medizinischen Fakultätentages allen medizinischen Fakultäten in Deutschland zugesandt. Die Fakultäten wurden um schriftliche Beantwortung durch die zuständigen Mitarbeiter sowie die Zusendung relevanter Materialien gebeten. Bei Nichtbeantwortung erfolgte eine Erinnerung Ende August, weitere fehlende Daten wurden im November und Dezember telefonisch erfragt. Der Fragebogen kann bei den Autoren angefordert werden.</Pgraph></TextBlock>
<TextBlock language="en" linked="yes" name="Results">
<MainHeadline>Results</MainHeadline><Pgraph>30 German medical schools participated in the survey with 33 study programs (23 standard curricula, 6 model curricula, 3 reformed standard curricula, and 1 degree program in molecular medicine) (response rate 83%).</Pgraph><Pgraph>The results are presented below according to the above-mentioned sections of the questionnaire.</Pgraph><SubHeadline>Grounding of evaluation</SubHeadline><Pgraph>Only 21% of all study programs had a dedicated evaluation system. The majority relied on evaluation regulations of the respective university or on corresponding decisions of the departmental council. The majority (85%) cited their evaluation practice as “grown by experience”, and 75% think that it is scientifically justified. Regarding the data source, 40% referred to external and 36% to internal survey instruments. In addition, points such as relevant knowledge in methodology research or evaluation standards as defined by various groups (e.g., the German Evaluation Society (<Mark2>DeGEVal</Mark2>), the working group on evaluation, and the training committee) were mentioned. </Pgraph><SubHeadline>Objects of the evaluation and involved groups of people</SubHeadline><Pgraph>Most frequently, subjects (70%), individual courses (67%), and study sections (64%) are evaluated. In particular, the internship (PJ) is relevant to evaluation for 85% of the programs. Also, teachers are evaluated in three out of four medical schools. About half of the medical schools evaluate examinations (quality and results) and graduates. All degree programs use student evaluations, 45<TextGroup><PlainText>% involved</PlainText></TextGroup> teachers and 20–25% internal panels, but also external reviewers.</Pgraph><SubHeadline>Regularity and frequency of evaluation in the core curriculum</SubHeadline><Pgraph>In less than 50% of the study programs, a comprehensive evaluation of all types of events and groups of persons takes place. Only courses in special medical disciplines or cross-sectional areas are consistently evaluated by about two thirds of medical schools; individual segments of the curriculum (e.g., preclinical, clinical, practical internship) in 42%; and teachers (27% to 36%) as well as examinations (33%) in about one third.</Pgraph><SubHeadline>Format of evaluations by students and academic teachers</SubHeadline><Pgraph>Nearly all study programs (97%) use online formats for student evaluations, and about 50% (additionally) utilize paper-based formats for evaluations. The majority (94%) are evaluated outside of course times, mainly before or after the final exam. However during ongoing courses, evaluations take place in about 46%. The number of questions in the questionnaire varies greatly (1 to 14<TextGroup><PlainText>0 items</PlainText></TextGroup>). Ordinal or interval-scaled items (e.g., grades, percentages) and free-text comments are most commonly used, as well as dichotomous, open and multiple choice questions. </Pgraph><Pgraph>The reported response rates of student evaluations <TextGroup><PlainText>average</PlainText></TextGroup> approximately 60%. Incentives for increased r<TextGroup><PlainText>et</PlainText></TextGroup>urns, such as transparency (18%) and student bonus schemes (33%), as well as coercion and negative consequences, are only sporadically described as helpful. Other forms of evaluation include debriefing (54%) and reports from semester spokespersons (48%). Interviews (15%) and focus groups (21%) are less frequently used.</Pgraph><Pgraph>In the course evaluation by academic teachers, the majority (80%) choose a structured approach.</Pgraph><Pgraph>In 40% of the cases all teachers are evaluated; in 20% a selection of teachers are evaluated by committees.</Pgraph><SubHeadline>Content of the evaluation by students</SubHeadline><Pgraph>Using student evaluations, structural and process parameters as well as the overall impression of the teaching is captured. The subjective relevance of the educational content for examinations and practice, the content structure and overall satisfaction with educational events or overall grades are most frequently rated by students (>80%). For further details see Table 1 <ImgLink imgNo="1" imgType="table"/>.</Pgraph><SubHeadline>Use of objective data for quality assurance and evaluation</SubHeadline><Pgraph>94% of medical schools use objective data for internal or external quality assurance of teaching. Particularly frequently (>80%) the second state examination (pass rate in the reference cohort, failure rate) was named, followed by average study duration, average score in the second state examination and number of graduates (7<TextGroup><PlainText>9% each</PlainText></TextGroup>), passing of the first state examination, and further qualifications of the teachers (76% each).</Pgraph><Pgraph>Ratio of support, number and quality of doctorates, research projects or publications on teaching, as well as average scores and subject-specific evaluations in the first state examination are less relevant parameters for quality assurance (50–70%).</Pgraph><SubHeadline>Processing and distribution of the evaluation results</SubHeadline><Pgraph>The results of the evaluation are mostly written as reports and regularly stored electronically in a protected area. Usually, deans’ offices (79%) and professors responsible for issuing certificates (76%) are actively informed about the results, often also teaching coordinators (67%), individual academic teachers (61%), and students (64%). <TextGroup><PlainText>An active</PlainText></TextGroup> communication of results takes place in more than 40%; and in almost 10% of all cases, the (external) public is actively informed.</Pgraph><SubHeadline>Consequences of the evaluation</SubHeadline><Pgraph>In two out of three faculties, teaching quality is rated according to fixed criteria/categories; in 82%, courses and academic teachers are also assessed in relation to each other. Mostly (82%) there are feedback talks with academic teachers, less frequently feedback on teaching content in cross-sectional areas (73%), medical subjects (61%), and modules (55%). In addition, just under 80% (79%) of the degree programs have provided consequences for particularly positive but also particularly negative evaluation results. For positive results, the main reported consequence (54%) is reward by teaching-LOM. Only o<TextGroup><PlainText>ccasio</PlainText></TextGroup>nally, awards for the best lecturer or a bonus <TextGroup><PlainText>for promotions</PlainText></TextGroup> were mentioned. In contrast, 73% of study programs provide training and support for teachers with particularly negative outcomes, followed by face-to-face interviews (45%) and negative effects on tea<TextGroup><PlainText>chin</PlainText></TextGroup>g-LO<TextGroup><PlainText>M (2</PlainText></TextGroup>1%).</Pgraph><SubHeadline>Allocation of funds for teaching </SubHeadline><Pgraph>Seventeen medical schools answered the questions about their internal distribution of resources. These data are shown in Figure 1 <ImgLink imgNo="1" imgType="figure"/>. It becomes clear here that the three most important items represent the general basic supply of the Chairs as well as the curricular basic equipment and the evaluation-based research LOM. In contrast, evaluation-based funds for teaching play a minor role, <TextGroup><PlainText>as well</PlainText></TextGroup> as application-based research and teaching <TextGroup><PlainText>support</PlainText></TextGroup>. With an average of 1.6% (minimum 0%, media<TextGroup><PlainText>n 3</PlainText></TextGroup>%, maximum 6%), the evaluation-based teaching-LOM tends to account for a small part of the state funds.</Pgraph><Pgraph>In 60%, the teaching-LOM follows a fixed algorithm. Wi<TextGroup><PlainText>th ju</PlainText></TextGroup>st under 70%, it benefits clinics and institutes in particular, much less complete modules (15%) or individuals (21%).</Pgraph></TextBlock>
<TextBlock language="de" linked="yes" name="Ergebnisse">
<MainHeadline>Ergebnisse</MainHeadline><Pgraph>An der Befragung nahmen 30 deutsche medizinische Fakultäten mit insgesamt 33 Studiengängen (23 Regelstudiengänge, 6 Modellstudiengänge, 3 reformierte Regelstudiengänge, und 1 Studiengang für Molekulare Medizin) teil (Rücklaufquote 83%).</Pgraph><Pgraph>Die Ergebnisse werden im Folgenden orientiert an den Abschnitten des Fragebogens dargestellt.</Pgraph><SubHeadline>Grundlagen der Evaluation</SubHeadline><Pgraph>Lediglich 21% der Studiengänge verfügten über eine fakultätseigene Evaluationsordnung. Die Mehrzahl berief sich auf die Evaluationsordnung der jeweiligen Universität bzw. auf entsprechende Fachbereichsratsbeschlüsse. Der Großteil (85%) gibt seine Evaluationspraxis als „durch Erfahrung gewachsen“ an, bei 75% ist diese auch wissenschaftlich begründet. Als Quelle verweisen 40% auf externe und 36% auf interne Erhebungsinstrumente. Des Weiteren werden vereinzelt Punkte wie einschlägige Kenntnisse in der Methodenforschung oder Standards für Evaluation der Gesellschaft für Evaluation e.V. (D<TextGroup><PlainText>eGEVa</PlainText></TextGroup>l), der AG Evaluation und der Ausbildungskommission genannt. </Pgraph><SubHeadline>Gegenstände der Evaluation und beteiligte Personengruppen</SubHeadline><Pgraph>Hauptsächlich werden Fächer (70%), Einzelveranstaltungen (67%) und Studienabschnitte (64%) evaluiert. Insbesondere das Praktische Jahr (PJ) ist für 85% der Studiengänge evaluationsrelevant. Auch Lehrende werden an drei Vierteln der Fakultäten evaluiert. Für Prüfungen (Qualität und Ergebnisse) und AbsolventInnen erfolgt in etwa der Hälfte der Fakultäten eine Evaluation. Alle Studiengänge nutzen studentische Evaluationen, 45% beziehen Lehrende mit ein und 20–25% interne Gremien jedoch auch externe GutachterInnen.</Pgraph><SubHeadline>Regelmäßigkeit und Häufigkeit der Evaluation im Kerncurriculum</SubHeadline><Pgraph>In weniger als 50% der Studiengänge erfolgt eine flächendeckende Evaluation aller Veranstaltungstypen und Personengruppen. Lediglich Fächer bzw. Querschnittsbereiche werden von etwa zwei Dritteln der Fakultäten durchgängig evaluiert, einzelne Studienabschnitte von 42%, und Lehrende (27% bis 36%) sowie Prüfungen (33%) von ca. einem Drittel. </Pgraph><SubHeadline>Format der Evaluationen </SubHeadline><Pgraph>Nahezu alle Studiengänge (97%) nutzen bei studentischen Evaluationen Online-Formate, etwa 50% evaluieren (zusätzlich) papierbasiert. Mehrheitlich (94%) wird außerhalb von Lehrveranstaltungen, vorwiegend vor oder nach der Abschlussklausur, evaluiert. Aber auch während laufender Veranstaltungen finden in ca. 46% der Studiengänge Evaluationen statt. Die Fragenanzahl im Fragebogen variiert stark (1 bis 140 Items). Am häufigsten kommen ordinal- bzw. intervallskalierte Items (z.B. Schulnoten, <TextGroup><PlainText>%-Angaben</PlainText></TextGroup>) sowie Freitextkommentare zum Einsatz. Auch werden dichotome, offene und Mehrfachantwort-Fragen verwendet.</Pgraph><Pgraph>Die Rücklaufquoten studentischer Evaluationen wurden im Mittel mit ungefähr 60% angegeben. Anreize für einen erhöhten Rücklauf wie Transparenz (18%) und Bonussy<TextGroup><PlainText>ste</PlainText></TextGroup>me für Studierende (33%) werden ebenso wie Zwang und negative Konsequenzen nur vereinzelt als hilfreich beschrieben. Als weitere Evaluationsformen wurden Nachbesprechungen (54%) und Berichte von SemestersprecherInnen (48%) genannt. Interviews (15%) und F<TextGroup><PlainText>oku</PlainText></TextGroup>sgruppen (21%) kommen seltener zum Einsatz.</Pgraph><Pgraph>Bei der Lehrveranstaltungsevaluation durch Dozierende wird in der Mehrzahl (80%) ein strukturiertes Vorgehen gewählt. In 40% der Fälle evaluieren alle Lehrenden, <TextGroup><PlainText>in 2</PlainText></TextGroup>0% eine Auswahl von Lehrenden in Kommissionen.</Pgraph><SubHeadline>Inhaltliche Aspekte der Evaluation durch Studierende</SubHeadline><Pgraph>Mittels studentischer Evaluationen werden vor allem Struktur- und Prozessparameter sowie der Gesamteindruck der Lehre erfasst. Besonders hoch (>80%) schätzen Studierende subjektiv die Prüfungs- und Praxisrelevanz der Inhalte ein, bewerten den inhaltlichen Aufbau und geben ihre globale Zufriedenheit mit der Veranstaltung an bzw. eine Gesamtnote ab. Für weitere Details siehe Tabelle 1 <ImgLink imgNo="1" imgType="table"/>.</Pgraph><SubHeadline>Nutzung objektiver Daten zur Qualitätssicherung und Evaluation</SubHeadline><Pgraph>Von 94% der Fakultäten werden objektive Daten zur internen oder externen Qualitätssicherung der Lehre genutzt. Besonders häufig (>80%) wurde das Zweite Staatsexamen (Bestehensquote in der Referenzkohorte, Durchfallquote) genannt, gefolgt von durchschnittlicher Studiendauer, durchschnittlicher Punktzahl im Zweiten Staatsexamen und Absolventenzahlen (je 79%), Bestehen des Ersten Staatsexamens und Weiterqualifikationen der Lehrenden (je 76%). </Pgraph><Pgraph>Betreuungsrelation, Zahl und Qualität von Promotionen sowie Forschungsprojekte bzw. Publikationen zur Lehre, aber auch durchschnittliche Punktzahlen und fächersp<TextGroup><PlainText>ezifi</PlainText></TextGroup>sche Auswertungen im Ersten Staatsexamen sind weniger relevante Parameter für die Qualitätssicherun<TextGroup><PlainText>g (5</PlainText></TextGroup>0–70%)</Pgraph><SubHeadline>Aufbereitung und Verbreitung der Evaluationsergebnisse</SubHeadline><Pgraph>Die Evaluationsergebnisse werden überwiegend als schriftliche Berichte verfasst und meist elektronisch in einem geschützten Bereich abgelegt. In der Regel werden Dekanat (79%) und Scheinverantwortliche (76%) aktiv über die Ergebnisse informiert, häufig auch LehrkoordinatorInnen (67%), einzelne Dozierende (61%) und Studierende (64%). Eine aktive Ergebnis-Kommunikation erfolgt in gut 40%, und in knapp 10% der Fälle wird aktiv die (externe) Öffentlichkeit informiert. </Pgraph><SubHeadline>Konsequenzen der Evaluation</SubHeadline><Pgraph>Die Bewertung der Lehrqualität erfolgt in zwei von <TextGroup><PlainText>drei Fakultäten</PlainText></TextGroup> anhand fester Kriterien/Kategorien, <TextGroup><PlainText>bei 82</PlainText></TextGroup>% werden Veranstaltungen und Dozierende auch relativ zueinander bewertet. Mehrheitlich (82%) werden Feedbackgespräche mit Dozierenden geführt, seltener wird Feedback zu Lehrinhalten an Querschnittsbereich<TextGroup><PlainText>e (73</PlainText></TextGroup>%), Fächer (61%) und Module (55%) gegeben. Zudem haben knapp 80% (79%) der Studiengänge Konsequenzen für besonders positive aber auch für besonders negative Evaluationsergebnisse vorgesehen. Für positive Ergebnisse wird vorwiegend (54%) die Berücksichtigung in der LOM-Lehre genannt und nur vereinzelt Auszeichnungen als beste Dozentin bzw. bester Dozent oder ein Bonus bei Beförderungen erwähnt. Dagegen stehen bei 73% der Studiengänge Schulungs- und Un<TextGroup><PlainText>terstützungs</PlainText></TextGroup>angebote für Lehrende mit besonders negativen Ergebnissen zur Verfügung, gefolgt von persö<TextGroup><PlainText>nli</PlainText></TextGroup>chen Gesprächen (45%) und Effekten auf die LOM-Lehre (21%).</Pgraph><SubHeadline>Mittelvergabe für Lehre </SubHeadline><Pgraph>Für die Verteilung der Landes-Zuführungsbeiträge liegen Antworten von 17 Fakultäten vor. Diese Daten sind in Abbildung 1 <ImgLink imgNo="1" imgType="figure"/> dargestellt. Deutlich wird hier, dass die drei wichtigsten Posten die allgemeine Grundausstattung der Lehrstühle sowie die curriculare Basisausstattung und die evaluationsbasierte Forschungs-LOM darstell<TextGroup><PlainText>en. D</PlainText></TextGroup>emgegenüber spielen diese Mittel für die Lehre ebenso eine untergeordnete Rolle wie antragsbasierte Forschungs- und Lehrförderung. Die evaluationsbasierte LOM-Lehre bildet mit durchschnittlich 1,6% (Minimum 0%, Med<TextGroup><PlainText>ian 3%</PlainText></TextGroup>, Maximum 6%) eher einen kleinen Teil der Landesmittel ab.</Pgraph><Pgraph>Die LOM-Lehre folgt in gut 60% einem festen Algorithmus. Sie kommt mit knapp 70% insbesondere den Kliniken bzw. Instituten zugute, deutlich seltener kompletten Modulen (15%) oder Einzelpersonen (21%).</Pgraph></TextBlock>
<TextBlock language="en" linked="yes" name="Discussion">
<MainHeadline>Discussion</MainHeadline><Pgraph>The results of the survey are in agreement with the current literature <TextLink reference="4"></TextLink>, in so far as evaluation instruments used in Germany primarily assess structural and procedural aspects as well as students’ overall impression of teaching quality. Teaching outcome – mostly defined as students’ learning success – is either assessed by student ratings of their own perceived learning outcome, or it is inferred from student performance in high-stakes examinations. A systematic evaluation of teachers is rare.</Pgraph><Pgraph>For the dimensions “process” and “teacher”, the literature review by Schiekirka et al. <TextLink reference="4"></TextLink> already identified numerous survey instruments for medical education with good to very good reliability. About one third of faculties use such instruments or use their scientific base for the development of own instruments. However, it is unclear whether the used instruments are equivalent to those already identified. Furthermore, it is uncertain how the instruments were developed, whether they were psychometrically tested and to what extent they meet established quality criteria. In 88% of medical schools, global grades are used to assess teaching quality. Although these evaluations provide a rough idea of student satisfaction with teaching, they are not considered valid measures of teaching quality due to the strong bias introduced by various construct-irrelevant confounders <TextLink reference="5"></TextLink>. Data show for example that students with a high initial interest in a course generally tend to rate it more positively than those with a low interest <TextLink reference="7"></TextLink>, <TextLink reference="8"></TextLink>. Further studies found a positive correlation between exam performance and student ratings for an anatomy course <TextLink reference="9"></TextLink>, <TextLink reference="10"></TextLink>. In this context, the importance of a clear definition of the construct of good teaching underlying the evaluation should be emphasized: Only after it has been clearly defined what is meant by "good teaching" can one identify and use an instrument that measures precisely this construct. Conversely, the interpretation of existing evaluation data should only refer to that particular construct (e.g., structural conditions) and should not be generalized to other aspects of the quality of teaching (e.g., didactic skills of academic teachers). </Pgraph><Pgraph>However, the psychometric examination of the evaluation tools used, minimization of distorting effects, as well as the coverage of all four dimensions suggested by Gibs<TextGroup><PlainText>on </PlainText></TextGroup><TextLink reference="3"></TextLink> are urgently needed in order to be able to validly assess and optimize teaching quality.</Pgraph><Pgraph>Even when the result of teaching is inferred from seemingly objective exam data, some difficulties need to be kept in mind. In order to provide valid data, examinations need to be aligned to learning objectives and instructional methods <TextLink reference="11"></TextLink> and thereby free of construct-irreleva<TextGroup><PlainText>nt va</PlainText></TextGroup>riance <TextLink reference="12"></TextLink>, <TextLink reference="13"></TextLink>. They must also meet internation<TextGroup><PlainText>al qu</PlainText></TextGroup>ality standards <TextLink reference="14"></TextLink>, which cannot be taken for granted <TextLink reference="15"></TextLink>. </Pgraph><Pgraph>These requirements become even more important when the distribution of teaching-LOM is based on evaluation results and examinations. So far, the financial remuneration of teaching has mainly been part of the basic equipment of Chairs or has been based on teaching quantity. Quality-based funding for teaching, unlike research, plays only a minor role. Also other gratifications for high quality teaching are only occasionally given. </Pgraph><Pgraph>Due to the current heterogeneity of the evaluations, it is not possible or at least of limited value to compare the results of teaching evaluations across medical schools. Although a certain degree of comparability can be established by comparing students’ results in central written exams, the validity of the data must be discussed against the background of the construct of good teaching chosen in each case. In terms of rewarding good teaching, initial data show that teachers are currently more motivated by student feedback, but they also have a positive attitude towards financial incentives <TextLink reference="16"></TextLink>, <TextLink reference="17"></TextLink>. Thus, it seems to be unrewarding to exclusively emphasize financial incentives; instead, other aspects of appreciation and specific support (for example by improving the organizational conditions for teaching and career opportunities) can help to increase and sustain motivation of academic teachers <TextLink reference="18"></TextLink>. Just as good research performance leads to both immaterial or career-related and direct material appreciation, an incentive system for good teaching should be based on a broad range of rewards in order to overcome the existing imbalance.</Pgraph></TextBlock>
<TextBlock language="de" linked="yes" name="Diskussion">
<MainHeadline>Diskussion</MainHeadline><Pgraph>Die Ergebnisse der Fakultätenbefragung decken sich insofern mit der aktuellen Literatur <TextLink reference="4"></TextLink>, als die in Deutschland eingesetzten Erhebungsinstrumente vorrangig strukturelle und prozedurale Aspekte sowie einen Gesamteindruck der Lehre erfassen. </Pgraph><Pgraph>Das Ergebnis der Lehre – i.d.R. als Lernerfolg der Studierenden definiert – wird entweder anhand punktueller studentischer Angaben zum wahrgenommenen eigenen Lernerfolg oder anhand der Leistungen in den Staatsexamina beurteilt. Eine systematische Bewertung der Lehrenden erfolgt kaum. </Pgraph><Pgraph>Für die Dimensionen „Prozess“ und „Lehrende“ wurden in der Literaturrecherche von Schiekirka et al. <TextLink reference="4"></TextLink> bereits zahlreiche Erhebungsinstrumente für die medizinische Lehre mit guter bis sehr guter Reliabilität identifiziert. Etwas mehr als ein Drittel der Fakultäten geben an, externe Instrumente für die Evaluation heranzuziehen bzw. diese als wissenschaftliche Grundlage für fakultätseigene Instrumente zu nutzen. Es bleibt jedoch unklar, ob die genutzten Instrumente sich mit den bereits identifizierten Instrumenten decken. Auch bleibt offen, ob die Instrumente spezifisch zur Erfassung der Lehre in der Medizin entwickelt wurden, ob ihnen psychometrische Testungen zugrunde liegen und inwiefern sie den gängigen Gütekriterien genügen. Bei 88% der Fakultäten werden Globalnoten zur Bewertung der Lehrqualität herangezogen. Wenngleich diese Bewertungen einen groben Eindruck von der studentischen Zufriedenheit mit der Lehre vermitteln, sind sie aufgrund der starken Verzerrung durch verschiedene konstrukt-irrelevante Störfaktoren nicht als valide Messgrößen der Lehrqualität anzusehen <TextLink reference="5"></TextLink>. So zeigen Daten, dass Studierende mit einem großen initialen Interesse an einer Lehrveranstaltung in der Evaluation positivere Einschätzungen angeben als Personen mit einem geringen Interesse <TextLink reference="7"></TextLink>, <TextLink reference="8"></TextLink>. Weitere Studien fanden eine positive Korrelation zwischen Leistungen in der Abschlussprüfung und der Bewertung eines Anatomiekurses <TextLink reference="9"></TextLink>, <TextLink reference="10"></TextLink>. In diesem Zusammenhang sei auf die Bedeutung einer klaren Definition des in der Evaluation abgebildeten Konstrukts von guter Lehre hingewiesen: Nur wenn eindeutig definiert ist, was unter „guter Lehre“ verstanden wird, kann ein Instrument identifiziert und eingesetzt werden, das genau dieses Konstrukt misst. Umgekehrt darf sich die Interpretation vorliegender Evaluationsdaten nur auf genau dieses Konstrukt (z.B. strukturelle Gegebenheiten) beziehen, und nicht auf andere Aspekte der Lehrqualität (z.B. didaktisches Geschick der Dozenten) ausgeweitet werden. </Pgraph><Pgraph>Die psychometrische Untersuchung eingesetzter Evaluationsinstrumente, Minimierung verzerrender Effekte sowie die Erfassung aller vier Dimensionen nach Gibson <TextLink reference="3"></TextLink> sind jedoch dringend erforderlich, um die Lehrqualität valide erfassen und entsprechend optimieren zu können. </Pgraph><Pgraph>Auch die Erfassung des Lehrergebnisses durch scheinbar objektive Daten wie Prüfungen unterliegt Schwierigkeiten. Um valide Daten liefern zu können, müssen Prüfungen kongruent mit dem Lehrinhalt und der Lehrform <TextLink reference="11"></TextLink> und somit frei von konstrukt-irrelevanter Varianz sein <TextLink reference="12"></TextLink>, <TextLink reference="13"></TextLink> sowie internationalen Qualitätsstandards genügen <TextLink reference="14"></TextLink>. Nicht immer ist dies gegeben <TextLink reference="15"></TextLink>. </Pgraph><Pgraph>Noch mehr Gewicht bekommen diese Voraussetzungen, wenn die Verteilung von LOM-Lehre auf Basis von Evaluationsergebnissen und Prüfungen erfolgen soll. Die finanzielle Honorierung der Lehre erfolgt bislang überwiegend im Rahmen der Grundausstattung bzw. nach Kriterien der Lehr-Quantität. Qualitätsbasierte Mittelzuweisung für die Lehre spielt anders als im Bereich der Forschung nur eine untergeordnete Rolle. Auch weitere Gratifikationen für hohe Lehrqualität kommen lediglich vereinzelt zum Einsatz. </Pgraph><Pgraph>Durch die derzeitige Heterogenität der Evaluation ist die Vergleichbarkeit der Ergebnisse zwischen Fakultäten nicht oder nur sehr eingeschränkt möglich. Durch eine Betrachtung schriftlicher Examensergebnisse kann zwar eine gewisse Vergleichbarkeit hergestellt werden – hier bleibt jedoch jeweils die Validität der Daten vor dem Hintergrund des jeweils gewählten Konstruktes guter Lehre zu diskutieren. Hinsichtlich einer Honorierung guter Lehre zeigen erste Daten, dass Lehrende derzeit ihre Motivation vorranging aus studentischem Feedback ziehen, jedoch möglichen finanziellen Anreizen positiv gegenüber stehen <TextLink reference="16"></TextLink>, <TextLink reference="17"></TextLink>. So scheint es nicht zielführend zu sein, ausschließlich finanzielle Anreize in den Vordergrund zu stellen, vielmehr können auch weitere Aspekte der Wertschätzung und konkrete Unterstützung (durch z.B. Verbesserung von Rahmenbedingungen und Karrierechancen) motivationsfördernd und -erhaltend wirken <TextLink reference="18"></TextLink>. Ebenso wie gute Forschungsleistung sowohl immaterielle und karrierebezogene als auch direkte materielle Wertschätzung erfährt, sollte ein Anreizsystem für gute Lehre auf breiter Basis ansetzen, um das bislang bestehende Ungleichgewicht auszugleichen. </Pgraph></TextBlock>
<TextBlock language="en" linked="yes" name="Conclusions">
<MainHeadline>Conclusions</MainHeadline><Pgraph>This first systematic survey of German medical schools on the practices used for evaluating medical teaching has shown that the evaluation instruments used have similar content and methodology, and above all record structural and procedural aspects as well as students’ overall impression of teaching. Yet, there is considerable heterogeneity regarding the instruments actually used. A nationwide consensus on a general construct of good medical teaching as well as the identification or development of valid and reliable evaluation instruments in a nation-wide cooperation appears sensible.</Pgraph></TextBlock>
<TextBlock language="de" linked="yes" name="Fazit">
<MainHeadline>Fazit</MainHeadline><Pgraph>Diese erste systematische Erhebung zu den Evaluationspraktiken in der Lehre an deutschen medizinischen Fakultäten hat gezeigt, dass die Evaluationsinstrumente inhaltlich und methodisch ähnlich ausgelegt sind und vor allem strukturelle und prozedurale Aspekte sowie einen Gesamteindruck der Lehre erfassen. Bezüglich der tatsächlich eingesetzten Instrumente herrscht eine erhebliche Heterogenität. Eine möglichst bundesweite Konsentierung eines Leitbilds guter medizinischer Lehre sowie die Identifikation bzw. Entwicklung valider und reliabler Erhebungsinstrumente in deutschlandweiter Zusammenarbeit scheint sinnvoll.</Pgraph></TextBlock>
<TextBlock language="en" linked="yes" name="Notes">
<MainHeadline>Notes</MainHeadline><SubHeadline>Competing interests</SubHeadline><Pgraph>The authors declare that they have no competing interests.</Pgraph><SubHeadline>Authorship</SubHeadline><Pgraph>The authors Raupach T and Herrmann-Lingen C contributed equally to this work.</Pgraph></TextBlock>
<TextBlock language="de" linked="yes" name="Anmerkungen">
<MainHeadline>Anmerkungen</MainHeadline><SubHeadline>Interessenkonflikte</SubHeadline><Pgraph>Die Autoren erklären, dass sie keine Interessenkonflikte in Zusammenhang mit diesem Artikel haben.</Pgraph><SubHeadline>Autorenschaft</SubHeadline><Pgraph>Die Autoren Raupach T und Herrmann-Lingen C haben gleichermaßen zu der Arbeit beigetragen.</Pgraph></TextBlock>
<TextBlock language="en" linked="yes" name="Acknowledgements">
<MainHeadline>Acknowledgements</MainHeadline><Pgraph>We thank the AWMF for financial support, the MFT office (Dr. Corinne Dölling) for logistical support, Mrs. Sabine Gluth for the completion and reporting of the survey data, the staff of the Deans of Studies for answering the questionnaires, and the members of the AWMF Committee for Performance Evaluation in Research and Teaching and the MFT Working Group on Teaching for their support in implementation and interpretation of the survey.</Pgraph></TextBlock>
<TextBlock language="de" linked="yes" name="Danksagungen">
<MainHeadline>Danksagungen</MainHeadline><Pgraph>Wir danken der AWMF für finanzielle Unterstützung, der MFT-Geschäftsstelle (Dr. Corinne Dölling) für logistische Unterstützung, Frau Sabine Gluth für die Komplettierung und Auswertung der Befragungsdaten, den Mitarbeiterinnen und Mitarbeitern der Studiendekanate für die Beantwortung der Fragebögen sowie den Mitgliedern der AWMF-Kommission für Leistungsevaluation in Forschung und Lehre und der MFT-AG Lehre für ihre Unterstützung bei der Durchführung und Interpretation der Befragung.</Pgraph></TextBlock>
<References linked="yes">
<Reference refNo="1">
<RefAuthor>Hahn EG</RefAuthor>
<RefAuthor>Fischer MR</RefAuthor>
<RefTitle>Nationaler Kompetenzbasierter Lernzielkatalog Medizin (NKLM) für Deutschland: Zusammenarbeit der Gesellschaft für Medizinische Ausbildung (GMA) und des Medizinischen Fakultätentages (MFT)</RefTitle>
<RefYear>2009</RefYear>
<RefJournal>GMS Z Med Ausbild</RefJournal>
<RefPage>Doc35</RefPage>
<RefTotal>Hahn EG, Fischer MR. Nationaler Kompetenzbasierter Lernzielkatalog Medizin (NKLM) für Deutschland: Zusammenarbeit der Gesellschaft für Medizinische Ausbildung (GMA) und des Medizinischen Fakultätentages (MFT). GMS Z Med Ausbild. 2009;26(3):Doc35. DOI: 10.3205/zma000627</RefTotal>
<RefLink>http://dx.doi.org/10.3205/zma000627</RefLink>
</Reference>
<Reference refNo="2">
<RefAuthor>Wissenschaftsrat</RefAuthor>
<RefTitle></RefTitle>
<RefYear>2014</RefYear>
<RefBookTitle>Empfehlungen zur Weiterentwicklung des Medizinstudiums in Deutschland auf Grundlage einer Bestandsaufnahme der humanmedizinischen Modellstudiengänge</RefBookTitle>
<RefPage></RefPage>
<RefTotal>Wissenschaftsrat. Empfehlungen zur Weiterentwicklung des Medizinstudiums in Deutschland auf Grundlage einer Bestandsaufnahme der humanmedizinischen Modellstudiengänge. Dresden: Wissenschaftsrat; 2014.</RefTotal>
</Reference>
<Reference refNo="3">
<RefAuthor>Gibson KA</RefAuthor>
<RefAuthor>Boyle P</RefAuthor>
<RefAuthor>Black DA</RefAuthor>
<RefAuthor>Cunningham M</RefAuthor>
<RefAuthor>Grimm MC</RefAuthor>
<RefAuthor>McNeil HP</RefAuthor>
<RefTitle>Enhancing Evaluation in an Undergraduate Medical Education Program</RefTitle>
<RefYear>2008</RefYear>
<RefJournal>Acad Med</RefJournal>
<RefPage>787-93</RefPage>
<RefTotal>Gibson KA, Boyle P, Black DA, Cunningham M, Grimm MC, McNeil HP. Enhancing Evaluation in an Undergraduate Medical Education Program. Acad Med. 2008;83(8):787-93. DOI: 10.1097/ACM.0b013e31817eb8ab</RefTotal>
<RefLink>http://dx.doi.org/10.1097/ACM.0b013e31817eb8ab</RefLink>
</Reference>
<Reference refNo="4">
<RefAuthor>Schiekirka S</RefAuthor>
<RefAuthor>Feufel MA</RefAuthor>
<RefAuthor>Herrmann-Lingen C</RefAuthor>
<RefAuthor>Raupach T</RefAuthor>
<RefTitle>Evaluation in medical education: A topical review of target parameters, data collection tools and confounding factors</RefTitle>
<RefYear>2015</RefYear>
<RefJournal>GMS Ger Med Sci</RefJournal>
<RefPage>Doc15</RefPage>
<RefTotal>Schiekirka S, Feufel MA, Herrmann-Lingen C, Raupach T. Evaluation in medical education: A topical review of target parameters, data collection tools and confounding factors. GMS Ger Med Sci. 2015 Sep 16;13:Doc15. DOI: 10.3205/000219</RefTotal>
<RefLink>http://dx.doi.org/10.3205/000219</RefLink>
</Reference>
<Reference refNo="5">
<RefAuthor>Herrmann-Lingen C</RefAuthor>
<RefAuthor>Brunner E</RefAuthor>
<RefAuthor>Hildenbrand S</RefAuthor>
<RefAuthor>Loew TH</RefAuthor>
<RefAuthor>Raupach T</RefAuthor>
<RefAuthor>Spies C</RefAuthor>
<RefAuthor>Treede RD</RefAuthor>
<RefAuthor>Vahl CF</RefAuthor>
<RefAuthor>Wenz HJ</RefAuthor>
<RefTitle>Evaluation of medical research performance - position paper of the Association of the Scientific Medical Societies in Germany (AWMF)</RefTitle>
<RefYear>2014</RefYear>
<RefJournal>GMS Ger Med Sci</RefJournal>
<RefPage>Doc11</RefPage>
<RefTotal>Herrmann-Lingen C, Brunner E, Hildenbrand S, Loew TH, Raupach T, Spies C, Treede RD, Vahl CF, Wenz HJ. Evaluation of medical research performance - position paper of the Association of the Scientific Medical Societies in Germany (AWMF). GMS Ger Med Sci. 2014;12:Doc11. DOI: 10.3205/000196</RefTotal>
<RefLink>http://dx.doi.org/10.3205/000196</RefLink>
</Reference>
<Reference refNo="6">
<RefAuthor>Schiekirka S</RefAuthor>
<RefAuthor>Raupach T</RefAuthor>
<RefTitle>A systematic review of factors influencing student ratings in undergraduate medical education course evaluations</RefTitle>
<RefYear>2015</RefYear>
<RefJournal>BMC Med Educ</RefJournal>
<RefPage>30</RefPage>
<RefTotal>Schiekirka S, Raupach T. A systematic review of factors influencing student ratings in undergraduate medical education course evaluations. BMC Med Educ. 2015 Mar 5;15:30. DOI: 10.1186/s12909-015-0311-8</RefTotal>
<RefLink>http://dx.doi.org/10.1186/s12909-015-0311-8</RefLink>
</Reference>
<Reference refNo="7">
<RefAuthor>Berger U</RefAuthor>
<RefAuthor>Schleussner C</RefAuthor>
<RefAuthor>Strauss B</RefAuthor>
<RefTitle></RefTitle>
<RefYear>2003</RefYear>
<RefJournal>Psychother Psychosom Med Psychol</RefJournal>
<RefPage>71-8</RefPage>
<RefTotal>Berger U, Schleussner C, Strauss B. [Comprehensive evaluation of medical teaching -- a task for the psychosocial disciplines?]. Psychother Psychosom Med Psychol. 2003 Feb;53(2):71-8. DOI: 10.1055/s-2003-36966</RefTotal>
<RefLink>http://dx.doi.org/10.1055/s-2003-36966</RefLink>
</Reference>
<Reference refNo="8">
<RefAuthor>Raupach T</RefAuthor>
<RefAuthor>Schiekirka S</RefAuthor>
<RefAuthor>Münscher C</RefAuthor>
<RefAuthor>Beißbarth T</RefAuthor>
<RefAuthor>Himmel W</RefAuthor>
<RefAuthor>Burckhardt G</RefAuthor>
<RefAuthor>Pukrop T</RefAuthor>
<RefTitle>Piloting an outcome-based programme evaluation tool in undergraduate medical education</RefTitle>
<RefYear>2012</RefYear>
<RefJournal>GMS Z Med Ausbild</RefJournal>
<RefPage>Doc44</RefPage>
<RefTotal>Raupach T, Schiekirka S, Münscher C, Beißbarth T, Himmel W, Burckhardt G, Pukrop T. Piloting an outcome-based programme evaluation tool in undergraduate medical education. GMS Z Med Ausbild. 2012;29(3):Doc44. DOI: 10.3205/zma000814</RefTotal>
<RefLink>http://dx.doi.org/10.3205/zma000814</RefLink>
</Reference>
<Reference refNo="9">
<RefAuthor>Canaday SD</RefAuthor>
<RefAuthor>Mendelson MA</RefAuthor>
<RefAuthor>Hardin JH</RefAuthor>
<RefTitle>The effect of timing on the validity of student ratings</RefTitle>
<RefYear>1978</RefYear>
<RefJournal>J Med Educ</RefJournal>
<RefPage>958-64</RefPage>
<RefTotal>Canaday SD, Mendelson MA, Hardin JH. The effect of timing on the validity of student ratings. J Med Educ. 1978 Dec;53(12):958-64. DOI: 10.1097/00001888-197812000-00002</RefTotal>
<RefLink>http://dx.doi.org/10.1097/00001888-197812000-00002</RefLink>
</Reference>
<Reference refNo="10">
<RefAuthor>Mendelson MA</RefAuthor>
<RefAuthor>Canaday SD</RefAuthor>
<RefAuthor>Hardin JH</RefAuthor>
<RefTitle>The relationship between student ratings of course effectiveness and student achievement</RefTitle>
<RefYear>1978</RefYear>
<RefJournal>Med Educ</RefJournal>
<RefPage>199-204</RefPage>
<RefTotal>Mendelson MA, Canaday SD, Hardin JH. The relationship between student ratings of course effectiveness and student achievement. Med Educ. 1978 May;12(3):199-204. DOI: 10.1111/j.1365-2923.1978.tb00337.x</RefTotal>
<RefLink>http://dx.doi.org/10.1111/j.1365-2923.1978.tb00337.x</RefLink>
</Reference>
<Reference refNo="11">
<RefAuthor>Kern DE</RefAuthor>
<RefAuthor>Thomas PA</RefAuthor>
<RefAuthor>Howard DM</RefAuthor>
<RefAuthor>Bass EB</RefAuthor>
<RefTitle></RefTitle>
<RefYear>1998</RefYear>
<RefBookTitle>Curriculum development for medical education – A six-step approach</RefBookTitle>
<RefPage></RefPage>
<RefTotal>Kern DE, Thomas PA, Howard DM, Bass EB. Curriculum development for medical education – A six-step approach. Baltimore, London: The John Hopkins University Press; 1998.</RefTotal>
</Reference>
<Reference refNo="12">
<RefAuthor>Downing SM</RefAuthor>
<RefTitle>Construct-irrelevant variance and flawed test questions: Do multiple-choice item-writing principles make any difference? Acad Med</RefTitle>
<RefYear>2002</RefYear>
<RefTotal>Downing SM. Construct-irrelevant variance and flawed test questions: Do multiple-choice item-writing principles make any difference? Acad Med. 2002 Oct;77(10 Suppl):S103-4. DOI: 10.1097/00001888-200210001-00032</RefTotal>
<RefLink>http://dx.doi.org/10.1097/00001888-200210001-00032</RefLink>
</Reference>
<Reference refNo="13">
<RefAuthor>Haladyna TM</RefAuthor>
<RefAuthor>Downing SM</RefAuthor>
<RefTitle>Construct-Irrelevant Variance in High-Stakes Testing</RefTitle>
<RefYear>2005</RefYear>
<RefJournal>Educ Meas</RefJournal>
<RefPage>17-27</RefPage>
<RefTotal>Haladyna TM, Downing SM. Construct-Irrelevant Variance in High-Stakes Testing. Educ Meas. 2005;23(1):17-27. DOI: 10.1111/j.1745-3992.2004.tb00149.x</RefTotal>
<RefLink>http://dx.doi.org/10.1111/j.1745-3992.2004.tb00149.x</RefLink>
</Reference>
<Reference refNo="14">
<RefAuthor>Möltner A</RefAuthor>
<RefAuthor>Schellberg D</RefAuthor>
<RefAuthor>Jünger J</RefAuthor>
<RefTitle>Basic quantitative analyses of medical examinations</RefTitle>
<RefYear>2006</RefYear>
<RefJournal>GMS Z Med Ausbild</RefJournal>
<RefPage>Doc53</RefPage>
<RefTotal>Möltner A, Schellberg D, Jünger J. Basic quantitative analyses of medical examinations. GMS Z Med Ausbild. 2006;23(3):Doc53.</RefTotal>
</Reference>
<Reference refNo="15">
<RefAuthor>Möltner A</RefAuthor>
<RefAuthor>Duelli R</RefAuthor>
<RefAuthor>Resch F</RefAuthor>
<RefAuthor>Schultz J</RefAuthor>
<RefAuthor>Jünger J</RefAuthor>
<RefTitle>School-specific assessment in German medical schools</RefTitle>
<RefYear>2010</RefYear>
<RefJournal>GMS Z Med Ausbild</RefJournal>
<RefPage>Doc44</RefPage>
<RefTotal>Möltner A, Duelli R, Resch F, Schultz J, Jünger J. School-specific assessment in German medical schools. GMS Z Med Ausbild. 2010;27(3):Doc44. DOI: 10.3205/zma000681</RefTotal>
<RefLink>http://dx.doi.org/10.3205/zma000681</RefLink>
</Reference>
<Reference refNo="16">
<RefAuthor>Müller-Hilke B</RefAuthor>
<RefTitle>A qualitative study to investigate the acceptance of performance-based allocation of resources for the improvement of education at German medical schools</RefTitle>
<RefYear>2010</RefYear>
<RefJournal>GMS Z Med Ausbild</RefJournal>
<RefPage>Doc43</RefPage>
<RefTotal>Müller-Hilke B. A qualitative study to investigate the acceptance of performance-based allocation of resources for the improvement of education at German medical schools. GMS Z Med Ausbild. 2010;27(3):Doc43. DOI: 10.3205/zma000680</RefTotal>
<RefLink>http://dx.doi.org/10.3205/zma000680</RefLink>
</Reference>
<Reference refNo="17">
<RefAuthor>Hofer M</RefAuthor>
<RefAuthor>Pieper M</RefAuthor>
<RefAuthor>Sadlo M</RefAuthor>
<RefAuthor>Reipen J</RefAuthor>
<RefAuthor>Heussen N</RefAuthor>
<RefTitle></RefTitle>
<RefYear>2008</RefYear>
<RefJournal>Dtsch Med Wochenschr</RefJournal>
<RefPage>1615-20</RefPage>
<RefTotal>Hofer M, Pieper M, Sadlo M, Reipen J, Heussen N. [Performance-related middle management in medical teaching. Attractiveness of incentive tools from the perspective of the teachers]. Dtsch Med Wochenschr. 2008 Aug;133(31-32):1615-20. DOI: 10.1055/s-2008-1081141</RefTotal>
<RefLink>http://dx.doi.org/10.1055/s-2008-1081141</RefLink>
</Reference>
<Reference refNo="18">
<RefAuthor>Müller-Hilke B</RefAuthor>
<RefTitle>Leistungsorientierte Mittelvergabe: Mehr Geld zur Lehre lenken</RefTitle>
<RefYear>2013</RefYear>
<RefJournal>Dtsch Arztebl</RefJournal>
<RefPage>A 2418-20</RefPage>
<RefTotal>Müller-Hilke B. Leistungsorientierte Mittelvergabe: Mehr Geld zur Lehre lenken. Dtsch Arztebl. 2013;110(50):A 2418-20.</RefTotal>
</Reference>
</References>
<Media>
<Tables>
<Table format="png">
<MediaNo>1</MediaNo>
<MediaID language="en">1en</MediaID>
<MediaID language="de">1de</MediaID>
<Caption language="en"><Pgraph><Mark1>Table 1: Aspects that are captured by educational event evaluations by students</Mark1></Pgraph></Caption>
<Caption language="de"><Pgraph><Mark1>Tabelle 1: Aspekte, die mittels Lehrveranstaltungsevaluation durch Studierenden erfasst werden</Mark1></Pgraph></Caption>
</Table>
<NoOfTables>1</NoOfTables>
</Tables>
<Figures>
<Figure format="png" height="302" width="565">
<MediaNo>1</MediaNo>
<MediaID language="en">1en</MediaID>
<MediaID language="de">1de</MediaID>
<Caption language="en"><Pgraph><Mark1>Figure 1: Relative distribution of state funds at medical school</Mark1></Pgraph></Caption>
<Caption language="de"><Pgraph><Mark1>Abbildung 1: Prozentuale Verteilung der Landeszuführungsbeiträge an den Fakultäten</Mark1></Pgraph></Caption>
</Figure>
<NoOfPictures>1</NoOfPictures>
</Figures>
<InlineFigures>
<NoOfPictures>0</NoOfPictures>
</InlineFigures>
<Attachments>
<NoOfAttachments>0</NoOfAttachments>
</Attachments>
</Media>
</OrigData>
</GmsArticle>]]></plaintext></textgroup></pgraph></abstract></origdata></gmsarticle>