zma000480 Originalarbeit/research article Structured interviews of applicants at a medical school: first experiences Waydhas Waydhas Christian C Prof. Dr. med.

Universitätsklinikum Essen, Klinik für Unfallchirurgie, Hufelandstraße 55, 47147 Essen, DeutschlandUniversität Duisburg-Essen, Medizinische Fakultät, Studiendekanat, Essen, DeutschlandUniversitätsklinikum Essen, Klinik für Unfallchirurgie, Essen, Deutschland

christian.waydhas@uk-essen.de author Heue Heue Matthias M Dipl.-Soz.Wirt

Universität Duisburg-Essen, Medizinische Fakultät, Studiendekanat, Essen, Deutschland

matthias.heue@uk-essen.de author Nast-Kolb Nast-Kolb Dieter D Prof. Dr. med.

Universität Duisburg-Essen, Medizinische Fakultät, Studiendekanat, Essen, Deutschland

dieter.nast-kolb@uk-essen.de author German Medical Science GMS Publishing House

Düsseldorf

610 college admission testing undergraduate medical education interview survey methods Auswahlgespräche Medizinstudium Zulassung zum Medizinstudium Testö zum Medizinstudium Interview Humanmedizin 20060929 20070815 20071013 20071114 germ 1860-3572 24 4 GMS Zeitschrift für Medizinische Ausbildung GMS Z Med Ausbild 186 Zielsetzung: Auswahlgespräche sind eines der zugelassenen Instrumente die am besten geeigneten Studierenden zu gewinnen. In der vorliegenden Arbeit sollen der Weg zur Etablierung der Auswahlgespräche sowie die ersten Ergebnisse vorgestellt werden. Methodik: Der Fragenkatalog, das Bewertungsverfahren der Interviews, die Gewichtung der Abiturnote und das Interviewverfahren wurden im nominalen Gruppenprozess entwickelt. Die Befragung der beteiligten Hochschullehrer erfolgte mittels eines Internet-basierten online Befragungstools. Ergebnisse: Ein Fragenkatalog zu 7 Themenkomplexen wurde für das Auswahlgespräch entwickelt. Durch das Auswahlgespräch konnten maximal 70 Punkte, durch die Abiturnote maximal 80 Punkte erreicht werden. Eingeladen wurden die 297 Abiturbesten, die Essen als 1. bis 3. Ortspräferenz angegeben hatten. Das Verhältnis von Kandidaten zu verfügbaren Studienplätzen betrug 3:1. Bei den ausgewählten Bewerbern bestand kein Zusammenhang der erreichten Punkte im Auswahlgespräch mit dem Geschlecht, dem Alter oder der Abiturnote. Die an den Gesprächen beteiligten Hochschullehrer waren zu 59% mit dem Aufwand/Nutzen-Verhältnis und dem Konzept zufrieden oder sehr zufrieden, mit der Zusammensetzung der Auswahlkommissionen gar in 78%. Deutlich kritischer wurde der Fragenkatalog bewertet (43% Zufriedene). Schlussfolgerungen: Auswahlgespräche bei Studienbewerbern haben bei den Hochschullehrern an der Medizinischen Fakultät in Essen eine hohe Akzeptanz gefunden. Die Fakultät ist bei der Entwicklung des Verfahrens und bei der Bewertung nach dem ersten Durchgang in eine Phase der konstruktiven Diskussion getreten, die insbesondere zu einer Anpassung des Fragenkatalogs geführt hat. Die Bewertung der Bewerber war unabhängig von möglichen unerwünschten Einflussgrößen wie Alter, Geschlecht, Abiturnote und der Variabilität der Bewertungen innerhalb der Kommissionen. Offen bleibt weiterhin die Validität des Verfahrens. Objective: Interviews are one of the recently by the legislation accepted tools to select applicants for admission to a German medical school. In this manuscript the development of the interview procedure und first results will be presented. Methods: The list of interview items, the criteria for evaluating the candidates, the respective weighing of the interview results and the “Abitur” grades and the interview organisation have been developed by a nominal group process. The interviewers were questioned by means of an internet-based online tool. Results: A list of 7 items for interrogating the candidates was developed. With the interview, a maximum of 70 points could be achieved, while the “abitur” grade could contribute 80 points at most. Those 297 applicants with the best “Abitur” grades and the 1st to 3rd position of our medical school in their preference list for medical schools were invited. The relation of candidates to vacant positions was 3:1. We found no correlation of the achieved results in the interview with age, gender or „Abitur“ grades. The interviewers were satisfied or very satisfied with the efficiency and the concept of the interview process in 59% and with the compositon of the interview commissions in even 78%. There was less satisfaction with the list of interview items (43% satisfied). Conclusions: The recently introduced interview procedure for student applicants at our medical school was widely accepted by the medical teachers. The faculty has entered a constructive discussion to further develop the interview procedure based on this first experience. Particular focus will be put on the modification of the interview items. Reliability with respect to confounding variables such as age, gender, „Abitur“ grades was high. The validity of the interviews remains open, however. Einleitung und Zielsetzung Der Überschuss an Bewerbern für einen Studienplatz in der Medizin gemessen an den zur Verfügung stehenden Ausbildungsplätzen macht eine Auswahl der am Besten geeigneten Kandidaten erforderlich. Am besten geeignet bedeutet kurz- bzw. mittelfristig aus Sicht der leistungsorientierten Mittelvergabe, und damit aus der Sicht der Ministerien und der Fakultäten, Studierende, die ihr Studium nicht abbrechen und es möglichst schnell sowie mit einer möglichst guten Abschlussnote im Staatsexamen absolvieren. Langfristig und aus Sicht der Gesellschaft, respektive der Patienten sollten die ausgewählten Studierenden möglichst gute Ärzte werden. In Bezug auf die kognitiven Studien- und Prüfungsleistungen (u.a. auch Staatsexamina) konnte national , , , und international , , , relativ eindeutig gezeigt werden, dass die Ergebnisse von Leistungstests wie Abitur (und vergleichbare) oder entsprechender Eignungstests eine ausgezeichnete Vorhersage erlauben. Die Korrelation dieser Leistungstests mit der klinischen (und praktischen) Leistung ist hingegen gering und konnte in einigen Untersuchungen gar nicht nachvollzogen werden , , , . Deshalb wurde vorgeschlagen zusätzlich andere Assessment-Verfahren (u.a. Interviews) zur Auswahl von Studierenden heranzuziehen und die auf den kognitiven Bereich fokussierten Leistungs- oder Eingangstests zum Screening zu verwenden . Mit der Neuregelung zur Vergabe von Studienplätzen in der Medizin (Hochschulgesetz 2004; Vergabeverordnung NRW 2003; Gesetz über die Durchführung von Auswahlverfahren in bundesweit zulassungsbeschränkten Studiengängen (AuswVfG) 2004) ist die Durchführung eines Auswahlgesprächs mit Bewerbern um einen Medizinstudienplatz als erwünschte Möglichkeit explizit empfohlen, wobei die Abiturnote weiterhin das Übergewicht haben muss (§ 2 Abs. 2 AuswVfG 2004). Die medizinischen Fakultäten können jetzt bis zu 60% der Studienplätze für Studienanfänger selbst vergeben, während jeweils 20% der Plätze für die Abiturbesten und die StudienbewerberInnen von der Warteliste reserviert bleiben. Auswahlgespräche zur Auswahl zwischen den Studienbewerbern wurden in Deutschland nach Einführung der Zentralen Studienplatzvergabe Anfang der 60er Jahre in der Medizin nur noch selten eingesetzt. Eine Reihe von Hochschulen verwendeten sie zur Vergabe von Studienplätzen für Bewerber, die über das Vergabeverfahren der ZVS eine Absage erhalten hatten. Erfahrungen hierüber sind kaum publiziert. An der medizinischen Fakultät der Universität Duisburg-Essen (vormals Gesamthochschule Essen) wurden solche Auswahlgespräche seit 1986 geführt. Aufbauend auf den hierbei gemachten Erfahrungen und den neuen oben genannten gesetzlichen Regelungen hat die Fakultät beschlossen, Auswahlgespräche zur Auswahl der Studienanfänger in der Medizin einzuführen und damit das maximale Kontingent von 60% auszunutzen. Der wesentliche qualitative Unterschied zu den vorherigen Auswahlgesprächen liegt in der Qualifikation (NC-Durchschnitt) der Bewerber. Während sich diese vorher aus Aspiranten rekrutierten, die keinen Platz über die ZVS bekommen hatten, handelt es sich seit 2005 um Abiturbeste, die über die ZVS zugeteilt wurden. Bei der Implementierung stellten sich insbesondere die folgenden Problembereiche: Auswahl der Fragen, Standardisierung der Interviews, Variabilität zwischen den Interviewern, Bewertungsschlüssel und Ziele. Im Folgenden sollen der Weg zur Etablierung der Auswahlgespräche sowie die ersten Ergebnisse in Bezug auf die ausgewählten Bewerber, das Bewertungsverhalten der interviewenden Kommissionen und die Wahrnehmung des Verfahrens bei den beteiligten Hochschullehrern vorgestellt werden. Methoden Nachdem in der Fakultät die Entscheidung für die Ausweitung von Auswahlgesprächen gefällt worden war, wurde die Implementierung u.a. mit den Schwerpunkten der Entwicklung einer möglichst standardisierten und relevanten Interviewstruktur, der Bewertungsskalen und der Vereinheitlichung der Bewertungskriterien umgesetzt. Der Fragenkatalog gründete zum einen auf einer Analyse derjenigen Auswahlgesprächs-Kommissionen der früheren Gespräche, bei denen sich eine gute Selektion der Kandidaten anhand der späteren Studienverlaufsdaten gezeigt hatte. Seinerzeit wurde Experten-basiert ein Fragenkatalog erstellt und angewendet. Es zeigte sich in der Folge, dass einige Auswahlkommissionen auch longitudinal eine günstige Auswahl unter den Bewerbern getroffen hatten. Deren Erfahrungen wurden sowohl durch direkte Befragung als auch durch Studium der Interviewprotokolle analysiert und bei der Erstellung des neuen Fragenkatalogs berücksichtigt. Zusätzlich beruht der aktuelle Fragenkatalog auf Modifikationen und Anpassungen an die aktuellen Gegebenheiten durch eine Peer-Gruppe (Studienkommission). Er wurde anschließend einer juristischen Prüfung unterzogen. Folgende Fragen wurden dann für die Interviews festgelegt: Die Bewerberin oder der Bewerber soll insbesondere darlegen: ihre/seine begründete Entscheidung, Medizin studieren zu wollen, und die Wege ihrer/seiner Entscheidungsfindung; ihre/seine eigene Vorbereitung auf das Studium durch ihre/seine Wahl bestimmter Leistungsfächer in der Schule oder andere in der Schulzeit getroffene Entscheidungen; ihre/seine eigene Vorbereitung auf das Studium durch außerhalb der Schule erworbene Kenntnisse; ihre/seine eigene Vorbereitung auf das Studium durch außer-schulische Interessen und Aktivitäten oder durch berufliche oder berufsähnliche Tätigkeiten; ihre/seine Vorstellungen vom Beruf des Arztes sowie sonstige strukturelle und inhaltliche Merkmale ärztlicher Tätigkeitsbereiche; ihr/ihm für ihre/seine Eignung und Motivation für das gewählte Studium und den angestrebten Beruf wichtig erscheinende Merkmale und Fähigkeiten. Die Bewerber erhielten diesen Fragenkatalog zusammen mit der gesamten Auswahlprüfungsordnung zugesendet und sollten sich mit stichpunktartiger Angabe ihrer Qualifikationen schriftlich bewerben. Diese schriftliche Bewerbung war den Interviewern vorab bekannt, nicht jedoch die Abiturnote. Eine Frage nach der Abiturnote während des Interviews war nicht zulässig. Das Bewerbungsgespräch dauerte genau 30 Minuten. Diese Zeit durfte nicht wesentlich (+/- 1 min) über- oder unterschritten werden. Die Fragen wurden dann in der o.g. Reihenfolge gestellt. Nachfragen waren erlaubt, eine exakte Aufteilung der Zeit auf die 6 Fragen war nicht zwingend vorgegeben, allerdings musste für die Beantwortung aller Fragen ausreichend Zeit bleiben. Die Interviewer sollten dann zu jeder der 6 Fragen eine Wertung auf einer Skala von 1 bis 10 Punkte abgeben, wobei „1“ die schlechtest mögliche und „10“ die best mögliche Bewertung war. Die Wertung sollte von den beiden Interviewern unabhängig voneinander nach Beantwortung jeder einzelnen Frage vorgenommen werden. Am Ende des Interviews kam noch ein Punktwert für den Gesamteindruck (ebenfalls zwischen 1 und 10 Punkten) hinzu. Die Dokumentation erfolgte getrennt für jede/n Interviewer auf einem Formular, auf dem auch die Fragen notiert waren. Es wurden zunächst die Mittelwerte der von beiden Interviewern zu jeder Frage und dem Gesamteindruck vergebenen Punktzahl gebildet und anschließend die Summe der Mittelwerte aus den 7 Bewertungen berechnet. Die Abiturnote wurde ebenfalls einem Punktwert anhand einer Liste zugeordnet und zur Punktezahl aus dem Interview addiert und so die Gesamtpunktzahl ermittelt. Das theoretisch mögliche Maximum betrug 150 Punkte. Davon konnten durch die Abiturnote maximal 80 Punkte und durch das Interview maximal 70 Punkte beigesteuert werden. Zu den Gesprächen sollten insgesamt 297 Bewerber eingeladen werden, um davon 99 Kandidaten für die zur Verfügung stehenden Studienplätze auszuwählen. Ein Verhältnis von 3:1 wurde dabei als günstigste Relation von Aufwand zu Auswahlmöglichkeit angesehen. Über die Zentrale Vergabestelle von Studienplätzen sollten hierfür von denjenigen Bewerbern, die Essen als erste, zweite oder dritte Ortspräferenz angegeben hatten die 297 Abiturbesten benannt werden. Letztlich nahmen im Wintersemester 2005 von den 297eingeladenen BewerberInnen, insgesamt 249 an den Auswahlgesprächen tatsächlich teil. Für die Durchführung der Auswahlgespräche wurden 60 Kommissionen berufen. Die Anzahl der Interviews pro Kommission betrug im Durchschnitt 4 – 5 Gespräche. Die einzelnen Kommissionen setzten sich aus zwei Hochschulprofessoren und/oder habilitierten Mitgliedern der Medizinischen Fakultät zusammen. Die Zuteilung zu den Kommissionen erfolgte zufällig, insbesondere gab es keine Vorgaben bezüglich der Zugehörigkeit der Kommissionsmitglieder zu bestimmten Abschnitten des Medizinstudiums. Um einen gemeinsamen Bewertungsrahmen der Kommissionsmitglieder für die Auswahlgespräche zu gewährleisten, wurden Harmonisierungstreffen anberaumt. In ihnen wurde gemeinsam diskutiert und festgelegt, welche Bewertungsmaßstäbe für die Auswahlgespräche gelten sollen. Ursprünglich hatten sich 96 Hochschullehrer (56% des gesamten Lehrkörpers) bereit erklärt, an den Bewerbungsgesprächen aktiv teilzunehmen. Aufgrund terminlicher Umstände waren letztendlich 79 HochschullehrerInnen an der Durchführung der Interviews tatsächlich beteiligt. Ihre Befragung wurde mittels des Internet-basierten online Befragungstools EVALuna®, welches auch flächendeckend für die studentische Evaluation aller Pflichtlehrveranstaltungen eingesetzt wird, durchgeführt. Dabei wurden 8 Items abgefragt und konnten auf einer 6-stufigen Likertskala mit den Endpunkten sehr zufrieden (1) bis sehr unzufrieden (6) bewertet werden. Zusätzlich war zu jedem Item die Möglichkeit für einen Freitext-Kommentar vorgesehen. Die Items waren zuvor in einem nominalen Gruppenprozess durch die Mitglieder der Studienkommission entwickelt worden. Die Studienkommission setzt sich aus 8 Vertretern der Hochschullehrer, 2 Vertretern der wissenschaftlichen Mitarbeiter, 4 Studierendenvertretern sowie einem akademischen Mitarbeiter des Studiendekanats in beratender Funktion zusammen. Die Auswertung erfolgte deskriptiv. Unterschiede zwischen Gruppen wurden mittels Wilcoxon-U-Test auf Signifikanz geprüft. Für die Korrelationsanalysen wurde die Spearman-Rang-Korrelation berechnet. Ergebnisse Insgesamt wurden 297 Bewerber eingeladen von denen 87 (33,6%) männlich und 210 (66,4%) weiblich waren. Es gab 2 schriftliche Absagen, 2 Absagen per E-Mail und 5 telefonische Absagen. 39 Bewerber blieben dem Gespräch unentschuldigt fern, so dass 249 Auswahlgespräche tatsächlich geführt worden sind. Die Ergebnisse der Interviews sind in Tabelle 1 dargestellt. Die Ergebnisse waren vom Geschlecht (siehe Tabelle 1 ) und vom Alter (Spearman-Rho = 0,06, p=0,38) der BewerberInnen (siehe Abbildung 1 ) unabhängig. Ein Zusammenhang zwischen Abiturnote und der erreichten Punktzahl im Interview konnte ebenfalls nicht festgestellt werden (Spearman-Rho = 0,01, p=0,98) (siehe Abbildung 2 ). Von allen Kandidaten wurde den 99 am besten beurteilten Bewerbern ein Studienplatz zugeteilt, wobei die Geschlechtsverteilung mit 31 männlichen (31,3%) und 68 weiblichen (68,7%) Kandidaten der Zusammensetzung der gesamten Population der Bewerber entsprach. Eine der wesentlichsten Bedenken im Vorfeld aber auch im Rückblick (Kommentare in der Evaluation durch die Hochschullehrer) lag im Bereich der Objektivität und Vergleichbarkeit der Bewertungen zwischen den verschiedenen Kommissionen. Hier wurden in den Freitextkommentaren eine starke Heterogenität in den Bewertungen und uneinheitliche Bewertungsmaßstäbe befürchtet. Die Analyse der Bewertungen der beiden Interviewer innerhalb der gleichen Kommission zeigte, dass die Diskrepanz zwischen den beiden in der Mehrzahl der Fälle (57,6%) bei 0 bis 2 Punkten lag und in 80,6% der Fälle 5 oder weniger Punkte betrug (siehe Abbildung 3 ). Lediglich bei 7,3% der Interviews lag die Bewertung zwischen den beiden Interviewern um 10 oder mehr Punkte auseinander. Die mittlere Differenz betrug 3,4 Punkte. Dies entspricht knapp 5% der maximal erreichbaren Punktzahl. In Tabelle 2 ist die Verteilung der durchschnittlichen Punktzahlen gemittelt über die Kandidaten, die von den einzelnen Kommission vergeben worden sind, dargestellt. Es zeigt sich eine heterogene Verteilung mit einer Reihe von Kommissionen, die insgesamt viele Punkte bzw. auffallend wenig Punkte vergeben haben. Bei der Befragung der Interviewer lag die Rücklaufquote bei 62% (49 von 79 Hochschullehrern). Die weit überwiegende Mehrzahl der Interviewer war mit dem Verhältnis zwischen Aufwand und Zeit zu vermuteten Nutzen sehr zufrieden (18%) oder zufrieden (41%), ein knappes Drittel (29%) vergab hier die Note 3, während nur wenige der Befragten eher unzufrieden waren. Die Zufriedenheit mit dem Konzept des Auswahlverfahrens war ähnlich groß (siehe Abbildung 4 ). Die Zufriedenheit mit der Zusammensetzung der Auswahlkommissionen war ausgesprochen groß und lag bei 78% (Note 1 und 2). Als Verbesserungsvorschläge wurden mehrfach eine Vergrößerung der Auswahlkommission auf 3 bis 4 Mitglieder und eine Mischung der Kommissionen mit Klinikern und Vorklinikern genannt. Auch die Zahl der Kommissionen wurde von 70% der Befragten als adäquat erachtet. Allerdings wurde mehrfach angeregt, die Zahl der Kommissionen zu reduzieren, um zu einer besseren Harmonisierung und Homogenisierung der Bewertungen zu gelangen. Der Fragenkatalog wurde nach den Erfahrungen der Gespräche deutlich kritischer bewertet (siehe Abbildung 5 ), so dass weniger als die Hälfte der befragten Interviewer (43%) sehr zufrieden oder zufrieden waren. Hier gab es auch die größte Zahl an Kommentaren, die sich vor allem auf Redundanzen etwa der Fragen 3 und 4 sowie auf Vorschläge für Modifikationen konzentrierten. Diskussion Die von Gesetzgeber eröffnete und gewünschte und in Zukunft wahrscheinlich verlangte Möglichkeit im Sinne der Profilbildung die Auswahl der Studienbewerber auch in den harten Numerus-Clausus-Fächern verstärkt in die Zuständigkeit der Universitäten bzw. Fakultäten zu legen, stellt für diese neben den positiven Perspektiven auch eine große Herausforderung dar. Auswahlgespräche sind eines der zugelassenen Instrumente (§ 2 Abs. 1 Ziffern e) Auswahl VfG 2004), um die am besten geeigneten Studierenden zu gewinnen. Hier können sich die Fakultätsmitglieder ein persönliches Bild von den Kandidaten machen, das weit über die reine Abiturnote oder deren Zusammensetzung hinausgeht. Umgekehrt hat auch der/die Studienbewerber erstmals eine Möglichkeit, sich von der ansonsten relativ gesichtlosen Universität für die er oder sie sich bewirbt einen persönlichen und personifizierten Eindruck zu verschaffen. Auf diesen positiven Effekt verweist ausdrücklich auch die vom Centrum für Hochschulentwicklung erstellte Studie . Auswahl- und Bewerbungsgespräche sind in allen Bereichen des gesellschaftlichen und beruflichen Lebens eine der Hauptmethoden, um aus Bewerbern geeignete Kandidaten heraus zu finden . Auch im Rahmen der Regulierung des Hochschulzugangs sind Auswahlverfahren vielfältig im Einsatz . Ein gravierender Kritikpunkt, der gegen die Eignung von Bewerbungsgesprächen angeführt wird, ist die starke Abhängigkeit von den Personen, die das Gespräch leiten, von emotionalen Interaktionen zwischen den beteiligten Personen, die wenig mit der objektiven Leistungsfähigkeit der Bewerber zu tun haben können, von den äußeren Rahmenbedingungen, von den gestellten Fragen oder von der Art wie die Fragen gestellt werden. Dies hat dazu geführt, dass in vielen Bereichen vor allem der Wirtschaft standardisierte Interviews und Fragebögen entwickelt wurden, um hier eine größere Objektivität im Sinne der Reliabilität zu erreichen . Ergänzt werden diese nicht selten durch Eignungstests, die kognitive oder psychomotorische Fertigkeiten und Fähigkeiten messen und in eine Gesamtbewertung einfließen. Für eine Reihe solcher Instrumente konnte gezeigt werden (insbesondere für Assessment-Center), dass sie eine hohe Korrelation mit dem erwünschten Outcome, also der Erreichung einer bestimmten Leistung aufweisen, und somit eine hohe Validität haben . Eine der wichtigsten Ergebnisvariablen im Medizinstudium ist das schriftliche Staatsexamensergebnis. Es stellt eine wichtige Basis für das Hochschul-Ranking und für die leistungsorientierte Mittelvergabe dar. Eine starke Korrelation zwischen Abiturnote und Staatsexamensergebnis konnte für die Medizin nachgewiesen werden , wobei diese Korrelation bezüglich der Ärztlichen Vorprüfung am höchsten war und im weiteren Verlauf bis zum dritten Staatsexamen kontinuierlich abnahm. Als besonders aussagekräftig erwies sich der spezifische Eignungstest für Mediziner, der für einige Jahre regelmäßig durchgeführt worden ist . Ungeklärt blieb jedoch seine Kosteneffizienz, so dass er wieder verlassen wurde. Neuerdings wird der Eignungstest flächendeckend in der Schweiz und in Österreich eingesetzt, und ist auch einigen deutschen Bundesländern oder Hochschulen als Auswahlinstrument für das Medizinstudium geplant. Die Staatsexamensnote spiegelt jedoch ausschließlich die Kenntnisse auf einem kognitiven Niveau wider. Völlig unberücksichtigt und ungeprüft bleiben die Fähigkeiten, die für die Ausübung des Arztberufs genauso wichtig sind wie beispielsweise psychomotorische Fertigkeiten sowie affektive und interpersonelle Leistungsfähigkeit. Nicht berücksichtigt werden weiterhin die Fähigkeit, das Wissen in richtiges konkretes Handeln umzusetzen und Entscheidungen zu fällen. Hierfür erscheinen andere Kriterien bedeutsam. Möglicherweise erlauben persönliche Interviews hier eine verbesserte Auswahl. Eine Reihe von Daten stützt diese Annahme , . Unsere eigenen ersten Analysen zeigten, dass im Rahmen der Interviews potentielle Einflussgrößen wie das Alter der BewerberInnen, das Geschlecht und die Abiturnote keine Korrelation mit der Punktevergabe im Auswahlgespräch hatten. Somit kann einerseits belegt werden, dass eine unerwünschte Bias durch Geschlecht oder Alter vermieden wurde. Die Unabhängigkeit des Ergebnisses von der Abiturnote zeigt (unter Berücksichtigung der durch die Vorselektion der Noten relativ geringen Spannweite der Noten zwischen 1,0 und 1,9), dass andere Merkmale, als jene, die durch die Abiturnote gemessen werden, für die Bewertung im Auswahlgespräch relevant waren. Diese Annahme wird durch eine Reihe anderer Untersuchungen bestätigt, in denen keine oder nur eine sehr geringe Korrelation von Hochschulreifeprüfungen oder auf die Prüfung kognitiver Inhalte ausgerichteter Eignungstests mit den Ergebnissen von Interviews festgestellt werden konnten , . Eine gewisse Rolle mag dabei auch gespielt haben, dass den Interviewern die tatsächlichen Abiturnoten der Bewerber nicht bekannt waren. So konnte gezeigt werden, dass eine Kenntnis über diese (oder ähnliche Tests der kognitiven Fähigkeiten) die Bewertung im Interview maßgeblich beeinflussen kann . Auch die gute Homogenität der Bewertungen innerhalb der Kommissionen erhöht die Reliabilität der Auswahlgespräche. Nur bei ca. 7% der Gespräche unterschied sich die Bewertung der einzelnen Kommissionsmitglieder um 10 oder mehr Punkte, d.h. um mehr als 15% der maximal erreichbaren Punktzahl voneinander. Allerdings kann nicht ausgeschlossen werden, dass sich Kommissionsmitglieder vor der Punktevergabe, anders als gefordert, beraten haben und durch eine damit verbundene Konsensfindung die Streuung in der Bewertung reduziert haben. Schwieriger zu interpretieren sind die Streuungen in den mittleren Punktevergaben zwischen den einzelnen Kommissionen. Da die einzelnen Kommissionen nur zwischen 4 und maximal 5 Kandidaten befragt hatten, sind hier keine statistisch validen Vergleiche möglich. Die Variabilität kann auf ein unterschiedliches Bewertungsverhalten genauso zurückgeführt werden wie auf die Inhomogenität der Kandidaten in den einzelnen Kommissionen. Im Vorfeld wurde versucht, anlässlich von 2 Terminen, die Interviewer im Verfahren zu schulen und Bewertungsmaßstäbe vorzugeben (Harmonisierungstreffen). Anhand von Beispielen wurden hierbei die diskutierten und empfohlenen Regeln veranschaulicht. Eine Reihe von Kommentaren aus der Mail-Evaluation der Hochschullehrer hat jedoch gezeigt, dass trotzdem viele Kollegen sich bezüglich ihres Ratings unsicher waren und eine starke Variabilität zwischen den einzelnen Interviewern und Inhomogenität in der Bewertung befürchteten. Dies muss zum Anlass genommen werden für jede Frage eine genauere Bewertungsskalierung zu entwickeln, die in einer geringeren Variabilität zwischen den Bewertern oder des Empfindens hierüber resultiert. Außerdem sollte die Schulung der Kommissionsmitglieder noch intensiviert werden, wobei immer ein gewisser Teil der Hochschullehrer aus terminlichen Gründen solchen vorbereitenden Treffen fernbleiben wird und hier ein immanentes Problem bestehen bleibt. Trotz dieser Bedenken wurde von anderen Untersuchern gezeigt, dass strukturierte Interviews, so wie sie hier verwendet wurden, eine wesentlich höhere Unabhängigkeit vom Untersucher aufwiesen als unstrukturierte Interviews , . Der Reliabilitätskoeffizient zwischen verschiedenen Interviewern verbesserte sich durch die Interviewstrukturierung in einer Studie von 0,12 auf 0,52 . Um die Reliabilität und Untersucher-Unabhängigkeit von Interviewverfahren weiter zu verbessern wurde von Eva et al. das „multiple mini-interview“ entwickelt , , , , bei dem mehrere kurze Interviews (von 8 min Dauer) von verschiedenen Interviewern durchgeführt werden. Die Autoren zeigten, dass mit diesem Verfahren eine Reliabilität von 0,65 erreicht werden kann [18] und eine starke Korrelation mit den Leistungen in OSCE-Prüfungen und klinischen Praktika bestand , . Die Bewertung und Wertigkeit der einzelnen Fragen kann zunächst nur anhand der Meinung der InterviewerInnen und nicht anhand valider Ergebnisdaten erfolgen. Hier hat sich allerdings die größte Kritik seitens der HochschullehrerInnen gezeigt. Aufgrund der Vorschläge aus dem Kollegium und einem anschließenden nominalen Gruppenprozess innerhalb der Studienkommission wurde der Fragenkatalog für das nächste Auswahlverfahren deutlich modifiziert. Während Frage 1 (begründete Entscheidung, Medizin studieren zu wollen, und die Wege der Entscheidungsfindung), Frage 5 (Vorstellungen vom Beruf des Arztes sowie sonstige strukturelle und inhaltliche Merkmale ärztlicher Tätigkeitsbereiche) und Frage 6 (für Eignung und Motivation für das gewählte Studium und den angestrebten Beruf wichtig erscheinende Merkmale und Fähigkeiten) unverändert blieben, wurden Frage 2 und 3 zu einer Frage zusammengezogen (eigene Vorbereitung auf das Medizinstudium durch Wahl bestimmter Leistungsfächer in der Schule und/oder durch außerhalb der Schule erworbene Kenntnisse). Frage 4 wurde in modifizierter Art gestellt (Eignung für ein Studium durch besondere außerschulische Interessen und Aktivitäten und/oder durch berufliche oder berufsähnliche Tätigkeiten) während eine neue Frage (Kenntnisse aktueller gesundheitspolitischer Probleme) eingeführt wurde. Somit sollen vermehrt spezielle außerschulische Leistungen (Hochleistungssport, besondere musische Leistungen, ein besonderes soziales Engagement, etc), Aspekte der Allgemeinbildung und der Kenntnisse des Gesundheitssystems eruiert werden. Die wesentlichste Limitation der vorgestellten Resultate ist die fehlende Korrelation mit einem messbaren Outcome wie beispielsweise Staatsexamensnoten, Noten bei Prüfungen zur Erlangung von Scheinen oder Studiendauer und Studienabbruchquote oder andere ärztliche Qualitäten. Somit kann zum jetzigen Zeitpunkt nicht abgeschätzt werden, ob das Auswahlverfahren an sich und die Art und Weise, wie es durchgeführt wurde hier zu einer Auswahl erfolgreicherer Studierender geführt hat, als es das klassische Verfahren unter ausschließlicher Berücksichtigung der Abiturnote ermöglicht hätte. Auch bleibt offen welchen Anteil die einzelnen Items für die „richtige“ Auswahl beitragen können. Hierfür ist es notwendig, das Studienverhalten und die Studienergebnisse der verschiedenen Kohorten über den Studienverlauf hinweg zu beobachten. Erst dann kann ein abschließendes Urteil über die Effektivität der Auswahlgespräche getroffen werden. Schlussfolgerungen Auswahlgespräche bei Studienbewerbern haben bei den Hochschullehrern an der Medizinischen Fakultät in Essen eine hohe Akzeptanz gefunden. Die Fakultät ist bei der Entwicklung des Verfahrens und bei der Bewertung nach dem ersten Durchgang in eine Phase der konstruktiven Diskussion getreten, die insbesondere zu einer Anpassung des Fragenkatalogs geführt hat. Die Bewertung der Bewerber erschien unabhängig von möglichen unerwünschten Einflussgrossen wie Alter, Geschlecht, Abiturnote sowie der Variabilität der Bewertungen innerhalb der Kommissionen. Offen bleibt weiterhin die Validität des Verfahrens. Diese soll durch eine Untersuchung des Studienerfolgs (Kriterien: Abweichung von der Regelstudienzeit, Notendurchschnitte der Studierenden im 1. Abschnitt, Erfolg im 1. Abschnitt der Ärztlichen Prüfung) begleitet werden. Anmerkung Die männliche Form bzw. Einzahl steht für beide Geschlechter. Trost G The medical entrance test has proved its value 1982 MMW Munch Med Wochenschr 4 885-886 Trost G. The medical entrance test has proved its value. MMW Munch Med Wochenschr. 1982;124(41):4 885-886. Trost G Blum F Fay E Klieme E Maichle U Meyer M Nauels HU 1998 Evaluation des Tests für medizinische Studiengänge (TMS). Synopse der Ergebnisse Trost G, Blum F, Fay E, Klieme E, Maichle U, Meyer M, Nauels HU. Evaluation des Tests für medizinische Studiengänge (TMS). Synopse der Ergebnisse. Bonn: Institut für Test- und Begabungsforschung; 1998. Bärwinkel P 1993 Auswahlgespräche für den humanmedizinischen Studiengang an der Philipps-Universtität Marburg - Beurteilung durch die Teilnehmer und prognostische Qualität des Verfahrens Bärwinkel P. Auswahlgespräche für den humanmedizinischen Studiengang an der Philipps-Universtität Marburg - Beurteilung durch die Teilnehmer und prognostische Qualität des Verfahrens. Marburg: Universität Marburg; 1993. Fisseni HJ Olbrich E Halsig N Mailahn J Ittner E Auswahlgespräche mit Medizinstudenten. Ein Evaluationsbeitrag 1992 Med Ausbild 20-30 Fisseni HJ, Olbrich E, Halsig N, Mailahn J, Ittner E. Auswahlgespräche mit Medizinstudenten. Ein Evaluationsbeitrag. Med Ausbild. 1992;9:20-30. Salvatori P Reliability and validity of admission tools used to select students for health professions 2001 Adv Health Sci Educ Theory Pract 159-175 Salvatori P. Reliability and validity of admission tools used to select students for health professions. Adv Health Sci Educ Theory Pract. 2001;6(2):159-175. Hoschl C Kozeny J Prediction academic performance of medical students: the first three years 1997 Am J Psychiatry 87-92 Hoschl C, Kozeny J. Prediction academic performance of medical students: the first three years. Am J Psychiatry. 1997;154(6 Suppl):87-92. Shen H Comrey AL Predicting medical students´ academic performance by their cognitive abilities and personality characteristics 1997 Acad Med 781-786 Shen H, Comrey AL. Predicting medical students´ academic performance by their cognitive abilities and personality characteristics. Acad Med. 1997;72(9):781-786. Rahbar MH Vellani C Sajan F Predictability of medical students´ performance at the Aga Khan University from admission test scores, interview ratings and systems of education 2001 Med Educ 374-380 Rahbar MH, Vellani C, Sajan F. Predictability of medical students´ performance at the Aga Khan University from admission test scores, interview ratings and systems of education. Med Educ. 2001;35(4):374-380. Meredith KE Dunlap MR Baker HH Subjective and objective admission factors as predictors of clinical performance 1982 J Med Educ 743-751 Meredith KE, Dunlap MR, Baker HH. Subjective and objective admission factors as predictors of clinical performance. J Med Educ. 1982;57(10 Pt 1):743-751. Albanese MA Snow MH Skochelak SE Huggett KN Farrell PM Assessing personal qualitites in medical school admissions 2003 Acad Med 313-321 Albanese MA, Snow MH, Skochelak SE, Huggett KN, Farrell PM. Assessing personal qualitites in medical school admissions. Acad Med. 2003;78(3):313-321. Cohen J 2001 Facing the future. President´s address, 112th Annual Meeting of the Association of American Medical Colleges Cohen J. Facing the future. President´s address, 112th Annual Meeting of the Association of American Medical Colleges. Washington, DC: Association of American Medical Colleges; 2001. Arnhold N Hachmeister CD 2004 Leitfaden für die Gestaltung von Auswahlverfahren an Hochschulen. CHE Arbeitspapier Nr. 52 Arbeitspapier Nr. 52 Arnhold N, Hachmeister CD. Leitfaden für die Gestaltung von Auswahlverfahren an Hochschulen. CHE Arbeitspapier Nr. 52. Gütersloh; CHE. 2004:Arbeitspapier Nr. 52. Schanz G 2000 Personalwirtschaftslehre - lebendige Arbeit in verhaltenswissenschaftlicher Perspektive Schanz G. Personalwirtschaftslehre - lebendige Arbeit in verhaltenswissenschaftlicher Perspektive. München: Verlag Vahlen; 2000. Heine C 2006 Bestandsaufnahme von Auswahl- und Eignungsfeststellungsverfahren bei Hochschulzugang in Deutschland und ausgewählten Ländern Schriftenreihe 3 Heine C. Bestandsaufnahme von Auswahl- und Eignungsfeststellungsverfahren bei Hochschulzugang in Deutschland und ausgewählten Ländern. Hannover: HIS. 2006;Schriftenreihe 3. Evers A Anderson Neil Smit-Voskuijl O 2005 The Blackwell handbook of personnel selection Evers A, Anderson Neil, Smit-Voskuijl O.The Blackwell handbook of personnel selection. Malden/Mass: Blackwell Publishing Inc; 2005. Thomas J 1999 Personality and motivational predictors of military leadership assessment in the United States Army Reserve Officer Training Corps Thomas J. Personality and motivational predictors of military leadership assessment in the United States Army Reserve Officer Training Corps. Wayne: Wayne State University; 1999. Patrick LE Altmaier EM Kuperman S A structured interview for medical school admission, phase 1: initial procedures and results 2001 Acad Med 66-71 Patrick LE, Altmaier EM, Kuperman S. A structured interview for medical school admission, phase 1: initial procedures and results. Acad Med. 2001;76(1):66-71. Eva KW Rosenfeld J Reiter HI Norman GR An admission OSCE: the multiple mini-interview 2004 Med Educ 314-326 Eva KW, Rosenfeld J, Reiter HI, Norman GR. An admission OSCE: the multiple mini-interview. Med Educ. 2004;38(3):314-326. Shaw DL Martz DM Lancaster CJ Sade RM Influence of medical school applicants´ demographic and cognitive characteristics on interviewers´ ratings of noncognitive traits 1995 Acad Med 532-536 Shaw DL, Martz DM, Lancaster CJ, Sade RM. Influence of medical school applicants´ demographic and cognitive characteristics on interviewers´ ratings of noncognitive traits. Acad Med. 1995;70(6):532-536. Ann Courneya C Wright K Frinton V Make E Schulzer M Pachev G Medical student selection: choice of a semi-structured panel interview or an unstructured one-on-one interview 2005 Med Teach 499-503 Ann Courneya C, Wright K, Frinton V, Make E, Schulzer M, Pachev G. Medical student selection: choice of a semi-structured panel interview or an unstructured one-on-one interview. Med Teach. 2005;27(6):499-503. Eva KW Reiter HI Rosenfeld J Norman GR The ability of the multiple mini-interview to predict preclerkship performance in medical school 2004 Acad Med S40-S42 Eva KW, Reiter HI, Rosenfeld J, Norman GR. The ability of the multiple mini-interview to predict preclerkship performance in medical school. Acad Med. 2004;79(10 Suppl):S40-S42. Eva KW Reiter HI Rosenfeld J Norman GR The relationship between interviewers´characteristics and ratings assigned during a multiple mini-interview 2004 Acad Med 602-609 Eva KW, Reiter HI, Rosenfeld J, Norman GR. The relationship between interviewers´characteristics and ratings assigned during a multiple mini-interview. Acad Med. 2004;79(6):602-609. Reiter HI Eva KW Rosenfeld J Norman GR Multiple mini-interviews predict clerkship and licensing examination performance 2007 Med Educ 378-384 Reiter HI, Eva KW, Rosenfeld J, Norman GR. Multiple mini-interviews predict clerkship and licensing examination performance. Med Educ. 2007;41(4):378-384. 11

Tabelle 1: Abiturnote und Ergebnisse der Interviews (Mittelwerte +/- Standardabweichung, Bereich in Klammern). Die Signifikanzangabe bezieht sich auf den Unterschied weiblich vs. männlich.

22

Tabelle 2: Verteilung der Punktezahlen, die von den verschiedenen Kommissionen für die von ihnen interviewten Bewerber durchschnittlich vergeben wurden

2

1 1 Abbildung 1: Durchschnittliche Punktezahl im Interview in Abhängigkeit vom Geburtsjahr

2 2 Abbildung 2: Zusammenhang zwischen Abiturnote und Punktezahl im Auswahlgespräch

3 3 Abbildung 3: Differenzen zwischen den jeweiligen Kommissionsmitgliedern einer Kommission in der Bewertung der gemeinsam interviewten Bewerber

4 4 Abbildung 4: Zufriedenheit der Kommissionsmitglieder mit dem Konzept des Auswahlverfahrens als Ganzem

5 5 Abbildung 5: Zufriedenheit der Kommissionsmitglieder mit dem Fragenkatalog

5 0 0