Entwicklung eines Fragebogens zur Erfassung von Kompetenzen in der Medizin: Ergebnisse zur Reliabilität und Validität

zma000743 10.3205/zma000743 urn:nbn:de:0183-zma0007434 Forschungsarbeit research article Entwicklung eines Fragebogens zur Erfassung von Kompetenzen in der Medizin: Ergebnisse zur Reliabilität und Validität Development of a questionnaire to assess medical competencies: Reliability and validity of the Questionnaire Giesler Giesler Marianne M Dr.

Albert-Ludwigs-Universität Freiburg, Medizinische Fakultät, Abt. für Medizinische Psychologie und Soziologie, Rheinstraße 12, 79104 Freiburg, Deutschland, Tel.: +49 (0)761/203-5513, Fax: +49 (0)761/203-5514Albert-Ludwigs-Universität Freiburg, Medizinische Fakultät, Abt. für Medizinische Psychologie und Soziologie, Freiburg, DeutschlandAlbert-Ludwigs-Universität Freiburg, Medizinische Fakultät, Studiendekanat, Freiburg, Deutschland

marianne.giesler@klinikum.uni-freiburg.de author Forster Forster Johannes J Prof. Dr. med.

St. Josefskrankenhaus Freiburg, Klinik für Kinder- und Jugendmedizin, Freiburg, Deutschland

johannes.forster@rkk-sjk.de author Biller Biller Silke S Dr. med.

Albert-Ludwigs-Universität Freiburg, Medizinische Fakultät, Studiendekanat, Freiburg, Deutschland

silke.biller@uniklinik-freiburg.de author Fabry Fabry Götz G Dr. med.

Albert-Ludwigs-Universität Freiburg, Medizinische Fakultät, Abt. für Medizinische Psychologie und Soziologie, Freiburg, Deutschland

goetz.fabry@klinikum.uni-freiburg.de author German Medical Science GMS Publishing House

Düsseldorf

610 competency based education medical competencies graduate survey assessment of competencies outcome based education kompetenzbasierte Ausbildung ärztliche Kompetenzen Absolventenstudie Kompetenzmessung ergebnisorientierte Ausbildung medicine Humanmedizin 20101019 20110218 20110322 20110516 germ engl 1860-3572 28 2 GMS Zeitschrift für Medizinische Ausbildung GMS Z Med Ausbild 31 Einführung: Bei der Vorbereitung einer Absolventenbefragung im Fach Humanmedizin wurde deutlich, dass ein Verfahren fehlte, mit dem erfasst werden kann, ob die in der ÄAppO aufgeführten Lehr- und Lernziele erreicht werden. Aus diesem Grund wurde der Freiburger Fragebogen zur Erfassung von Kompetenzen in der Medizin (FKM)1 von einer Arbeitsgruppe an der Medizinischen Fakultät der Universität Freiburg entwickelt. Der FKM wurde seitdem mehrmals überarbeitet und erweitert. Er umfasst derzeit 45 Items, die neun Kompetenzbereichen zugeordnet werden. Diese Kompetenzbereiche stimmen im Wesentlichen mit den CanMEDS-Rollen überein. Methode: Um die Reliabilität und Validität des Fragebogens zu überprüfen, wurden seit Mai 2008 mehrfach Studierende und Assistenzärzte befragt. In dem vorliegenden Beitrag werden die Ergebnisse einer Querschnittsstudie berichtet, in der 698 Studierende des ersten und zweiten Studienabschnitts den FKM beantwortet haben. Des Weiteren werden die Ergebnisse von 514 Assistenzärzten mit bis zu zwei Jahren Berufserfahrung beschrieben, die den FKM im Rahmen einer Absolventenbefragung ausgefüllt haben.Ergebnisse und Schlussfolgerungen: Die bisherigen Ergebnisse zeigen, dass die einzelnen Kompetenzskalen des FKM hinreichend reliabel sind (Cronbach's α=.68 bis .97). Mittelwertunterschiede zwischen ausgewählten Gruppen von Studierenden stützen die Annahme der Konstruktvalidität des Verfahrens. Zudem gibt es Hinweise darauf, dass der FKM zumindest ab dem 2. Abschnitt des Studiums der Humanmedizin und im Rahmen von Absolventenstudien als Screening-Instrument eingesetzt werden kann, um Schwächen in der Ausbildung festzustellen. Introduction: While preparing a graduate survey for medical education in 2008 we realized that no instrument existed that would be suitable to evaluate whether the learning outcomes outlined in the Medical Licensure Act (ÄAppO) would be met. Therefore we developed the Freiburg Questionnaire to Assess Competencies in Medicine (Freiburger Fragebogen zur Erfassung von Kompetenzen in der Medizin, FKM)1 which has been revised and extended several times since then.Currently the FKM includes 45 items which are assigned to nine domains that correspond to the CanMEDS roles: medical expertise, communication, team-work, health and prevention, management, professionalism, learning, scholarship, and personal competencies.Methods: In order to test the reliability and validity of the questionnaire we have repeatedly surveyed medical students and residents since May 2008. In this article we report on the results of a cross-sectional study with 698 medical students from the preclinical and clinical years. In addition, we report the results of a survey of 514 residents who were up to two years into their residency.Results and conclusions: In summary, results show that the scales of the FKM are reliable (Cronbach’s α between .68 and .97). Significant differences in means between selected groups of students support the measure’s construct validity. Furthermore, there is evidence that the FKM might be used as a screening tool e.g. in graduate surveys to identify weaknesses in the medical education curriculum. Einleitung Seit den 80er Jahren des 20. Jahrhunderts setzt sich auf allen Ebenen des Bildungssystems zunehmend die Erkenntnis durch, dass die Qualität von Lehr-/Lernprozessen letztendlich an ihrem Ergebnis, ihrem „Outcome“ gemessen werden muss. Als wichtigstes Ergebnis wird die Vermittlung von Kompetenzen gesehen, die zur Problemlösung im Alltag und Beruf befähigen , .Auch in der medizinischen Ausbildung ist dieser Paradigmenwechsel zu beobachten, jedoch bislang vorwiegend in englischsprachigen Ländern . Weltweit größte Beachtung hat das CanMEDS-Projekt des Royal College of Physicians and Surgeons of Canada gefunden, welches das professionelle Handeln von Ärzten in sieben Rollen abbildet, aus denen jeweils entsprechende Anforderungen und Kompetenzen abgeleitet werden können. Weitere Kompetenz-Modelle wie die des Accreditation Council for Graduate Medical Education (ACGME) [http://www.acgme.org/outcome] oder der Brown University haben ähnliche Anforderungsprofile für Ärzte formuliert. Bislang wurde in Deutschland noch kein vergleichbares Modell entwickelt, doch haben Öchsner und Forster gezeigt, dass auch in der Approbationsordnung für Ärzte (ÄAppO) aus dem Jahr 2002 implizit ganz ähnliche Rollen enthalten sind, die sich in ihrer Gesamtheit als Kompetenzprofil für Absolventen des Studiengangs Humanmedizin darstellen lassen. Ausgehend von diesen Vorarbeiten wurde der Freiburger Fragebogen zur Erfassung von Kompetenzen in der Medizin (kurz FKM genannt) entwickelt. IntroductionSince the 1980s it has been increasingly accepted at all levels of the educational system that ultimately the quality of teaching and learning processes must be evaluated by analyzing results and outcomes. Acquiring competencies to solve professional as well as everyday problems is considered the most important outcome in this regard , .This paradigm shift can also be found in the medical realm, yet primarily in the English-speaking countries . The CanMEDS-Project of the Royal College of Physicians and Surgeons of Canada is probably the best known example. This framework conceptualizes the professional activities of physicians as seven roles that allow the definition of respective competencies and obligations. Other examples of such frameworks have been put forward by the Accreditation Council for Graduate Medical Education (ACGME, http://www.acgme.org/outcome) or Brown University and comprise similar competency profiles. Although no comparable framework exists for Germany, Öchsner and Forster pointed out that the latest (2002) version of the Medical Licensure Act (Approbationsordnung für Ärzte, ÄAppO) that regulates a number of important issues in German medical education implicitly defines similar roles that – taken together – might be used to describe the competencies of medical graduates. Based on these considerations we developed a questionnaire to assess these competencies, the “Freiburg Questionnaire to Assess Competencies in Medicine” (Freiburger Fragebogen zur Erfassung von Kompetenzen in der Medizin, FKM). KompetenzenEs gibt eine Vielzahl von Definitionen des Begriffs Kompetenz. Viel Beachtung hat eine Definition von Weinert , gefunden. Nach dieser sind Kompetenzen"...die bei Individuen verfügbaren oder durch sie erlernbaren kognitiven Fähigkeiten und Fertigkeiten, um bestimmte Probleme zu lösen, sowie die damit verbundenen motivationalen, volitionalen und sozialen Bereitschaften und Fähigkeiten, um die Problemlösungen in variablen Situationen erfolgreich und verantwortungsvoll nutzen zu können.“ Kompetenzen werden damit als komplexe kontextspezifische Dispositionen zur Leistungserbringung verstanden, die durch Lernen erworben werden können. In Bezug auf ärztliche Kompetenzen gibt es ähnlich viele Definitionen. Am aussagekräftigsten erscheint hierbei diejenige von Epstein und Hundert , die „die ärztliche Kompetenz als Fähigkeit ansehen, gewohnheitsmäßig und begründet Kommunikation, Wissen, Fertigkeiten, klinisches Denken, Emotionen, Werte und Reflexion in der täglichen Arbeit zum Wohle des Einzelnen wie der Gesellschaft einzusetzen“ (Übersetzung durch die Verfasser). In dieser Definition kommt zum Ausdruck, dass Kompetenzen gewohnheitsmäßig, meist ohne bewusstes Nachdenken (aber zumindest teilweise bewusstseinsfähig) in vielfältiger Weise im ärztlichen Alltag gezeigt werden können. CompetenciesNumerous attempts have been made to define “competence”. A much acknowledged definition by Weinert , identifies competencies as “…individually available or learnable cognitive abilities and skills to solve certain problems, associated with the motivational, volitional, and social willingness and abilities to use this problem solving capability in diverse situations successfully and responsibly” (translation by the authors). Thus, competencies are understood as complex and context-specific dispositions that are acquired by learning and needed to successfully deal with tasks and situations.With regard to medical competencies, just as many definitions exist. Perhaps the most substantial one among these has been put forward by Epstein and Hundert who propose that "professional competence is the habitual and judicious use of communication, knowledge, technical skills, clinical reasoning, emotions, values, and reflection in daily practice for the benefit of the individual and community being served.” This definition emphasizes that in medical practice competencies manifest themselves in various ways mostly without conscious reflection (although they can be made conscious, at least partly). Konstruktion des Freiburger Fragebogens zur Erfassung von Kompetenzen in der Medizin (FKM)Grundlage für die Entwicklung des FKM war die ÄAppO aus dem Jahr 2002, in der u.a. das Ausbildungsziel und die Kenntnisse, Fähigkeiten und Fertigkeiten beschrieben sind, die am Ende des Studiums vorhanden sein sollen. Hilfreich für die Entwicklung des FKM waren die Vorarbeiten von Öchsner und Forster , die aus den Vorgaben der Paragraphen 1 und 28 der ÄAppO ein Kompetenzprofil für Absolventen des Studiengangs Humanmedizin entwickelt haben. Dieses Kompetenzprofil wurde von einer Arbeitsgruppe an der Medizinischen Fakultät Freiburg zunächst um den Kompetenzbereich „wissenschaftliches Handeln“ erweitert. Zu jedem der Kompetenzbereiche wurden Items formuliert, die anschließend in Interviews mit Studierenden im Praktischen Jahr (PJ) auf ihre Verständlichkeit überprüft wurden. Die aus diesen Interviews resultierenden Verbesserungsvorschläge wurden bei der Erarbeitung der Version 1 des Fragebogens berücksichtigt, die aus sieben Kompetenzbereichen mit insgesamt 36 Items bestand. Eine Pilotstudie mit 48 Studierenden im Praktischen Jahr und 42 Assistenzärzten erbrachte für die diesen Bereichen korrespondierenden Skalen dieser Version ausreichende Reliabilitäten (Cronbach’s α zwischen .68 und .88). In der weiteren Entwicklung wurde zur Verbesserung der Reliabilität die Itemanzahl bei einigen Skalen erhöht. Zur inhaltlichen Vervollständigung wurden zudem "Kommunikative Kompetenzen“ und "Personale Kompetenzen“ als weitere Bereiche aufgenommen. Die aktuelle Version 2 des FKM umfasst damit 45 Items. Die neun Kompetenzbereiche sind in Tabelle 1 jeweils einschließlich eines Beispielitems näher beschrieben.Aufbau des FKMJedes Item des FKM ist von den Befragten zweimal zu bewerten: Zum einen im Hinblick auf die aktuell wahrgenommene eigene Kompetenz oder die am Studienende vorhandene Kompetenz (retrospektive Einschätzung) und zum anderen hinsichtlich der im Beruf aus Sicht der Befragten geforderten Kompetenz. Der Wortlaut der Items ist für alle Zielgruppen (Studierende, Studierende im PJ, Assistenzärzte und -ärztinnen) identisch. Die Instruktionen sind in Abhängigkeit von der jeweiligen Zielgruppe unterschiedlich formuliert. Die Fragen für die Zielgruppe der Studierenden lauten: "In welchem Maße verfügen Sie derzeit über folgende Kompetenzen?“"Inwieweit glauben Sie, dass folgende Kompetenzen von Ihnen im Beruf gefordert werden?“Zur Beantwortung wurde jeweils eine 5-stufige Skala vorgegeben. Für die Einschätzungen des derzeitigen und des im Beruf geforderten Kompetenzniveaus wurden folgende Bezeichnungen der Skalenendpunkte gewählt: 1 "sehr niedrig“ und 5 "sehr hoch“.2 Assistenzärzte und –ärztinnen stellen eine weitere mit dem FKM zu befragende Zielgruppe dar. Für diese Gruppe sind die Fragen wie folgt formuliert:"In welchem Maße verfügten Sie bei Studienabschluss über die folgenden medizinbezogenen Kompetenzen?“ "Inwieweit werden die folgenden Fähigkeiten/Kompetenzen in Ihrer gegenwärtigen Erwerbstätigkeit gefordert?“Die Antwortskalen dieser Version sind ebenfalls fünffach abgestuft (1 "gar nicht“, 5 "in sehr hohem Maße“). Construction of the Freiburg Questionnaire to Assess Competencies in Medicine (FKM)As the Medical Licensure Act (ÄAppO) defines the educational objectives, knowledge, abilities and skills a medical graduate must master it was used as the conceptual basis for the questionnaire development. We furthermore incorporated the work of Öchsner and Forster who employed the content of section 1 and 28 of the ÄAppO to develop a profile of competencies for medical graduates. As a first step, our working group at Freiburg Medical School added “scholarship” as a further domain of competence. Then, items were developed for every domain of competence. In interviews with final year students we checked whether these items were comprehensible. Students’ suggestions from these interviews were integrated in the first version of the questionnaire which consisted of 36 items in seven domains of competence. In a pilot study with 48 final year students and 42 residents the reliabilities of the scales that correspond to the seven domains were satisfactory (Cronbach’s α ranging from .68 to .88). However, to increase the reliability of some of the scales more items were added. Furthermore, to complete the content of the questionnaire we also added two more domains of competence, “communicative competence” and “personal competence”. Thus, in its current (2nd) version the FKM consists of 45 items. The domains of competence are listed in Table 1 with corresponding sample items.Structure of the FKMEach item of the FKM is to be rated twice: Firstly with regard to the respondent’s current level of competence or the respondent’s level of competence at the time of graduation (retrospective rating) and secondly with regard to the level of competence that respondents think is required by their job. While item content is identical for different target groups (e.g. students from different academic years, residents) the instruction on how to rate the items differs between groups.For students the instruction reads:“To what extent do you have the following competencies at your disposal?”“To what extent will your future job require the following competencies?”All items are to be rated on a five-point Likert-scale. With regard to current level of competence as well as to the level of competence demanded by the job the endpoints of the scale are labeled 1 “very little” and 5 “very much”2. For residents, another target group of the FKM, the instructions are as follows:“To what extent did you have the following medical competencies at the time of your graduation at your disposal?” “To what extent are the following abilities/competencies required by your current job?”Again, five-point Likert-scales were used for this version of the questionnaire (1 “not at all”, 5 “very much”). StudienZur Überprüfung der Reliabilität und Validität des FKM wurden ab Mai 2008 verschiedene Zielgruppen (Studierende vor und nach dem PJ und Assistenzärzte mit bis zu zwei Jahren Berufserfahrung) mit diesem untersucht. Nachfolgend werden die Ergebnisse von zwei Studien exemplarisch berichtet. Methodisches VorgehenIn beiden Studien wurden Itemanalysen durchgeführt und für jede Kompetenz-Skala als Maß der inneren Konsistenz Cronbach’s α berechnet. Die Überprüfung der Validität des FKM erfolgt im vorliegenden Zusammenhang i.S. einer Bestimmung der Konstruktvalidität. Ziel dabei ist es, das durch das Verfahren gemessene Konstrukt in einem Netzwerk theoretischer und empirischer Beziehungen zu verankern und diese entsprechend zu überprüfen . Zu diesem Zweck wurde analysiert, ob sich gruppenbezogene Unterschiede (z.B. zwischen Studierenden unterschiedlicher Studienjahre) in den Einschätzungen der Kompetenzniveaus auf den verschiedenen Skalen zeigen. Zur Überprüfung von Mittelwertunterschieden wurden t-Tests und Varianzanalysen gerechnet. Für a posteriori Vergleiche wurde der Scheffé-Test verwendet. Im Falle der Varianzanalysen wurde η2 als Maß der Effektstärke berechnet, das den Prozentsatz der durch einen Faktor erklärten Varianz wiedergibt.Die statistischen Auswertungen wurden mit Hilfe des Statistikprogramms SPSS, Version 17.0, durchgeführt. Studierenden-StudieStichprobe: Im Sommersemester 2008 wurden Freiburger Studierende der Medizin des ersten bis vierten Studienjahrs im Rahmen der regulären Online-Evaluation der Lehrveranstaltungen gebeten, den FKM (Version 1) auszufüllen. 698 Studierende füllten den Fragebogen aus. Für das erste Studienjahr liegt die Rücklaufquote bei 75 Prozent, für das zweite Studienjahr bei 59 Prozent. Im klinischen Studienabschnitt antworteten nach dem dritten Studienjahr 43 Prozent und im vierten Studienjahr 33 Prozent der Studierenden. Circa 60 Prozent der Befragten sind weiblich. 13 Prozent haben vor dem Studium eine Berufsausbildung innerhalb des Gesundheitswesens abgeschlossen und drei Prozent geben einen Berufsabschluss außerhalb des Gesundheitswesens an.Ergebnisse: Die Konsistenzkoeffizienten (Cronbach’s α) der FKM-Skalen zur Einschätzung des aktuell vorhandenen Kompetenzniveaus, die auf der Basis der Daten der gesamten Stichprobe der Studierenden berechnet wurden, liegen zwischen .76 und .92 (siehe Tabelle 2 ). Für die FKM-Skalen zur Einschätzung des im Beruf geforderten Kompetenzniveaus liegen sie zwischen .84 und .97. Alle FKM-Skalen zur Einschätzung des aktuell vorhandenen Kompetenzniveaus korrelieren signifikant miteinander. Die Korrelationskoeffizienten liegen zwischen r=.49 und r=.76 mit einem Median von .63. Die Interkorrelationen der FKM-Skalen, mit denen das vermutete Ausmaß der im Beruf geforderten Kompetenzen erfasst wird, sind ebenfalls signifikant. Sie liegen zwischen r=.64 und r=.91, im Median bei .79. Mit zunehmender Semesterzahl fallen die Interkorrelationen der Skalen zur Erfassung des aktuellen wie auch des geforderten Kompetenzniveaus tendenziell niedriger aus. So liegen die Mediane der Interkorrelationen der Skalen zum aktuellen Kompetenzniveau in den vier Studienjahrgruppen bei .61, .59, .41 und .52, die der Skalen zum geforderten Kompetenzniveau bei .80, .85, .73 und .70. In ähnlicher Weise zeigen Faktorenanalysen auf Itemebene, dass parallel zu einer Zunahme der Studienjahre zunehmend mehr Faktoren erforderlich sind, um die Interkorrelationen der Items zu erklären. So beträgt die Anzahl der Eigenwerte größer 1 in den Studienjahrgruppen für die aktuellen Kompetenzen 6, 6, 9 und 9, für die geforderten Kompetenzen 3, 3, 5 und 7.Weitere Auswertungen (siehe Tabelle 2 ) zeigen, dass sich in allen Kompetenzbereichen die Einschätzungen des aktuell vorhandenen Kompetenzniveaus von den Einschätzungen des im Beruf geforderten Kompetenzniveaus signifikant unterscheiden. Die Mittelwerte der Skalen zur Einschätzung des im Beruf geforderten Kompetenzniveaus liegen signifikant höher als die Mittelwerte der Skalen zur Einschätzung des aktuell vorhandenen Kompetenzniveaus.Darüber hinaus zeigen sich signifikante Mittelwertunterschiede in den Selbsteinschätzungen der Studierenden verschiedener Studienjahre (siehe Tabelle 3 ). Abbildung 1 gibt die Mittelwerte pro Studienjahr und FKM-Skala für die aktuellen Einschätzungen wieder. Für den Bereich der Fachkompetenzen unterscheiden sich alle Mittelwerte der verschiedenen Studienjahrgruppen nach dem Scheffé-Test signifikant voneinander. Bei den anderen Kompetenzbereichen zeigen die Ergebnisse der Scheffé-Tests (siehe Tabelle 3 ) signifikante Unterschiede zwischen den Einschätzungen im vorklinischen und denen im klinischen Abschnitt. Studierende im vorklinischen Abschnitt schätzen ihre jeweiligen aktuellen Kompetenzniveaus niedriger ein als Studierende im klinischen Abschnitt. Bezogen auf das im Beruf geforderte Kompetenzniveau sind die Unterschiede in den Einschätzungen weniger ausgeprägt (siehe Tabelle 3 und Abbildung 2 ). Studierende im vorklinischen Abschnitt schätzen das Ausmaß der im Beruf geforderten Fachkompetenzen signifikant niedriger ein als Studierende im klinischen Abschnitt. Darüber hinaus gibt es signifikante Mittelwertunterschiede bei der Teamkompetenz: Studierende im zweiten Studienjahr schätzen das Ausmaß der im Beruf geforderten Teamkompetenzen niedriger ein als Studierende im vierten Studienjahr. Auch finden sich signifikante Mittelwertunterschiede bezogen auf das Ausmaß der im Beruf geforderten Kompetenzen wissenschaftlichen Handelns. Diese werden von den Studierenden im klinischen Abschnitt in höherem Maße als im Beruf gefordert wahrgenommen als von Studierenden im ersten Studienjahr.Schließlich zeigt sich (siehe Tabelle 4 und Abbildungen 3 und 4 ), dass Studierende, die vor Beginn ihres Studiums eine Berufsausbildung innerhalb des Gesundheitswesens absolviert haben, jeweils das Niveau ihrer fachbezogenen Kompetenzen, ihrer Teamkompetenz und ihrer Kompetenz in Gesundheitsförderung und Prävention signifikant höher einschätzen als Studierende ohne vorherige Berufsausbildung oder solche mit fachfremder Berufsausbildung. Auch das Ausmaß der im Beruf geforderten Kompetenzen wird von den Studierenden mit einer Berufsausbildung im Gesundheitswesen und von den Studierenden, die über keinerlei vorherige Berufserfahrung verfügen, in vier von sieben Bereichen signifikant höher eingeschätzt. Betrachtet man jedoch die berechneten η2-Koeffizienten, zeigt sich, dass die praktische Relevanz des Faktors Studienjahr wesentlich größer ist als die des Faktors Berufsausbildung.Diskussion: Alle Skalen des FKM weisen eine ausreichende bis sehr gute Reliabilität auf. Da verfügbare Modelle ärztlicher Rollen und Kompetenzen wie z.B. CanMEDS davon ausgehen, dass diesen jeweils auch gemeinsame Elemente zugrunde liegen, wurden in der vorliegenden Studie niedrige bis mittlere Korrelationen zwischen den Skalen erwartet. Die beobachteten Interkorrelationen der Skalen zur aktuellen Einschätzung der Kompetenzen wie auch der Skalen zur Einschätzung der im Beruf geforderten Kompetenzen liegen jedoch z.T. weit über dem erwarteten Niveau. Diese höheren Koeffizienten könnten für den Einfluss einer Antworttendenz der Befragten in dem Sinne sprechen, dass diese aufgrund mangelnder Erfahrung , , eher wenige Unterschiede zwischen den Kompetenzbereichen erkennen und von daher zwangsläufig zu einer gleichsinnigen Einschätzung der abgefragten Kompetenzen neigen. Dies dürfte vor allem für die Einschätzung der im Beruf geforderten Kompetenzen zutreffen. Dafür spricht, dass die Interkorrelationen der Skalen zur Erfassung sowohl des aktuellen Kompetenzniveaus als auch der Skalen zur Einschätzung des im Beruf geforderten Kompetenzniveaus mit zunehmender Semesterzahl in der Regel niedriger ausfallen. Die gefundenen Unterschiede in den Selbsteinschätzungen des Kompetenzniveaus entsprechen dem erwarteten Verlauf des Studienfortschritts. Dieses Ergebnis kann dann als Indiz für die Validität gelten, wenn man davon ausgeht, dass die medizinische Ausbildung tatsächlich einen solchen Kompetenzzuwachs erwarten lässt. Jedoch sind auch hier Antworttendenzen der Art in Betracht zu ziehen, dass allein schon das Bewusstsein, eine längere Studienzeit hinter sich gebracht zu haben, zur Annahme größerer Kompetenz verleiten könnte. Weitere Ergebnisse, die als Beleg der Konstruktvalidität des FKM gewertet werden könnten, beziehen sich auf die Selbsteinschätzungen von Studierenden, die vor ihrem Studium eine Berufsausbildung im medizinischen Bereich absolviert haben. Diese schätzen das Niveau ihrer aktuell vorhandenen Kompetenzen gerade in jenen Bereichen (Fachkompetenz, Teamkompetenz, Kompetenz in Gesundheitsförderung und Prävention) signifikant höher ein, in denen sie nachvollziehbar auch höhere Kompetenzniveaus aufgrund ihrer Berufserfahrung aufweisen müssten. Assistenzärzte/innen-StudieStichprobe: Im Wintersemester 2009/2010 wurden in Kooperation mit dem Internationalen Zentrum für Hochschulforschung Kassel (INCHER) bundesweit an vielen Hochschulen Absolventenbefragungen durchgeführt, um Absolventinnen und Absolventen bis zu zwei Jahren nach ihrem Studienabschluss zu ihrem beruflichen Verbleib und zur rückblickenden Bewertung des Studiums zu befragen. An dieser Absolventenbefragung haben alle Medizinischen Fakultäten Baden- Württembergs teilgenommen. Von den 1228 angeschriebenen Absolventen der Humanmedizin des Jahrgangs 2008 haben 514 (Rücklaufquote 42%) den umfangreichen Fragebogen beantwortet. Der Anteil der Frauen liegt bei 61 Prozent, der Anteil der Männer bei 38 Prozent. 1 Prozent der Befragten machte keine Angabe zu ihrer Geschlechtszugehörigkeit. Im Schnitt sind die Befragten 29,5 Jahre (SD=3,6) alt und haben im Mittel 13,0 (SD=2,2) Fachsemester studiert. Über 90 Prozent der Befragten sind bereits bis zu zwei Jahren berufstätig.Ergebnisse: Die Reliabilitäten der FKM-Skalen (Version 2) zur retrospektiven Einschätzung des am Studienende vorhandenen Kompetenzniveaus sind mit Werten für Cronbach’s α zwischen .68 und .90 zufriedenstellend (siehe Tabelle 5 ). Die entsprechenden Werte für die FKM-Skalen zur Einschätzung des im Beruf geforderten Kompetenzniveaus streuen zwischen .73 und .93. Die Interkorrelationen der FKM-Skalen, mit denen das Kompetenzniveau zum Studienende retrospektiv eingeschätzt wurde, sind alle signifikant. Sie liegen zwischen r=.34 bis r=.60 (Median=.45). Auch die FKM-Skalen zur Einschätzung des aktuell im Beruf geforderten Kompetenzniveaus korrelieren hoch signifikant miteinander. Diese Koeffizienten liegen zwischen r=.20 bis r=.67 (Median=.43). Die Ergebnisse der t-Tests für abhängige Stichproben (siehe Tabelle 5 ) zeigen, dass sich die Einschätzungen des zum Studienende vorhandenen Kompetenzniveaus in sieben von neun Kompetenzbereichen signifikant von denjenigen des aktuell im Beruf geforderten Kompetenzniveaus unterscheiden. In diesen Bereichen sind die Mittelwerte des im Beruf geforderten Kompetenzniveaus signifikant höher als die Mittelwerte der retrospektiv eingeschätzten Kompetenzniveaus zum Studienende. Die größten Differenzen – operationalisiert als "standardized response means“ (SRM, d.h. Differenz der Mittelwerte dividiert durch die Streuung der Differenzwerte) – zeigen sich bei den Bereichen Fachkompetenz (SRM=-.84), Kommunikative Kompetenz (SRM=-.68) und Teamkompetenz (SRM=-1.04). Keine signifikanten Mittelwertunterschiede bestehen in den Kompetenzniveaus zwischen den retrospektiven Einschätzungen zum Studienende und den aktuell im Beruf geforderten Kompetenzen in den Bereichen Kompetenz in Gesundheitsförderung und Prävention und Kompetenz zum wissenschaftlichen Handeln.Diskussion: Auch in dieser Studie weisen alle Skalen des FKM eine ausreichende bis sehr gute Reliabilität auf. Die Interkorrelationen der Skalen zur retrospektiven Einschätzung des Kompetenzniveaus wie auch der Skalen zur Einschätzung des aktuell geforderten Kompetenzniveaus sprechen für eine Abhängigkeit der Skalen, sie zeigen aber zugleich, dass diese keineswegs als deckungsgleich anzusehen sind. Bei einem Vergleich der retrospektiven Einschätzungen und der Einschätzungen des aktuell geforderten Kompetenzniveaus fällt auf, dass die größten Differenzen außer bei der Fachkompetenz bei der kommunikativen Kompetenz und der Teamkompetenz bestehen. Andere Absolventenstudien konnten ebenfalls zeigen, dass speziell im Bereich der psychosozialen Kompetenzen markante Defizite bestehen . Damit sind hier nicht zuletzt diejenigen Kompetenzbereiche betroffen, die in der medizinischen Ausbildung in Deutschland bislang nicht flächendeckend curricular integriert sind . StudiesTo determine the reliability and validity of the FKM we conducted several studies with different target groups (e.g. students from different academic years, residents) starting in May 2008. In this article we report the results of two studies.MethodsIn both studies item analyses were computed for each scale, using Cronbach’s α to determine its internal consistency. With regard to validity we were specifically interested in analyzing the construct validity of the FKM. This means that a respective construct is placed within a network of conceptual and empirical hypotheses, which are then tested empirically . Following this approach we analyzed whether medical students from different academic years differed with regard to their rated level of competencies.Differences between groups of students were tested by means of t-tests and ANOVAs. A posteriori comparisons were performed by means of Scheffé-tests. With regard to the ANOVAs η2 was used as effect size measure that represents the proportion of the variance explained by the factor of interest.All statistical analyses were performed with SPSS, version 17.0.Study 1: StudentsSample: During the summer term 2008 students from the first up to the fourth academic year at Freiburg Medical School were requested to fill out the FKM (version 1) as part of the regular end of term evaluation.698 students participated. The response rate was 75% for the first and 59% for the second year students. In the third year (the first clinical year) the response rate was 43%, in the fourth it was 33%. About 60% of the participants were women, 13% had completed a vocational training in health care (e.g. as nurses or paramedics) prior to their medical studies and 3% had completed vocational training outside the health care system.Results: Based on the data of the total sample, we calculated coefficients of internal consistency. Values for Cronbach’s α ranged from .76 to .92 for the FKM-scales addressing the current level of competencies (see Table 2 ). With regard to the scales measuring the presumed level of competencies demanded by the job consistency-coefficients ranged from .84 to .97. All scales addressing the current level of competencies were strongly intercorrelated, with correlation coefficients varying between r=.49 and r=.76 with a median of .63. The intercorrelations of the FKM-scales aimed at the presumed level of competence demanded by the job are also significant, ranging from r=.64 to r=.91 with a median of .79. Further inspection revealed that for both types of scales the intercorrelations between scales decreases as the number of the respondents’ academic years increases. The medians of the intercorrelations of the scales aiming at the current level of competencies are .61, .59, .41 and .52, those of the scales aiming at the demanded level of competencies are .80, .85, .73 and .70. In line with that trend item level factor analyses show that increasingly more factors are needed to explain the item intercorrelations within the groups of the more senior students. For student groups in their academic year 1 through 4, the number of eigenvalues greater than 1 is 6, 6, 9 and 9 with regard to the items aiming at the current level of competencies and 3, 3, 5 and 7 for the items aiming at the demanded level of competencies.Further analyses reveal (see Table 2 ) significant differences in all competence domains between the ratings of the current level of competencies and the presumed level of competencies demanded by the job. The means of scales aiming at the presumed level of demanded competencies are significantly higher than the means of scales aiming at the current level of competencies.In addition, there are significant differences between students from different academic years with regard to the mean ratings of competencies (see Table 3 ). Figure 1 shows the means of the FKM-scales for the ratings of the current level of competencies by academic year. With regard to medical expertise the Scheffé-tests revealed differences between all four groups of students. With regard to the other competence domains Scheffé-tests revealed significant differences between the pre-clinical years (year 1 and 2) and the clinical years (year 3 and 4). Students in the preclinical years rate their current level of competencies significantly lower than students in the clinical years.With regard to the presumed level of competencies demanded by the job the differences are less pronounced (see Table 3 and Figure 2 ). Students in the preclinical years rate demanded medical expertise significantly lower than students of in their clinical years. Further differences can be found with regard to team competence: Ratings from students in second year are significantly lower than ratings from students in fourth year. Additionally, significant differences exist with regard to scholarship: Students from the clinical years presume a higher demand in this regard compared to their peers from the first preclinical year.Finally (see Table 4 , Figures 3 and 4 ), students who had completed vocational training in the health care system prior to their medical studies rated their current medical expertise, their team competence and their competence to promote health and prevention significantly higher than students with no such training or students with a professional background outside health care. Also, students with prior vocational training in health care and students with no such training rated the presumed level of competencies demanded by the job significantly higher than students with professional training outside the health care system in four out of seven domains. However, the respective η2-coefficients clearly show that academic year is of much greater relevance than prior professional experience.Discussion: The reliability of the FKM-scales is satisfactory to very good. Since the current conceptual frameworks of medical competencies and physician’s roles (such as CanMEDS) presume that these competencies and roles share common elements, we expected to find low to medium intercorrelations between the FKM-scales. However, the actual intercorrelations of the scales regarding the current level of competencies and the scales intercorrelations focusing on the presumed level of competencies demanded by the job are in part much greater than expected. One possible explanation for this might be a response set: due to a lack of experience , , the respondents might consider the differences between the different domains of competencies as rather small which might cause them almost naturally to give concordant ratings on each of the scales. This might hold especially true for the presumed level of competencies demanded by the job. The observation that the intercorrelations of the scales for current competencies and demanded competencies decline with length of medical studies may be interpreted as supporting this explanation.The differences reported with regard to the ratings of the current level of competencies correspond to the anticipated course of study progress. This result may be taken as supporting the validity of the measure if one is willing to assume that medical education actually leads to such an increase in competence. However, a response bias may also be a plausible explanation insofar as the very thought of having spent considerable time in medical school per se may lead respondents to assume to have acquired increased competencies. Other results supporting the construct validity of the FKM refer to the self-assessment of those participants who completed vocational training in the health-care system prior to their medical studies. These students rate the current level of their competencies significantly higher in just those domains (medical expertise, team competence, competence in promoting health and prevention) for which a higher level can be expected on the basis of prior professional experience.Study 2: ResidentsSample: In cooperation with the International Center for Higher Education Research (INCHER) a graduate survey was conducted at many German universities during the winter term 2009/2010 to learn more about the graduates’ vocational situation up to two years after their graduation and how they would evaluate their studies retrospectively. All medical schools in the federal state of Baden-Württemberg participated in that survey. Of the 1228 graduates of the academic year 2008 contacted, 514 (42%) completed the extensive questionnaire (61% women, 38% men, 1% provided no information on their sex). On average the participants were 29.5 years (SD=3.6) old and had studied medicine for 13.0 terms (SD=2.2). More than 90% of the participants were already employed for up to two years.Results: The reliability of the FKM-scales (version 2) requesting a retrospective rating of the level of competencies at the time of graduation is satisfactory (Cronbach’s α between .68 and .90, see Table 5 ). The respective values for the FKM-scales referring to the level of competencies currently demanded by the job vary between .73 and .93. The intercorrelations of the scales referring to the retrospective ratings of competencies at the time of graduation are all significant, with coefficients varying between r=.34 and r=.60 (median=.45). Similarly, the scales referring to the level of competencies currently demanded by the job also correlate significantly with coefficients varying between .20 and .67 (median=.43).As t-tests for dependent samples (see Table 5 ) reveal, the retrospective ratings of the level of competencies at time of graduation differ from those of the level of competencies currently demanded by the job in seven of the nine domains. In these domains, the level of demanded competencies is rated significantly higher than the level of competencies at time of graduation. The largest differences – in terms of “standardized response means” (SRM), i.e. the difference of the means divided by the standard deviation of the difference scores – are to be found in the domains of medical expertise (SRM=-.84), communicative competence (SRM=-.68), and team competence (SRM=-1.04). In the domains of competence to promote health and prevention as well as in the domain of scholarship no significant differences were found between the retrospective ratings and the ratings of the currently demanded level of competencies.Discussion: Again, the reliability of the FKM-scales turns out to be satisfactory to very good. The intercorrelations of the scales referring to the retrospective ratings of competencies and of those referring to the level of competencies currently demanded by the job demonstrate that the scales are not independent from each other. Nevertheless the size of these correlations does by no means imply that the scales are measuring the same construct. Comparing the retrospective ratings of competencies with the ratings of the currently demanded level of competencies one finds that aside from the domain of medical expertise the largest differences between these two types of ratings are found in the domains of communicative and team competence. This is in line with other graduate studies that also revealed striking shortcomings within the domain of psychosocial competencies . Thus, discrepancies become manifest in part in those domains which are not yet comprehensively implemented in the German medical curricula . Zusammenfassung und SchlussfolgerungIn der vorliegenden Untersuchung wurde der Freiburger Fragebogen zur Erfassung von Kompetenzen in der Medizin (FKM) mit Hilfe der Daten von Studierenden des ersten bis vierten Studienjahrs und den Daten von Assistenzärzten und -ärztinnen im Hinblick auf seine Reliabilität und Validität überprüft. Die Ergebnisse zeigen, dass die Skalen des FKM hinreichend reliabel sind. In der Querschnittstudie mit Studierenden des ersten bis vierten Studienjahrs wurden relativ hohe Skaleninterkorrelationen ermittelt. Dabei waren die Koeffizienten der Skalen zur Erfassung des Ausmaßes der im Beruf geforderten Kompetenzen am höchsten. Weitergehende Analysen zeigen jedoch, dass das Ausmaß des Zusammenhangs zwischen den Skalen im Laufe des Studiums abnimmt. Es ist somit davon auszugehen, dass im Studienverlauf mit zunehmender Erfahrung (Praktika, Famulaturen) die Selbsteinschätzungen differenzierter werden. Diese Aussage wird mit den im moderaten Bereich liegenden Skaleninterkorrelationen gestützt, die für die Gruppe der Assistenzärzte und -ärztinnen ermittelt wurden. Diese haben ihr Studium im Studienjahr 2008 abgeschlossen und sind größtenteils bereits seit eineinhalb bis zwei Jahren berufstätig. Ausgehend von diesen Ergebnissen ist zu empfehlen, den FKM erst ab dem klinischen Abschnitt einzusetzen. Erste Anhaltspunkte für die Konstruktvalidität des FKM ergeben sich aus den Analysen der Selbsteinschätzungen von Studierenden, die vor ihrem Studium eine Berufsausbildung im medizinischen Bereich (z.B. Krankenpfleger/innen, Sanitäter) absolviert haben. Diese schätzen erwartungsgemäß das Niveau ihrer fachlichen Kompetenz, ihrer Teamkompetenz und ihrer Kompetenz in Gesundheitsförderung und Prävention höher ein als ihre Mitstudierenden. Weiterhin konnte mit den Daten von jungen Assistenzärzten und –ärztinnen gezeigt werden, dass rückblickend neben der Fachkompetenz gerade auch jene Bereiche im Studium als defizitär erlebt werden, die bislang curricular kaum eingebunden sind, nämlich Kommunikative Kompetenz und Teamkompetenz.Abschließend ist kritisch darauf hinzuweisen, dass das entwickelte Verfahren ärztliche Kompetenzen auf einer relativ allgemeinen Ebene erfasst. Für eine differenziertere Diagnostik ärztlicher Kompetenzen sind jedoch spezifischere Operationalisierungen erforderlich. Dies würde auch zu einer stärkeren Differenzierung der hier zugrunde gelegten Kompetenzbereiche beitragen. In jedem Fall sind jedoch weitere Studien zur Validität des FKM erforderlich. Dabei sollte insbesondere auch die kriterienbezogene Validität der Skalen im Hinblick darauf geprüft werden, inwieweit die Selbsteinschätzungen der Kompetenzen durch Studierende bzw. Assistenzärzte mit objektiven Indikatoren oder mit Fremdeinschätzungen übereinstimmen. Die Tatsache allerdings, dass es systematische Unterschiede in der Einschätzung der verschiedenen Kompetenzbereiche gibt, spricht unserer Ansicht nach dafür, dass der FKM durchaus eingesetzt werden kann, um Schwächen in der Ausbildung festzustellen. Dies kann zum einen auf der Ebene der FKM-Skalen geschehen, zum anderen aber auch, wie in den Auswertungen der Absolventenbefragungen von INCHER Kassel , auf Einzelitem-Niveau. Summary and conclusionsIn this study we analyzed the reliability and (construct) validity of the Freiburg Questionnaire to Assess Competencies in Medicine (FKM) based on a survey with medical students (first to fourth academic year) and a survey with residents. Our results show that the scales of the FKM are sufficiently reliable. In the cross-sectional analysis with medical students from the first to the fourth academic year we found relatively high intercorrelations between these scales: Correlations between the scales referring to the assumed level of competence demanded by the job were the highest. However, further analyses revealed that these intercorrelations decline as the number of academic years increases. Thus, we assume that with students’ cumulative experience (e.g. through clinical rotations and placements) their ratings of competencies become more and more differentiated. This hypothesis is supported by the moderate intercorrelations found in the study with the residents. These had graduated in the academic year 2008 and had already been employed for about 1.5 to 2 years. Against this background we would recommend to use the FKM only from the clinical years onwards.Initial evidence supporting the construct validity of the FKM comes from the analyses of the competence ratings of students, who had completed a vocational training in the health care system (e.g. as nurses or paramedics) prior to their studies. As expected, the ratings of these students are higher compared to those of their fellow students with regard to medical expertise, team competence and competence to promote health and prevention. In addition, the results from the study with junior residents reveal that in retrospect they perceive deficiencies in medical education not only in the domain of medical expertise but exactly in those domains that are barely integrated to the medical curricula yet: communicative competence and team competence.Finally, we would like to stress that the self-rating instrument presented here measures medical competence on a relatively general level. To measure medical competence with a greater degree of differentiation more specific operationalizations are called for. This would also contribute to a better differentiation of the domains of competencies presented here. In any case, further studies on the validity of the FKM are needed. In particular, it is especially important to address criterion-related validity to determine whether self-ratings of competencies correspond to objective indicators or external ratings of competencies. Insofar systematic differences exist between ratings of different domains of competence we think that the FKM helps detect shortcomings within medical education. This can be achieved either by using the FKM-scales or by analyzing single items as in the analyses of the graduate survey by INCHER . Anmerkung1 Der Fragebogen kann bei der Erstautorin angefordert werden.2 Im Rahmen der von INCHER Kassel durchgeführten Absolventenstudien ist die Polung der Antwortskalen des FKM genau umgekehrt: 1 bedeutet "in sehr hohem Maße“ und 5 "gar nicht“. Für die hier berichteten Analysen wurde die Polung den in der Psychologie üblichen Konventionen angeglichen, so dass hohe Skalenwerte hohe Merkmalsausprägungen anzeigen. Note1 A copy of the questionnaire can be requested by contacting the corresponding author.2 In the graduate survey conducted by INCHER the Likert-scales are labeled: 1 “very much” and 5 “not at all”. Following the conventions in the psychological literature where higher numbers usually represent a higher level of a respective variable we decided to reverse the scoring of the scales for the analyses presented here. DanksagungFür die gute Zusammenarbeit danken wir unseren Kooperationspartnern dem Internationalen Zentrum für Hochschulforschung Kassel (INCHER; http://www.incher.uni-kassel.de) und dem Kompetenznetz „Lehre in der Medizin Baden-Württemberg“ (http://www.medizin-bw.de/Kompetenznetz_Lehre.html) AcknowledgementsWe would like to thank the organisations who contributed to this research project: The International Centre for Higher Education Research Kassel (INCHER; http://www.incher.uni-kassel.de) and the Kompetenznetz “Lehre in der Medizin in Baden-Württemberg” (http://www.medizin-bw.de/Kompetenznetz_Lehre.html) InteressenkonfliktDie Autoren erklären, dass sie keine Interessenskonflikte in Zusammenhang mit diesem Artikel haben. Competing interestsThe authors declare that they have no competing interests. Klieme E Avenarius H Blum W Döbrich P Gruber H Prenzel M Reiss K Riquarts K Rost J Tenorth H-E Vollmer HJ 2003 Zur Entwicklung nationaler Bildungsstandards – Eine Expertise Klieme E, Avenarius H, Blum W, Döbrich P, Gruber H, Prenzel M, Reiss K, Riquarts K, Rost J, Tenorth H-E, Vollmer HJ. Zur Entwicklung nationaler Bildungsstandards – Eine Expertise. Berlin: Bundesministerium für Bildung und Forschung (BMBF); 2003. Schaeper H Briedis K 2004 Kompetenzen von Hochschulabsolventinnen und Hochschulabsolventen, berufliche Anforderungen und Folgerungen für die Hochschulreform Schaeper H, Briedis K. Kompetenzen von Hochschulabsolventinnen und Hochschulabsolventen, berufliche Anforderungen und Folgerungen für die Hochschulreform. Projektbericht. Hannover: HIS; 2004. Harden RM Crosby JR Davis MH Outcome based education: Part 1 – An introduction to outcome-based education. AMEE Education Guide No. 14 1999 Med Teach 7-14 Harden RM, Crosby JR, Davis MH. Outcome based education: Part 1 – An introduction to outcome-based education. AMEE Education Guide No. 14. Med Teach. 1999;21(1):7-14. DOI: 10.1080/01421599979969 http://dx.doi.org/10.1080/01421599979969 Frank JR 2005 The CanMEDS 2005 Physician Competency Framework Frank JR. The CanMEDS 2005 Physician Competency Framework. Better Standards. Better Physicians. Better Care. Ottawa: Royal College of Physicians and Surgeons of Canada; 2005. Smith SR Dollase R Outcome based education: Part 2 –Planning, implementing and evaluating a competency-based curriculum. AMEE Education Guide No. 14 1999 Med Teach 15-22 Smith SR, Dollase R. Outcome based education: Part 2 –Planning, implementing and evaluating a competency-based curriculum. AMEE Education Guide No. 14. Med Teach. 1999;21(1):15-22. DOI: 10.1080/01421599979978 http://dx.doi.org/10.1080/01421599979978 Öchsner W Forster J Approbierte Ärzte – kompetente Ärzte?: Die neue Approbationsordnung für Ärzte als Grundlage für kompetenzbasierte Curricula 2005 GMS Z Med Ausbild Doc04 Öchsner W, Forster J. Approbierte Ärzte – kompetente Ärzte?: Die neue Approbationsordnung für Ärzte als Grundlage für kompetenzbasierte Curricula. GMS Z Med Ausbild. 2005;22(1):Doc04. Zugänglich unter: http://www.egms.de/static/de/journals/zma/2005-22/zma000004.shtml http://www.egms.de/static/de/journals/zma/2005-22/zma000004.shtml Weinert FE Vergleichende Leistungsmessung in Schulen – eine umstrittene Selbstverständlichkeit 2002 Leistungsmessung in Schulen 17-31 Weinert FE. Vergleichende Leistungsmessung in Schulen – eine umstrittene Selbstverständlichkeit. In: Weinert FE (Hrsg). Leistungsmessung in Schulen. Weinheim: Beltz; 2002. S.17-31. Weinert FE Concept of Competence: A conceptual clarification 2001 Defining and selecting key competencies 45-65 Weinert FE. Concept of Competence: A conceptual clarification. Rychen DL, Salgamik LH (Hrsg). Defining and selecting key competencies. Göttingen: Hogrefe; 2001. S.45-65. Epstein RM Hundert EM Defining and assessing professional competence 2002 JAMA 226-235 Epstein RM, Hundert EM. Defining and assessing professional competence. JAMA. 2002;287(2):226-235. DOI: 10.1001/jama.287.2.226 http://dx.doi.org/10.1001/jama.287.2.226 Messick S Validity of psychological assessment. Validation of inferences from person’s responses and performances as scientific inquiry into score meaning 1995 Am Psychol 741-749 Messick S. Validity of psychological assessment. Validation of inferences from person’s responses and performances as scientific inquiry into score meaning. Am Psychol. 1995;50(9):741-749. DOI: 10.1037/0003-066X.50.9.741 http://dx.doi.org/10.1037/0003-066X.50.9.741 Colthart I Bagnall G Evans A Allbutt H Haig A Illing J McKinstry B The effectiveness of self-assessment on the identification of learner needs, learner activity, and impact on clinical practice: BEME Guide no. 10 2008 Med Teach 124-145 Colthart I, Bagnall G, Evans A, Allbutt H, Haig A, Illing J, McKinstry B. The effectiveness of self-assessment on the identification of learner needs, learner activity, and impact on clinical practice: BEME Guide no. 10. Med Teach. 2008;30(2):124-145. DOI: 10.1080/01421590701881699 http://dx.doi.org/10.1080/01421590701881699 Langendyk V Not knowing that they do not know: self-assessment accuracy of third- year medical students 2006 Med Educ 173-79 Langendyk V. Not knowing that they do not know: self-assessment accuracy of third- year medical students. Med Educ. 2006;40:173-79. DOI: 10.1111/j.1365-2929.2005.02372.x http://dx.doi.org/10.1111/j.1365-2929.2005.02372.x Berdie RF Self claimed and tested knowledge 1971 Educ Meas 629-635 Berdie RF. Self claimed and tested knowledge. Educ Meas. 1971;31:629-635. DOI: 10.1177/001316447103100304 http://dx.doi.org/10.1177/001316447103100304 Jungbauer J Kamenik C Alfermann D Brähler E Wie bewerten angehende Ärzte rückblickend ihr Medizinstudium? Ergebnisse einer Absolventenbefragung 2004 Gesundheitswesen 51-56 Jungbauer J, Kamenik C, Alfermann D, Brähler E. Wie bewerten angehende Ärzte rückblickend ihr Medizinstudium? Ergebnisse einer Absolventenbefragung. Gesundheitswesen. 2004;66(1):51-56. DOI: 10.1055/s-2004-812705 http://dx.doi.org/10.1055/s-2004-812705 Kiesling C Dieterich A Fabry G Hölzer H Langewitz W Mühlinghaus I Pruskil S Scheffer S Schubert S Basler Consensus Statement “Kommunikative und soziale Kompetenzen im Medizinstudium“; Ein Positionspapier des GMA-Auschusses Kommunikative und soziale Kompetenzen 2008 GMS Z Med Ausbild Doc83 Kiesling C, Dieterich A, Fabry G, Hölzer H, Langewitz W, Mühlinghaus I, Pruskil S, Scheffer S, Schubert S. Basler Consensus Statement “Kommunikative und soziale Kompetenzen im Medizinstudium“; Ein Positionspapier des GMA-Auschusses Kommunikative und soziale Kompetenzen. GMS Z Med Ausbild. 2008;25(2):Doc83. Zugänglich unter: http://www.egms.de/static/de/journals/zma/2008-25/zma000567.shtml http://www.egms.de/static/de/journals/zma/2008-25/zma000567.shtml Janson K 2010 Die Sicht der Nachwuchsmediziner auf das Medizinstudium – Ergebnisse einer Absolventenbefragung der Abschlussjahrgänge 2007 und 2008 Janson K. Die Sicht der Nachwuchsmediziner auf das Medizinstudium – Ergebnisse einer Absolventenbefragung der Abschlussjahrgänge 2007 und 2008. Eine Sonderauswertung des Projekts „Studienbedingungen und Berufserfolg“. Internationales Zentrum für Hochschulforschung, Kassel: Universität Kassel (INCHER-Kassel); 2010. 11de1en

22de2en

33de3en

44de4en

55de5en

1 1de 1en Abbildung 1: Mittelwerte der FKM-Skalen (Version 1) zur Einschätzung des aktuellen Kompetenzniveaus in Abhängigkeit vom Studienjahr (Abkürzungen der Skalenbezeichnungen siehe Tabelle 1) Figure 1: Means of FKM-scales referring to the ratings of the current level of competencies as a function of academic year. (Abbreviations of the scales see Table 1)

2 2de 2en Abbildung 2: Mittelwerte der FKM-Skalen (Version 1) zur Einschätzung des im Beruf geforderten Kompetenzniveaus in Abhängigkeit vom Studienjahr (Abkürzungen der Skalenbezeichnungen siehe Tabelle 1) Figure 2: Means of FKM-scales referring to the ratings of the presumed level of competencies demanded by the job as a function of academic year. (Abbreviations of the scales see Table 1)

3 3de 3en Abbildung 3: Mittelwerte der FKM-Skalen (Version 1) zur Einschätzung des aktuellen Kompetenzniveaus in Abhängigkeit von dem Faktor Berufsausbildung vor dem Studium (Abkürzungen der Skalenbezeichnungen siehe Tabelle 1) Figure 3: Means of FKM-scales referring to the ratings of the current level of competencies as a function of prior vocational training. (Abbreviations of the scales see Table 1)

4 4de 4en Abbildung 4: Mittelwerte der FKM-Skalen zur Einschätzung des im Beruf geforderten Kompetenzniveaus in Abhängigkeit von dem Faktor Berufsausbildung vor dem Studium (Abkürzungen der Skalenbezeichnungen siehe Tabelle 1) Figure 4: Means of FKM-scales referring to the ratings of the presumed level of competencies demanded by the job as a function of prior vocational training. (Abbreviations of the scales see table 1) 4 0 0