zma001175 10.3205/zma001175 urn:nbn:de:0183-zma0011757 commentary Kommentar Mut zur Subjektivität bei der Prüfung von Kompetenzen Rotthoff Rotthoff Thomas T Dr. med. habil. MME

Heinrich-Heine-University Düsseldorf, Medical Faculty, Office of the dean of studies, Universitätsstr. 1, D-40225 Düsseldorf, GermanyHeinrich-Heine-University Düsseldorf, Medical Faculty, Office of the dean of studies, Düsseldorf, Germany

Heinrich-Heine-Universität Düsseldorf, Medizinische Fakultät, Studiendekanat, Universitätsstr. 1, 40225 Düsseldorf, DeutschlandHeinrich-Heine-Universität Düsseldorf, Medizinische Fakultät, Studiendekanat, Düsseldorf, Deutschland

rotthoff@med.uni-duesseldorf.de author German Medical Science GMS Publishing House

Düsseldorf

610 Competency based assessment Kompetenzorientiertes Prüfen 20171009 20180416 20180605 20180815 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 2366-5017 35 3 GMS Journal for Medical Education GMS J Med Educ 29 Competence-orientation for Boosting EmployabilityOver the past decade, “competency-based” and “outcome-based” education have almost become a paradigm with the status of a “god term” in medical education, training and further education . Formerly education, knowledge and qualification were the goals of higher education, today the development of competencies and key competencies is generally given priority . The development of Competency-Based Education (CBE) is essentially based on political motives rather than scientific evidence , , , . The political motives are closely linked to the debate on “employability” . Development of competence is thus geared to the operational exigencies of social practice . Today, the quality of education is determined more strongly by whether knowledge is not only appropriated and reproduced, but that knowledge can also be competently applied in solving new problems . These motives appear to be particularly congenial to medical studies with their defined professional goal, since the Licensure Act requires the training of doctors capable of independent practice and responsibility. However, critics see CBE as poorly suited to highly skilled professions in particular such as doctors because they require highly complex skills such as analysis, judgment and reflection, professionalism and empathy. These – according to the critics – cannot be adequately achieved with the predominant methods of didactic learning objectives prevalent so far with CBE , , . Kompetenzorientierung zur Herstellung von BeschäftigungsfähigkeitIm letzten Jahrzehnt haben sich die „competency-based“ bzw. „outcome-based education“ nahezu zu einem Paradigma mit dem Status eines „god term“ in der medizinischen Aus-, Fort- und Weiterbildung entwickelt . Galten früher Bildung, Wissen und Qualifikation als Ziel hochschulischer Ausbildung, so wird heute die Entwicklung von Kompetenzen und Schlüsselkompetenzen allgemein in den Vordergrund gestellt . Die Entwicklung der Competency-Based Education (CBE) basiert dabei wesentlich auf politischen Motiven und weniger auf wissenschaftlicher Evidenz , ,, . Die politischen Motive sind dabei eng mit der Debatte um „employability“, also der Herstellung von Beschäftigungsfähigkeit verknüpft . Kompetenzentwicklung orientiert sich somit an den Handlungsanforderungen der gesellschaftlichen Praxis . Die Ausbildungsqualität bemisst sich dabei heute stärker daran, ob Wissen nicht nur angeeignet und reproduziert wird, sondern dieses Wissen auch kompetent bei der Lösung von neuartigen Problemen angewendet werden kann . Diese Motive erscheinen für das Medizinstudium mit seinem definierten Berufsziel besonders passend, da hierüber gemäß Approbationsordnung eigenverantwortliche und zur selbständigen Berufsausübung befähigte Ärztinnen und Ärzte ausgebildet werden sollen. Von Kritikern wird CBE jedoch gerade für hochqualifizierte Berufe wie dem des Arztes bzw. der Ärztin als nur wenig geeignet angesehen, da hierfür hochkomplexe Fähigkeiten wie Analyse, Urteils- und Reflexionsvermögen, Professionalität und Empathie erforderlich sind. Diese – so die Kritiker – können mit der bisher bei CBE vorherrschenden Methode der Lernzieldidaktik nicht hinlänglich dargestellt werden , , . From Qualification to CompetenceTherefore for a purposeful and critical discussion, it is worthwhile first of all to hone the notions of competence, key competence, qualification, knowledge and skills used in the education sciences beyond medicine. According to Arnold (1997), the term “qualification” is fact-centered and limited to immediate activity-related knowledge and skills, whereas competence is also value- or attitude-oriented, extends to the whole person and focuses on the developmental possibilities and ability to act of the individual . As so-called key competencies, the dimensions of “subject competence”, “methodological competence”, “social competence” as well as “personal” or “self-competence” have become widespread and established nationally and internationally despite the lack of theoretical justification . Various conceptualizations of the concept of competence have come closer in recent times and have, inter alia, the similarities that competence and key competencies relate to the ability to perform tasks of high complexity and that acquired competencies are not directly, i.e. one to one without relearning and adaptation processes, applicable to in new situations. The complexity of key competencies suggests that they can only be deduced from activity i.e. performance , . The English-language definition of professional (medical) competence listed in the NKLM also clearly illustrates the involvement of the entire person and goes beyond qualification as an acquisition of knowledge and skills: “Professional competence is the habitual and judicious use of communication, knowledge, technical skills, clinical reasoning, emotions, values and reflections in daily practice for the benefit of the individual and community being served” . Medical work is concerned with the ability to integrate different competencies for optimal patient care according to the situation . It is precisely this content and context specificity of clinical action that is cited as contradicting isolated training in different competencies, as students can perform well in one case and poorly in another with a different context , i.e. they cannot directly apply acquired competencies to new situations without using adaptation processes .The central approach of competence-oriented education in medicine has so far been based on the assumption that professional roles can be broken down and operationalized into individual elements of defined knowledge or skills, which – acquired separately – then lead to comprehensive competence . This procedure has not yet been adequately supported by empirical evidence and indeed is critically discussed in the current literature because the entire competence is more than the sum of individually successfully completed tasks in terms of knowledge or skills , , , , . Competency and key competencies differ from knowledge or simple skills in fulfilling tasks of high complexity . Von der Qualifikation zur KompetenzFür eine zielführende und kritische Diskussion lohnt daher zunächst die Schärfung der Begrifflichkeiten von Kompetenz, Schlüsselkompetenz, Qualifikation, Wissen und Fertigkeiten, wie sie in den Bildungswissenschaften jenseits der Medizin Verwendung finden. Gemäß Arnold (1997) ist der Begriff „Qualifikation“ sachverhaltszentriert und auf unmittelbare tätigkeitsbezogene Kenntnisse, und Fertigkeiten verengt, wohingegen Kompetenz auch wert- bzw. haltungsorientiert ist, sich auf die ganze Person erstreckt und die Entwicklungsmöglichkeiten und Handlungsfähigkeit des Individuums in den Mittelpunkt stellt . Als sogenannte Schlüsselkompetenzen haben sich heute trotz Mangels einer theoretischen Begründung die Dimensionen „Sachkompetenz“, „Methodenkompetenz, „soziale Kompetenz“ sowie „personale“ oder „Selbstkompetenz“ national sowie international verbreitet und etabliert . Verschiedene Konzeptualisierungen des Kompetenzbegriffes haben sich in jüngerer Zeit angenähert und weisen u.a. die Gemeinsamkeiten auf, dass Kompetenz und Schlüsselkompetenzen sich auf die Fähigkeit bezieht Aufgaben hoher Komplexität zu erfüllen und erworbene Kompetenzen nicht direkt, d.h. eins zu eins ohne Umlern- und Adaptationsprozesse auf neue Situationen anwendbar sind. Die Vielschichtigkeit von Schlüsselkompetenzen legt nahe, dass sie nur aus dem Handeln, der Performanz, erschlossen werden können , . Auch die im NKLM aufgeführte englischsprachige Definition von professioneller (ärztlicher) Kompetenz verdeutlicht die Einbeziehung der gesamten Person sehr anschaulich und geht über die Qualifikation als ein Erwerb von Wissen und Fertigkeiten hinaus: „professional competence is the habitual and judicious use of communication, knowledge, technical skills, clincial reasoning, emotions, values and reflections in daily practice for the benefit of the individual and community being served“ . Bei der ärztlichen Tätigkeit geht es um die Fähigkeit, verschiedene Kompetenzen für eine optimale Patientenversorgung situationsbezogen zu integrieren . Gerade diese Inhalt- und Kontextspezifität des klinischen Handelns werden als Widerspruch zu einem isolierten Training verschiedener Kompetenzen angeführt, da Studierende in einem Fall gut und in einem anderen Fall mit abweichendem Kontext eine schlechte Performanz zeigen können , d.h. erworbene Kompetenzen nicht direkt ohne Adaptationsprozesse auf neue Situationen anwenden können .Der zentrale Ansatz einer kompetenzorientierten Ausbildung in der Medizin beruht aber bisher auf der Annahme, dass Berufsrollen in einzelne Elemente aus definiertem Wissen oder Fertigkeiten zerlegt und operationalisiert werden können, welche – separat erworben – dann zur umfassenden Kompetenz führen . Dieses Vorgehen ist bisher empirisch nicht hinreichend belegt und wird in der aktuellen Literatur durchaus kritisch diskutiert, da die gesamte Kompetenz eben mehr ist als die Summe einzeln erfolgreich abgelegter Aufgaben in Bezug auf Wissen oder Fertigkeiten , , , , . Kompetenz und Schüsselkompetenzen unterscheiden sich gegenüber Wissen oder einfachen Fertigkeiten eben darin, Aufgaben hoher Komplexität zu erfüllen . Competencies reveal themselves through performance in the medical work placeAlthough isolated examinations of knowledge, skills or attitudes measure important prerequisites for competence, they do not constitute tests of competence in the true sense! Despite many years of development and implementation of competence-based curricula, in the estimation of Hodges & Lingard sophisticated test concepts for the measurement of competencies still only scratch the surface . Competence-oriented training models are even attested to a lack of reliable examination formats and higher-level examination strategies . If so, what has led to CBE becoming today’s paradigm in medical education? Are we likely to be subject to a spectator effect in which the opinion of an individual is all the more influenced the more distinctive the opinion (including by prominent voices) is expressed on a topic ? We should not look at the matter quite so pessimistically, and focus more on the definition of competence described above when assessing competencies. Harris and Keller already pointed out in 1976 that “the major development effort in competency-based education should not lie in the design of instructional materials but in the design of appropriate performance assessments. Furthermore, institutions should not commit themselves to competency-based curricula unless they possess means to directly assess students’ performance.“ . Thus, if competencies and key competencies can only be revealed and therefore tested by performance in action , CBE should be geared specifically to the action requirements of medical practice, which integrate different competencies and roles with variable importance. For medical students, this means creating more situations in the curriculum, in which medical practice (performance) is trained and observed in varying degrees of complexity in real and realistic situations. Undoubtedly, this presents a challenge with large numbers of students. The development of “Entrustable Professional Activities” (EPA) shows a possible way forward. Such EPAs can be held at different granularities. In earlier stages of study, simple diagnostic and therapeutic activities can already be taught under supervision and tested in conjunction with other competencies. In the Practical Year the activities can become more extensive and include for example, dealing with the care of a patient with a chronic illness or the complete discharge management of a patient. Performance is thus trainable in the course of study with different levels of complexity. But how can performance be tested? Kompetenzen erschließen sich aus der Performanz im ärztlichen ArbeitsumfeldIsolierte Prüfungen von Wissen, Fertigkeiten oder auch Haltungen messen zwar wichtige Voraussetzungen für Kompetenz, stellen demnach aber keine Prüfungen von Kompetenz im eigentlichen Sinne dar! Trotz vieler Jahre der Entwicklung und Implementierung von kompetenzbasierten Curricula, kratzen in der Einschätzung von Hodges & Lingard anspruchsvolle Prüfungskonzepte zur Messung von Kompetenzen bis heute nur an der Oberfläche . Kompetenzorientierten Ausbildungsmodellen wird gar ein Fehlen zuverlässiger Prüfungsformate und übergeordneter Prüfungsstrategien attestiert . Wenn dem so ist, was hat CBE denn zum heutigen Paradigma in der medizinischen Ausbildung werden lassen? Unterliegen wir möglicherweise einem Zuschauereffekt, bei dem die Meinung einer/eines Einzelnen um so mehr beeinflusst wird, je stärker die Meinung (auch von bedeutenden Stimmen) zu einem Thema vertreten wird ? Ganz so pessimistisch sollten wir die Sache nicht betrachten und uns beim Prüfen von Kompetenzen stärker an der zuvor beschriebenen Definition von Kompetenz orientieren. Harris und Keller hoben bereits 1976 hervor, dass „the major development effort in competency-based education should not lie in design of instructional materials but in design of appropriate performance assessments. Furthermore, institutions should not commit themselves to competency-based curricula unless they possess means to directly assess students’ performance.“ . Wenn Kompetenzen und Schlüsselkompetenzen also nur aus dem Handeln, der Performanz, erschlossen und folglich auch geprüft werden können , sollte sich CBE konkret an den Handlungsanforderungen der ärztlichen Praxis orientieren, welche verschiedene Kompetenzen und Rollen in unterschiedlicher Gewichtung integrieren. Für das Medizinstudium bedeutete das, verstärkt Situationen für die Studierenden im Curriculum zu schaffen, in denen ärztliches Handeln (Performanz) in unterschiedlicher Komplexität in realen und realitätsnahen Situationen trainiert und beobachtet wird. Zweifelsohne stellt dies eine Herausforderung bei großen Studierendenzahlen dar. Die Entwicklung von „Entrustable Professional Activities“ (EPA) – deutsch: „Anvertraubare Professionellen Tätigkeiten“ (APT) zeigen hier einen möglichen Weg auf. Solche APT können in unterschiedlicher Granularität vorgehalten werden. In früheren Phasen des Studiums können einfache diagnostische und therapeutische Tätigkeiten unter Supervision bereits zusammen mit anderen Kompetenzen verknüpft gelehrt und geprüft werden. Im Praktischen Jahr können die Tätigkeiten dann umfassender sein und z.B. die Betreuung eines Patienten mit chronischer Erkrankung oder das komplette Entlassungsmanagement eines Patienten beinhalten. Performanz ist also im Studium in unterschiedlichen Komplexitätsstufen trainierbar. Wie aber kann Performanz geprüft werden? Testing performance to capture competenciesThe current discussion about the testing of competencies is strongly influenced by the aspiration to capture competencies as objectively, reliably and validly as possible in order to best meet test quality criteria. In the past, attempts to capture more complex competencies with objective tools often fell short , . Are test quality criteria for assessing competencies even crucial? The answer depends on the goal we want to connect with CBE. In the current literature, the primary goal defined is a learning control for competence development, from which result first of all formative assessment of performance in the sense of an “assessment for learning” . CBE should record the students’ development, provide feedback on the level of competence achieved (e.g. through feedback) and accompany the students in their learning process . Only secondarily should CBE examinations aim to make summative decisions on competence or incompetence in the sense of an “assessment of learning” . Let’s look first at the requirements for formative testing of performance. Prüfung von Performanz zur Erfassung von KompetenzenDie aktuelle Diskussion um das Prüfen von Kompetenzen wirkt stark von dem Anspruch geleitet, Kompetenzen möglichst objektiv, reliabel und valide zu erfassen um den Testgütekriterien bestmöglich zu genügen. In der Vergangenheit wurde der Versuch, komplexere Kompetenzen mit objektiven Instrumenten zu erfassen allerdings häufig verfehlt , . Sind die Testgütekriterien für das Prüfen von Kompetenzen überhaupt entscheidend? Die Antwort hängt von der Zielsetzung ab, die wir mit CBE verbinden wollen. In der aktuellen Literatur wird als primäres Ziel eine Lernsteuerung für die Kompetenzentwicklung definiert, woraus zunächst formative Prüfungen von Performanz im Sinne eines „assessment for learning“ resultieren . CBE soll dabei die Entwicklung der Studierenden erfassen, Rückmeldungen zum erreichten Kompetenzniveau geben (z.B. durch Feedback) und die Studierenden in ihrem Lernprozess begleiten . Erst an zweiter Stelle haben Prüfungen im Rahmen von CBE das Ziel summative Entscheidungen über Kompetenz oder Inkompetenz im Sinne eines „assessment of learning“ zu treffen . Schauen wir uns zunächst die Erfordernisse für das formative Prüfen von Performanz an. Formative measurement of performanceThe assessment of performance is seen as a decision-making process that is influenced by the interactions between people and the context in which testing takes place . The changing contexts always require new relearning and adaptation processes , . In the field of performance, competencies have to be examined that can not be captured by quantitative measurement methods for competence assessment . Quantitative measurement methods reduce the concept of competence to qualification with knowledge and skills, which is why they are also considered unsuitable for the design of competence-oriented development processes in practice . Today there is even an increasing agreement that for the assessment of development processes and competencies the personal assessment of an examiner plays an especially important role, although human assessment as the only measure of validity, of course, has its limitations . Just as a diagnosis or treatment cannot be made on the basis of laboratory values alone, but also includes one’s own judgment with subjective considerations, intuition and ethical considerations , so the testing of competencies should include the judgment of the examiners and not exclusively be subject-related . The act of entrusting at EPA is also largely based on subjective considerations, which are mainly judged on the basis of supervision. The act of entrusting is always accompanied by a degree of uncertainty.Formative performance measurement requires less objectivity and reliability though a high validity for credible feedback. On the basis of Kane’s theoretical framework model for validity, apart from a large number of observations and a high variance of the observation conditions, the clear definition of the construct to be measured is also important . The validation is then an assessment of the relationship between the interpretation of the test result and the plausibility of the conclusions derived from it . Therefore for examiners to reach a valid judgment at least familiarity with the defined constructs (roles, competencies) is necessary, better still a reflected discussion, since competencies are also value- or attitude-oriented. Even though checklists or global rating scales attempt to standardize formative assessments, the assessment remains subjective and requires understanding and familiarity with the examination situation and the dimensions to be measured. How else can observations of examiners be validly transformed into scores? If the users are uncertain, the quality of the feedback on the competence level of the students and the validity of such performance measurements is very limited even with many observations and a wide variety of observation conditions. This is often reflected in the tendency for above-average ratings and a lack of use of point score assessment tools in the workplace, regardless of the type of scaling . Validity is therefore the decisive factor for the assessment of performance in the sense of a credible feedback on the attained competence level and support of the learning process. However, if examinations are to be summative and have consequences for the continuation of studies, they must be fair. That requires objectivity and reliability. So let’s look at how these two dimensions can be applied to performance testing. Formative PerformanzmessungDie Beurteilung von Performanz wird als ein Entscheidungsfindungsprozess angesehen, welcher von den Interaktionen zwischen Personen und dem Kontext beeinflusst wird, in dem das Prüfen stattfindet . Die wechselnden Kontexte erfordern dabei immer wieder neue Umlern- und Adaptationsprozesse , . Bei der Performanz sollen Handlungskompetenzen geprüft werden, die mit quantitativen Messverfahren zur Kompetenzerfassung nicht erfasst werden können . Quantitative Messverfahren reduzieren den Kompetenzbegriff auf Qualifikation mit Wissen und Fertigkeiten, weshalb sie für die Gestaltung von kompetenzorientierten Entwicklungsprozessen in der Praxis auch als ungeeignet gelten . Heute besteht sogar ein zunehmendes Übereinkommen darüber, dass für die Beurteilung von Entwicklungsprozessen und Kompetenzen gerade die persönliche Einschätzung durch eine Prüferin oder einen Prüfer eine wichtige Rolle spielt, obwohl die menschliche Beurteilung als alleiniges Messinstrument in Bezug auf die Validität natürlich auch ihre Limitationen hat . So wie eine Diagnose oder Behandlung nicht alleine auf Basis von Laborwerten gestellt werden kann, sondern auch das eigene Urteilsvermögen mit subjektiven Erwägungen, Intuitionen und ethischen Gesichtspunkten einbezieht , so sollte auch das Prüfen von Kompetenzen das eigene – und hier nicht ausschließlich fachbezogene – Urteilsvermögen der Prüfer mit einbeziehen . Auch der Akt des Anvertrauens bei APT gründet wesentlich auf subjektiven Erwägungen, die hauptsächlich auf der Basis von Supervision beurteilt werden. Der Akt des Anvertrauens geht dabei immer auch mit einer gewissen Unsicherheit einher.Formative Performanzmessung erfordert weniger Objektivität und Reliabiltiät jedoch eine hohe Validität für glaubwürdige Rückmeldungen. Ausgehend von dem von Kane vorgelegten theoretischen Rahmenmodell zur Validität ist, neben einer großen Anzahl von Beobachtungen und einer hohen Varianz der Beobachtungsbedingungen, auch die eindeutige Definition des zu messenden Konstruktes von Bedeutung . Die Validierung ist dann eine Beurteilung des Zusammenhangs zwischen der Interpretation des Testergebnisses und der Plausibilität der daraus abgeleiteten Schlussfolgerungen . Für ein valides Urteilsvermögen von Prüferinnen und Prüfern ist also mindestens die Kenntnis, besser noch eine reflektierte Auseinandersetzung mit den definierten Konstrukten (Rollen, Kompetenzen) erforderlich, da Kompetenzen eben auch wert- bzw. haltungsorientiert sind. Auch wenn mittels Checklisten oder Global Rating Skalen versucht wird formative Beurteilungen zu standardisieren, bleibt die Einschätzung subjektiv und setzt das Verständnis und eine Vertrautheit mit der Prüfungssituation und den zu messenden Dimensionen voraus. Wie sonst können Beobachtungen von Prüferinnen und Prüfern valide in Punktescores transformiert werden? Sind die Anwender unsicher, ist die Qualität der Rückmeldungen zum Kompetenzniveau der Studierenden und die Validität solcher Performanzmessungen auch bei vielen Beobachtungen und hoher Varianz der Beobachtungsbedingungen sehr begrenzt. Dieses zeigt sich häufig in der Tendenz zu überdurchschnittlich guten Bewertungen und einer fehlenden Ausnutzung von Punkteskalen von Assessmentinstrumenten am Arbeitsplatz ganz unabhängig von der Art der Skalierung . Für die Prüfung von Performanz im Sinne einer glaubwürdigen Rückmeldung zum erreichten Kompetenzniveau und einer Unterstützung des Lernprozesses ist die Validität also die entscheidende Größe. Wenn Prüfungen aber summativ eingesetzt werden sollen und Konsequenzen für die Fortsetzung des Studiums haben, müssen sie fair sein. Das erfordert Objektivität und Reliabilität. Schauen wir uns also an, wie sich diese beiden Dimensionen auf das Prüfen von Performanz anwenden lassen. Summative Measurement of PerformanceAlthough focusing on the objectivity and standardization of an exam increases its reliability, it is particularly in the medical working environment that there is a risk of moving away from reality and an authentic examination scenario with changing contexts . In the real work environment, it is therefore more difficult to achieve an objective and reliable performance test . The more complex the examination situation and the more competencies that are to be integrated, the more difficult it becomes to chart an objective and reliable competence-specific examination . From a test theory perspective a more complex integration of competencies in an examination also comes at the expense of the substantive validity of the individual competence . Sometimes an objective competence or performance measurement is even considered impossible; because what is today regarded as the attribute of a good doctor was not 50 years ago . The idea of what constitutes competence or competent medical action changes over time and is not a stable construct . At best, there is current agreement on what a good doctor should be and based on this, we decide what is to be integrated into a curriculum and how it should be taught . In doing so, we are shaped by an environment in which ideas come and go, influenced by political, social and economic ideas as well as the conditions of the time . Competencies and roles are social and not objectively stable constructs, and decisions about competence or incompetence are ultimately based on expert opinions . This seems to affirm the critics regarding the lack of suitable exam concepts for CBE. Summative PerformanzprüfungEine Fokussierung auf die Objektivität und Standardisierung einer Prüfung steigert zwar deren Reliabilität, birgt aber gerade im ärztlichen Arbeitsumfeld die Gefahr, sich von der Wirklichkeit und einem authentischen Prüfungs-Szenario mit wechselnden Kontexten zu entfernen . Im realen Arbeitsumfeld gestaltet sich eine objektive und reliable Prüfung der Performanz daher entsprechend schwieriger . Je komplexer die Prüfungssituation ist und je mehr Kompetenzen integriert geprüft werden sollen, desto schwieriger wird es, eine objektive und reliable kompetenzspezifische Prüfung abzubilden . Eine komplexere Integration von Kompetenzen in einer Prüfung geht auch aus testtheoretischer Sicht zu Lasten der inhaltlichen Validität der einzelnen Kompetenz . Bisweilen wird eine objektive Kompetenz- oder Performanzmessung sogar als gar nicht möglich angesehen; denn was heute als Attribut eines guten Arztes oder einer guten Ärztin angesehen wird, war es vor 50 Jahren noch nicht . Die Vorstellung davon, was Kompetenz bzw. kompetentes ärztliches Handeln ist, ändert sich mit der Zeit und ist kein stabiles Konstrukt . Es gibt aktuell allenfalls eine Übereinstimmung darüber, wie ein guter Arzt bzw. eine gute Ärztin sein sollte und darauf basierend entscheiden wir, was in ein Curriculum integriert wird und wie unterrichtet werden sollte . Dabei sind wir geprägt von einer Umgebung, in der Ideen kommen und gehen, beeinflusst von politischen, sozialen und ökonomischen Vorstellungen sowie Bedingungen der Zeit . Kompetenzen und Rollen sind soziale und keine objektiv stabilen Konstrukte und die Entscheidungen über Kompetenz bzw. Inkompetenz basieren letztlich auf Expertenmeinungen . Dies scheint den Kritikern in Bezug auf das Fehlen geeigneter Prüfungskonzepte für CBE Recht zu geben. Programmatic Assessment as a Solution?The use of test methods combines the claim to obtain psychometrically substantiated statements about latent abilities and interesting characteristics of individuals, which are based on assumptions about relationships between the characteristic to be measured and the observed test behavior . Due to the above-mentioned difficulties in measuring performance objectively, validly and reliably, the characteristic features and relationships of interest could be captured using a programmatic approach in the sense of an examination portfolio. Depending on the importance of the test, a different number of tests or observations could be combined to form an overall assessment . For standardized tests on knowledge and skills this is easy to implement. For the use of non-standardized performance tests in the medicalworking environment, the meaningfulness of such a procedure depends crucially on the validity of these examinations and thus also on the examiners. Overall, a promising approach, which initially requires a certain change of perspective on competence-oriented testing.Ability evolves from learning Today when measuring performance we are very much focused on the observable ability, which should correspond to previously defined benchmarks such as outcomes, milestones and learning goals. From the observed behavior of the person conclusions are drawn on non-observable dispositions in the assumption that the person could only show this ability because they have acquired the corresponding dispositions (= competence) and not only shown the behavior once (= output), but can always generate it (= outcome) . On the basis of the preceding explanations the correctness of this assumption regarding performance may be doubted, since different conceptualizations of the concept of competence come to the common realization that competence and key competencies describe the ability to perform tasks of high complexity and that acquired competencies cannot be applied directly, i.e. one to one without relearning and adaptation processes, in new situations . This brings us to a previously unresolved problem of how performance should be measured summatively. We run the risk of investing our resources in the best possible standardization of exams or perfecting checklists and scales in order to find a solution to this problem and lose sight of the more crucial learning process for CBE. The effects of an outcome-oriented CBE on later performance on the job have not been sufficiently proven. Alternatively, it can also be hypothesized that a stronger focus, support, examination, reflection and exploration of the learning processes can ultimately lead to more “ability” in the sense of performance. During the learning process, competence dimensions such as emotions and values can be integrated more strongly in the interaction between teachers and students. Although these dimensions are required in the outcomes, they are only rarely developed jointly with the students. Up to now the way to reach a goal or outcome is more or less left to the students themselves. Programmatisches Prüfen als Lösung?Mit dem Einsatz von Testverfahren verbindet sich der Anspruch, psychometrisch fundierte Aussagen über latente Fähigkeiten und interessierende Merkmalsausprägungen von Individuen zu erhalten, bei denen Annahmen über Zusammenhänge zwischen dem zu messenden Merkmal und dem beobachteten Testverhalten zugrunde gelegt werden . Aufgrund der oben aufgezeigten Schwierigkeiten, Performanz objektiv, valide und reliabel zu messen, könnten die interessierenden Merkmalsausprägungen und Zusammenhänge über einen programmatischen Ansatz im Sinne eines Prüfungsportfolios erfasst werden. Je nach Bedeutung der Prüfung könnte eine unterschiedliche Anzahl von Prüfungen oder Beobachtungen zu einer Gesamtbewertung zusammengeführt werden . Für standardisierte Prüfungen zu Wissen und Fertigkeiten ist dieses gut umsetzbar. Für die Verwendung nicht standardisierter Performanzprüfungen im ärztlichen Arbeitsumfeld hängt die Sinnhaftigkeit eines solchen Vorgehens ganz entscheidend von der Validität dieser Prüfungen und damit auch von der Prüferinnen und Prüfern ab. Insgesamt ein vielversprechender Ansatz, der zunächst jedoch einen gewissen Perspektivwechsel auf das kompetenzorientierte Prüfen erfordert.Vor dem Können steht das Lernen Bei der Messung von Performanz sind wir heute sehr stark auf das beobachtbare Können fixiert, welches zuvor definierten Maßstäben wie Outcomes, Meilensteinen und Lernzielen entsprechen soll. Es wird dabei vom beobachteten Verhalten der Person auf nicht-beobachtbare Dispositionen geschlossen in der Annahme, dass die Person dieses Können nur zeigen konnte, weil sie die entsprechenden Dispositionen (=Kompetenz) erworben hat und das Verhalten nicht nur einmalig (=Output) zeigen, sondern immer wieder (=Outcome) generieren kann . Die Richtigkeit dieser Annahme darf für die Performanz aufgrund der vorangegangenen Erläuterungen bezweifelt werden, da verschiedene Konzeptualisierungen des Kompetenzbegriffes zu der gemeinsamen Erkenntnis kommen, dass Kompetenz und Schlüsselkompetenzen die Fähigkeit beschreiben, Aufgaben hoher Komplexität zu erfüllen und erworbene Kompetenzen eben nicht einfach direkt, d.h. eins zu eins ohne Umlern- und Adaptationsprozesse auf neue Situationen anwendbar sind . Damit stehen wir vor einem bisher nicht gelösten Problem wie Performanz summativ gemessen werden soll. Wir laufen Gefahr, bei der Suche nach einer Lösung dieses Problems unsere Ressourcen in die bestmögliche Standardisierung der Prüfungen oder die Perfektionierung von Checklisten und Skalen zu investieren und den für CBE entscheidenderen Prozess des Lernens aus dem Blickfeld zu verlieren. Die Effekte einer an Outcomes orientierten CBE auf die spätere Performanz im Beruf sind bisher nicht ausreichend belegt. Alternativ kann auch die Hypothese aufgestellt werden, dass eine stärkere Fokussierung, Förderung, Prüfung, Reflexion und Erforschung der Lernprozesse am Ende sogar zu mehr „Können“ im Sinne der Performanz führen kann. Während des Lernprozesses können in der Interaktion zwischen Lehrenden und Studierenden auch Kompetenzdimensionen wie Emotionen und Werte stärker eingebunden werden. Diese Dimensionen werden in den Outcomes zwar gefordert, jedoch nur wenig mit den Studierenden gemeinsam entwickelt. Der Weg zum Erreichen eines Ziels bzw. Outcome bleibt den Studierenden bisher mal mehr oder mal weniger selber überlassen. Competence orientation requires new approaches in faculty developmentGreater consideration of the learning processes also requires a further development of the expectations and attitudes of the people in a faculty over competence-oriented education; especially if the individual examiner becomes more important. Certainly we all feel that this is easier said than done and that traditional patterns of medical culture can be an obstacle. We need new approaches to faculty development and new didactic formats for CBE, which will allow more for a serious exchange in the discussion of competencies. Therefore, faculty training should not be limited to individual assessment tool workshops, such as how to complete a checklist for a Mini-Clinical Examination . The examiners should exchange and discuss their assessments and exam situations , . Ultimately, the available testing tools are only as good as the people who use them. Medical action is always characterized by the risk of the actions and insecurities of the agents themselves . We should also accept these uncertainties for competence-oriented assessment, and have more courage to accept subjectivity in measuring performance. The most important prerequisite for this is the high validity and credibility of these assessments in order to actually support the students in their learning process and the acquisition of competencies. An extension of the focus of attention on the process of actual learning, which has hitherto been very focused on outcomes, requires the teachers to intensify employment and reflection with the dimensions of competence and a mutual exchange of experiences within the faculties. So far, there are no established structural or didactic concepts for this. Only then does consideration of non-standardized performance tests in a programmatic audit approach really make sense. Kompetenzorientierung erfordert neue Ansätze in der FakultätsentwicklungEine stärkere Berücksichtigung der Lernprozesse erfordert auch eine Weiterentwicklung der Erwartungshaltung und Einstellung der Menschen in einer Fakultät gegenüber einer kompetenzorientierten Ausbildung; insbesondere dann, wenn die individuelle Prüferin oder der Prüfer an Bedeutung gewinnt. Wir alle machen sicher die Erfahrung, dass dieses leichter gesagt als getan ist und tradierte medizinkulturelle Verhaltensmuster ein Hemmnis darstellen können. Wir benötigen für die CBE neue Ansätze für die Fakultätsentwicklung und neue didaktische Formate, die Diskussionen über Kompetenzen mehr Raum für einen ernsthaften Austausch ermöglichen. Trainings in der Fakultät sollten sich daher nicht auf Workshops für einzelne Assessment Instrumente beschränken, bei dem es beispielsweise darum geht, wie eine Checkliste für einen Mini-Clinical Examination auszufüllen ist . Die Prüfer sollten sich über ihre Bewertungen und die Prüfungssituationen austauschen und diese diskutieren , . Die verfügbaren Prüfungsinstrumente sind letztlich immer nur so gut, wie die Personen die sie anwenden. Ärztliches Handeln ist immer geprägt von dem Risiko der Handlungen und den Unsicherheiten der Handelnden selber . Wir sollten diese Unsicherheiten auch für das kompetenzorientierte Prüfen akzeptieren, annehmen und mehr Mut zur Subjektivität bei der Messung von Performanz haben. Wichtigste Voraussetzung dafür ist eine hohe Validität und Glaubwürdigkeit dieser Prüfungen um die Studierenden tatsächlich in ihrem Lernprozess und dem Kompetenzerwerb zu unterstützen. Eine Erweiterung des bisher sehr auf Outcomes fixierten Blickfeldes um den Prozess des eigentlichen Lernens bedarf bei den Lehrenden der intensiveren Beschäftigung und Reflexion mit den Kompetenzdimensionen und einen wechselseitigen Erfahrungsaustausch innerhalb der Fakultäten. Dafür gibt es bisher noch keine etablierten strukturellen oder didaktischen Konzepte. Erst dann aber macht die Berücksichtigung nicht standardisierter Performanzprüfungen in einem programmatischen Prüfungsansatz wirklich Sinn. Competing interestsThe author declares that he has no competing interests. InteressenkonfliktDer Autor erklärt, dass er keine Interessenkonflikte im Zusammenhang mit diesem Artikel hat. Hodges BD Lingard L Introduction 2012 The Question of Competence - Reconsidering Medical Education in the Twenty-First Century 1-13 Hodges BD, Lingard L. Introduction. In: Hodges BD, Lingard L (Hrsg). The Question of Competence - Reconsidering Medical Education in the Twenty-First Century. New York: Cornell University Press; 2012. S.1-13. DOI: 10.5771/9783845259185_30 http://dx.doi.org/10.5771/9783845259185_30 Schaeper H Hochschulbildung und Schlüsselkompetenzen 2005 Z Päd 209-220 Schaeper H. Hochschulbildung und Schlüsselkompetenzen. Z Päd. 2005;51(50):209-220. Brightwell A Grand J. Competency-based Training: who benefits? 2013 Postgrad Med J 107-110 Brightwell A. Grand J. Competency-based Training: who benefits? Postgrad Med J. 2013;89(1048):107-110. DOI: 10.1136/postgradmedj-2012-130881 http://dx.doi.org/10.1136/postgradmedj-2012-130881 Harden RM Developments in outcome-based education 2002 Med Teach 117-120 Harden RM. Developments in outcome-based education. Med Teach. 2002;24(2):117-120. DOI: 10.1080/01421590220120669 http://dx.doi.org/10.1080/01421590220120669 Harden RM Outcome-based education – The ostrich, the peacock and the beaver 2007 Med Teach 666-671 Harden RM. Outcome-based education – The ostrich, the peacock and the beaver. Med Teach. 2007;29(7):666-671. DOI: 10.1080/01421590701729948 http://dx.doi.org/10.1080/01421590701729948 Hawkins RE Welcher CM Holmboe ES Kirk LM Norcini JJ Simons KB Skochelak SE Implementation of competency-based medical education: are we addressing the concerns and challenges? 2015 Med Educ 1086-1102 Hawkins RE, Welcher CM, Holmboe ES, Kirk LM, Norcini JJ, Simons KB, Skochelak SE. Implementation of competency-based medical education: are we addressing the concerns and challenges? Med Educ. 2015;49(11):1086-1102. DOI: 10.1111/medu.12831 http://dx.doi.org/10.1111/medu.12831 Arnold R Von der Bildung zur Kompetenzentwicklung 2002 Literatur- und Forschungsreport Weiterbildung 26-38 Arnold R. Von der Bildung zur Kompetenzentwicklung. In: Nuissl E, Schiersmann CH, Siebert H (Hrsg). Literatur- und Forschungsreport Weiterbildung, Bielefeld: W Bertelsmann Verlag; 2002. S.26-38. Huddle TS Heudebert GR Taking apart the art: the risk of anatomizing clinical competence 2007 Acad Med 536-541 Huddle TS, Heudebert GR. Taking apart the art: the risk of anatomizing clinical competence. Acad Med. 2007;82(6):536-541. DOI: 10.1097/ACM.0b013e3180555935 http://dx.doi.org/10.1097/ACM.0b013e3180555935 Malone K Supri S A critical time for medical education: the perils of competence-based reform of the curriculum 2012 Adv Health Sci Educ 241-246 Malone K, Supri S. A critical time for medical education: the perils of competence-based reform of the curriculum. Adv Health Sci Educ. 2012;17(2):241-246. DOI: 10.1007/s10459-010-9247-2 http://dx.doi.org/10.1007/s10459-010-9247-2 Epstein RM Hundert EM Defining and assessing professional competence 2002 JAMA 226-235 Epstein RM, Hundert EM. Defining and assessing professional competence. JAMA. 2002;287(2):226-235. DOI: 10.1001/jama.287.2.226 http://dx.doi.org/10.1001/jama.287.2.226 ten Cate O Snell L Carracio C Medical competence: the interplay between individual ability and the health care environment 2010 Med Teach 669-675 ten Cate O, Snell L, Carracio C. Medical competence: the interplay between individual ability and the health care environment. Med Teach. 2010;32(8):669-675. DOI: 10.3109/0142159X.2010.500897 http://dx.doi.org/10.3109/0142159X.2010.500897 Lurie SJ History and practice of competency-based assessment 2012 Med Educ 49-57 Lurie SJ. History and practice of competency-based assessment. Med Educ. 2012;46:49-57. DOI: 10.1111/j.1365-2923.2011.04142.x http://dx.doi.org/10.1111/j.1365-2923.2011.04142.x Hyland T Competence, Knowledge and Education 1993 J Phil Educ 57-68 Hyland T. Competence, Knowledge and Education. J Phil Educ. 1993;27(1):57-68. DOI: 10.1111/j.1467-9752.1993.tb00297.x http://dx.doi.org/10.1111/j.1467-9752.1993.tb00297.x Talbot M Monkey see, monkey do: a critique of the competency model in graduate medical education 2004 Med Educ 587-592 Talbot M. Monkey see, monkey do: a critique of the competency model in graduate medical education. Med Educ. 2004;38(6):587-592. DOI: 10.1046/j.1365-2923.2004.01794.x http://dx.doi.org/10.1046/j.1365-2923.2004.01794.x Ashworth PD Saxton J On 'Competence' 1990 J Furth High Educ 3-25 Ashworth PD, Saxton J. On 'Competence'. J Furth High Educ. 1990;14(2):3-25. DOI: 10.1080/0309877900140201 http://dx.doi.org/10.1080/0309877900140201 Latané B The Psychology of Social Impact 1981 Am Psychol 343-356 Latané B. The Psychology of Social Impact. Am Psychol. 1981;36(4):343-356. DOI: 10.1037/0003-066X.36.4.343 http://dx.doi.org/10.1037/0003-066X.36.4.343 Harris J Keller S Assessment Measures Needed for Competency-Based Higher Education 1976 Peabody J Educ 241-247 Harris J, Keller S. Assessment Measures Needed for Competency-Based Higher Education. Peabody J Educ. 1976;53(4):241-247. DOI: 10.1080/01619567609538085 http://dx.doi.org/10.1080/01619567609538085 Ten Cate O Scheele F Competency-based postgraduate training: can we bridge the gap between theory and clinical practice? 2007 Acad Med 542-547 Ten Cate O, Scheele F. Competency-based postgraduate training: can we bridge the gap between theory and clinical practice? Acad Med. 2007;82(6):542-547. DOI: 10.1097/ACM.0b013e31805559c7 http://dx.doi.org/10.1097/ACM.0b013e31805559c7 Rotthoff T Ostapczuk M Zimmerhofer A Decking U Schneider M Ritz-Timme S Criterion Validity of a Compentency Based Assessment Center in Medical Education. A 4 – year follow-up study 2014 Med Educ Online 252-254 Rotthoff T, Ostapczuk M, Zimmerhofer A, Decking U, Schneider M, Ritz-Timme S. Criterion Validity of a Compentency Based Assessment Center in Medical Education. A 4 – year follow-up study. Med Educ Online. 2014;19:252-254. DOI: 10.3402/meo.v19.25254 http://dx.doi.org/10.3402/meo.v19.25254 Lockyer J Carracio MK Hart D Smee S Touchie C Holmboe ES Frank JR ICBME Collaborators Core principles of assessment in competency-based medical education 2017 Med Teach 609-616 Lockyer J, Carracio MK, Hart D, Smee S, Touchie C, Holmboe ES, Frank JR; ICBME Collaborators. Core principles of assessment in competency-based medical education. Med Teach. 2017;39(6):609-616. DOI: 10.1080/0142159X.2017.1315082 http://dx.doi.org/10.1080/0142159X.2017.1315082 Holmboe ES Sherbino J Long DM Swing SR Frank JR The role of assessment in competency-based medical education 2010 Med Teach 676-682 Holmboe ES, Sherbino J, Long DM, Swing SR, Frank JR. The role of assessment in competency-based medical education. Med Teach. 2010;32(8):676-682. DOI: 10.3109/0142159X.2010.500704 http://dx.doi.org/10.3109/0142159X.2010.500704 Govaerts MJ Van der Vleuten DP Schuwirth LW Muijtjens AM Broadening perspectives on clinical performance assessment: rethinking the nature of in-training assessment 2007 Adv Health Sci Educ Theory Pract 239-260 Govaerts MJ, Van der Vleuten DP, Schuwirth LW, Muijtjens AM. Broadening perspectives on clinical performance assessment: rethinking the nature of in-training assessment. Adv Health Sci Educ Theory Pract. 2007;12(2):239-260. DOI: 10.1007/s10459-006-9043-1 http://dx.doi.org/10.1007/s10459-006-9043-1 Sauter W Staudt AK 2016 Kompetenzmessung in der Praxis – Mitarbeiterpotenzial erfassen und analysieren 9 Sauter W, Staudt AK. Kompetenzmessung in der Praxis – Mitarbeiterpotenzial erfassen und analysieren. Wiesbaden: Springer Gabler Verlag; 2016. S.9. DOI: 10.1007/978-3-658-11904-1 http://dx.doi.org/10.1007/978-3-658-11904-1 Schuwirth LW Van der Vleuten CM Assessing Competence, Extending the approaches to Reliability 2012 The Shifting Discourses of Competence 13-130 Schuwirth LW, Van der Vleuten CM. Assessing Competence, Extending the approaches to Reliability. In: Hodges BD (Hrsg). The Shifting Discourses of Competence. New York: Cornell University Press; 2012. S.13-130. Schriewer H Arzt zwischen Tradition und Wertewandel 1998 Dtsch Ärztebl A2686-2688 Schriewer H. Arzt zwischen Tradition und Wertewandel. Dtsch Ärztebl. 1998;95:A2686-2688. Tekian A Hodges BD Roberts TE Schuwirth L Norcinin J Assessing competencies using milestones along the way 2015 Med Teach 399-402 Tekian A, Hodges BD, Roberts TE, Schuwirth L, Norcinin J. Assessing competencies using milestones along the way. Med Teach. 2015;37(4):399-402. DOI: 10.3109/0142159X.2014.993954 http://dx.doi.org/10.3109/0142159X.2014.993954 Kane M Content-Related Validity Evidence in Test Development 2006 Handbook of Test Development 131-151 Kane M. Content-Related Validity Evidence in Test Development. In: Downing SM, Haladyna TM (Hrsg). Handbook of Test Development. New Jersey: Lawrence Erlbaum Associates, Inc.; 2006. S.131-151. Tochel C Beggs K Haig A Roberts J Scott H Walker K Watson M Use of web based systems to support postgraduate medical education 2011 Postgrad Med J 800-806 Tochel C,Beggs K, Haig A, Roberts J, Scott H, Walker K, Watson M. Use of web based systems to support postgraduate medical education. Postgrad Med J. 2011;87(1034):800-806. DOI: 10.1136/postgradmedj-2011-130007 http://dx.doi.org/10.1136/postgradmedj-2011-130007 Weyers S Jemi I Karger A Raski B Rotthoff T Pentzek M Mortsiefer A Workplace-based assessment of communication skills: A pilot project addressing feasibility, acceptance and reliability 2016 GMS J Med Educ Doc70 Weyers S, Jemi I, Karger A, Raski B, Rotthoff T, Pentzek M, Mortsiefer A. Workplace-based assessment of communication skills: A pilot project addressing feasibility, acceptance and reliability. GMS J Med Educ. 2016;33(5):Doc70. DOI: 10.3205/zma001069 http://dx.doi.org/10.3205/zma001069 Lienert GA Raatz U 1998 Testaufbau und Testanalyse 9 Lienert GA, Raatz U. Testaufbau und Testanalyse. 6.Auflage. Weinheim: Beltz; 1998. S.9. Hodges BD The Shifting Discourses of Competence 2012 The Question of Competence - Reconsidering Medical Education in the Twenty-First Century. 15 Hodges BD. The Shifting Discourses of Competence. In: Hodges BD, Lingard L (Hrsg). The Question of Competence - Reconsidering Medical Education in the Twenty-First Century. New York: Cornell University Press; 2012. S.15. Seeber S Reinhold N Winther E Achtenhagen F Breuer K Frank I Lehmann R Spöttl G Stranka G Walden G Weiß R Zöller A Kompetenzdiagnostik in der Berufsbildung – Begründung und Ausgestaltung eines Forschungsprogramms 2010 Bundesinst Berufsbild 4 Seeber S, Reinhold N, Winther E, Achtenhagen F, Breuer K, Frank I, Lehmann R, Spöttl G, Stranka G, Walden G, Weiß R, Zöller A. Kompetenzdiagnostik in der Berufsbildung – Begründung und Ausgestaltung eines Forschungsprogramms. Bundesinst Berufsbild. 2010;1:4. Van der Vleuten CP Schuwirth LW Driessen EW Dijkstra J Tigelaar D Baartman LK van Tatwijk J A model for programmatic assessment fit for purpose 2012 Med Teach 205-214 Van der Vleuten CP, Schuwirth LW, Driessen EW, Dijkstra J, Tigelaar D, Baartman LK, van Tatwijk J. A model for programmatic assessment fit for purpose. Med Teach. 2012;34(3):205-214. DOI: 10.3109/0142159X.2012.652239 http://dx.doi.org/10.3109/0142159X.2012.652239 Reinisch H 2011 Lernergebnis-/Outcome-Orientierung – Was soll das eigentlich? DECVET-Fachtagung in Dresden 23 Reinisch H. Lernergebnis-/Outcome-Orientierung – Was soll das eigentlich? DECVET-Fachtagung in Dresden 23.Juni 2011. Zugänglich unter/available from: http://www.ausbildung-und-studium.de/projekte/decvet/Presentation_Rheinisch.pdf http://www.ausbildung-und-studium.de/projekte/decvet/Presentation_Rheinisch.pdf Holmboe ES Ward DS Reznick RK Katsufrakis PJ Leslie KM Patel V Ray DD Nelson EA Faculty Development in Assessment: The Missing Link in Competency-Based Medical Education 2011 Acad Med 460-467 Holmboe ES, Ward DS, Reznick RK, Katsufrakis PJ, Leslie KM, Patel V,Ray DD, Nelson EA. Faculty Development in Assessment: The Missing Link in Competency-Based Medical Education. Acad Med. 2011;86(4):460-467. DOI: 10.1097/ACM.0b013e31820cb2a7 http://dx.doi.org/10.1097/ACM.0b013e31820cb2a7 0 0 0 0