zma001124 10.3205/zma001124 urn:nbn:de:0183-zma0011248 article Artikel Warum bedarf es einer Validierung von Lehrkompetenzmodellen? Schaper Schaper Niclas N Prof. Dr.

Universität Paderborn, Fakultät für Kulturwissenschaften, Institut für Humanwissenschaften, Lehrstuhl für Arbeits- und Organisationspsychologie, Warburger Str. 100, D-33098 Paderborn, Germany, Phone: +49 (0)5251/602901, Fax: +49 (0)5251/603528Universität Paderborn, Fakultät für Kulturwissenschaften, Institut für Humanwissenschaften, Lehrstuhl für Arbeits- und Organisationspsychologie, Paderborn, Germany

Universität Paderborn, Fakultät für Kulturwissenschaften, Institut für Humanwissenschaften, Lehrstuhl für Arbeits- und Organisationspsychologie, Warbburger Str. 100, 33098 Paderborn, Deutschland, Tel.: +49 (0)5251/602901, Fax: +49 (0)5251/603528Universität Paderborn, Fakultät für Kulturwissenschaften, Institut für Humanwissenschaften, Lehrstuhl für Arbeits- und Organisationspsychologie, Paderborn, Deutschland

niclas.schaper@upb.de author German Medical Science GMS Publishing House

Düsseldorf

610 Teaching Competencies Lehrkompetenzen 20170921 20170921 20170921 20171016 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 2366-5017 34 4 GMS Journal for Medical Education GMS J Med Educ Faculty development in medical and health professions education/Personal- und Organisationsentwicklung für die Lehre in der Medizin und den Gesundheitsberufen 47 Short reportIn recent years many different forms of competency models have been used in curricular design, quality assurance and education research. This trend has also been addressed and reinforced in higher education, particularly within the framework of the Bologna Reform (in terms of competency-based learning). Competency models now play a role in the education and professional advancement of university teachers. These models indicate which skills teachers need in different subjects in order to effectively prepare students for professional careers in science and other academic fields. Many different approaches and models have been generated offering systematic, competency-based descriptions of the professional teaching skills necessary for university-level educators. Suitable pedagogical competency models are needed for different purposes and functions. Some examples include models to (vgl. )systematically train teachers in a targeted manner;systematically plan and impart theory-based approaches, such as problem-based learning;implement quality assurance and management of teaching in a targeted manner;make the educational objectives and requirements transparent for aspiring university teachers and others participating in the educational process.There are now a series of approaches for describing teaching skills that are helpful in defining content elements and qualification dimensions, imparting the theoretical basis underlying the study program, and ensuring a systematic strategic approach and appropriate quality management (Trautwein & Merkt, 2013; ). However, the scientific caliber of such models varies. The models refer to different interpretations of the competency construct (e.g. the distinction between professional expertise, methodological competence, social skills and interpersonal skills or the definition of competency according to Weinert, 2001; ) or the models have different degrees of differentiation and identification of basic competencies, or even different modes of model construction (e.g. deductive vs. inductive; ). The central weakness seen in all common models is predominantly the lack of model validation regarding their theoretical and conceptual validity and regarding their specific purposes.The first issue to arise in this context is why should competency models be tested regarding their validity, especially if the basis for their inferences is, in many respects, normatively justified? It must be pointed out here that competency models as (psychological) constructs must have a conclusive theoretical basis and, like other (psychological) constructs, must be supported by evidence. To ensure this, suitable strategies can be used for validation, which are not only relevant for the psychometric examination of test instruments , . In my opinion, the following criteria must be applied to validate such models. First, the models should be based on proven and evidence-based notions about the structure and ranking of skills in a field of application (including the underlying concept of competence). Second, they should be consistent and generalizable in their descriptions of competencies for a particular professional domain. Third, their conclusions concerning practical applicability should be based on theoretically and empirically supported evidence and arguments. Fourth, competency models should also be organized and formulated such that they can be understood by the target groups while making reference to needs and prior conceptions to ensure sufficient acceptance within the target group. Only if these criteria are adequately met it can be assumed that such competency models actually generate new insights, that they can be justifiably used for the intended purpose, and that they truly are suitable for improving teaching quality, whatever the educational context may be.Validity in this context requires a broader understanding of what is needed for validity than what is called for by classic test theory. It does not only involve the determination of statistical values regarding construct and criteria validity, but also a modern understanding of validity in terms of the argument-based validation approach put forth by Messick and Kane . Both of these authors propose six different criteria or aspects of validation: content validity, meaning the curricular and/or theoretical basis for the modeled area; cognitive validity, meaning the matching of cognitive processes when measuring competencies to the postulated theoretical model of competency; structural validity, meaning the matching of the theoretical competency model with the selected psychometric measurement model, generalizability, meaning the appropriateness of an interpretation of the model going beyond the specific groups of tasks and people; external validity, meaning commensurateness with other constructs in regard to convergent, discriminant and predictive correlations; consequential validity, meaning the appropriateness of the interpretation of results and the resulting consequences.In regard to generating and applying (pedagogical) competency models for qualification purposes, content and consequential validity, in particular, are important. Playing a secondary role are cognitive validity, external validity, and the validation criterion for generalizability. Justifications as to why these specific aspects should be considered when validating competency models and what should be heeded are addressed in the following:The content validity of competency models is of special significance since this form of validation clarifies whether a model does the best possible job representing the characteristics or behavior of interest within a particular competency domain from a theoretical and content-oriented practical perspective. To verify the content validity of (pedagogical) competency models, the current academic research on the construct is analyzed in detail and applied to the model in terms of its definitions of terms and structure (e.g. does the conceptual model refers to existing and proven model designs?). When validating content, experts (e.g. those who educate and train university teachers) are also asked to evaluate the relevance and aptness of the aspects and dimensions of competency described by the model. In addition, experts are also able to rate if the subject-specific particularities/requirements connected with a competency domain have been sufficiently accounted for.The cognitive validity of a competency model focuses on the thoughts and actions described in the model which are necessary within the domain for competent professional decision making. As an expansion of the content validity this validity aspect entails not only the structure and content of the relevant skills, but also if the model also adequately describes relevant processes, for instance, the application of knowledge. To assess this, classroom observations and teacher surveys can be carried out regarding university teachers’ planning activities and reflections on their actions. When doing this, it is critical to verify if the knowledge and skills described by the model are relevant to planning, implementing, assessing and reflecting on teaching activities.Testing for external validity is associated with another central issue pertaining to the effectiveness of the competency model. The model is examined to verify if it sufficiently identifies and describes the skills relevant to success in designing effective teaching. Generally the teaching skills described in the model are measured using tests, self-assessment, or assessment by another and then they are correlated with outcome variables such as knowledge gain of the instructed students or ratings of teaching quality . Studies and analyses of external validity permit conclusions to be drawn or evidence-based statements to be made regarding the efficacy or predictability of the effects of the particular (teaching) skills.When verifying the consequential validity of competency models, it is important to examine the match between the competency model on the one side and statements concerning the intended use that can be made on its basis on the other side. When dealing with pedagogical competency models it is important to clarify if the conclusions and inferences made in regard to learning objectives and implementation strategies in university teacher training and education have been sufficiently based on theory (e.g. refer to training approaches based on theories of learning) and if the conclusions can be inferred or accounted for on the basis of empirical evidence (if, for instance, the efficacy of the training could be shown using evaluative studies). This can be done, for example, by carrying out a detailed conceptual analysis or surveying education experts in the (subject-specific) teaching program and teachers of the subject itself. The latter is meant to assess the extent to which the practical conclusions appear apt to the experts and to address and account for practical needs.The ability to generalize competency models refers to the question, to what extent the skills descriptions can be applied beyond the various contexts and target groups identified in a given model? To evaluate this validity criterion in pedagogical competency models it is important to clarify the extent to which a competency model with all of its different facets can be transferred to other or related contexts in higher education (e.g. if the pedagogical competency model for medical education can be applied or transferred to different contexts in medical teaching). This could be tested, for instance, by applying the model to different target groups, teaching formats or subject combinations. Then it has to be evaluated concerning the extent to which the model categories sufficiently and appropriately reflect the different skills requirements and if the model’s structure does not significantly change when applied to different contexts.Finally, I would like to briefly outline how these validation concepts can be applied to the competency model for teaching medicine described in the position paper by the GMA committee on human resource and organizational development in academic teaching (KLM; ): In reference to the content validity of the KLM model, it has already been verified to what extent the model conforms and diverges from other subject-specific competency models for teaching medicine (vgl. ). In a further validation step, I would recommend theoretical scrutiny of the model to ascertain the extent to which the KLM corresponds with general pedagogical competency models drawn from the field of academic teaching, which dimensions are corroborated, which are not taken into account, and if additional structural elements (e.g. levels of competency) are considered. From this it is possible to draw conclusions about the content-based and conceptual development of the model. In reference to cognitive validity, I would propose that classroom observations in different, yet typical, medical education settings are conducted to see to what extent the KLM describes the main aspects of competent teaching and if the perceptions and evaluations of teaching situations are described in a sufficiently differentiated manner by teachers of medicine at the university level. This enables improved and precise definition of the practical nature of the skill descriptions. In reference to an external validation of the KLM, I would suggest that the model should be examined in regard to its effectiveness in predicting good teaching outcomes and teaching success. Initially, an instrument to measure the central skills fields of the KLM needs to be developed (e.g. in the form of a scale for self-assessment or assessment by another person). Following that, it would be possible to apply evaluations of the different skills fields and their facets to predict teacher evaluations (by students or trained observers) and of teaching success (e.g. in the acquisition of competency by the students). This can serve to analyze and compare the predictive contribution, for instance, of the individual skills fields for the criteria of teaching quality and teacher success in order to get an indication of how to weight the measured competencies. To verify the consequential validity of the KLM, it is recommended that the individual needs and measures regarding development should be evaluated in terms of relevance and adequacy using an expert survey (people with medical and pedagogical expertise). On the basis of this, it would be possible to improve the practical application of the model and the inferred statements and instruments. Regarding the generalizability of the model, data on and comparisons of different teaching tasks and requirements and positions (e.g. differentiated according to study phase or subject combination in medical education) should be gathered. Based on this, it would be possible to analyze the extent to which the KLM model aptly captures and reflects the teacher requirements and success-related skills and competencies.In conclusion, it must be emphasized that properly validating competency models is not only important in medical teaching, but also in other university teaching contexts found in higher education where there is also a need for this. Finally, the validation approaches described here pose an opportunity to implement and advance the knowledge and insights gained regarding theory and practice and in relation to the design of programs in academic teaching and their quality assurance. KurzbeitragKompetenzmodelle werden in den letzten Jahren in vielfältiger Form in der curricularen Gestaltung, Qualitätssicherung und Bildungsforschung eingesetzt. Dieser Trend wurde auch im Bereich der Hochschulbildung insbesondere unter den Rahmenbedingungen der Bologna Reform (im Sinne einer Kompetenzorientierung der Lehre) aufgegriffen und umgesetzt. Kompetenzmodelle spielen mittlerweile auch bei der Fundierung und Ausbildung der Lehrkräfte an Hochschulen eine Rolle. Sie beantworten die Frage, welche Kompetenzen Lehrende in unterschiedlichen Fächern benötigen, um Studierende wirkungsvoll auf berufliche Tätigkeiten in der Wissenschaft und in weiteren akademischen Tätigkeitsfeldern vorzubereiten. Hierzu wurden bereits verschiedene Ansätze und Modelle zur systematischen, kompetenzorientierten Beschreibung von Anforderungen an das professionelle didaktische und pädagogische Handeln hochschulischer Lehrkräfte erarbeitet. Entsprechende Kompetenzmodelle für Lehrkräfte werden für unterschiedliche Zwecke bzw. Funktionen gebraucht. So werden solche Modelle u.a. benötigt (vgl. ), umLehrende systematisch und zielgerichtet aus- bzw. weiterzubilden, konzeptionsgestützte Ausrichtungen der Lehre, wie z.B. problemorientiertes Lernen, systematisch zu planen und zu vermitteln, Qualitätssicherung und -management in der Lehre zielgerichtet durchzuführen, Ausbildungsziele und -anforderungen für angehende Lehrkräfte und andere Beteiligte an diesem Ausbildungsprozess transparent zu machen. Es existieren mittlerweile eine Reihe von Ansätzen zur Beschreibung von Lehrkompetenzen, die hilfreich sind, Elemente und Dimensionen der Qualifizierung deutlich zu machen, Orientierung in der Ausbildung zu vermitteln und eine systematische, strategische Ausrichtung und ein entsprechendes Qualitätsmanagement in der Ausbildung zu gewährleisten . Die wissenschaftliche Qualität solcher Modelle ist aber sehr unterschiedlich. Die Modelle beziehen sich auf unterschiedliche Auffassungen des Kompetenzkonstrukts (z.B. die berufspädagogische Aufteilung in Fach-, Methoden-, Sozial- und Personalkompetenz oder die Kompetenzdefinition nach Weinert, 2001; vgl. ) oder sie weisen unterschiedliche Grade der Ausdifferenzierung und Beschreibung von Kompetenzelementen sowie unterschiedliche Konstruktionszugänge (z.B. deduktiv vs. induktiv; vgl. ) auf. Zentrale Schwäche aller gängigen Modelle ist vor allem die mangelnde Überprüfung der Validität der Modelle im Hinblick auf ihre theoretische und inhaltliche Gültigkeit und im Hinblick auf ihre jeweiligen Anwendungszwecke.Die Frage, die sich zunächst grundsätzlich in diesem Zusammenhang stellt, ist: Warum sollten Kompetenzmodelle hinsichtlich ihrer Validität überprüft werden, insbesondere wenn ihre Ableitungsbasis in vielerlei Hinsicht normativ begründet ist? Hierbei ist vor allem darauf hinzuweisen, dass auch Kompetenzmodelle als (psychologische) Konstrukte einerseits einer schlüssigen theoretisch-konzeptionellen Fundierung, andererseits aber auch – wie andere (psychologische) Konstrukte – einer Evidenzbasierung bedürfen. Hierzu können entsprechende Ansätze und Strategien der Validierung (die nicht nur für die Fundierung von Testinstrumenten relevant sind), verwendet werden , . Zur Validierung solcher Modelle sind m.E. vor allem folgende Kriterien zu beachten: Erstens sollten sie auf bewährten und evidenzbasierten Annahmen zur Struktur und Stufung von Kompetenzen in einem Anwendungsfeld beruhen (inklusive der zugrunde gelegten Kompetenzauffassung). Zweitens sollten sie hinsichtlich ihrer Beschreibung von Kompetenzen für ein bestimmtes Professionsgebiet konsistent, nicht widersprüchlich und verallgemeinerbar sein. Drittens sollten sie hinsichtlich ihrer Schlussfolgerungen in Bezug auf die praktische Nutzung auf theoretisch und empirisch abgesicherten Evidenzen bzw. Argumenten beruhen. Viertens sollten die Kompetenzmodelle auch so aufgebaut und formuliert sein, dass Sie von der Zielgruppe einerseits verstanden und andererseits auf deren Vorverständnis und Bedarfe Bezug nehmen, um eine hinreichende Akzeptanz in der Zielgruppe zu gewährleisten. Nur wenn diese Kriterien in angemessenem Maße erfüllt werden, kann davon ausgegangen werden, dass entsprechende Kompetenzmodelle auch tatsächlich einen Erkenntnisgewinn darstellen und für die angestrebten Anwendungszwecke begründet genutzt werden können. Erst unter diesen Voraussetzungen sind solche Modelle auch tatsächlich geeignet, Qualität in der Lehre oder anderen pädagogischen Kontexten zu steigern. Validität in diesem Sinne erfordert ein erweitertes Verständnis, was Validität ausmacht, als das im Rahmen der klassischen Testtheorie bestimmt wird. Es geht somit nicht nur um die Bestimmung statistischer Kennwerte hinsichtlich der Konstrukt- und Kriteriumsvalidität, sondern ein moderneres Verständnis von Validität im Sinne des argumentativ basierten Validierungsansatzes nach Messick und Kane . Die beiden Autoren schlagen unter dieser Perspektive sechs verschiedene Kriterien bzw. Gesichtspunkte der Validierung vor: inhaltliche Validität, d.h. die curriculare und/oder theoretische Fundierung des modellierten Bereichs, kognitive Validität, d.h. die Passung der kognitiven Prozesse bei der Kompetenzerfassung zum postulierten theoretischen Kompetenzmodell, strukturelle Validität, d.h. die Passung von theoretischem Kompetenzmodell und gewähltem psychometrischem Messmodell, Verallgemeinerbarkeit, d.h. die Angemessenheit einer über die Aufgaben- und Personengruppe hinausgehenden Interpretation der Modellannahmen, externe Validität, d.h. die Angemessenheit mit Blick auf konvergente, diskriminante und prädiktive Zusammenhänge mit anderen Konstrukten, konsequentielle Validität, d.h. die Angemessenheit der Ergebnisinterpretation und der daraus abgeleiteten Konsequenzen.Im Hinblick auf die Erarbeitung und Nutzung von (Lehr-)Kompetenzmodellen für Qualifizierungszwecke sind insbesondere die inhaltliche und konsequentielle Validität von Bedeutung, in zweiter Linie aber auch die kognitive Validität, die externe Validität und das Validitätskriterium der Verallgemeinerbarkeit. Entsprechende Begründungen, warum gerade diese Aspekte bei der Validierung von Kompetenzmodellen berücksichtigt werden sollten und was dabei zu beachten ist, wird im Folgenden eingehender erläutert: Die inhaltliche Validität ist bei Kompetenzmodellen von besonderer Bedeutung, da unter dieser Validierungsperspektive die Frage geklärt wird, ob ein Modell den interessierenden Merkmals- oder Verhaltensbereich einer Kompetenzdomäne aus theoretischer und inhaltlich praktischer Sicht möglichst gut repräsentiert. Zur Überprüfung der inhaltlichen Validität von (Lehr-) Kompetenzmodellen werden zum einen der wissenschaftliche Forschungsstand zum Konstrukt eingehend analysiert und in Bezug zu den begrifflichen Bestimmungen und der Strukturierung des Modells gesetzt (z.B. ob das konzipierte Modell auf bereits vorhandene und geprüfte Konstrukt-Strukturierungen Bezug nimmt). Zum anderen werden bei der inhaltlichen Validierung Experten befragt (z.B. Ausbilder von Lehrkräften), die Relevanz und Angemessenheit der im Modell beschriebenen Kompetenzaspekte und -dimensionen zu bewerten. Darüber hinaus kann in diesem Zusammenhang auch durch entsprechende Expertenbefragungen geklärt werden, ob die fachspezifischen Besonderheiten und Anforderungen einer Kompetenzdomäne ausreichend berücksichtigt werden? Bei der kognitiven Validierung eines Kompetenzmodells steht das im Kompetenzmodell beschriebene Handeln und Denken, das in der Domäne zur Ausübung kompetenten Handelns gefordert wird, im Vordergrund. Es geht somit in Erweiterung der inhaltlichen Validität nicht nur um die Struktur und Inhalte der relevanten Kompetenzen, sondern ob das Modell auch die Prozesse z.B. der Wissensanwendung angemessen beschreibt. Hierzu können z.B. Unterrichtsbeobachtungen und Befragungen von Lehrenden zur Planung und Reflexion ihres Lehrhandelns durchgeführt werden. Dabei ist kritisch zu prüfen, ob die im Modell beschriebenen Wissens- und Fähigkeits-aspekte relevant für die Planung, Durchführung und Kontrolle bzw. Reflexion der Lehre sind. Die Überprüfung der externalen Validität ist mit einer weiteren zentralen Frage zur Effektivität des Kompetenzmodells verbunden. Hierbei gilt es zu prüfen, ob das Modell in hinreichendem Maße die erfolgsrelevanten Kompetenzen für die Gestaltung wirkungsvoller Lehre benennt und hinreichend beschreibt. Hierzu werden in der Regel die im Modell beschriebenen Lehrkompetenzen mithilfe von Tests oder Fremd- und Selbstbeurteilungen erfasst und mit Outcomevariablen wie z.B. Lernerfolg der Studierenden oder Beurteilung der Lehrqualität in Beziehung gesetzt (vgl. z.B. ). Entsprechende Studien oder Analysen zur externalen Validität erlauben somit Schlussfolgerungen bzw. evidenzbasierte Aussagen über die Wirksamkeit bzw. die Vorhersage von Wirkungen der beschriebenen (Lehr-) Kompetenzen. Bei der Überprüfung der konsequentiellen Validität von Kompetenzmodellen gilt es die Passung des Kompetenzmodells und der mit ihm möglichen Aussagen zu den intendierten Nutzungsweisen zu überprüfen. Im Zusammenhang mit Lehrkompetenzmodellen gilt es dabei zu klären, ob erstens die Schlussfolgerungen und Ableitungen im Hinblick auf Lernziele und Umsetzungsmaßnahmen zur Aus- bzw. Weiterbildung der Lehrenden hinreichend konzeptionell-theoretisch begründet sind (z.B. auf entsprechende lerntheoretisch fundierte Trainingsansätze Bezug nehmen), und zweitens, ob die entsprechenden Schlussfolgerungen darüber hinaus auf der Basis von empirischen Evidenzen abgeleitet bzw. begründet werden können (wenn z.B. anhand von Evaluationsstudien auch die Wirksamkeit der Trainingsmaßnahmen gezeigt werden konnte). Dies kann beispielsweise durch eine eingehende konzeptionelle Analyse oder durch die Befragung von Experten aus der (fachbezogenen) hochschuldidaktischen Ausbildung und der fachlichen Lehre erfolgen. Letztere sollen dabei beurteilen, inwieweit die praxisbezogenen Ableitungen und Schlussfolgerungen aus ihrer Sicht realitätsgerecht sind und praxisbezogene Bedarfe hinreichend aufgreifen und berücksichtigen. Der Aspekt der Verallgemeiner- bzw. Generalisierbarkeit von Kompetenzmodellen bezieht sich auf die Frage, inwieweit die Kompetenzbeschreibungen über verschiedene Kontexte und Zielgruppen hinweg verallgemeinerbar sind. Zur Überprüfung dieses Validitäts-Kriteriums bei Lehrkompetenzmodellen gilt es daher zu klären, inwieweit ein Kompetenzmodell mit seinen verschiedenen Facetten auf weitere oder benachbarte Kontexte der Hochschullehre übertragen werden kann (z.B. ob das Lehrkompetenzmodell der Medizin auf unterschiedliche Kontexte der medizinischen Lehre angewandt bzw. übertragen werden kann). Dies wäre beispielsweise durch die Anwendung des Modells auf unterschiedliche Zielgruppen, Lehrformate oder Teilfächer zu prüfen. Dabei wäre zu analysieren und zu bewerten, inwieweit die Modellkategorien die unterschiedlichen Kompetenzanforderungen in den jeweiligen Anwendungskontexten hinreichend und angemessen wiedergeben und sich auch über unterschiedliche Kontexte hinweg die Struktur des Modells nicht signifikant verändert. Abschließend möchte ich kurz skizzieren, wie die vorgestellten Validitätskonzepte auf das im Rahmen des Positionspapier des Ausschusses Personal- und Organisationsentwicklung in der Lehre der GMA beschriebene Kompetenzmodell zur medizinischen Lehre (KLM; ) angewandt werden können: In Bezug auf die inhaltliche Validität des KLM-Modells wurde bereits überprüft, inwieweit das Modell Übereinstimmungen und Unterschiede zu anderen fachbezogenen Lehrkompetenzmodellen der medizinischen Lehre aufweist (vgl. ). In weiterführenden Validierungsschritten wäre m.E. zu empfehlen, im Rahmen einer theoretisch-konzeptionell ausgerichteten Analyse zu prüfen, inwieweit das KLM auch allgemeineren Lehrkompetenzmodellen aus der Hochschuldidaktik entspricht, bei welchen Dimensionen Übereinstimmungen vorliegen, welche nicht berücksichtigt werden und ob darüber hinaus auch weitere Strukturelemente (z.B. Niveaustufen der Kompetenz) berücksichtigt werden. Daraus lassen sich Schlussfolgerungen für die inhaltliche und konzeptionelle Weiterentwicklung des Modells ableiten. In Bezug auf die kognitive Validität wäre m.E. zu empfehlen, dass durch Unterrichtsbeobachtungen in unterschiedlichen, aber typischen Kontexten medizinischer Lehre geklärt wird, inwieweit das KLM zentrale Aspekte eines kompetenten Unterrichtshandelns bzw. der Wahrnehmung und Bewertung von Unterrichtssituationen durch Medizinlehrende angemessen und ausreichend differenziert beschrieben werden. Hierdurch ließe sich der Handlungsbezug der Kompetenzbeschreibungen verbessern und präzisieren. Im Hinblick auf eine externale Validierung des KLM wäre m.E. zu empfehlen, das Modell im Hinblick auf seine Effekte zur Vorhersage guter Lehrleistungen und Lehrerfolge zu untersuchen. Hierzu wäre zunächst ein Instrument zur Erfassung zentraler Kompetenzfelder des KLM zu entwickeln (z.B. in Form von Selbst- oder Fremdbeurteilungsskalen). Anschließend könnten entsprechende Beurteilungen der verschiedenen Kompetenzfelder und deren Teilfacetten zur Vorhersage von Bewertungen der Lehrqualität (durch Studierende oder geschulte Beobachter) und von Lehrerfolgen (z.B. beim Kompetenzerwerb der Studierenden) verwendet werden. Dies kann dazu dienen, den Vorhersagebeitrag z.B. der einzelnen Kompetenzfelder bei den Kriterien der Lehrqualität und des Lehrerfolgs zu analysieren und zu vergleichen, um auf dieser Grundlage Hinweise zur Gewichtung der erfassten Kompetenzen zu erhalten. Um die konsequentielle Validität des KLM zu überprüfen, wäre zu empfehlen, mithilfe einer Expertenbefragung (Personen mit fachlicher und medizindidaktischer Expertise) die aus dem KLM abgeleiteten individuellen Entwicklungsbedarfe und -maßnahmen hinsichtlich ihrer Relevanz und Angemessenheit zu bewerten. Auf dieser Grundlage ließe sich die praktische Verwendung des Modells und der daraus abgeleiteten Aussagen und Instrumente verbessern. Bezüglich der Verallgemeinerbarkeit des Modells sollten Erhebungen und Vergleiche bei unterschiedlichen Lehraufgaben und -anforderungen bzw. Positionen (z.B. differenziert nach Phasen oder Teilfächern der medizinischen Ausbildung) vorgenommen werden. Auf dieser Grundlage ließe sich analysieren, inwieweit das KLM Modell die Lehranforderungen und erfolgsrelevanten Kompetenzen in unterschiedlichen Anwendungskontexten angemessen erfasst und wiedergibt.Abschließend sei betont, dass die Umsetzung von Ansprüchen an die Validitätsüberprüfung von Kompetenzmodellen natürlich nicht nur in der medizinischen Lehre von Bedeutung ist, sondern auch im Kontext anderer hochschulischer Lehrkontexte, wo es ebenfalls ein Forschungs- und Entwicklungsdesiderat darstellt. Letztlich sind die vorgestellten Validierungsansätze als Chance zu verstehen, hierdurch Erkenntnisfortschritte bezüglich der konzeptionellen und inhaltlichen Ausrichtung sowie in Bezug auf die Gestaltung und Qualitätssicherung der hochschulischen Ausbildung von Lehrkräften zu erzielen und voranzubringen. Competing interestsThe author declares that he has no competing interests. InteressenkonfliktDer Autor erklärt, dass er keine Interessenkonflikte im Zusammenhang mit diesem Artikel hat. Al-Kabbani D Trautwein C Schaper N Modelle hochschuldidaktischer Lehrkompetenz – Stand der For-schung 2012 Das Lehrportfolio – Darstellung, Entwicklung und Nachweis von Lehrkompe-tenz an Hochschulen Al-Kabbani D, Trautwein C, Schaper N. Modelle hochschuldidaktischer Lehrkompetenz – Stand der For-schung. In: Szczyrba B, Gotzen S (Hrsg). Das Lehrportfolio – Darstellung, Entwicklung und Nachweis von Lehrkompe-tenz an Hochschulen. Münster: LIT-Verlag; 2012. Bender E 2016 Modellierung und Dimensionierung der professionellen Überzeugungen und motivationalen Orientierungen als Aspekte professioneller Kompetenz von Informatiklehrkräften Bender E. Modellierung und Dimensionierung der professionellen Überzeugungen und motivationalen Orientierungen als Aspekte professioneller Kompetenz von Informatiklehrkräften. Dissertationsschrift (Manteltext). Paderborn: Universität Paderborn, Fakultät für Kulturwissenschaft; 2016. Zugänglich unter/available from: http://digital.ub.uni-paderborn.de/hsx/content/titleinfo/2188446 http://digital.ub.uni-paderborn.de/hsx/content/titleinfo/2188446 Görlitz A Ebert T Bauer D Grasl M Hofer M Lammerding-Köppel M Fabry G GMA Ausschuss Personal- und Organisationsentwicklung in der Lehre Kernkompetenzen für Lehrende in der Medizin (KLM) – Positionspapier des GMA Ausschusses für Personal- und Organisationsentwicklung in der Lehre 2015 GMS Z Med Ausbild Doc23 Görlitz A, Ebert T, Bauer D, Grasl M, Hofer M, Lammerding-Köppel M, Fabry G, GMA Ausschuss Personal- und Organisationsentwicklung in der Lehre. Kernkompetenzen für Lehrende in der Medizin (KLM) – Positionspapier des GMA Ausschusses für Personal- und Organisationsentwicklung in der Lehre. GMS Z Med Ausbild. 2015;32(2):Doc23. DOI: 10.3205/zma000965 http://dx.doi.org/10.3205/zma000965 Kane MT Validation as a Pragmatic, Scientific Activity 2013 J Educ Measurement 115-122 Kane MT. Validation as a Pragmatic, Scientific Activity. J Educ Measurement. 2013;50(1):115-122. DOI: 10.1111/jedm.12007 http://dx.doi.org/10.1111/jedm.12007 Messick S Validity of psychological assessment: Validation of inferences from persons' responses and performances as scientific inquiry into score meaning 1995 Am Psychol 741-749 Messick S. Validity of psychological assessment: Validation of inferences from persons' responses and performances as scientific inquiry into score meaning. Am Psychol. 1995;50:741-749. DOI: 10.1037/0003-066X.50.9.741 http://dx.doi.org/10.1037/0003-066X.50.9.741 Schaper N Aufgabenfelder und Perspektiven bei der Kompetenzmodellierung und messung in der Lehrerbildung 2009 Lehrerbild Prüfstand 166-199 Schaper N. Aufgabenfelder und Perspektiven bei der Kompetenzmodellierung und messung in der Lehrerbildung. Lehrerbild Prüfstand. 2009;2(1):166-199. Schaper N 2012 Fachgutachten zur Kompetenzorientierung in Studium und Lehre Schaper N. Fachgutachten zur Kompetenzorientierung in Studium und Lehre. Bonn: Hochschulrektorenkonferenz – nexus; 2012. Schaper N Horvath E Mann J eLearning und Kompetenzentwicklung – ein bisschen mehr als nur Softwareschulung 2010 Hochschulentwicklung innovativ gestalten. Das Projekt Locomotion an der Universität Paderborn 34-56 Schaper N, Horvath E, Mann J. eLearning und Kompetenzentwicklung – ein bisschen mehr als nur Softwareschulung. In: Hauenschild W, Meister DM, Schäfer W (Hrsg). Hochschulentwicklung innovativ gestalten. Das Projekt Locomotion an der Universität Paderborn. Münster: Waxmann; 2010. S.34-56. 0 0 0 0