zma001113 10.3205/zma001113 urn:nbn:de:0183-zma0011137 article Artikel Auswertung von sechs Übersichtsartikeln über die Qualität von Evaluationsinstrumenten zur Beurteilung interprofessioneller Lehre im deutschsprachigen Raum Ehlers Ehlers Jan P. JP Prof. Dr. M.A.

Witten/Herdecke University, Faculty of Health, Chair of Didactics and Educational Research in Health Science, Alfred-Herrhausen-Str. 50, D-58448 Witten, Germany, Tel.: +49 (0)2302/92-7786Witten/Herdecke University, Faculty of Health, Chair of Didactics and Educational Research in Health Science, Witten, Germany

Universität Witten/Herdecke, Fakultät für Gesundheit, Didaktik und Bildungsforschung im Gesundheitswesen, Alfred-Herrhausen-Str. 50, 58448 Witten, Deutschland, Tel.: +49 (0)2302/92-7786Universität Witten/Herdecke, Fakultät für Gesundheit, Didaktik und Bildungsforschung im Gesundheitswesen, Witten, Deutschland

jan.ehlers@uni-wh.de author Kaap-Fröhlich Kaap-Fröhlich Sylvia S

University of Zurich, Faculty of Medicine, Dean's Office for Student Affairs, Zurich, Switzerland

Universität Zürich, Medizinische Fakultät, Studiendekanat, Zürich, Schweiz

sylvia.kaap@dekmed.uzh.ch author Mahler Mahler Cornelia C

University of Heidelberg, Medical Faculty, Department of General Medicine and Health Services, Heidelberg, Germany

Universität Heidelberg, Medizinische Fakultät, Abteilung Allgemeinmedizin und Versorgungsforschung, Heidelberg, Deutschland

cornelia.mahler@med.uni-heidelberg.de author Scherer Scherer Theresa T

Bern University of Applied Sciences, Health Division, Bachelor of Science Programme in Nursing, Bern, Switzerland

Berner Fachhochschule, Fachbereich Gesundheit, Bachelorstudiengang Pflege, Bern, Schweiz

theresa.scherer@bfh.ch author Huber Huber Marion M

Zurich University of Applied Sciences, Interprofessional Teaching, Zurich, Switzerland

Zürcher Hochschule für Angewandte Wissenschaften, Interprofessionelle Lehre (IPL), Zürich, Schweiz

hubi@zhaw.ch author German Medical Science GMS Publishing House

Düsseldorf

610 interprofessional education evaluation methods validation quality criteria interprofessionelle Ausbildung Evaluation Methoden Validierung Gütekriterien Interprofessional Education Interprofessionelle Lehre 20160617 20170116 20170504 20170815 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 2366-5017 34 3 GMS Journal for Medical Education GMS J Med Educ 36 Hintergrund: Sowohl weltweit als auch in den deutschsprachigen Ländern erfolgt zunehmend die Entwicklung und Etablierung von interprofessionellen Lehr- und Lernszenarien in den Ausbildungen der Gesundheitsberufe. Um die unterschiedlichen didaktischen Herangehensweisen wie auch die unterschiedlichen, situationsabhängigen Ergebnisse der Vermittlung interprofessioneller Kompetenzen zu evaluieren, ist es erforderlich, geeignete Instrumente einzusetzen. Dabei sind gerade interkulturelle Instrumente hilfreich, um eine internationale Vergleichbarkeit zu erzielen. Die GMA-Arbeitsgruppe „Interprofessionelle Ausbildung in den Gesundheitsberufen“ hat sich zum Ziel gesetzt, bestehende Instrumente zur Evaluation interprofessioneller Lehre zu identifizieren, um Empfehlungen für den deutschsprachigen Raum auszusprechen.Methoden: Eine systematische Literaturrecherche auf den Internetseiten zur interprofessionellen Ausbildung internationaler Fachorganisationen (CAIPE, EIPEN, AIPEN) sowie in den Datenbanken PubMed und Cinahl wurde durchgeführt. Reviews mit Hauptaugenmerk auf quantitativen Instrumenten zur Evaluation des interprofessionellen Kompetenzerwerbs auf Grundlage der modifizierten Kirkpatrick Kompetenzstufen wurden gesucht. Diese wurden hinsichtlich ihrer psychometrischen Eigenschaften, Sprache/Land und Voraussetzungen des Instrumenteinsatzes untersucht und erfasst. Ergebnisse: Es wurden sechs Reviews aus 73 Treffern der Literatursuche inkludiert. Eine Großzahl an Instrumenten wurde identifiziert, deren Gütekriterien und Einsatz allerdings sehr heterogen war, weshalb sie nicht in die Untersuchung aufgenommen wurden. Die Instrumente sind vorwiegend den Kirkpatrick Stufen 1, 2a & 2b zuzuordnen. Die meisten wurden in englischer Sprache entwickelt. Gütekriterien wurden selten ausführlich berichtet. Nur sehr wenige Instrumente sind in deutscher Sprache verfügbar.Schlussfolgerung: Es ist schwierig geeignete deutschsprachige Instrumente zu finden. International gibt es unterschiedliche Ansätze und Zielsetzungen in der Evaluation und Messung der interprofessionellen Kompetenzen, die sich z.B. nicht allein auf die Ausbildung sondern oft auf das spätere Handeln im Team beziehen. Es stellt sich die Frage, ob es sinnvoll ist, bereits bestehende Instrumente zu übersetzen oder den langen Prozess der eigenen Entwicklung zu verfolgen. Die Evaluation von interprofessioneller Lehre mit quantitativen Instrumenten erfolgt bisher vorwiegend auf den Stufen 1 und 2. Die Stufen 3 und 4 können größtenteils wahrscheinlich nur mit qualitativen Methoden oder “mixed methods” erfasst werden. Neben dem auf deutsch vorliegendem UWEIPQ ist die Entwicklung weiterer Instrumente in deutscher Sprache oder die Lokalisierung (Übersetzung und Anpassung an nationale Gegebenheiten) englischer Instrumente (z.B. ISVS) notwendig. Background: More and more institutions worldwide and in German-speaking countries are developing and establishing interprofessional seminars in undergraduate education of health professions. In order to evaluate the different didactic approaches and different outcomes regarding the anticipated interprofessional competencies, it is necessary to apply appropriate instruments. Cross-cultural instruments are particularly helpful for international comparability. The Interprofessional Education working group of the German Medical Association (GMA) aims at identifying existing instruments for the evaluation of interprofessional education in order to make recommendations for German-speaking countries.Methods: Systematic literature research was performed on the websites of international interprofessional organisations (CAIPE, EIPEN, AIPEN), as well as in the PubMed and Cinahl databases. Reviews focusing on quantitative instruments to evaluate competencies according to the modified Kirkpatrick competency levels were searched for. Psychometrics, language/country and setting, in which the instrument was applied, were recorded. Results: Six reviews out of 73 literature research hits were included. A large number of instruments were identified; however, their psychometrics and the applied setting were very heterogeneous. The instruments can mainly be assigned to Kirkpatrick levels 1, 2a & 2b. Most instruments have been developed in English but their psychometrics were not always reported rigorously. Only very few instruments are available in German.Conclusion: It is difficult to find appropriate instruments in German. Internationally, there are different approaches and objectives in the measurement and evaluation of interprofessional competencies. The question arises whether it makes sense to translate existing instruments or to go through the lengthy process of developing new ones. The evaluation of interprofessional seminars with quantitative instruments remains mainly on Kirkpatrick levels 1 and 2. Levels 3 and 4 can probably only be assessed with qualitative or mixed methods. German language instruments are necessary. 1. IntroductionInterprofessional collaboration in health care is growing in importance in German-speaking countries. At the same time, more and more institutions are establishing interprofessional teaching and learning scenarios in the education of health professions1. 1.1. Background to the Evaluation of Interprofessional Education With a history of merely 25 years, interprofessional education is a relatively new field in teaching and affiliated research using different teaching and learning approaches with respect to methodology (e.g. joint seminars or project work), seminar and course composition (e.g. different health professions with and without physicians) and content (e.g. understanding one’s role, team building or professional skills). The special edition of the GMS Journal for Medical Education provides an excellent overview of projects in German-speaking countries. Systematic reviews on the evaluation of interprofessional education have shown positive effects on education as well as on the collaboration between different health professions , . However, the studies‘ heterogeneity , a missing theoretical, competence-oriented interprofessional education framework as well as missing comparable and standardized evaluation instruments posed a problem for general interpretation of the studies included in the reviews. Alongside different interprofessional competency frameworks have therefore been developed in recent years , , , . Moreover, recommendations for planning and performing evaluation studies have been established and various evaluation instruments developed and tested in different settings . Prior to applying instruments, it needs to be decided which instrument is suitable for which learning outcome. In this respect, the Kirkpatrick four-level framework for evaluating the results of educational programmes serves as orientation. For the evaluation of interprofessional education , , the original four competence levels were developed further into six levels (see Table 1 ). In doing so, the original levels 2 “Learning” and 4 “Results” were each divided into two levels in order to distinguish learning results on the personal and the health-care level. Despite the fact that the model has been criticized and despite its limitations it provides a basic and clear framework. In the meantime, the six levels have been frequently applied when evaluating educational measures in health professional training . These levels therefore provide a good orientation for a practice-oriented selection of comparable evaluation instruments. 1.2. Research ObjectiveIn order to be able to assess interprofessional teaching quality, it is necessary to use reliable and valid instruments. In a first step, existing instruments were to be identified in the literature and assessed regarding their basic, but also specific suitability for use in the German-speaking countries. Due to the manifold and heterogeneous publications in this field, it was decided not to consult individual studies but rather reviews. Identified suitable instruments will then be made available for German-speaking countries. Based on the results, a practice-oriented handout with instruments for the evaluation of interprofessional seminars and projects shall be provided in the years to come. The following research questions were derived from these considerations: Which instruments are recommended in the summarized review literature for the evaluation of interprofessional teaching on which Kirkpatrick evaluation level?Which instruments are available in German and which can be recommended for translation into German respectively? 1. EinleitungIn den deutschsprachigen Ländern gewinnt die interprofessionelle Zusammenarbeit im Gesundheitswesen zunehmend an Bedeutung. Parallel werden auch immer mehr interprofessionelle Lehr- und Lernszenarien in den Ausbildungen der Gesundheitsberufe1 etabliert. 1.1. Hintergrund zur Evaluation von Interprofessioneller Lehre Interprofessionelle Lehre (IPL) ist mit einer ca. 25-jährigen Geschichte ein relativ junger Bereich in der Lehre und der angegliederten Forschung. Hierbei finden sich ganz unterschiedliche Lehr- und Lernansätz, sowohl was die Methodik (z.B. gemeinsame Seminare oder Projektarbeiten), die Zusammensetzung der Veranstaltungen (z.B. verschiedene Gesundheitsberufe mit und ohne Mediziner) und auch die Inhalte (z.B. Rollenverständnis, Teambildung oder fachliche Kompetenzen) angeht. Einen sehr guten Überblick über Projekte im deutschsprachigen Raum bietet das Themenheft der GMS Journal for MedicalEducation . Systematische Reviews zur Evaluation von IPL konnten zunehmend positive Effekte sowohl in der Ausbildung als auch in der späteren gemeinsamen Tätigkeit von unterschiedlichen Gesundheitsberufen aufzeigen , . Probleme in der übergreifenden Interpretation stellten die Heterogenität der Studien , das Fehlen eines theoretischen, kompetenzorientierten interprofessionellen Rahmens für die Ausbildung sowie vergleichbare und standardisierte Evaluationsinstrumente dar. Deshalb wurden in den letzten Jahren unterschiedliche interprofessionelle Kompetenzrahmen entwickelt , , , . Außerdem wurden Empfehlungen für die Planung und Durchführung von Evaluationsstudien interprofessioneller Lehre ausgesprochen und eine Vielzahl von Instrumenten zur Evaluation entwickelt und in unterschiedlichen Settings überprüft , . Für die Anwendung von Instrumenten stellt sich die Frage, welche für welches Lernergebnis (Outcome) geeignet sind. Als Orientierung bietet sich das Kirkpatrick-Rahmenmodell an, das für die Evaluation von Bildungsmaßnahmen entwickelt wurde und auf vier Stufen die Lernergebnisse misst. Die ursprünglichen vier Evaluationsstufen wurden für die Evaluation von IPL , zu sechs Stufen weiterentwickelt (siehe Tabelle 1 ). Dabei wurden die ursprüngliche Stufe 2 „Lerner“ und Stufe 4 „Ergebnisse“ in jeweils zwei Stufen aufgeteilt, um eine Unterscheidung der Lernergebnisse auf Personen- und Versorgungsebene zu erreichen. Trotz der Kritik an diesem Modell und der Limitationen stellt es einen ersten klaren Rahmen dar. Die sechs Stufen finden inzwischen bei der Evaluation von Maßnahmen in den Gesundheitsberufen häufig Anwendung . Somit stellen diese Stufen grundsätzlich eine gute Orientierung für die praxisorientierte Auswahl von vergleichbaren Evaluationsinstrumenten dar. 1.2. FragestellungUm die Qualität von IPL beurteilen zu können, ist es erforderlich reliable und valide Instrumente einzusetzen. In einem ersten Schritt sollten dazu bereits bestehende Instrumente in der Fachliteratur identifiziert und auf ihre grundsätzliche, aber auch spezielle Eignung für den deutschsprachigen Raum beurteilt werden. Aufgrund der vielfältigen und heterogenen Publikationen auf diesem Gebiet wurde beschlossen, nicht einzelne Studien heranzuziehen, sondern von Übersichtsarbeiten (Reviews) auszugehen Geeignete Instrumente sollten anschließend für den deutschsprachigen Raum verfügbar gemacht werden. Aus den Ergebnissen soll in den folgenden Jahren eine praxisnahe Handreichung mit Instrumenten für die Evaluation von interprofessionellen Lehrveranstaltungen und Projekten geboten werden. Vor diesem Hintergrund stellten sich folgende Forschungsfragen: Welche Instrumente werden in der zusammengefassten Übersichtsliteratur für die Evaluation interprofessioneller Lehre auf welcher Evaluationsstufe nach Kirkpatrick empfohlen?Welche Instrumente stehen in deutscher Sprache zur Verfügung bzw. können für die Übersetzung ins Deutsche empfohlen werden? 2. MethodA two phase methodological approach was necessary. First PhaseAs the field of interprofessional collaboration and teaching is developing rapidly, the websites of the relevant national and international interprofessional networks (CAIPE - Centre for the Advancement of Interprofessional Education, EIPEN - European Interprofessional Practice and Education Network, AIPEN - Australasian Interprofessional Practice and Education Network, NIPNET - Nordic Interprofessional Network) were scanned systematically for instruments for the evaluation of teaching activities.Second PhaseIn order to further address the research questions, the aim was to compile a systematic literature review. As mentioned in the Research Objective section, this systematic review was not to be based on individual studies, but rather on a meta-synthesis of reviews. The main focus was on review articles of instruments for evaluation as assessment tool, not for evaluation as complete control cycle. The evaluation tools were to be suitable for use on the teaching level, not on the collaboration level. PubMed/Medline and CINAHL were identified as suitable literature databases. Database-specific search strategies were determined, including the search keys “review”, “evaluation” and “interprofessional education” (see Attachment 1 for detailed search strategies). In a next step, publications found twice or being unsuitable as regards content were consensually eliminated by three experts of the working group. Only reviews were included which:Consult studies on evaluation instruments for interprofessional education Assign them to evaluation levels according to Kirkpatrick and Describe the psychometric quality criteria. Afterwards, two experts (MH, JE) independently checked the reviews being determined this way and included in the study by means of criteria stipulated in the Critical Appraisal Skills Programme Checklist (CASP; ). The reviews were checked for quality based on the quality of the research objective, literature research, publications, quality control and results. First, the experts filled in the checklist independently, then compared the results and after checking contentious reviews again agreed consensually on the reviews to be included. Two independent working group experts (MH, JE) subsequently assessed the information on the test quality of the individual studies in the respective reviews. A brief characterization describes the suitable instruments determined this way. An adequate test quality description contains comprehensive details on objectivity, reliability, validity and on diagnostic psychometric properties (such as sensitivity and specificity).Particularly successful tools as well as German-language tools were individually and critically discussed again and presented. 2. MethodeMethodisch waren zwei Phasen des Herangehens notwendig. 1. PhaseDa sich das Feld der interprofessionellen Zusammenarbeit und Lehre rasant entwickelt, wurden systematisch die Internetseiten der einschlägigen nationalen und internationalen, interprofessionellen Netzwerke (CAIPE - Centre for the Advancement of Interprofessional Education, EIPEN - European Interprofessional Practice and Education Network, AIPEN - Australasian Interprofessional Practice and Education Network, NIPNET - Nordic Interprofessional Network) nach Instrumenten zur Evaluation von Lehraktivitäten durchsucht.2. PhaseZur weiteren Beantwortung der Fragestellung sollte ein systematisierter Literaturreview erstellt werden. Wie im Hintergrund beschrieben, sollten hier nicht einzelne Studien herangezogen werden, sondern im Sinne einer Metasynthese von Übersichtsarbeiten (Reviews) ausgegangen werden. Dabei wurde das Hauptaugenmerk auf Reviews zu Instrumenten für die Evaluation als Bewertungstool, nicht für die Evaluation als kompletten Steuerungszyklus gelegt. Der Einsatz der Evaluationstools sollte auf Lehrebene und nicht auf Zusammenarbeitsebene erfolgen. Als passende Literaturdatenbanken für die Recherche wurden PubMed/Medline und CINAHL identifiziert. Es wurden datenbankspezifische Suchstrategien mit den Suchbegriffen „review“, „evaluation“ und „interprofessional education“ formuliert (genaue Suchstrategien siehe Anhang 1 ). In einem nächsten Schritt wurden konsensual die doppelt gefundenen oder thematisch nicht passenden Publikationen von drei Experten der Arbeitsgruppe eliminiert. Dabei wurden nur Reviews inkludiert, die:Studien über Evaluationsinstrumente für die interprofessionelle Ausbildung heranziehendiese den Evaluationsstufen nach Kirkpatrick zuordnen und die psychometrischen Gütekriterien beschreiben. Die so ermittelten, eingeschlossenen Reviews wurden danach kriteriengeleitet mittels der Critical Appraisal Skills Programme Checkliste (CASP, ) unabhängig von zwei Experten (MH, JE) auf ihre Qualität anhand der Güte der Forschungsfrage, der Literaturrecherche, der Publikationen, der Qualitätsüberprüfung und der Ergebnisse beurteilt, wobei zunächst ein unabhängiges Ausfüllen der Checkliste erfolgte, dann ein Vergleich der Ergebnisse und unter erneutem Hinzuziehen strittiger Reviews eine konsensuale Ergebnisfindung. Die Angaben zur Testgüte der einzelnen Studien in den jeweiligen Reviews wurden anschließend von zwei unabhängigen Experten (MH, JE) der Arbeitsgruppe beurteilt. Die so ermittelten geeigneten Instrumente wurden in einer Kurzcharakteristik beschrieben. Als geeignete Beschreibung der Testgüte wurden umfassende Angaben zur Objektivität, Reliabilität, Validität sowie zu diagnostisch-psychometrischen Kennzahlen (wie Sensitivität und Spezifität) gewertet.Besonders erfolgreiche Werkzeuge sowie in Deutsch vorliegende wurden nochmal einzeln kritisch diskutiert und vorgestellt. 3. ResultsFirst PhaseThe scanning of the interprofessional networks yielded two repositories for evaluation tools:Canadian Interprofessional Health Collaborative National Center for Interprofessional Practice and Education .Both collections comprehensively present tools, but also show limitations. They do not only focus on interprofessional education, but also consider instruments for evaluating interprofessional collaboration. The access to these databases is rather open, enabling a free download of tools. However, the integrated tools are not subject to critical evaluation and quality management, rendering their validity and reliability uncertain. The review at hand therefore does not include any tools of these databases. Second PhaseThe PubMed search produced 24 hits while the Cinahl search produced 49 hits (see Attachment 1 and Figure 1 ). After scanning the abstracts, 63 publications could be excluded as they did not deal with the sought-for topic or did not comply with the requirements agreed upon (e.g. interprofessional collaboration or qualitative methods). Out of the ten suitable reviews, the studies of four reviews were not assigned to the Kirkpatrick levels . The working group assessed the six remaining reviews using the CASP checklist and went through the full text in search of valid and suitable tools (see Table 2 and Figure 2 ). The evaluation of the reviews shows different results regarding the quality of the included reviews and also regarding the recommended measuring instruments. Three reviews are high-quality reviews , , . All three reviews are based on standards (e.g. Cochrane Guidelines for Systematical Reviews or Standards for evaluating the assessment tools included in the studies). Furthermore, these three reviews clearly assign identified evaluation tools to the Kirkpatrick levels. The review at hand also includes a medium-quality review and two low-quality reviews , . These three reviews primarily either performed an exploratory search or the literature review was part of a multi-method survey. The fact that the studies included in these reviews were not critically examined significantly reduces the validity of the reviews. Moreover, an evaluation of the assessments regarding their psychometric properties took place only partly or not at all. Cronbach’s Alpha is the value most mentioned in this context. There was no information on further psychometric properties available. Havyer et al. are the only ones to make a clear recommendation based on the test quality criteria. From their point of view, the Collaborative Healthcare Interdisciplinary Relationship Planning (CHRIP), the Readiness for Interprofessional Education Scale (RIPLS), the Communication and Teamwork Skills assessment (CATS) and the Teamwork Mini-Clinical Evaluation Exercise (T-MAX) tools meet the quality criteria. Their 2014 publication does expressly state but not explicitly recommend the Safety Attitudes Questionnaire (SAQ) and the Team Climate Inventory (TCI). Recommendations of Havyer et al. refer to a specific competency framework of the Association of American Medical Colleges (AAMC). Cronbach’s Alpha as a measure for reliability was the only indicator for quality criteria mostly stated by Havyer et al. , for the included studies. They did not report on factor-analytical findings for indicating content validity. After having determined own minimum test theory quality criteria, Oates and Davidson conclude that only the Interprofessional Socialization and Valuing Scale (ISVS) meets all minimum quality standards. Five further instruments (Interprofessional Collaborator Assessment Rubric - ICAR, Attitudes Towards Teamwork in Training Undergoing Designed Educational Simulation - KidSIM ATTITUDES Questionnaire, Interdisciplinary Education Perception Scale - IEPS and University of the West of England Interprofessional Questionnaire - UWEIPQ) only partly comply with the minimum standards. Three instruments (RIPLS, Attitudes to Shared Learning - ASL and StudDat Questionnaire) do either not meet the standards at all or just insufficiently.Gillan et al. offer a comprehensive overview of evaluation instruments and categorize all items from the found instruments. As the literature research was described in detail, this review can be regarded as medium-quality review. The clear assignment of the items contained in the evaluation tools to the Kirkpatrick levels is particularly useful in practice. The authors therefore offer a very transparent overview and show that an assignment to levels 1 to 4a is possible. No item could be assigned to level 4b though. Blue et al. exclusively included reviews in their article. However, their description of the kinds of reviews they included in their review article is imprecise. A critical assessment of the included reviews is non-existent. The exploratory literature research, however, was performed as addition to a "mixed method" survey, the content of which does not refer to the present research objective. Therefore, only the review part of Blue et al. was reviewed for quality. Thistlethwaite et al. were primarily looking for intervention studies containing instruments for evaluating interprofessional education and collaboration in their review. It should be noted that the authors searched directly in journals only and did not scan any databases. Moreover, the search keys of this literature research are not evident. Thistlethwaite et al. recommend a multi-method survey of interprofessional competencies. The overall conclusion is that a wide range of instruments has been developed, which are applied on different levels of the modified Kirkpatrick framework . The scanning of full texts showed that presumably there is no quantitative evaluation instrument for level 4b . Furthermore, validation and quality criteria, evidence level and evaluation levels according to the modified Kirkpatrick framework were very heterogeneous.Nevertheless, the following four instruments meeting the search requirements, i.e. assignment to one or more Kirkpatrick levels and/or interprofessional competencies, could be determined: Readiness for Interprofessional Learning Scale (RIPLS), University of the West of England Interprofessional Questionnaire (UWEIPQ), Interprofessional Socialization and Valuing Scale (ISVS) and Team Climate Inventory (TCI). Attachment 2 contains a brief description of the individual instruments. 3. Ergebnisse1. PhaseBei der Sichtung der interprofessionellen Netzwerke wurden zwei Repositorien für Evaluationstools gefunden:Canadian Interprofessional Health Collaborative National Center for Interprofessional Practice and Education .Beide Sammlungen stellen sehr umfänglich Werkzeuge vor, zeigen allerdings auch Limitationen. So beschränken sie sich nicht allein auf die interprofessionelle Ausbildung, sondern berücksichtigen auch Instrumente zur Evaluation interprofessioneller Zusammenarbeit. Diese Datenbanken sind sehr offen gestaltet, sodass ein freies Hochladen von Werkzeugen möglich ist. Allerdings unterliegen die integrierten Werkzeuge keiner kritischen Evaluation und keinem Qualitätsmanagement, sodass keine sichere Aussage über die Validität und Reliabilität getroffen werden kann. Somit wurden keine der auf den Datenbanken befindlichen Instrumente in dieses Review inkludiert. 2. PhaseDie PubMed-Suche ergab 24 Treffer, die Cinahl-Suche 49 Treffer (siehe Anhang 1 und Abbildung 1 ). Nach Sichtung der Abstracts konnten 63 Publikationen ausgeschlossen werden, da sie nicht das gesuchte Thema behandelten oder nicht den vorher vereinbarten Vorgaben entsprachen (z.B. interprofessionelle Zusammenarbeit oder qualitative Untersuchungen). Von den zehn geeigneten Reviews erfolgte in vier Reviews keine Zuordnung der Studien zu den Kirkpatrick-Stufen . Die sechs verbliebenen Reviews wurden mittels der CASP-Checkliste beurteilt und auf der Suche nach validen und passenden Tools im Volltext durchgearbeitet (siehe Tabelle 2 und Abbildung 2 ). Die Auswertung der Reviews zeigt unterschiedliche Ergebnisse bezüglich der Güte der inkludierten Reviews aber auch in Bezug auf empfohlene Messinstrumente. Drei Reviews weisen eine hohe Güte auf , , . Allen drei Reviews liegen Standards zu Grunde (z.B. Cochrane Guidelines für Systematical Reviews oder Standards zur Beurteilung der in den Studien inkludierten Assessmenttools). Zudem bieten die drei Reviews eine klare Zuordnung der von ihnen identifizierten Evaluationsinstrumente zu den Kirkpatrick-Stufen. Es wurde ein Review mit mittlerer Güte und zwei Reviews mit niedriger Güte , in die vorliegende Übersichtsarbeit inkludiert. Bei allen drei Reviews fand in erster Linie eine explorative Suche statt oder der Literaturreview war Bestandteil einer Multimethoden-Untersuchung. Die in diesen Reviews inkludierten Studien wurden nicht kritisch gewürdigt, was die Aussagekraft der Reviews deutlich schmälert. Des Weiteren wurden die Assessments nur teilweise oder gar nicht bezüglich ihrer psychometrischen Eigenschaften hin beurteilt. Der meist genannte Wert in diesem Zusammenhang ist Cronbach’s Alpha. Bezüglich weiterer psychometrischer Kennzahlen wurde nichts berichtet. Einzig Havyer et al. geben eine klare Empfehlung auf Basis der Testgütekriterien ab. Aus ihrer Sicht genügen die Instrumente Collaborative Healthcare Interdisciplinary Relationship Planning (CHRIP), Readiness for Interprofessional Learning Scale (RIPLS), Communication and Teamwork Skills assessment (CATS) und Teamwork Mini-Clinical Evaluation Exercise (T-MAX) den Gütekriterien. In ihrer Publikation von 2014 werden der Safety Attitudes Questionnaire (SAQ) und das Team Climate Inventory (TCI) ausdrücklich benannt, jedoch nicht explizit empfohlen. Havyer et al. beziehen sich mit ihren Empfehlungen auf einen konkreten Kompetenzrahmen der Association of American Medical Colleges (AAMC). Als einziges Messgröße für Gütekriterien wurde von Hayer et al. , für die inkludierten Studien mehrheitlich Cronbach’s Alpha als Maß der Reliabilität genannt. Faktorenanalytische Untersuchungsergebnisse, zur Darstellung der Inhaltsvalidität, werden nicht benannt. Oates und Davidson kommen nach einer Festlegung eigener minimaler, testtheoretischer Gütekriterien zum Schluss, dass einzig die Interprofessional Socialisation and Valuing Scale (ISVS) alle minimalen Gütestandards erfüllt. Fünf weitere Instrumente (Interprofessional Collaborator Assessment Rubric - ICAR, Attitudes Towards Teamwork in Training Undergoing Designed Educational Simulation - KidSIM ATTITUDES Questionnaire, Interdisciplinary Education Perception Scale - IEPS und University of the West of England Interprofessional Questionnaire - UWEIPQ) erfüllen die Minimalstandards nur teilweise, drei (RIPLS, Attitudes to Shared Learning - ASL und StudDat Questionnaire) erfüllen die Standards nicht oder nur ungenügend.Gillan bieten einen umfassenden Überblick über Evaluationsinstrumente und kategorisieren alle Items aus den gefunden Instrumenten. Die Literatursuche wurde ausführlich beschrieben, sodass diesem Review eine mittlere Güte zugesprochen werden kann. Für die Praxis von großem Nutzen ist die klare Zuordnung der in den Evaluationstools enthaltenen Items zu den Kirkpatrick-Stufen . Die Autoren bieten somit einen sehr transparenten Überblick. Es zeigt sich, dass eine Zuordnung zu den Stufen 1- 4a möglich ist. Zur Stufe 4b konnte kein Item zugeordnet werden. Blue et al. schlossen ausschließlich Reviews in ihre Arbeit ein. Es wird allerdings nur ungenau beschrieben, welche Arten von Reviews sie in ihre Übersichtsarbeit integriert haben. Eine kritische Beurteilung der integrierten Reviews fehlt ganz. Die explorative Literatursuche wurde allerdings als Zusatz zu einer „mixed-method“ Untersuchung durchgeführt, deren Inhalt sich jedoch nicht auf die vorliegende Fragestellung bezieht. Von daher wurde lediglich der Reviewanteil von Blue et al. auf seine Güte hin untersucht. Thistlethwaite et al. suchten in ihrem Review in erster Linie nach Interventionsstudien, welche Instrumente zur Evaluation interprofessioneller Lehre und Zusammenarbeit enthielten. Es gilt anzumerken, dass lediglich eine Direktsuche in Zeitschriften durchgeführt wurde. Datenbanken wurden keine gesichtet. Zudem sind die Keywords zu dieser Suche nicht ersichtlich. Thistlethwaite et al. empfehlen eine multimethodische Erhebung interprofessioneller Kompetenzen. Insgesamt konnte festgestellt werden, dass eine breite Anzahl an Instrumenten entwickelt wurde, die auf unterschiedlichen Stufen des modifizierten Kirkpatrick-Frameworks eingesetzt werden . Bei der Untersuchung der Volltexte wurde deutlich, dass für die Stufe 4b vermutlich kein quantitatives Evaluationsinstrument existiert. Weiterhin bestand eine große Heterogenität hinsichtlich der Validierung und der Gütekriterien, des Evidenzgrads und der Evaluationsstufen nach dem abgeänderten Kirkpatrick Framework .Trotzdem konnten die folgenden vier Instrumente eruiert werden, die den Anforderungen der Suche, d.h. Ausrichtung an einer oder mehreren Kirkpatrick Stufen und/oder interprofessionellen Kompetenzen gerecht wurden: Readiness for Interprofessionl Learning Scale (RIPLS), University of the West of England Interprofessional Questionairre (UWEIPQ), Interprofessional Socialization and Valuing Scale (ISVS) und das Team Climate Inventory (TCI). Eine Kurzdarstellung der einzelnen Instrumente findet sich in Anhang 2 . 4. DiscussionThe already existing online repositories of tools for evaluating interprofessionalism have shown that it is inevitable to focus on specific questions and quality assurance regarding usability and transparency. The present review reveals that the unsystematic approach in the scanned reviews and thus the missing critical assessment of the studies included in the reviews proved to be problematic. In conclusion, the heterogeneous situation regarding the quality of the reviews included in this study only allows for a limited recommendation. From the test theory perspective, the recommendation of Havyer et al. should be considered. However, as it is not clearly evident how the recommendation came about, it should be treated with caution as well because in particular the use of RIPLS has been critically discussed in the meantime due to its quality criteria , . None of the reviews mentions psychometric measures such as sensitivity or specificity regarding test methods. Moreover, construct validity verification has not been described for any of the mentioned instruments. The review only in part reports that a factor analysis was performed. The specific construct to be reviewed by means of the tools can only be measured content-wise but is not verifiable by means of test theory methods. A review of different evaluation instruments regarding concurrent validity would be beneficial at this point. Information on objectivity and inter rater reliability, respectively, is missing as well, but would be important with respect to the test quality. The fact that most of the time the authors only report on the instrument reliability indicates a lack of theoretical orientation towards a framework when developing the instruments. This orientation, however, would enable a validity check. Various instruments are available measuring interprofessional education by evaluating outcomes on different Kirkpatrick levels. Outcome and Kirkpatrick level have to be considered when selecting or applying an evaluation instrument. Only a few reliable and valid instruments are available yet. Assigning an outcome to a competency framework may be helpful when choosing an instrument.Moreover, not all Kirkpatrick levels can be mapped by quantitative assessments. It seems to be necessary to include qualitative evaluation as well.TCI and ISVS are mentioned in various reviews. Oates and Davidson describe the ISVS as the only instrument meeting the test quality criteria. Moreover, the ISVS can be assigned to three Kirkpatrick levels and is also mentioned as instrument in all other reviews. The RIPLS is certainly considered as one of the instruments being applied most and it would also be available in German. However, it is not recommendable from a test theory perspective, as critically commented by Oates and Davidson as well. The UWEIPQ is also an often-used instrument and available in German, but only partly meets the quality criteria. Finally, the ISVS is the only instrument to be recommended from a test theoretical perspective at the moment. As this high-quality tool is already available and does not need to be redeveloped, the working group is currently translating and localizing the ISVS. It will also validate the German version. 4. DiskussionBei der Betrachtung der bereits vorhandenen Online-Repositorien über Evaluationswerkzeuge zur Interprofessionalität hat sich gezeigt, dass hinsichtlich der Verwendbarkeit und Übersichtlichkeit eine Fokussierung auf bestimmte Fragestellungen sowie eine Form der Qualitätssicherung unumgänglich sind. In der vorliegenden Untersuchung erwies sich die unsystematische Herangehensweise in den gesichteten Reviews und somit die fehlende kritische Beurteilung der in die Reviews inkludierten Studien als problematisch. Zusammenfassend ist zu sagen, dass die heterogene Lage bezüglich der Güte der in dieser Arbeit inkludierten Reviews nur eingeschränkt eine Empfehlung zulässt. Aus testtheoretischer Sicht sollten die Empfehlungen von Havyer et al. berücksichtigt werden. Da jedoch nicht eindeutig ersichtlich ist, wie die Empfehlung zu Stande kam, gilt auch diese mit Vorsicht zu genießen, da insbesondere der Einsatz des RIPLS aufgrund seiner Gütekriterien inzwischen kritisch diskutiert wird , . Keiner der Reviews benennt in Bezug auf die Testverfahren psychometrische Maße wie Sensitivität oder Spezifität. Zudem ist für keines der genannten Instrumente eine Überprüfung der Konstruktvalidität beschrieben. Es wird lediglich teilweise beschrieben, dass eine Faktorenanalyse durchgeführt wurde. Zudem ist das konkrete Konstrukt, welches durch die Tools überprüft werden soll, nur inhaltlich erfassbar, jedoch nicht testtheoretisch nachgewiesen. Eine Überprüfung verschiedener Evaluationsinstrumente in Bezug auf die Übereinstimmung der Konstrukte (concurrent validity) wäre hier unterstützend. Auch fehlen Angaben zur Objektivität bzw. Inter-Rater-Übereinstimmung. Diese wären jedoch bezüglich der Testgüte von Bedeutung. Die Tatsache, dass meist nur die Reliabilität der Instrumente berichtet wird, deutet auf die noch mangelnde theoretische Orientierung an einem Rahmen bei der Entwicklung der Instrumente hin, die eine Validitätsüberprüfung erst erlauben würden. Es gibt eine Vielzahl an Instrumenten zur Messung von IPL, die Outcomes auf unterschiedlichen Kirkpatrick-Stufen evaluieren. Man muss sich sowohl über Outcome wie auch Kirkpatrick-Ebene Gedanken machen, wenn man ein Evaluationsinstrument auswählt bzw. einsetzt. Es gibt (noch) nicht viele Instrumente, die als reliabel und valide erachtet werden können. Die Zuordnung eines Outcomes zu einem Kompetenzrahmen kann bei der Wahl eines Instruments hilfreich sein.Zusätzlich können nicht alle Kirkpatrick-Stufen durch quantitative Einschätzungen abgebildet werden. Es erscheint notwendig, dass auch qualitative Evaluationen hinzugezogen werden.TCI und ISVS werden in unterschiedlichen Reviews benannt. Von Seiten der Testgüte wird die ISVS als einzig den Kriterien genügendes Instrument von Oates und Davidson beschrieben. Zudem kann die ISVS drei Kirkpatrick-Stufen zugeordnet werden. Des Weiteren wird die ISVS auch in allen anderen Reviews als Instrument benannt. Der RIPLS gilt zwar als eines der meist genutzten Instrumente, welches auch in deutscher Sprache vorläge, kann jedoch aus testtheoretischer Sicht nicht empfohlen werden, wie auch von Oates und Davidson ebenfalls kritisch angemerkt wird. Der UWEIPQ, ein ebenfalls häufig genutztes Instrument, erfüllt allerdings nur teilweise die Gütekriterien, liegt jedoch ebenfalls in deutscher Sprache vor. Abschließend kann aus testtheoretischer Sicht einzig die ISVS derzeit empfohlen werden. Da hier ein hochwertiges Werkzeug bereits vorliegt, das nicht neu entwickelt werden muss, wird der ISVS von der Arbeitsgruppe gerade übersetzt, lokalisiert und in der deutschen Fassung validiert werden. 5. ConclusionThe results of this review show that the transition from education to practice also needs to come more into focus. This includes evaluations on team level, an analysis of the transition and the development of suitable instruments and benchmarks for ensuring business success and organizational modifications (e.g. patient safety, job satisfaction, critical appraisal).Another working group of the GMA Committee for Interprofessional Education is currently working on a German competency framework for interprofessional education. After the compilation and approval of this competency framework, the suitability of the recommended instruments shall be reviewed again. Afterwards, it can be decided on whether renewed, adapted recommendations or new instruments appropriate to the complexity shall be developed. 5. SchlussfolgerungDer Übergang von Edukation zur Praxis muss, wie die Ergebnisse dieser Untersuchung zeigen, ebenfalls in den Fokus genommen werden. Dazu gehören Evaluationen auf der Teamebene, Überprüfung des Transfers und Entwicklung geeigneter Instrumente und Benchmarks für die Sicherstellung des Geschäftserfolgs bzw. der organisationsbezogenen Veränderungen (z.B. Patientensicherheit, Berufszufriedenheit, Critical Appraisal).Ein deutscher Kompetenzrahmen zur IPL ist derzeit von einer anderen Arbeitsgruppe des GMA-Ausschusses für Interprofessionelle Ausbildung in Bearbeitung. Nach der Erstellung und Verabschiedung dieses Kompetenzrahmens soll die Passung der empfohlenen Instrumente erneut überprüft werden. Anschließend kann entschieden werden, inwiefern erneute, adaptierte Empfehlungen bzw. neue, der Komplexität entsprechende Instrumente entwickelt werden müssen. Notes1 In this context, health professions comprise professions in the fields of medicine, dentistry, nursing, therapy and diagnostics. Anmerkung1 Unter Gesundheitsberufe wird an dieser Stelle sowohl die Human- und Zahnmedizin wie auch die Pflege-, Therapie- und Diagnostische Berufe verstanden. Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben. Barr H Freeth D Hammick M Koppel I Reeves S 2000 Evaluations of interprofessional education Barr H, Freeth D, Hammick M, Koppel I, Reeves S. Evaluations of interprofessional education. London: United Kingdom Review of Health and Social Care; 2000. Blue AV Chesluk BJ Conforti LN Holmboe ES Assessment and Evaluation in Interprofessional Education: Exploring the Field 2015 J Allied Health 73-82 Blue AV, Chesluk BJ, Conforti LN, Holmboe ES. Assessment and Evaluation in Interprofessional Education: Exploring the Field. J Allied Health. 2015;44(2):73-82. Brandt BF Update on the US national center for interprofessional practice and education 2014 J Interprof Care 5-7 Brandt BF. Update on the US national center for interprofessional practice and education. J Interprof Care. 2014;28(1): 5-7. DOI: 10.3109/13561820.2013.852365 http://dx.doi.org/10.3109/13561820.2013.852365 Brewer M 2011 Curtin University's faculty of health sciences interprofessional capability framework Brewer M. Curtin University's faculty of health sciences interprofessional capability framework. Perth: Curtin University; 2011. Zugänglich unter/available from http://healthsciences.curtin.edu.au/local/docs/IP_Capability_Framework_booklet.pdf http://healthsciences.curtin.edu.au/local/docs/IP_Capability_Framework_booklet.pdf Freeth D Hammick M Koppel I Reeves S Barr H 2002 A critical review of evaluations of interprofessional education 63 Freeth D, Hammick M, Koppel I, Reeves S, Barr H. A critical review of evaluations of interprofessional education. London, UK: LTSN Health Science and Practice; 2002. S.63 Gillan C Lovrics E Halpern E Wiljer D Harnett N The evaluation of learner outcomes in interprofessional continuing education: a literature review and an analysis of survey instruments 2011 Med Teach 461-470 Gillan C, Lovrics E, Halpern E, Wiljer D, Harnett N. The evaluation of learner outcomes in interprofessional continuing education: a literature review and an analysis of survey instruments. Med Teach. 2011;33(9):461-470. DOI: 10.3109/0142159X.2011.587915 http://dx.doi.org/10.3109/0142159X.2011.587915 Gordon F 2006 Combined Universities Interprofessional Learning Unit: Final Report Gordon F. Combined Universities Interprofessional Learning Unit: Final Report. Sheffield, UK: Sheffield Hallam University; 2006. Hammick M Freeth D Koppel I Reeves S Barr H A best evidence systematic review of interprofessional education: BEME Guide no. 9 2007 Med Teach 35-751 Hammick M, Freeth D, Koppel I, Reeves S, Barr H. A best evidence systematic review of interprofessional education: BEME Guide no. 9. Med Teach. 2007;29(8): 35-751. DOI: 10.1080/01421590701682576 http://dx.doi.org/10.1080/01421590701682576 Havyer RD Nelson DR Wingo MT Comfere NI Halvorsen AJ McDonald FS Reed DA Addressing the Interprofessional Collaboration Competencies of the Association of American Medical Colleges: A Systematic Review of Assessment Instruments in Undergraduate Medical Education 2016 Acad Med 865-888 Havyer RD, Nelson DR, Wingo MT, Comfere NI, Halvorsen AJ, McDonald FS, Reed DA. Addressing the Interprofessional Collaboration Competencies of the Association of American Medical Colleges: A Systematic Review of Assessment Instruments in Undergraduate Medical Education. Acad Med. 2016;91(6):865-888. DOI: 0.1097/ACM.0000000000001053 http://dx.doi.org/0.1097/ACM.0000000000001053 Havyer RD Wingo MT Comfere NI Nelson DR Halvorsen AJ McDonald FS Reed DA Teamwork assessment in internal medicine: a systematic review of validity evidence and outcomes 2014 J Gen Intern Med 894-910 Havyer RD, Wingo MT, Comfere NI, Nelson DR, Halvorsen AJ, McDonald FS, Reed DA. Teamwork assessment in internal medicine: a systematic review of validity evidence and outcomes. J Gen Intern Med. 2014;29(6):894-910. DOI: 10.1007/s11606-013-2686-8 http://dx.doi.org/10.1007/s11606-013-2686-8 Interprofessional Education Collaborative Expert Panel 2011 Core competencies for interprofessional collaborative practice Interprofessional Education Collaborative Expert Panel. Core competencies for interprofessional collaborative practice. Washington, D.C.: Interprofessional Education Collaborative; 2011. Zugänglich unter/available from: http://www.aacn.nche.edu/education-resources/ipecreport.pdf http://www.aacn.nche.edu/education-resources/ipecreport.pdf Klapper B Schirlo C Themenheft Interprofessionelle Ausbildung – herausgegeben von der Robert Bosch Stiftung und der Gesellschaft für Medizinische Ausbildung 2016 GMS J Med Educ Doc38 Klapper B, Schirlo C. Themenheft Interprofessionelle Ausbildung – herausgegeben von der Robert Bosch Stiftung und der Gesellschaft für Medizinische Ausbildung. GMS J Med Educ. 2016;33(2):Doc38. DOI: 10.3205/zma001037 http://dx.doi.org/10.3205/zma001037 Mahler C Berger S Pollard K Krisam J Karstens S Szecsenyi J Krug K Translation and psychometric properties of the German version of the University of the West of England Interprofessional Questionnaire (UWE-IP) 2016 J Interprof Care Mahler C, Berger S, Pollard K, Krisam J, Karstens S, Szecsenyi J, Krug K. Translation and psychometric properties of the German version of the University of the West of England Interprofessional Questionnaire (UWE-IP). J Interprof Care. 2016 (in press) Oates M Davidson M A critical appraisal of instruments to measure outcomes of interprofessional education 2015 Med Educ 386-398 Oates M, Davidson M. A critical appraisal of instruments to measure outcomes of interprofessional education. Med Educ. 2015;49(4):386-398. DOI: 10.1111/medu.12681 http://dx.doi.org/10.1111/medu.12681 Orchard C Bainbridge L Bassendowski S Stevenson K Wagner SJ Weinberg L Curran V Di Loreto L Sawatsky-Girling B 2010 A national interprofessional competency framework Orchard C, Bainbridge L, Bassendowski S, Stevenson K, Wagner SJ, Weinberg L, Curran V, Di Loreto L, Sawatsky-Girling B. A national interprofessional competency framework. Vancover: Canadian Interprofessional Health Collaborative (CIHC); 2010. Reeves S Boet S Zierler B Kitto S Interprofessional Education and Practice Guide No. 3: Evaluating interprofessional education 2015 J Interprof Care 305-312 Reeves S, Boet S, Zierler B, Kitto S. Interprofessional Education and Practice Guide No. 3: Evaluating interprofessional education. J Interprof Care. 2015;29(4):305-312. DOI: 10.3109/13561820.2014.1003637 http://dx.doi.org/10.3109/13561820.2014.1003637 Reeves S Goldman J Burton A Sawatzky-Girling B Synthesis of systematic review evidence of interprofessional education 2010 J All Health 198-203 Reeves S, Goldman J, Burton A, Sawatzky-Girling B. Synthesis of systematic review evidence of interprofessional education. J All Health. 2010;39(Supplement 1):198-203. Schmitz CC Brandt BF The Readiness for Interprofessional Learning Scale: To RIPLS or not to RIPLS? That is only part of the question 2015 J Interprof Care 10.3109/13561820.2015 Schmitz CC, Brandt BF. The Readiness for Interprofessional Learning Scale: To RIPLS or not to RIPLS? That is only part of the question. J Interprof Care. 2015;29(6):525–526 DOI: 10.3109/13561820.2015.1108719 http://dx.doi.org/10.3109/13561820.2015.1108719 Singh J Critical appraisal skills programme 2013 J Pharmacol Pharmacother 76 Singh J. Critical appraisal skills programme. J Pharmacol Pharmacother. 2013;4(1):76. DOI: 10.4103/0976-500X.107697 http://dx.doi.org/10.4103/0976-500X.107697 Thistlethwaite J Kumar K Moran M Saunders R Carr S An exploratory review of pre-qualification interprofessional education evaluations 2015 J Interprof Care 292-297 Thistlethwaite J, Kumar K, Moran M, Saunders R, Carr S. An exploratory review of pre-qualification interprofessional education evaluations. J Interprof Care. 2015;29(4):292-297. DOI: 10.3109/13561820.2014.985292 http://dx.doi.org/10.3109/13561820.2014.985292 11en1de

Table 1: Kirkpatrick’s competence levels modified for the evaluation of interprofessional education [1]

Tabelle 1: Evaluationsmodell in Kompetenzstufen nach Kirkpatrick modifiziert für die Evaluation interprofessioneller Ausbildung [1]

22en2de

Table 2: Six review articles about the quality of evaluation tools for interprofessional education rated by CASP (Critical Appraisal Skills Programme Checklist)

Tabelle 2: Sechs Übersichtsartikel über die Qualität von Evaluationsinstrumenten zur Beurteilung interprofessioneller Lehre bewertet nach CASP (Critical Appraisal Skills Programme Checkliste)

2

1 1en 1de Figure 1: Flowchart demonstrating results of the literature search Abbildung 1: Schematische Darstellung der Ergebnisse der Literaturrecherche

2 2en 2de Figure 2: Overview of the consensual evaluation of six review articles by two examiners (CA=Critical Appraisal) Abbildung 2: Übersicht übre die konsensuale Beurteilung der sechs Review Artikel durch zwei Untersuchende (CA=Critical Appraisal)

2 0 1 1en 1de Strategies, search terms and results of the literature research Strategien, Suchwörter und Ergebnisse der Literaturrecherche 2 2en 2de Short presentation of individual instruments Kurzdarstellung einzelner Instrumente 2