zma001036 10.3205/zma001036 urn:nbn:de:0183-zma0010368 editorial Leitartikel Zusammenarbeit, Kooperation, Kommunikation, Kontakt und Kompetenzen Thistlethwaite Thistlethwaite Jill E. JE Prof. Dr.

University of Technology Sydney, Health professions education consultant, Adjunct professor, Sydney AustraliaUniversity of Technology Sydney, Health professions education consultant, Adjunct professor, Sydney Australia

jill.thistlethwaite@uts.edu.au author German Medical Science GMS Publishing House

Düsseldorf

610 Interprofessional Education Interprofessionelle Ausbildung 20151223 20160114 20160220 20160429 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 2366-5017 33 2 GMS Journal for Medical Education GMS J Med Educ Interprofessional Education 37 IntroductionThe global interprofessional education (IPE) community is expanding. However too frequently native English speakers like myself confine ourselves to literature in English and have little awareness of what has been going on for some time in countries under-represented in the English language journals. This deficiency has been highlighted for me not only by the richness of the papers in this special edition of the GMS Journal for Medical Education but also by my recent experiences co-editing a series of books on leadership for IPE and my travels outside Australia and the UK. The books include chapters from Indonesia, Japan, Malaysia, India, the Philippines, Kenya and South Africa as well as the more frequently published countries such as the US, UK, Australia, New Zealand and Canada , , . EinleitungDie globale wissenschaftliche Community für interprofessionelle Ausbildung wächst. Englische Muttersprachler wie ich beschränken sich jedoch allzu oft auf die englische Literatur und wissen nur wenig über die Entwicklungen in Ländern, die in den englischsprachigen Zeitschriften unterrepräsentiert sind. Dieses Defizit wurde mir nicht nur durch die Vielfalt der Beiträge in dieser Sonderausgabe des GMS Journal for Medical Education deutlich, sondern auch durch meine jüngsten Erfahrungen als Mitherausgeberin einer Buchreihe zu Führungsrollen für die interprofessionelle Bildung und meine Reisen außerhalb Australiens und Großbritanniens. Die verschiedenen Bücher enthalten sowohl Kapitel aus Indonesien, Japan, Malaysia, Indien, den Philippinen, Kenia und Südafrika als auch aus den in der Literatur häufiger repräsentierten Ländern wie die USA, Großbritannien, Australien, Neuseeland und Kanada , , . CompetenciesI was honoured to be asked to write the editorial for this special edition and will share some thoughts on the current state of IPE from my perspective on evaluation and what we need to do to ensure sustainability of initiatives in the future. Perhaps not surprisingly, I was struck by the similarities in focus of the German projects compared to other locations. Five c-words stood out (in their English translation): collaboration; cooperation; communication; contact; and competencies. The first four of these can be thought of as examples of the intended outcomes of IPE and interprofessional practice (IPP) and appear frequently in the papers in this collection. The last word reflects the competency-based movement prevalent within medical and other health professions education. A number of bodies have defined the competencies they feel are required for IPP that may be developed through IPE, for example the Canadian Interprofessional Health Collaborative (CIHC) [http:// www.cihc.ca/files/CIHC_IPCompetencies_Feb1210.pdf], and the Interprofessional Education Collaborative (IPEC in the US) [http:// www.aacn.nche.edu/education-resources/ipecreport.pdf]. However, there has also been criticism that competencies reduce complex activities and tasks to simple checklists that over simplify the concepts involved . The complexity of IPP and collaborative practice is reflected in the number of competencies listed in frequently referenced frameworks . This is similar to ‘communication’ as Bachmann et al. discuss in their paper, which focuses on the translation of the Health Professions Core Communication Curriculum (HPCCC) from German into English – a curriculum that has 61 learning objectives . Higher education institutions (HEIs) that have health and social care professionals programmes and wish to introduce or expand interprofessional learning opportunities need to decide on the appropriate learning outcomes or competencies for such programmes. Educators should take into account the standards of the national accreditation bodies for each health profession at pre-certification (pre-licensure) level and use these to help define their outcomes. German HEIs may look to other countries for additional suitable examples but should base their work on the context of their own health services, health and social care professional mix and cultural imperatives. An example of the importance of context is shown in the paper by Eich-Krohm et al. In Germany nursing is not a university level programme, unlike some countries, and therefore nursing and medical students are less likely to interact during training unless specific opportunities are created for them to do so . Bohrer and colleagues describe the Berlin project and the need to take into account differing university regulations in relation to education and assessment . To be successful IPE needs to be integrated into curricula and the organization needs to be committed enough to provide resources such as space . KompetenzenMir wurde die Ehre zuteil, den Leitartikel für diese Sonderausgabe schreiben zu dürfen. Ich möchte daher einige meiner Überlegungen zum aktuellen Stand der interprofessionellen Ausbildung aus meiner Sicht zur Evaluation mit den Leserinnen und Lesern teilen. Des Weiteren möchte ich ausführen, was getan werden muss, um die Nachhaltigkeit zukünftiger Initiativen sicherzustellen. Es ist vielleicht nicht allzu überraschend, dass mir besonders die im Vergleich mit anderen Ländern sehr ähnlichen Schwerpunkte in den deutschen Projekten auffielen. Die fünf englischen C-Wörter Collaboration (Zusammenarbeit), Cooperation (Kooperation), Communication (Kommunikation), Contact (Kontakt) und Competencies (Kompetenzen) werden immer wieder genannt. Die ersten vier können als Beispiele für die angestrebten Ziele der interprofessionellen Ausbildung und interprofessionellen Praxis verstanden werden; sie kommen in den Beiträgen dieses Themenhefts häufig vor. Das letzte „C-Wort“ reflektiert hierbei die kompetenzbasierte Orientierung, die innerhalb der medizinischen und anderen gesundheitsberuflichen Bildungszweige mittlerweile dominiert. Einige Organisationen und Gremien haben die Kompetenzen definiert, die ihrer Meinung nach für die interprofessionelle Praxis notwendig und in der interprofessionellen Ausbildung zu entwickeln sind, beispielsweise die Canadian Interprofessional Health Collaborative (CIHC) [http:// www.cihc.ca/files/CIHC_IPCompetencies_Feb1210.pdf], und die Interprofessional Education Collaborative (IPEC in den USA) [http:// www.aacn.nche.edu/education-resources/ipecreport.pdf]. Es wurde allerdings auch die Kritik geäußert, dass die Kompetenzen komplexe Handlungen und Aufgaben zu einfachen Checklisten reduzieren, die die zugrunde liegenden Bildungskonzepte zu stark vereinfachen . Die Komplexität von interprofessioneller Praxis und Zusammenarbeit spiegelt sich in der Anzahl der in häufig zitierten Rahmenwerken aufgelisteten Kompetenzen wieder . Ähnliches gilt für die "Kommunikation, die Bachmann et al. in ihrem Beitrag diskutieren, der sich auf die deutsch-englische Übersetzung des „Health Professions Core Communication Curriculum (HPCCC)“ konzentriert – einen Lehrplan mit 61 Lernzielen . Hochschulen, die Studienprogramme für Gesundheitsfachberufe und Soziale Berufe anbieten und interprofessionelle Bildungsmöglichkeiten einführen oder bereits bestehende erweitern möchten, müssen die jeweils angemessenen Lernziele oder Kompetenzen für solche Programme festlegen. Dabei sollten aus curriculumplanerischer Sicht die Standards der nationalen Akkreditierungsstellen für jeden Gesundheitsberuf noch vor der Zertifizierung (vor der Lizensierung) bedacht und diese auch wenn möglich verwendet werden, um die Lernziele zu definieren. Deutsche Hochschulen können weitere geeignete Beispiele aus anderen Ländern zurate ziehen, ihre Arbeit sollte sich jedoch auf den Kontext ihres eigenen Gesundheitswesens, der Zusammensetzung verschiedener Fachpersonen aus gesundheitlicher und sozialer Fürsorge und der eigenen kulturellen Gegebenheiten stützen. Ein Beispiel für die Bedeutung des Kontext findet sich im Beitrag von Eich-Krohm et al. In Deutschland ist die Pflege, anders als in einigen anderen Ländern, in aller Regel kein Universitätsstudium, sodass Pflege- und Medizinstudierende während ihrer Ausbildung wahrscheinlich nicht viel miteinander in Kontakt kommen, sofern keine spezifischen Gelegenheiten dafür geschaffen werden . Der Beitrag von Bohrer et al. beschreiben ein Projekt aus Berlin und die Notwendigkeit, in Bezug auf Ausbildung und Prüfungen die unterschiedlichen universitären Vorschriften zu beachten . Eine erfolgreiche interprofessionelle Ausbildung muss in die Lehrpläne integriert sein und die Organisation muss engagiert genug sein, um Ressourcen (z. B.Räume) zur Verfügung zu stellen . AssessmentOnce we can agree on competencies as an outcome of our curricula then we have to consider how these may be assessed, given that the majority of students only consider an activity is important if it is examined in some way: assessment “powerfully frames how students learn and what students achieve” [http:// www.assessmentfutures.com]. I certainly agree that learners need to know what they are expected to learn. While I am concerned about “competence” as the aim of education, it is also worrying that some interprofessional learning interventions do not have defined outcomes so learners are unsure what they are expected to learn ]. Within IPE this learner confusion may extend to why they have been placed with other health professionals when they want to focus on gaining their own profession’s knowledge. Sometimes IPE seems so logistically difficult and interprofessional educators so unsupported that we forget basic educational principles such as curriculum alignment . Certainly in Australia our recent survey showed that most IPE was not assessed other than by attendance [http://www.hwa.gov.au/sites/uploads/IPE%20Audit%20report%20Jan%202013.pdf]. More in-depth assessment should be accompanied by observation and feedback so that assessment is itself a learning activity: assessment for learning rather than solely assessment of learning. Lack of assessment, once we have agreed what to assess, hampers our ability to answer that frequently asked question: “what is the evidence for IPE?” This question is about effectiveness and outcomes, and may have the sub-text of “why should we change what we do?” If we want to know whether IPE works, then we have to define what we mean by “works”. Proponents of the widely referenced modified Kirkpatrick model of educational outcomes suggest that we ultimately we need to show that IPE leads to improved organizational (4a) or patient outcomes (4b). This is somewhat unfair given that rarely, if at all, do we expect other pre-qualification education in the early years of training, to demonstrate a difference in how organisations function, whether patients’ conditions improve or patient safety is enhanced. The Institute of Medicine in the US has suggested that what education can achieve, and what can be measured, is that learners meet learning outcomes that have been developed as applicable to optimal health care delivery that improves outcomes . Trying to show a direct causal link between one aspect of a curriculum, such as IPE, and longer term effects is, in my opinion, impossible. What we should be able to do is evaluate whether learners have achieved those learning outcomes that we consider to be important for collaborative practice and are ready to practice in this way when they graduate. This assumes we have a clear idea, through research, of what those learning outcomes actually should be. So learning affects practice and practice affects outcomes. As with all pre-certification education we have to remember that learning does not stop on graduation and skills are developed throughout one’s practice through experience, feedback and reflection. BewertungAusgehend von der Grundüberlegung, dass Kompetenzen ein Resultat unserer Curricula darstellen, gilt es zu bedenken, wie diese bewertet werden können, da die Mehrzahl der Studierenden Aktivitäten nur dann als wichtig erachten, wenn sie auf irgendeine Weise geprüft werden: die Bewertung „gestaltet auf beeindruckende Weise, wie Studenten lernen und was sie erreichen“ („powerfully frames how students learn and what students achieve“) [http:// www.assessmentfutures.com]. Ich stimme natürlich zu, dass die Lernenden wissen müssen, welche Lernziele sie erreichen sollen. Während mich grundsätzlich die Sicht von „Kompetenz“ als Bildungsziel nachdenklich macht, erscheint es beunruhigend, dass einige interprofessionelle curriculare Interventionen keine klaren Lernziele definieren, sodass die Studierenden sich nicht sicher sein können, welche Lernerfolge von ihnen erwartet werden . Innerhalb der interprofessionellen Ausbildung kann sich diese Unsicherheit der Studierrenden auch auf die Frage ausdehnen, warum sie innerhalb ihres Studiengangs mit anderen Gesundheitsfachberufen zusammen lernen, wenn sie sich doch auf das Wissen ihrer eigenen Fachrichtung konzentrieren möchten. Manchmal erscheint interprofessionelle Ausbildung logistisch so schwierig und die interprofessionellen Dozierenden und Curriculumplanerinnen und - planer scheinen so wenig Unterstützung zu erhalten, dass wir grundlegende didaktische Prinzipien wie „curriculum alignment“ vergessen . Unsere aktuelle Umfrage in Australien hat jedenfalls gezeigt, dass die meisten interprofessionellen Ausbildungsprojekte ausschließlich über die Anwesenheit der Studierenden bewertet werden [http://www.hwa.gov.au/sites/uploads/IPE%20Audit%20report%20Jan%202013.pdf]. Eine detaillierteres Assessment sollte durch Beobachtungen und Feedback begleitet werden, sodass die Prüfung selbst eine Lernaktivität darstellt: die Bewertung erfolgt zum Lernen, nicht ausschließlich zur Prüfung des Gelernten. Auch nach der gemeinsamen Definition davon, was zu bewerten ist, hindert uns jedoch das Fehlen von Assessment daran, die häufig gestellte Frage zu beantworten: „Was ist die Evidenz für die interprofessionelle Ausbildung und deren Wirksamkeit?“ Bei dieser Frage geht es um Effektivität und Resultate von interprofessioneller Ausbildung; und es schwingt die Frage mit, warum überhaupt eine Änderung des bestehenden Curriculums und seiner Anteile nötig ist. Wenn wir herausfinden wollen, ob die interprofessionelle Ausbildung funktioniert und die Effekte zeigt, müssen wir zunächst definieren, was wir unter „funktionieren“ verstehen. Die Befürworter des häufig zitierten Kirkpatrick-Modells für „educational outcomes“ meinen, dass wir letztendlich aufzeigen müssen, dass die interprofessionelle Ausbildung zu besseren organisationalen (4a) oder patientenbezogenen Ergebnissen führt (4b). Dies ist keine ganz faire Anforderung, da wir nur selten (wenn überhaupt) von anderen vorqualifizierenden Bildungsprogrammen verlangen, dass bereits früh im Curriculum ein Unterschied in der Art und Weise nachgewiesen wird, wie Organisationen funktionieren oder ob sich die Bedingungen oder die Sicherheit für Patienten verbessert. Das US-amerikanische Institute of Medicine schlägt vor, dass messbare Bildungsziele darstellen, dass vordefinierte Lernziele durch die Lernenden erreicht werden, wobei die Lernziele eine optimale Gesundheitsversorgung mit verbesserten Ergebnissen in der Patientenversorgung sicher stellen sollen . Der Versuch, eine direkte kausale Verbindung zwischen einem Aspekt eines Curriculums, wie der interprofessionellen Ausbildung, und langfristigeren Effekten aufzuzeigen ist, meiner Ansicht nach, unmöglich. Wir sollten stattdessen in der Lage sein, zu bewerten, ob die Lernenden diejenigen Lernziele erreicht haben, die uns für ein gemeinschaftliches Arbeitsumfeld in der Gesundheitsversorgung wichtig, und ob die Lernenden am Ende ihrer Ausbildung die erreichten Lernziele in der Versorgungspraxis einsetzen können. Dies setzt voraus, dass wir eine auf Forschungen basierende, genaue Vorstellung davon haben, was genau diese Lernziele sein sollten. Auf diese Weise kann das Lernen die Praxis und die Praxis die Ergebnisse auf Patienten- oder Systemebene beeinflussen. Wie in jeder prägraduellen Ausbildung müssen wir bedenken, dass das Lernen nicht mit dem Abschluss der Ausbildung aufhört und dass Fähigkeiten sich im Laufe der praktischen Tätigkeit mittels Erfahrung, Feedback und Reflexion weiterentwickeln. EvaluationEven if the Kirkpatrick model is adopted to plan evaluation, most published evaluations of IPE are still confined to learner reaction, attitudinal change and knowledge acquisition rather than looking at performance in the learning and working spaces . Again this is not surprising given the difficulties of work-based observation and assessment. Learner satisfaction is important and necessary but not sufficient as evidence of utility. Overwhelmingly students appear to enjoy IPE and rate interprofessional experiences highly though there is great variation in the format, involvement, location and timing of IPE across programs, institutions, regions and countries. Berger et al. from Heidelberg have evaluated a newly introduced interprofessional seminar and shown that students who learn and work interprofessionally rate the experience more positively than students who are in uniprofessional groups . Flentje et al. evaluated an interprofessional simulation exercise; participants self-reported that they had been able to improve their teamwork competencies particularly in relation to communication . The University of Greifswald Medical School has also introduced a simulation exercise focused on a clinical emergency for medical and nursing students, and other relevant professions, which participants rated highly . Meanwhile in Mannheim, medical and physiotherapy students have been learning in teams, with some difference of opinion between the two groups as to the outcomes . As medical students and physiotherapy students have common competencies in rheumatic and musculoskeletal diseases these have formed the basis for successful implementation of interprofessional learning for these two groups .With regards to attitudes, the commonly used tools, such as RIPLS (readiness for interprofessional learning scale) and IEPS (interdisciplinary education perception scale) have rarely shown change in more recent publications when applied before and after an intervention. Students start with positive attitudes, either because they have volunteered for elective interprofessional experiences or because IPE is now a more acceptable curricular inclusion. We may and should be critical of an approach that focuses solely on outcomes. Calls to evaluate and research IPE and IPP within theoretical frameworks , to enhance scholarship and provide context highlight the need to explore the nature of IPE and IPP and the interactions between them. So far only a minority of evaluation studies have made specific reference to theories informing their approach, although adult learning theory continues to be frequently implicit (as noted ten years ago by Barr et al., 2005 ). When theories are invoked they are drawn from a diversity of disciplines including education, psychology and, particularly, sociology . For example Hean et al. have foregrounded socio-cultural theory with its focus on the social aspect of learning (‘with, from and about) in their recommendations of theories relevant for IPE . In this journal, with another focus on communication, Posenau and Peters draw on linguistics to analyse professional markers through a qualitative approach to the conversations that take place during interprofessional simulation activities . EvaluationAuch wenn das Kirkpatrick-Modell für die Planung der Evaluation angewendet wird, befassen sich die meisten publizierten Evaluationsstudien von interprofessioneller Ausbildung nach wie vor mit der Reaktion der Lernenden, der Änderung von Haltungen und dem Wissenserwerb und in aller Regel nicht mit der Leistung im Lern- und Arbeitsumfeld . Auch dies ist nicht überraschend, wenn man die Schwierigkeiten der arbeitsplatz-basierten Beobachtung und Prüfung bedenkt. Die Zufriedenheit der Lernenden ist zweifelsohne wichtig und notwendig, als Nachweis für den Nutzen jedoch nicht ausreichend. Der grossen Mehrheit der Studierenden scheint die interprofessionelle Ausbildung zu gefallen; sie bewerten die interprofessionellen Erfahrungen positiv, wobei zwischen den verschiedenen Programmen, Instituten, Regionen und Ländern große Unterschiede in Format, Einbindung, Ort und zeitlicher Planung der interprofessionellen Ausbildung bestehen. Berger et al. aus Heidelberg haben ein neu eingeführtes interprofessionelles Seminar bewertet und dabei zeigen können, dass die Studierenden, die interprofessionell lernen und arbeiten die Erfahrung positiver bewerten als Studierende die in uniprofessionellen Gruppen lernen . Flentje et al. bewerteten eine interprofessionellen Simulationsübung: Die Teilnehmenden selbst gaben an, dass sie ihre Fähigkeiten zur Zusammenarbeit besonders bezüglich der Kommunikation verbessern konnten . Die Universitätsmedizin Greifswald hat ebenfalls eine Simulationsübung eingeführt, die sich auf klinische Notfallsituationen bezieht und für Medizin- und Pflegestudierende, sowie weitere Gesundheitsfachberufe vorgesehen ist. Die Simulation wurde von den Teilnehmenden sehr gut bewertet . In Mannheim lernen derweil die Studierenden der Medizin und der Physiotherapie in gemeinsamen Teams, wobei sich die Meinungen zu den Resultaten zwischen den beiden Gruppen etwas unterscheiden . Da Medizin- und Physiotherapiestudierende gemeinsame Kompetenzen im Bereich der rheumatischen und muskuloskelettalen Erkrankungen haben, haben diese die Grundlage für die erfolgreiche Einführung eines interprofessionellen Lernprozesses für diese zwei Gruppen gebildet .Bezüglich der Lernzieldomäne Haltungen und Einstellungen haben die häufig verwendeten Instrumente wie RIPLS („Readiness for Interprofessional Learning Scale“) und IEPS („Interdisciplinary Education Perception Scale“) innerhalb von neueren Publikationen nur selten eine Veränderung nachgewiesen, wenn sie vor und nach den curricularen Interventionen angewandt wurden. Zu Beginn sind die Studierenden positiv gestimmt, weil sie sich entweder freiwillig für fakultative interprofessionelle Erfahrungen gemeldet haben oder weil die interprofessionelle Ausbildung inzwischen ein allgemein anerkannterer Teil des Curriculums ist. Ausschließlich auf Ergebnisse gerichtete Herangehensweisen dürfen und sollten wir durchaus kritisch betrachten. Ansätze, die interprofessionelle Ausbildung und interprofessionelle Praxis im Rahmen theoretischer Konzepte zu bewerten , um so die wissenschaftliche Basis zu erweitern und einen Kontext herzustellen, betonen die Notwendigkeit, das Wesen der interprofessionellen Ausbildung und Praxis und deren Interaktionen zu erforschen. Bis heute haben allerdings nur wenige der Evaluationsstudien spezifische Theorien zitiert, die den jeweiligen Ansatz verdeutlichen, wobei die Theorie der Erwachsenenbildung nach wie vor häufig implizit eingebunden ist (wie Barr et al. bereits 2005 feststellen ). Wenn Bezüge zu Theorien hergestellt werden, stammen diese aus unterschiedlichen Disziplinen, wie z. B. der Pädagogik, Psychologie und besonders der Soziologie . Hean et al. haben beispielsweise die soziokulturelle Theorie mit ihrem Schwerpunkt auf den sozialen Aspekt des Lernens (mit, von und über) in ihren Empfehlungen zu für die interprofessionelle Ausbildung relevanten Theorien in den Vordergrund gestellt . Posenau und Peters konzentrieren sich in ihrem Beitrag im vorliegenden Themenheft mit Bezügen zur Linguistik auf die Kommunikation, um mit Hilfe eines quantitativen Ansatzes professionelle Marker in den Gesprächen zu analysieren, die im Rahmen von interprofessionellen Simulationen geführt werden . Realist evaluationEvaluation of outcomes presupposes that there is a linear causality between input and output. However the space between input and output has been referred to as the “black box” and it is seldom apparent from quantitative approaches what is going on in that box. Why do some students develop skills in teamwork and others not when the intervention has been the same? How do educators ensure that students achieve the same defined learning outcomes from clinical programmes, which offer different experiences depending on location, preceptor, length, timing and access to patients? Moreover the complexity of health professional education initiatives is such that they are rarely binary: neither “effective” or “ineffective”, and students are rarely “competent” or “not competent” to perform complex tasks, even if we can describe what competence looks like. A common type of paper in the interprofessional literature describes a learning activity that involves students from three to four professions interviewing a patient about the patient’s experience of living with a long term condition. Each student will have learnt a profession specific approach to “taking a history”. By observing each other’s language and questions, and then discussing the similarities and differences in approach, the objective is that students gain an understanding of each other’s roles in relation to a particular health care problem. Suppose that prior to the activity students have a quiz on professional roles, which is repeated two weeks after the exercise. Students are also asked to rate, before and after, their confidence in working with other professionals. Student marks indicate that 85% have increased their knowledge but the other 15% have not; 70% rate their confidence as improved, 20% as the same and 10% as worsened. These figures would suggest that overall the activity has been effective as the majority has changed in a positive way. However, we cannot know from this outcome why certain students learnt and others did not, why some feel more confident and others less confident. We may hypothesise a number of reasons for the discrepancy: differences in student motivation or engagement; lack of preparation; variations in the patient experiences; the professional mix of the groups; facilitator variability; the method of assessment; etc. We also know that student self-assessment of confidence is a poor measure of change and some students are better at this than others.To explore the reasons for these outcomes we need to carry out some form of process evaluation in order to explore possible factors affecting effectiveness. Realist evaluation is a form of process evaluation which aims to answer the question: what works, for whom, in what circumstances, in what respects, to what extent and why ? Such an approach is time-consuming and therefore rarely done unless funded adequately – which programme evaluation rarely is. Realist methods involve in-depth case studies and reflexive questioning about why on this occasion a particular input produced a particular outcome but on a different occasion it produced the opposite outcome . This type of evaluation was originally developed to explore complex social interventions such as health promotions campaigns for safe sex practices that depend on how different people respond to the same input to generate the anticipated outcomes . Realist evaluation has been advocated as a useful method in medical education because of the complexity of the interventions involved . What appears effective as an IPE programme in one institution may be disastrous in another because of contextual differences that are not always apparent or considered. For example the German context is different from some other European countries in that nursing is not a university-based program; how may this difference affect student learning? Realism is a philosophy of science situated between positivism and relativism/constructivism . Realists disagree with the positivist stance on the nature of causality with its conflation of simple observations and descriptions of what happens with explanations . The realist evaluator aims to elucidate underlying causal mechanisms and how they are affected by context in bringing about outcomes: context (C) + mechanism (M) = outcome (O) . Here a mechanism is defined as ‘an underlying entity, process or structure which operates in particular contexts to generate outcomes of interest’ . Kontext-Mechanismus-gesteuerte Evaluation/Realist EvaluationDie Evaluation von Resultaten geht davon aus, dass zwischen Input und Output ein kausaler Zusammenhang besteht. Der Raum zwischen Input und Output wurde als „Black Box“ bezeichnet und so ist bei quantitativen Ansätzen nur selten erkennbar, was in dieser Box vorgeht. Warum entwickeln manche Studierenden die Fähigkeit zur Zusammenarbeit und andere nicht, obwohl die curriculare Intervention dieselbe war? Wie stellen Dozierende sicher, dass alle Studierenden am Ende von klinischen Programmen, die je nach Ort, Wahrnehmung, Dauer, zeitlicher Planung und Zugang zu Patienten verschiedene Erfahrungen hinterlassen, dieselben definierten Lernziele erreichen? Darüber hinaus sind Initiativen zur Ausbildung von Gesundheitsexperten so komplex, dass sie nur selten binär auswertbar sind: sie sind weder „effektiv“ noch „ineffektiv“ und die Studierenden sind nur selten entweder „in der Lage“ oder „nicht in der Lage“, komplexe Aufgaben auszuführen, selbst, wenn wir definieren können, wie diese Befähigung aussieht. Eine häufige Form von Publikationen innerhalb der interprofessionellen Literatur beschreibt eine Lernaktivität, bei der Studierende aus drei oder vier verschiedenen Berufszweigen einen Patienten zu dessen Erfahrungen mit einer lang anhaltenden Erkrankung befragen. Jede Studentin und jeder Student hat bis dahin eine berufsspezifische Herangehensweise an die Anamnese gelernt. Indem die Studierenden nun gegenseitig ihre Fragen und Sprache beobachten und die Gemeinsamkeiten und Unterschiede ihrer Herangehensweisen diskutieren, sollen die Studierenden Verständnis für ihre jeweiligen Rollen in Bezug auf eine bestimmte medizinische Problemstellung entwickeln. Nehmen wir einmal an, die Studierenden hätten vor dieser Übung einen Test zu beruflichen Rollen und würden diesen Test zwei Wochen nach der Übung wiederholen. Die Studierenden würden ebenfalls gebeten, vor und nach der Übung anzugeben, inwieweit sie sich zutrauen, mit anderen Gesundheitsfachberufen zusammenzuarbeiten. Die Bewertungen der Studenten würden zeigen, dass 85% ihr Wissen erweitert haben, die restlichen 15% jedoch nicht; 70% würden angeben an, dass ihr Selbstvertrauen in der Zusammenarbeit mit anderen Gesundheitsfachberufen gestiegen sei, bei 20% hätte sich nichts verändert und bei 10% wäre das Selbstvertrauen gesunken. Diese Zahlen würden nahelegen, dass die Aktivität insgesamt effektiv war, da die Mehrheit der Studierenden positive Veränderungen angab. Wir können aus diesem Ergebnis jedoch nicht ablesen, warum bestimmte Studierende etwas gelernt haben und andere nicht, warum sich manche nun mehr zutrauen und andere weniger. Wir können einige Hypothesen aufstellen, wie diese Diskrepanz entstanden ist: unterschiedliche Motivation und verschiedenes Engagement der Studierenden; fehlende Vorbereitung; Unterschiede in den Patientenerfahrungen; die berufliche Zusammensetzung der Gruppen; verschiedene Dozierende; die Evaluationsmethode usw. Wir wissen außerdem, dass die Eigenbewertung des Selbstvertrauens der Studierenden eher ein schlechtes Maß für die tatsächlichen Veränderungen ist und dass manche Studierenden sich besser selbst einschätzen können als andere.Um die Ursachen für dieses Ergebnisse zu begreifen, ,müssen wir eine Prozessevaluation vornehmen, um mögliche Faktoren identifizieren zu können, die die Effektivität beeinflussen könnten. Die „Realist Evaluation“ ist eine Art Prozessevaluation, welche folgende Frage beantworten soll: was funktioniert für wen, unter welchen Umständen, inwiefern, in welchem Ausmaß und warum ? Ein solcher Ansatz ist zeitaufwendig und wird daher kaum verfolgt, sofern nicht die notwendige Finanzierung verfügbar ist, wobei Programmevaluationen selten gut finanziert werden.. Solche realistischen Methoden erfordern eingehende Fallstudien begleitet von reflexiven Fragestellungen, warum in einer bestimmten Situation ein bestimmter Input zu einem bestimmten Ergebnis führte, ein anderes Mal jedoch zum entgegengesetzten Ergebnis . Diese Evalutionsmethode wurde ursprünglich entwickelt, um komplexe soziale Vorgänge zu erforschen, wie zum Beispiel Kampagnen zur Bewerbung von sicheren Sexualpraktiken, die davon abhängen, wie verschiedene Menschen auf denselben Input reagieren, um die erwünschten Ergebnisse zu erzeugen . Die „Realist Evaluation“ oder auch Kontext-Mechanismus-gesteuerte Evaluation wird als nützliche Methode für die medizinische Ausbildung angesehen, da auch hier komplexe Vorgänge stattfinden . In einer Institution effektiv erscheinende interprofessionelle Ausbildungsprogramme können in einer anderen Einrichtung desaströs sein, da kontextuelle Unterschiede nicht immer offensichtlich sind oder beachtet werden. Der deutsche Kontext unterscheidet sich zum Beispiel von einigen europäischen Ländern, da wie bereits oben erwähnt die Pflege dort in aller Regel keine universitäre Ausbildung ist. Es kann also hier gefragt werden, wie sich dieser Unterschied auf das Lernverhalten der Studierenden aus wirkt. Realismus ist eine wissenschaftliche Philosophie zwischen Positivismus und Relativismus/Konstruktivismus . Realisten widersprechen dem positivistischen Standpunkt von Kausalität mit der Verschmelzung aus einfachen Beobachtungen und Beschreibungen von Geschehnissen mit Erklärungen . Der realistische Evaluator versucht, zugrunde liegende kausale Mechanismen zu erklären und aufzudecken, wie die Ergebnisse durch den Kontext beeinflusst werden: Kontext (Context, C) + Mechanismus (Mechanism, M) = Ergebnis (Outcome, O) . Ein Mechanismus wird hierbei als „zugrunde liegende Einheit, Struktur oder zugrunde liegender Prozess [definiert], der/die in bestimmten Kontexten Ergebnisse von Interesse erzeugt“ . ConclusionIf we cannot provide some explanation of what is happening in the “black box” of IPE and lack evidence of effectiveness in relation to the achievement of IPL outcomes, including collaboration, cooperation, and communication, we are going to have problems making a good case for sustaining IPE within institutions. The curricula of all health professions programmes are bulging as medical science knowledge expands, and calls are made for including new courses on, for example, professionalism, resilience and leadership. Funding for higher education is shrinking in many countries or student numbers are increased without additional resources being provided. As educators, clinical academics and interprofessional champions we need to build high quality evaluation and research into our courses. We need to be able to provide some answers to the questions about evidence – even if the questions are not framed in quite the way we would like them to be. The papers in this collection add to the literature that is required and should be required reading for all health professional educators in Germany. FazitWenn wir keine Erklärung für die Geschehnisse innerhalb der „Black Box“ der interprofessionellen Ausbildung liefern können und keine Evidenz für die Effektivität bezüglich erreichter Ergebnisse innerhalb der interprofessionellen Ausbildung, einschließlich Zusammenarbeit, Kooperation und Kommunikation generieren können, wird es schwierig sein, innerhalb der Bildungsinstitutionen für Unterstützung für die interprofessionelle Ausbildung zu werben. Aufgrund der ständigen Erweiterung des medizinischen Wissens sind die Curricula in der Medizin und den Gesundheitsfachberufen in aller Regel intensiv und äusserst umfassend. Neue Lerninhalte oder Module, die beispielsweise Professionalität, Belastbarkeit und Führungsqualitäten vermitteln sollen, werden zusätzlich gefordert. Zudem ist die Finanzierung des Hochschulwesens in vielen Ländern rückläufig oder die Anzahl der Studierenden steigt, ohne dass zusätzliche Ressourcen zur Verfügung gestellt werden. Wir müssen als didaktische Experten, klinische Wissenschaftler und Experten für Interprofessionalität qualitativ hochwertige Evaluationsinstrumente und – studien sowie spezifische Forschung in unsere Kurse integrieren. Wir müssen in der Lage sein, zumindest einige der Fragen nach Evidenzen zu beantworten – auch wenn die Fragen nicht völlig in unserem Sinne formuliert sind. Die in diesem Themenheft publizierten Beiträge tragen zur notwendigen Erweiterung der Literatur im Bereich der interprofessionellen Ausbildung bei und können allen Dozierenden, Bildungsforschenden und Curriculumplanenden in Medizin und den Gesundheitsfachberufen in Deutschland zur Pflichtlektüre empfohlen werden. Competing interestsThe author declares that she has no competing interests. InteressenkonfliktDie Autorin erklärt, dass sie keine Interessenkonflikt im Zusammenhang mit diesem Artikel hat. Forman D Jones M Thistlethwaite J 2014 Leadership Development for Interprofessional Education and Collaborative Practice Forman D, Jones M, Thistlethwaite J. Leadership Development for Interprofessional Education and Collaborative Practice. Basingstoke: Palgrave; 2014. DOI: 10.1057/9781137363022 http://dx.doi.org/10.1057/9781137363022 Forman D Jones M Thistlethwaite J 2015 Leadership and Collaboration: Further Developments for Interprofessional Education Forman D, Jones M, Thistlethwaite J. Leadership and Collaboration: Further Developments for Interprofessional Education. Basingstoke: Palgrave; 2015. Forman D Jones M Thistlethwaite J 2016 Leading Research and Evaluation in Interprofessional Education and Collaborative Practice Forman D, Jones M, Thistlethwaite J. Leading Research and Evaluation in Interprofessional Education and Collaborative Practice. London: Palgrave Macmillan; 2016. (in press) Lurie SJ History and practice of competency-based assessment 2012 Med Educ 49-57 Lurie SJ. History and practice of competency-based assessment. Med Educ. 2012;46(1):49-57. DOI: 10.1111/j.1365-2923.2011.04142.x http://dx.doi.org/10.1111/j.1365-2923.2011.04142.x Thistlethwaite JE Forman D Matthews LR Rodgers GD Szeketee C Yassine T Interprofessional education competencies and frameworks in health: A comparative analysis 2014 Acad Med 869-874 Thistlethwaite JE, Forman D, Matthews LR, Rodgers GD, Szeketee C, Yassine T. Interprofessional education competencies and frameworks in health: A comparative analysis. Acad Med. 2014;89(6):869-874. DOI: 10.1097/ACM.0000000000000249 http://dx.doi.org/10.1097/ACM.0000000000000249 Bachmann C Kiessling C Härtl A Haak R A European consensus on inter- and multi- professional training objectives in a German translation 2016 GMS J Med Educ Doc23 Bachmann C, Kiessling C, Härtl A, Haak R. A European consensus on inter- and multi- professional training objectives in a German translation. GMS J Med Educ. 2016;33(2):Doc23. DOI: 10.3205/zma001022 http://dx.doi.org/10.3205/zma001022 Eich-Krohm A Kaufmann A Winkler-Stuck K Werwick K Spura A Robra BP First Contact: interprofessional education based on medical students' experiences from their nursing internship 2016 GMS J Med Educ Doc20 Eich-Krohm A, Kaufmann A, Winkler-Stuck K, Werwick K, Spura A, Robra BP. First Contact: interprofessional education based on medical students' experiences from their nursing internship. GMS J Med Educ. 2016;33(2):Doc20. DOI: 10.3205/zma001019 http://dx.doi.org/10.3205/zma001019 Bohrer A Heinze C Höppner H Behrend R Czakert J Hitzblech t Kaufmann I Maaz A Räbiger J Peters H Berlin in motion: interprofessional education and learning for students in the fields of medicine, occupational therapy, physiotherapy and nursing (INTER-M-E-P-P) 2016 GMS J Med Educ Doc34 Bohrer A, Heinze C, Höppner H, Behrend R, Czakert J, Hitzblech t, Kaufmann I, Maaz A, Räbiger J, Peters H. Berlin in motion: interprofessional education and learning for students in the fields of medicine, occupational therapy, physiotherapy and nursing (INTER-M-E-P-P). GMS J Med Educ. 2016;33(2):Doc34. DOI: 10.3205/zma001033 http://dx.doi.org/10.3205/zma001033 Nowak AC Klimke-Jung K Schäfer T Relf K Interprofessional relations in health care: a learning project with four learning units for students from six degree programs 2016 GMS J Med Educ Doc29 Nowak AC, Klimke-Jung K, Schäfer T, Relf K. Interprofessional relations in health care: a learning project with four learning units for students from six degree programs. GMS J Med Educ. 2016;33(2):Doc29. DOI: 10.3205/zma001028 http://dx.doi.org/10.3205/zma001028 Thistlethwaite J Moran M World Health Organization Study Group on Interprofessional Education and Collaborative Practice Learning outcomes for interprofessional education (IPE): literature review and synthesis 2010 J Interprof Care 503-513 Thistlethwaite J, Moran M; World Health Organization Study Group on Interprofessional Education and Collaborative Practice. Learning outcomes for interprofessional education (IPE): literature review and synthesis. J Interprof Care. 2010;24(5):503-513. DOI: 10.3109/13561820.2010.483366 http://dx.doi.org/10.3109/13561820.2010.483366 Biggs JB Tang C 2007 Teaching for quality learning at university: What the student does Biggs JB, Tang C. Teaching for quality learning at university: What the student does. 3rd ed. Maidenhead: McGraw-Hill/Society for Research in Higher Education and Open University Press; 2007. Barr H Freeth D Hammick M Koppel I Reeves S 2000 Evaluations for Interprofessional Education. A United Kingdom Review for Health and Social Care Barr H, Freeth D, Hammick M, Koppel I, Reeves S. Evaluations for Interprofessional Education. A United Kingdom Review for Health and Social Care. London: CAIPE/BERA; 2000. Institute of Medicine 2015 Measuring the Impact of Interprofessional Education (IPE) on Collaborative Practice and Patient Outcomes Institute of Medicine. Measuring the Impact of Interprofessional Education (IPE) on Collaborative Practice and Patient Outcomes. Washington, D.C.: Institute of Medicine; 2015. Thistlethwaite J Kumar K Moran M Saunders R Carr S An exploratory review of pre-qualification interprofessional education evaluations 2015 J Interprof Care 292-297 Thistlethwaite J, Kumar K, Moran M, Saunders R, Carr S. An exploratory review of pre-qualification interprofessional education evaluations. J Interprof Care. 2015;29(4):292-297. DOI: 10.3109/13561820.2014.985292 http://dx.doi.org/10.3109/13561820.2014.985292 Berger S Mahler C Krug B Szecsenyi J Schultz J Evaluation of interprofessional education: lessons learned through the development and implementation of an interprofessional seminar on team communication for undergraduate health care students in Heidelberg 2016 GMS J Med Educ Doc22 Berger S, Mahler C, Krug B, Szecsenyi J, Schultz J. Evaluation of interprofessional education: lessons learned through the development and implementation of an interprofessional seminar on team communication for undergraduate health care students in Heidelberg. GMS J Med Educ. 2016;33(2):Doc22. DOI: 10.3205/zma001021 http://dx.doi.org/10.3205/zma001021 Flentje M Müssel T Henzel B Jantzen JP Simulating a patient's fall as a method to improve routine communication 2016 GMS J Med Educ Doc19 Flentje M, Müssel T, Henzel B, Jantzen JP. Simulating a patient's fall as a method to improve routine communication. GMS J Med Educ. 2016;33(2):Doc19. DOI: 10.3205/zma101018 http://dx.doi.org/10.3205/zma101018 Partecke M Balzer C Finkenzeller I Reppenhagen C Hess U Hahnenkamp K Meissner K Interprofessional learning at the University of Greifswald Medical School: pedagogical approach and practical application of team training for medical and nursing students in the context of a medical emergency 2016 GMS J Med Educ Doc32 Partecke M, Balzer C, Finkenzeller I, Reppenhagen C, Hess U, Hahnenkamp K, Meissner K. Interprofessional learning at the University of Greifswald Medical School: pedagogical approach and practical application of team training for medical and nursing students in the context of a medical emergency. GMS J Med Educ. 2016;33(2):Doc32. DOI: 10.3205/zma001031 http://dx.doi.org/10.3205/zma001031 Mette M Dölken M Hinrichs J Narciss E Schüttpelz-Brauns K Weihrauch U Fritz HM Comprehension through cooperation: medical students and students of physiotherapy learn in teams –introducing interprofessional learning at the University Medical Centre Mannheim 2016 GMS J Med Educ Doc31 Mette M, Dölken M, Hinrichs J, Narciss E, Schüttpelz-Brauns K, Weihrauch U, Fritz HM. Comprehension through cooperation: medical students and students of physiotherapy learn in teams –introducing interprofessional learning at the University Medical Centre Mannheim. GMS J Med Educ. 2016;33(2):Doc31. DOI: 10.3205/zma001032 http://dx.doi.org/10.3205/zma001032 Sander O Schmidt RA Rehkämper G Lögters T Zilkens C Schneider M Interprofessional education as part of becoming a doctor or physiotherapist in a competency-based curriculum 2016 GMS J Med Educ Doc15 Sander O, Schmidt RA, Rehkämper G, Lögters T, Zilkens C, Schneider M. Interprofessional education as part of becoming a doctor or physiotherapist in a competency-based curriculum. GMS J Med Educ. 2016;33:Doc15. DOI: 10.3205/zma001014 http://dx.doi.org/10.3205/zma001014 Parsell G Bligh J The development of a questionnaire to assess the readiness of health care students for interprofessional learning (RIPLS) 1999 Med Educ 95-100 Parsell G, Bligh J. The development of a questionnaire to assess the readiness of health care students for interprofessional learning (RIPLS). Med Educ. 1999;33(2):95-100. DOI: 10.1046/j.1365-2923.1999.00298.x http://dx.doi.org/10.1046/j.1365-2923.1999.00298.x Luecht RM Madsen MK Taugher MP Petterson BJ Assessing professional perceptions: design and validation of an Interdisciplinary Education Perception Scale 1990 J Allied Health 181-191 Luecht RM, Madsen MK, Taugher MP, Petterson BJ. Assessing professional perceptions: design and validation of an Interdisciplinary Education Perception Scale. J Allied Health. 1990;19(2):181-191. Hean S Anderson E Green C John C Pitt R O'Halloran C Reviews of theoretical frameworks: Challenges and judging the quality of theory application 2015 Med Teach 1-8 Hean S, Anderson E, Green C, John C, Pitt R, O'Halloran C. Reviews of theoretical frameworks: Challenges and judging the quality of theory application. Med Teach. 2015:1-8 [Epub ahead of print]. DOI: 10.3109/0142159X.2015.1075648 http://dx.doi.org/10.3109/0142159X.2015.1075648 Thistlethwaite J GRIN Working Group Introducing the Global Research Interprofessional Network (GRIN) 2013 J Interprof Care 107-109 Thistlethwaite J; GRIN Working Group. Introducing the Global Research Interprofessional Network (GRIN). J Interprof Care. 2013;27(2):107-109. DOI: 10.3109/13561820.2012.718814 http://dx.doi.org/10.3109/13561820.2012.718814 Barr H Koppel I Reeves S Hammick M Freeth D 2005 Effective interprofessional education: assumption, argument and evidence Barr H, Koppel I, Reeves S, Hammick M, Freeth D. Effective interprofessional education: assumption, argument and evidence. London: Blackwell; 2005. DOI: 10.1002/9780470776445 http://dx.doi.org/10.1002/9780470776445 Thistlethwaite J Interprofessional education: a review of context, learning and the research agenda 2012 Med Educ 58-70 Thistlethwaite J. Interprofessional education: a review of context, learning and the research agenda. Med Educ. 2012;46(1):58-70. DOI: 10.1111/j.1365-2923.2011.04143.x http://dx.doi.org/10.1111/j.1365-2923.2011.04143.x Hean S Craddock D O'Halloran C Learning theories and interprofessional education: a user's guide 2009 Learn Health Soc Care 250-262 Hean S, Craddock D, O'Halloran C. Learning theories and interprofessional education: a user's guide. Learn Health Soc Care. 2009;8:250-262. DOI: 10.1111/j.1473-6861.2009.00227.x http://dx.doi.org/10.1111/j.1473-6861.2009.00227.x Posenau A Peters T Communicative positioning of one's own position in interprofessional settings 2016 GMS J Med Educ Doc27 Posenau A, Peters T. Communicative positioning of one's own position in interprofessional settings. GMS J Med Educ. 2016;33(2):Doc27. DOI: 10.3205/zma001026 http://dx.doi.org/10.3205/zma001026 Astbury B Leeuw F Unpacking black boxes: Mechanisms and theory building in evaluation 2010 Am J Eval 363–381 Astbury B, Leeuw F. Unpacking black boxes: Mechanisms and theory building in evaluation. Am J Eval. 2010;3:363–381. DOI: 10.1177/1098214010371972 http://dx.doi.org/10.1177/1098214010371972 Pawson R Tilley N 1997 Realistic evaluation Pawson R, Tilley N. Realistic evaluation. London: Sage; 1997. Maxwell JA 2012 A realist approach for qualitative research Maxwell JA. A realist approach for qualitative research. London: Sage; 2012. Pawson R Greenhalgh T Harvey G Walshe K Realist review – a new method of systematic review designed for complex policy interventions 2005 J Health Serv Res Policy 21-34 Pawson R, Greenhalgh T, Harvey G, Walshe K. Realist review – a new method of systematic review designed for complex policy interventions. J Health Serv Res Policy. 2005;10(Suppl 1):21-34. DOI: 10.1258/1355819054308530 http://dx.doi.org/10.1258/1355819054308530 Wong G Greenhalgh T Westhorp G Pawson R Realist methods in medical education research: what are they and what can they contribute? 2012 Med Educ 89-96 Wong G, Greenhalgh T, Westhorp G, Pawson R. Realist methods in medical education research: what are they and what can they contribute? Med Educ. 2012;46(1):89-96. DOI: 10.1111/j.1365-2923.2011.04045.x http://dx.doi.org/10.1111/j.1365-2923.2011.04045.x Elder-Vass D 2012 The reality of social construction Elder-Vass D. The reality of social construction. Cambridge: Cambridge University Press; 2012. DOI: 10.1017/CBO9781139169202 http://dx.doi.org/10.1017/CBO9781139169202 Thistlethwaite JE When I say … realism 2015 Med Educ 459-460 Thistlethwaite JE. When I say … realism. Med Educ. 2015;49(5):459-460. DOI: 10.1111/medu.12641 http://dx.doi.org/10.1111/medu.12641 Pawson R 2013 The science of evaluation Pawson R. The science of evaluation. London: Sage; 2013. 0 0 0 0