zma001061 10.3205/zma001061 urn:nbn:de:0183-zma0010614 article Artikel Die Zukunft praktischer Fertigkeiten im Medizinstudium – eine explorative Delphi-Studie Dannenberg Dannenberg Katja Anne KA

Charité – Universitätsmedizin Berlin, Lernzentrum (Skills Lab), Charitéplatz 1, D-10117 Berlin, Germany, Phone: +49 (0)30/450-576403, Fax: +49 (0)30/450-576922Charité – Universitätsmedizin Berlin, Lernzentrum (Skills Lab), Berlin, GermanyCharité – Universitätsmedizin Berlin, Department of Emergency Medicine at Campus Benjamin Franklin, Berlin, Germany

Charité – Universitätsmedizin Berlin, Lernzentrum der Charité, Charitéplatz 17, 10117 Berlin, Deutschland, Tel.: +49 (0)30/450-576403, Fax: +49 (0)30/450-576922Charité – Universitätsmedizin Berlin, Lernzentrum der Charité, Berlin, DeutschlandCharité – Universitätsmedizin Berlin, Interdisziplinäre Rettungsstelle Campus Benjamin Franklin, Berlin, Deutschland

katja-anne.dannenberg@charite.de author Stroben Stroben Fabian F

Charité – Universitätsmedizin Berlin, Lernzentrum (Skills Lab), Berlin, Germany

Charité – Universitätsmedizin Berlin, Lernzentrum der Charité, Berlin, Deutschland

fabian.stroben@charite.de author Schröder Schröder Therese T

Charité – Universitätsmedizin Berlin, Gynecology and Obstetrics Clinic, Berlin, Germany

Charité – Universitätsmedizin Berlin, Klinik für Gynäkologie und Geburtshilfe, Berlin, Deutschland

schroeder.therese@spital.net author Thomas Thomas Anke A

Charité – Universitätsmedizin Berlin, Gynecology and Obstetrics Clinic, Berlin, Germany

Charité – Universitätsmedizin Berlin, Klinik für Gynäkologie und Geburtshilfe, Berlin, Deutschland

anke.thomas@charite.de author Hautz Hautz Wolf E. WE

Inselspital Bern, University Emergency Center, Bern, Switzerland

Inselspital Bern, Universitäres Notfallzentrum, Bern, Schweiz

wolf.hautz@charite.de author German Medical Science GMS Publishing House

Düsseldorf

610 Skills practical skills clinical skills medical training consensus method Delphi survey learning goals outcomes competencies NKLM Fertigkeiten Praktische Fertigkeiten Klinische Fertigkeiten medizinische Ausbildung Konsenus-Methode Delphi-Befragung Lernziele Outcomes Kompetenzen NKLM Clinical skills Praktische Fertigkeiten 20150625 20160229 20160316 20160815 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 2366-5017 33 4 GMS Journal for Medical Education GMS J Med Educ Clinical skills 62 10.5061/dryad.q4sc8 Hintergrund: 64% der Berufsanfänger in Deutschland fühlen sich nicht ausreichend auf die praktischen Anforderungen des Arztberufes vorbereitet. Ziel „ergebnisorientierter Ausbildung“ ist es, medizinische Curricula von den am Ende des Studiums notwendigen Kompetenzen ausgehend zu strukturieren und so die Lücke zwischen nötigen und erworbenen Fähigkeiten der Absolventen zu reduzieren. Dazu dienen insbesondere Lernzielkataloge (outcome frameworks OF). Als Vorarbeit zur Entwicklung des Nationalen Kompetenzbasierten Lernzielkatalogs Medizin (NKLM) – des deutschen OF - wurde 2011 das „Konsensusstatement Praktische Fertigkeiten im Medizinstudium“ publiziert, welches Lehre und Erwerb praktischer Fertigkeiten in Deutschland strukturiert und größtenteils in das Kapitel „Klinisch-Praktische Fertigkeiten“ des NKLM einfloss. Von der Definition über die Implementation eines OF bis zum Abschluss der Studierenden vergeht oftmals jedoch wenigstens ein Jahrzehnt, was die Lücke zwischen nötigen und erworbenen Kompetenzen wieder vergrößern kann. Ziel dieser Arbeit ist es daher, Thesen zur zukünftigen Entwicklung des Gesundheitswesens zu generieren und auf ein bestehendes OF anzuwenden. Methodik: Mittels halbstrukturierter Experteninterviews wurden Thesen zur allgemeinen, zukünftigen Entwicklung im Gesundheitswesen generiert. Diese Thesen wurden durch ärztliche Experten auf die Wahrscheinlichkeit ihres Eintretens bis zum Jahr 2025 hin bewertet. Die 288 Lernziele des Konsensusstatements, wurden von derselben Expertenkohorte in einer 2-stufigen, explorativen Delphi-Befragung auf ihre mittelfristige Relevanz für die ärztliche Ausbildung hin bewertet. Ergebnisse: Es wurden 11 Thesen zur Entwicklung der Medizin generiert und von 738 Experten bewertet und diskutiert. Die Thesen umfassen die Zunahme altersassoziierter Erkrankungen, die zunehmende Bedeutung von interprofessioneller Zusammenarbeit sowie eine steigende Verbreitung von telemedizinischen Anwendungen. Angewendet auf die 288 Lernziele des Konsensusstatements wurden 231 dieser Ziele als relevant und 57 als irrelevant für die mittelfristige Zukunft bewertet.Diskussion: Die in dieser Studie generierten und durch zahlreiche Experten validierten Thesen zur Zukunft des Gesundheitswesens liefern Anhaltspunkte zur zukünftigen Entwicklung der Anforderungen an Absolventen der Medizin insgesamt. Exemplarisch angewandt auf das Konsensusstatement praktische Fertigkeiten als inhaltgebendes Kapitel „Klinisch-Praktische Fertigkeiten“ des NKLM validieren sie dessen zukünftige Relevanz in großen Teilen, während sie gleichzeitig Hinweise für dessen Weiterentwicklung geben. Background: 64% of young medical professionals in Germany do not feel adequately prepared for the practical requirements of the medical profession. The goal of “outcome-orientated training” is to structure medical curricula based on the skills needed when entering the workforce after completing undergraduate medical education, and thus to bridge the gap between the skills graduates have attained and those necessary for a career in the medical profession. Outcome frameworks (OFs) are used for this purpose. In preparation for developing the National Competence-Based Catalogue of Learning Objectives for Medicine (NKLM) – the German OF – the “Consensus Statement of Practical Skills in Undergraduate Medical Education” (which structures the teaching and acquisition of practical skills in Germany and which strongly influenced the “Clinical-Practical Skills” chapter of the NKLM) was published in 2011.It is not uncommon for at least a decade to elapse between the definition and implementation of an OF and the students’ graduation, which can further increase the gap between necessary and acquired skills. Thus, the purpose of this paper is to posit theses for future development in healthcare and to apply these theses to a current OF. Methodology: Partially structured interviews with experts were used to generate theses pertaining to general, future development in healthcare. These theses were assessed by physician experts based on the likelihood of implementation by the year 2025. The 288 learning goals of the consensus statement were assessed for their relevance for medical education in the interim. Results: 11 theses were generated for the development of medicine, and these theses were assessed and discussed by 738 experts. These theses include the increase in diseases associated with old age, the increasing significance of interprofessional cooperation, and the growing prevalence of telemedicine applications. Of the 288 learning goals of the consensus statement, 231 of the goals were assessed as relevant, and 57 were deemed irrelevant for the short-term future. Discussion: The theses on the future of healthcare, which were generated in this study and which were validated by numerous experts, provide indications of future developments of overall requirements for medical school graduates. For example, when applied to the content of the “Clinical-Practical Skills” NKLM chapter, they largely validate the future relevance of developing practical skills while also providing indications for their further development as applied to the consensus statement. IntroductionOn the one hand, the significance of obtaining practical skills during undergraduate medical studies has increased significantly in recent years , . On the other hand, 64.7% of young medical professionals in Germany state that they do not feel adequately prepared for the practical requirements of the medical profession , a figure which is startlingly high, even compared to international data , . Possible causes identified by the graduate survey in Cologne (Stosch C et al., unpublished) and a national survey (partially published in ), were both the narrow scope of practical training and the inadequate or lacking integration of this training in curricula and examinations. In order to bridge the gap between education and training, medical curricula are increasingly oriented toward national framework curricula, known as “outcome frameworks” (OF) , , which – generally speaking – describe the skills and knowledge which should be obtained during a training period in a competence-oriented fashion. Various outcome definitions exist internationally , , . The Tuning Project in Europe is an attempt to synchronize the many national OFs currently in existence. The German “National Competence-Based Catalogue of Learning Objectives for Medicine” (NKLM) was developed by the medical faculty association in cooperation with the Society for Medical Education (GMA) and was initially published in June of 2015 after a six-year period of development . In preparation for developing the NKLM, the “Consensus Statement of Practical Skills in Undergraduate Medical Education” was developed by the committee for practical skills of the GMA in 2011 . This consensus statement “can and should have a formative effect on faculties to adjust their curricula in accordance with guidelines” and strongly influenced the “Clinical-Practical Skills” chapter of the NKLM. The recommendations of the consensus statement have been implemented and validated within at least one faculty department . In addition, the statement serves to assist the simulator network – a merger of the DACH region Skillslabs – to structure its simulator database .There are, however, notable differences in content and structure between different OFs , , which raises the question of which OF should reasonably be referenced for teaching proficiency. In addition, developing medical curricula is generally a lengthy process: the six stages of the Kern cycle as a widely taught model of curriculum development , for example, require a considerable period of time between the initial definition of requirements, implementation, evaluation, and adaptation. Furthermore, an average of 6.4 years elapse between beginning undergraduate medical education and beginning to practice medicine . This contrasts starkly with rapid developments in medicine and the use of new technologies which have become ubiquitous. Consequently, there is a risk that the contents of curricula developed based on current OFs are no longer up-to-date when the medical professionals educated accordingly enter the medical profession.1. Object of the StudyThe object of this study is to examine the “Consensus Statement of Practical Skills in Undergraduate Medical Education,” and thus an important part of the NKLM, for medium-term sustainability. The results should, on the one hand, serve to provide details for the further development of the NKLM; and on the other hand, help enhance the future stability of OF and curricula by means of overarching trends in healthcare which must yet be identified. The applied explorative Delphi method, as well as its results, can also serve to further develop local and national curricula.2. The explorative Delphi methodOriginally developed in the 1950s as a technique for exploring technical developments in a military context , this method had been continually developed in the intervening decades and is now considered an established method for analyzing uncertain developments and identifying strategic treatment options , , . In principle, the Delphi method serves to collect group opinions and to focus group communications , as well as to qualitatively and quantitatively assess uncertain facts . Although widely varied definitions of the Delphi method exist , certain common basic principles can be identified: anonymity of experts, multiple repetitions of the survey, statistical summary of group opinion, and controlled feedback . The use of the Delphi method has been tested in various contexts, though here it is predominantly of interest to sufficiently documented applications in medical education research, such as for developing guidelines , , , . EinleitungDie Bedeutung des Erwerbs praktischer Fertigkeiten während des Medizinstudiums hat einerseits in den letzten Jahren stark zugenommen , , andererseits geben 64,7% der Berufsanfänger in Deutschland an, sich durch das Medizinstudium nicht ausreichend auf die praktischen Anforderungen des Arztberufs vorbereitet zu fühlen , ein auch im internationalen Vergleich erschreckend hoher Wert , . Als mögliche Ursachen in Deutschland identifizierten eine Absolventenbefragung aus Köln (Stosch C et al., unveröffentlich) und eine nationale Befragung (teilweise publiziert in ) neben dem geringen Umfang von Fertigkeitentrainings, auch deren unzureichende bis fehlende Integration in Curricula und Prüfungen. Um die Lücke zwischen Studium und Weiterbildung zu verringern, orientieren sich medizinische Curricula immer stärker an nationalen Rahmenlehrplänen, sogenannten „outcome frameworks“ (OF) , , die die während eines Ausbildungsabschnitts zu erwerbenden Fähigkeiten und Kenntnisse – in der Regel – kompetenzorientiert beschreiben. International gibt es verschiedene Outcomedefinitionen , , . In Europa ist das Tuning-Projekt ein Versuch, die vielen national existierenden OF miteinander abzugleichen. Das deutsche Framework, der „Nationale Kompetenzbasierte Lernzielkatalog Medizin (NKLM)“, wurde vom Medizinischen Fakultätentag in Zusammenarbeit mit der Gesellschaft für Medizinische Ausbildung (GMA) entwickelt und im Juni 2015 nach einer sechsjährigen Entwicklungsphase erstmalig publiziert . Als Vorarbeit zur Entwicklung des NKLM wurde 2011 das „Konsensusstatement Praktische Fertigkeiten im Medizinstudium“ im Ausschuss für Praktische Fertigkeiten der GMA erarbeitet . Dieses Konsensusstatement „kann und soll einen formativen Effekt auf die Fakultäten haben, ihre praktischen Unterrichtsinhalte entsprechend der Leitlinie auszurichten“ und floss größtenteils als Kapitel „Klinisch-Praktische Fertigkeiten“ in den NKLM ein. Die Empfehlungen des Konsensusstatements wurden bisher an wenigstens einer Fakultät implementiert und validiert . Darüber hinaus dient das Statement dem Simulatoren-Netzwerk – einem Zusammenschluss der Skillslabs der DACH-Region – zur Gliederung seiner Simulatoren-Datenbank .Allerdings bestehen zwischen verschiedenen OF erhebliche Unterschiede sowohl in inhaltlicher als auch in struktureller Hinsicht , , was die Frage aufwirft, an welchem der OF man sich beispielsweise in der Vermittlung praktischer Fertigkeiten sinnvollerweise orientiert. Zudem ist die Entwicklung medizinischer Curricula meist ein langwieriger Prozess: die sechs Schritte des Kern-Zyklus als ein weit verbreitetes Modell der Curriculumsentwicklung beispielsweise nehmen erheblich Zeit von einer ersten Bedarfsdefinition bis zur Implementierung, Evaluation und Anpassung in Anspruch. Zudem beträgt die Dauer von Studienbeginn bis zum praktisch tätigen Arzt im Schnitt etwa 6,4 Jahre . Dem gegenüber stehen rasante Entwicklungen in der Medizin und den mittlerweile ubiquitär eingesetzten Technologien. Folglich besteht die Gefahr, dass die Inhalte eines heute auf Grundlage aktueller OFs entwickelten Curriculums nicht mehr aktuell sind, wenn die daraus hervorgehenden Ärzte in den Beruf starten.1. ZielstellungZiel dieser Studie ist es, das „Konsensusstatement Praktische Fertigkeiten im Medizinstudium“ und damit einen wichtigen Teil des NKLM beispielhaft auf seine mittelfristige Zukunftsfähigkeit zu prüfen. Die Ergebnisse sollen einerseits im Detail der Weiterentwicklung des NKLM dienen und andererseits durch zu identifizierende, übergreifende Trends im Gesundheitswesen, über praktische Fertigkeiten hinaus Anhaltspunkte für die Zukunftsfestigkeit von OF und Curricula entwickeln. Die angewandte explorative Delphi-Methode und deren Ergebnisse können zudem der lokalen wie nationalen Weiterentwicklung von Lehrplänen dienen.2. Die explorative Delphi-MethodeUrsprünglich in den 1950er Jahren als Technik zur Exploration technischer Entwicklungen im militärischen Kontext konzipiert , wird die Methode seither stetig modifiziert und weiterentwickelt und gilt heute als etabliertes Verfahren zur Analyse unsicherer Entwicklungen und Identifizierung strategischer Handlungsoptionen , , . Grundsätzlich dient die Delphi-Methode sowohl der Erfassung von Gruppenmeinungen bzw. der gezielten Steuerung von Gruppenkommunikationen als auch zur qualitativen und quantitativen Bewertung unsicherer Sachverhalte . Obwohl unterschiedlichste Definitionen der Delphi-Methode existieren lassen sich gemeinsame Grundprinzipien identifizieren: Anonymität der Experten, mehrfache Wiederholung der Befragung, statistische Zusammenfassung der Gruppenmeinungen und kontrolliertes Feedback . Die Verwendung der Delphi-Methode ist in diversen Kontexten erprobt, hier ist jedoch vor allem der hinlänglich dokumentierte Einsatz in der medizinischen Ausbildungsforschung von Interesse, so beispielsweise zur Entwicklung von Leitlinien , , , . MethodsThe project was structured into preparatory and working phases. During preparations, literary research followed by partially structured stakeholder interviews was used to develop theses about developments in healthcare. These theses were then assessed by means of an expert survey. In addition, the same expert cohort assessed the 288 learning goals of the “Consensus Statement of Practical Skills in Undergraduate Medical Education” within the framework of a 2-level, explorative Delphi survey. The course of the study is depicted in Figure 1 .1. Preparatory Phase: Theses on healthcare developmentGuidelines for partially structured interview with various healthcare practitioners were developed by means of selective literature research. The topics discussed in the interview included the following:The future development of healthcarePotential changes to care and to the disease spectrumChanges in medical technology and telemedicineInterdisciplinarity and cooperation with other occupational groupsFuture changes to undergraduate medical educationMedical occupations in Germany and abroadMedical skills needed in the futureDuring the preparatory phase, 9 interviews were conducted with experts in the fields of public health, medical technology and pedagogy, clinical and outpatient, practical skills, and students of human medicine (cf. Table 1 for details). Interview partners were chosen by means of a “purposive sampling strategy” with the goal of obtaining as broad a spectrum of perspectives on these topics as possible. All interviewed experts were prepared for the interview. Interviews lasted an average of 22 minutes. The interviewees’ answers were then grouped by topic using a qualitative text analysis and summarized as theses by means of inductive categorization per Mayring by an interdisciplinary research group comprised of two students of futures studies, including one nurse and one student of human medicine with paramedic training, one practicing physician, and one computer scientist. The goal of the Mayring analysis is to systematically process the written communications at hand, and to identify similarities and differences . The principles of categorization were a) category selectivity, and b) a high level of abstraction of the same. 2. Working Phase: Expert interviews on future theses generated, and on consensus statement learning goalsAfter generating theses, their probability of occurrence was assessed within the framework of an expert interview. The individual learning goals of the “Practical Skills in Undergraduate Medical Education” consensus statement were then assessed by the same experts within the framework of a two-level Delphi study. Physicians in all German medical university hospitals whose email addresses were available on the internet, as well as established physicians, were contacted via email to request their participation in the study. In addition to these 8,000 physicians contacted, others were approached at conferences (e.g., the Skills-Lab Symposium 2012) to request their participation in the study.Each participant then assessed the probability of occurrence of these theses on the future of medical care (generated during the preparatory phase) using a 4-level Likert scale (1 – very likely to 4 – very unlikely). Afterward, each participant was then assigned randomly to a group of ten in order to assess the future relevance of the consensus statement learning goals. This statement defines 288 learning goals assigned to one of 16 organ systems. There is a statement for three different training stages (“clinical traineeship, practical year, advanced training”) based on a three-tiered scale for each learning goal, to what extent this should be mastered (“seen demonstrated, performed under supervision, performed repeatedly”), and the survey further distinguishes between core and elective goals . Each group was asked to assess a portion of the consensus statement learning goals (ca. 30/group) vis-à-vis their relevance for general medical training up to completing undergraduate medical education in the year 2025 using a 4-level Likert scale (1 – highly relevant to 4 – not at all relevant). The learning goal assessments were depicted based on the degree of mastery required by the advanced training stage, as stipulated in the consensus statement.After round 1 assessments and individual review of the results by the research group, the round 2 learning goals to be assessed were determined by consensus. Selection criteria included a wide distribution of assessment and the estimated significance of each learning goal as assessed in round 1. The learning goals were then re-evaluated by physicians participating in round 2, who were provided with the result of round 1 evaluations. Registered participants were assigned randomly to two groups for this purpose. Each group re-evaluated circa 50 learning goals.3. Data evaluationThe online interview was conducted using LimeSurvey (http://www.limesurvey.org). Data evaluation was conducted with Microsoft Excel (Microsoft Corporation, Redmond, WA, USA) and IBM SPSS Statistics 21.0 (SPSS Inc., Chicago, IL, USA). MethodenDas Projekt wurde in eine Vorbereitungs- und Arbeitsphase gegliedert. Während der Vorbereitung wurden durch eine Literaturrecherche, gefolgt von halbstrukturierten Stakeholder-Interviews, Thesen zu zukünftigen Entwicklungen im Gesundheitswesen generiert, die in der Arbeitsphase mittels einer Experten-Befragung bewertet wurden. Dieselbe Expertenkohorte bewertete zudem die 288 Lernziele des „Konsensusstatements Praktische Fertigkeiten im Medizinstudium“ im Rahmen einer 2-stufigen, explorativen Delphi-Befragung. Der Ablauf der Studie ist in Abbildung 1 dargestellt.1. Vorbereitungsphase: Thesen zur Entwicklung des GesundheitswesensDurch eine selektive Literaturrecherche wurden Interviewleitfäden für teilstrukturierte Interviews mit verschiedenen Akteuren des Gesundheitswesens erstellt. Die in den Interviews angesprochenen Themen umfassten:Die zukünftige Entwicklung des Gesundheitswesens Potentielle Veränderungen der Versorgung und des Krankheitsspektrums Veränderungen in der Medizintechnik und Telemedizin Interdisziplinarität und Zusammenarbeit mit anderen BerufsgruppenZukünftige Veränderungen im Medizinstudium Ärztliche Tätigkeit in Deutschland und im AuslandZukünftig benötigte praktische ärztliche FertigkeitenIn der Vorbereitungsphase wurden 9 Interviews mit Experten aus den Bereichen Public Health, Medizintechnik und -didaktik, klinischer und ambulanter, praktischer Tätigkeit und Humanmedizinstudierenden geführt (Details siehe Tabelle 1 ). Die Auswahl der Interviewpartner erfolgte mittels „purposive sampling strategy“ und hatte zum Ziel ein möglichst breites Spektrum an Perspektiven auf diese Themen zu erhalten. Alle angefragten Experten stellten sich für ein Interview bereit. Die Interviews dauerten im Mittel 22 Minuten. Die Antworten der Befragten wurden anschließend durch eine interdisziplinäre Forschergruppe, bestehend aus zwei Studierenden der Zukunftsforschung, davon eine Krankenschwester, einer Humanmedizinstudierenden mit Vorausbildung als Rettungsassistentin, einem klinisch tätigen Arzt und einem Informatiker, per qualitativer Textanalyse thematisch gruppiert und mittels induktiver Kategorisierung nach Mayring zu Thesen zusammengefasst. Ziel der Analyse nach Mayring ist eine systematische Bearbeitung von schriftlich vorliegender Kommunikation und Identifikation von Gemeinsamkeiten und Unterschieden . Prinzipien der Kategorisierung waren a) Trennschärfe der Kategorien und b) ein hohes Abstraktionsniveau dieser. 2. Arbeitsphase: Expertenbefragung zu den generierten Zukunftsthesen und den Lernzielen des KonsenusstatementsNach Erzeugung der Thesen wurde deren Eintrittswahrscheinlichkeit im Rahmen einer Experten-Befragung bewertet. Die einzelnen Lernziele des Konsensusstatements „Praktische Fertigkeiten im Medizinstudium“ wurden von denselben Experten im Rahmen einer zweistufigen Delphi-Befragung bewertet. Als Teilnehmer wurden die Ärzte aller deutschen medizinischen Universitätskliniken, soweit deren E-Mail-Adressen im Internet verfügbar waren, sowie niedergelassene Ärzte durch manuelle Recherche per E-Mail angeschrieben. Neben diesen ca. 8000 Angeschriebenen wurde auf Kongressen (z.B. dem Skills-Lab Symposium 2012) um Teilnahme an der Umfrage geworben.Jeder Teilnehmer bewertete zunächst die Eintrittswahrscheinlichkeit der in der Vorbereitungsphase generierten Thesen zur Zukunft der ärztlichen Tätigkeit auf einer 4-stufigen Likert-Skala (1 – sehr wahrscheinlich bis 4 – sehr unwahrscheinlich). Im Anschluss wurde jeder Teilnehmer zufällig einer von zehn Gruppen zugeordnet, um die zukünftige Relevanz der Lernziele des Konsensusstatements einzuschätzen. In diesem Statement sind 288 Lernziele definiert, die einem von 16 Organsystemen zugeordnet sind. Das Statement gibt für drei Ausbildungsabschnitte („Famulaturreife, PJ-Reife, Weiterbildungsreife“) anhand einer dreistufigen Skala für jedes Lernziel an, in welcher Tiefe („demonstriert bekommen haben, unter Aufsicht durchgeführt haben, routiniert handwerklich können“) dieses beherrscht werden soll und unterscheidet weiter zwischen Kern- und Wahlzielen . Jede Gruppe wurde gebeten, für einen Teil der Lernziele des Konsensusstatements (ca. 30/Gruppe) deren Relevanz für die allgemeine ärztliche Ausbildung bis zum Abschluss des Hochschulstudiums im Jahr 2025 auf einer 4-stufigen Likert-Skala (1 – hohe Relevanz bis 4 – gar keine Relevanz) einzuschätzen. Die Einschätzung der Lernziele wurde anhand der im Statement geforderten Tiefendimension zum Zeitpunkt der Weiterbildungsreife dargestellt. Nach Auswertung der ersten Runde und individuellem Review der Ergebnisse durch die Forschungsgruppe wurden im Konsensprinzip die zu bewertenden Lernziele der zweiten Runde festgelegt. Auswahlkriterien waren eine breite Streuung der Bewertung und die in der ersten Runde eingeschätzte Bedeutung jedes Lernziels. Die Lernziele wurden im Anschluss unter den teilnehmenden Ärzten der zweiten Runde mit Angabe der Erstrunden-Bewertung reevaluiert. Zu diesem Zweck wurden die registrierten Teilnehmer in zwei Gruppen randomisiert. Jede Gruppe bewertete ca. 50 Lernziele erneut.3. DatenauswertungDie Online-Befragung wurde mittels LimeSurvey (http://www.limesurvey.org) durchgeführt. Die Datenauswertung erfolgte mit Microsoft Excel (Microsoft Corporation, Redmond, WA, USA) und IBM SPSS Statistics 21.0 (SPSS Inc., Chicago, IL, USA). Results1. Participants738 experts registered online for round 1 of the study, and 594 complete data sets (19.5% dropout rate) were usable. 314 experts were registered for round 2, and 188 complete data sets (40.1% dropout rate) were usable. Since the learning goals were assessed within the context of the organ system assigned to them, we only took complete data sets into consideration. Participants were only asked to assess theses about the future during round 1. Partially-completed questionnaires were taken into consideration here, as the theses about the future can logically be interpreted on an individual basis. For this purpose, 651 expert opinions (11.8% dropout rate) were available.A large portion of experts in round 1 had more than one year of work experience (96.0%), and 137 experts had been practicing for more than 15 years. The overwhelming majority of physicians worked on an inpatient basis in maximum-care hospitals (87.9%). Study participants represented a total of 26 disciplines. The number of experts in round 2 was smaller, though the characteristics of their working environments were similar. In comparison to German Medical Association (BÄK) statistics from 2014, the proportion of inpatient physicians is large (88.6% in round 1 and 79.3% in round 2, compared to 51.0% by BÄK figures), and the exact distribution of specialties also differed somewhat. Overall, 57.8% (round 1) and 53.7% (round 2) of experts work in disciplines such as surgery, internal medicine, or anesthesia, in addition to general medicine. This is consistent with BÄK data, which lists this figure at 48.8% [http://www.bundesaerztekammer.de/fileadmin/user_upload/downloads/pdf-Ordner/Statistik2014/Stat14AbbTab.pdf]. An exact analysis of the participant cohort in comparison to BÄK figures from 2014 is depicted in Table 2 . 2. Theses on the future of healthcareA total of 11 theses on the future of health care were derived from the partially structured interviews (cf. Table 3 ). The theses on the future of healthcare trends generated in the preparatory phase are listed below. It was assumed that these theses were listed in accordance with expert assessment (cf. Table 3 and Figure 2 ): Aspects of managing dementia are becoming significantly more important in physician communication. Increasingly balanced patient-physician relationships are emphasizing non-authoritarian forms of discussion and reasoning. Increasing mechanization also poses a barrier to entry in the medical field: the relevance of purely manual skills is decreasing, yet IT technologies still cannot determine medical history or diagnoses, requiring the skills of doctors. Diagnostics and patient monitoring will lead to less physical contact, and patients prefer internet and smartphones for this purpose.The physician remains the personal point of contact in established practice concepts. Duties once performed purely by physicians are, however, increasingly being delegated or substituted. Mobile treatment concepts of primary care are not catching on.Business economic considerations are slowly moving into focus: while business economic and organizational aspects are included in training, patients’ financial concerns also play a role in the type of care and treatment. 3. Assessment of learning goals288 learning goals were assessed by experts in the 2 rounds of the study. The average of all expert assessments was used to determine whether a learning goals was deemed relevant or irrelevant. In round 1 of the Delphi study, 240 learning goals were assessed as relevant or highly relevant (average<2.5) and 57 were assessed as somewhat relevant or irrelevant (average>2.5), while 1 learning goal was assessed as neither (average=2.5).After reviewing the results of round 1, 103 learning goals were selected for assessment in round 2 based on the distribution of round 1 results; of these, 71 were assessed as relevant, 31 were assessed as irrelevant, and 1 was assessed as neutral in round 1. In round 2, experts assessed 62 learning goals as relevant and 41 as irrelevant. In comparing the two rounds, 13 learning goals (12.6%) were rated less relevant and 4 (3.9%) were rated as more relevant in round 2. A total of 231 learning goals were considered relevant and 57 learning goals were considered irrelevant. Figure 1 depicts an overview of these results.A more extensive review based on organ systems revealed that a large portion of learning goals for the sensory organ system (65.0%) were assessed as irrelevant for the future. Likewise, the future relevance of numerous learning goals associated with the skin, urogenital, and GI tract organs (≥30.0% each) was called into question. 31 of the 55 (56.4%) elective learning goals were assessed as irrelevant for the future – on the other hand, more than half (54.4%) of non-relevant learning goals are elective. Only 8% of the learning goals and skills which should be mastered upon completing advanced training were assessed as irrelevant for the future, yet 42% of skills were assessed at the lowest level of skill (“seen demonstrated”). The exact results are depicted in Table 4 . The online appendix of this study shows an overview of all consensus statement learning goals and their assessments in the two rounds of the Delphi study. Ergebnisse1. TeilnehmerÜber die Website registrierten sich 738 Experten für die erste Befragungsrunde, zur Auswertung der Lernziele konnten 594 vollständige Datensätze (19,5% Dropout) verwendet werden. In der zweiten Runde wurden 314 Experten registriert, 188 vollständige Datensätze (40,1% Dropout) konnten verwendet werden. Da die Lernziele im Kontext der ihnen zugeordneten Organsysteme bewertet wurden, haben wir hier nur vollständige Datensätze berücksichtigt. Die Bewertung der Zukunftsthesen wurde nur im Rahmen der ersten Runde erfragt. Zur Auswertung wurden auch teilausgefüllte Fragebögen berücksichtigt, da die Zukunftsthesen einzeln sinnvoll betrachtet werden können. Dazu lagen 651 Expertenmeinungen (11,8% Dropout) vor.Ein Großteil der Experten der ersten Runde hatte mehr als ein Jahr Berufserfahrung (96,0%), 137 Experten arbeiteten bereits über 15 Jahre. Der überwiegende Teil der Ärzte arbeitete in der stationären Versorgung eines Maximalversorgers (87,9%). Insgesamt waren 26 Disziplinen vertreten. In der zweiten Runde wurde die Anzahl der Experten geringer, der Charakter des Arbeitsumfelds blieb aber ähnlich. Im Vergleich mit der Statistik der Bundeärztekammer (BÄK) von 2014 ist der Anteil an Ärzten im stationären Bereich größer (88,6% (1. Runde) bzw. 79,3% (2. Runde) zu 51,0% (BÄK)), auch differiert die genaue Verteilung der Fachärzte. Kumuliert arbeiten jedoch 57,8% (1. Runde) bzw. 53,7% (2. Runde) der Experten in den neben der Allgemeinmedizin größten Disziplinen Chirurgie, Innere Medizin oder Anästhesie. Dies ist mit den Daten der BÄK-Statistik vereinbar, dort sind es 48,8% [http://www.bundesaerztekammer.de/fileadmin/user_upload/downloads/pdf-Ordner/Statistik2014/Stat14AbbTab.pdf]. Die genaue Analyse der Teilnehmer-Kohorte mit ihrem Vergleich zur BÄK-Statistik von 2014 ist in der Tabelle 2 dargestellt. 2. Thesen zur Zukunft des GesundheitswesensAus den teilstrukturierten Interviews wurden insgesamt 11 Thesen zur Zukunft des Gesundheitswesens abgeleitet (siehe Tabelle 3 ). Im Folgenden sind die in der Vorbereitungsphase generierten Zukunftsthesen zu möglichen zukünftigen Trends zusammen gestellt worden. Dabei wurde angenommen, dass die Thesen entsprechend der Bewertung der Experten (siehe Tabelle 3 und Abbildung 2 ) eintreten: In der ärztlichen Kommunikation werden Aspekte des Umgangs mit Demenz deutlich wichtiger. Durch eine höhere Beziehungssymmetrie zwischen Arzt und Patient rücken nicht-autoritäre Gesprächsformen und Argumentation in den Fokus. Eine zunehmende Technisierung hält Einzug in den medizinischen Beruf: Die Relevanz rein manueller Fertigkeiten nimmt ab, IT-Technologien sorgen jedoch nicht für eine Einsparung von Ärzten in Hinblick auf Anamnese & Diagnosefindung. Diagnostik und Überwachung werden zu weniger physischem Kontakt führen, bei den Patienten sind stattdessen Internet und Smartphones zu diesem Zweck akzeptiert. Der Arzt bleibt immer noch persönlicher Ansprechpartner im niedergelassenen Praxiskonzept. Vormals rein ärztliche Tätigkeiten werden aber zunehmend delegiert oder substituiert. Mobile Versorgungskonzepte der Grundversorgung setzen sich nicht durch.Betriebswirtschaftliche Aspekte rücken zudem langsam in den Fokus: In der Ausbildung werden betriebswirtschaftliche und organisatorische Aspekte aufgenommen, finanzielle Aspekte spielen umgekehrt auch bei Patienten eine Rolle in der Art der Versorgung und Behandlung. 3. Auswertung der LernzieleIn 2 Befragungsrunden wurden 288 Lernziele durch Experten bewertet. Die Entscheidung, ob ein Lernziel als relevant oder irrelevant gewertet wird, wird durch den Mittelwert aller Expertenantworten definiert. In der ersten Delphi-Runde wurden 240 Lernziele als relevant oder sehr relevant (Mean<2,5) und 47 als eher nicht oder nicht relevant (Mean>2,5) betrachtet, ein Lernziel verblieb ohne Tendenz (Mean=2,5). Nach Durchsicht der Erstrundenergebnisse wurden 103 Lernziele zur Zweitrundenbewertung anhand der Streuung ihrer Bewertung ausgewählt, davon waren 71 in der ersten Runde als relevant, 31 als irrelevant und eines ohne Tendenz eingeschätzt worden. In der zweiten Runde wurden durch die Experten 62 Lernziele als relevant und 41 als irrelevant bewertet. Im Vergleich der Runden wurden 13 (12,6%) Lernziele in ihrer Relevanz ab- und 4 (3,9%) aufgewertet. Insgesamt wurden also 231 Lernziele als relevant und 57 Lernziele als irrelevant betrachtet. Abbildung 1 gibt einen Überblick über die Ergebnisse.Bei einer weitergehenden Betrachtung nach Organsystem fiel auf, dass ein hoher Anteil der Lernziele des Organsystems Sinnesorgane als nicht zukunftsrelevant (65,0%) eingestuft wurde. Ebenso wurde die zukünftige Relevanz zahlreicher Lernziele der Organsysteme Haut, Harn-/Geschlechtsorgane und GI-Trakt (je≥30,0%) hinterfragt. 31 der 55 (56,4%) Wahllernziele sind als nicht zukunftsrelevant eingeschätzt worden, umgekehrt sind mehr als die Hälfte (54,4%) der nicht relevanten Lernziele Wahllernziele. Unter den Lernzielen bzw. Fertigkeiten, die zum Zeitpunkt der Weiterbildungsreife routiniert beherrscht werden sollen, wurden nur 8% als zukünftig nicht relevant betrachtet, bei den Fertigkeiten der geringsten Tiefendimension (demonstriert bekommen) sind es hingegen 42%. Die genauen Ergebnisse sind in Tabelle 4 dargestellt. Im Online Appendix dieser Studie ist eine Übersicht aller Lernziele des Konsensusstatements mit ihrer Bewertung in den zwei Runden der Delphi-Studie hinterlegt. DiscussionThis paper attempts, on the one hand, to anticipate future global requirements for medical school graduates; and on the other, to concretely examine the future relevance of practical medical skills as an example of a limited scope of competency in undergraduate medical studies. For the latter, the learning goals of the consensus statement of practical skills in undergraduate medical studies was assessed by means of an explorative Delphi study as preliminary work to the NKLM “clinical-practical skills” chapter.The panel of experts in the Delphi study possesses many years of work experience and represents nearly all medical specialties. The majority of experts work in maximum-care hospitals, including university hospitals in which undergraduate training is primarily conducted in Germany. Though the experts’ more intensive knowledge has influenced the contents and requirements of the study, outpatient physicians (who are needed primarily for contributing opinions on these theses about the future of medical care) are underrepresented. We can only speculate on the reasons for which so few outpatient physicians participated in the study. At the beginning of this paper, 11 theses for relevant topics for future medical education were identified. We deliberately chose not to provide an OF as a basis for the interviews, as national OFs differ substantially in structure as well as content . An American group has already published a similar approach which did not, however, take any further validation steps for its theses in comparison to our study. Below, we will discuss a few theses of this study in the context of their assessment by participating experts and derive implications for medical education: The current demographic shift has caused an increase in diseases associated with advanced age, such as mild cognitive impairment and dementia , . The learning goals catalog lists two learning goals which could be attributed to dementia illnesses. Determining the medical history of elderly patients and performing simple test procedures such as geriatric assessments or falling risk tests were both assessed as relevant for the future. However, emphasizing geriatric test procedures was listed in the catalog as an elective goal, though it should be a core learning goals according to the experts in this study. The state of medical care, especially in rural areas with their own specific requirements , is in need of improvement . Experience obtained in these places during voluntary training during undergraduate medical studies seemed to have a positive effect on students’ learning and career choices and could improve primary care. The mandatory primary care physician clinical traineeship was recently introduced, and a GMA position paper emphasizes the significance of primary care during undergraduate medical studies . In addition to these structural changes, working on an (interprofessional) team and using telemedicine or E-health applications will become more important in the future: delegating work to non-medical personnel increases the effectiveness of primary care , . At the same time, learning goals which do not apply solely to physicians, such as applying plaster casts or demonstrating functional taping, have also been assessed as relevant for the future. Beginning to promote interprofessional cooperation during undergraduate medical studies, such as combined courses with trainees or students of other medical care professions, could be one method of implementing the interpersonal aspect of care more intensively during medical education.In addition, electronic support system (health information technology) resources that are currently available could be used more effectively , . Some positive effects of this technology, such as increased activity for COPD patients or improved control of chronic asthma symptoms , have already been demonstrated. Integrating this growing field into training and education seems crucial, and could take place by means of telemedicine modules . A dedicated learning goals catalog for e-health and telemedicine has already been published and can be consulted for future developments .In consideration of this knowledge and the high relevance of soft skills and communication ability in this Delphi study, telephone- or internet-based physician-patient interaction could also grow more significant . In order to do this field justice, training for communication skills (e.g., via telephone) should be intensified , as has been implemented in individual cases , . Older patients in Germany see telemedicine methods more critically, however, and miss personal contact with and direct feedback from their physician .Prioritization of core and elective learning goals in the OF original publication (which were, in part, determined by means of the Delphi methodology and our results) mutually validate each other. More than 90% of the consensus statement learning goals assessed as needing to be mastered and nearly all border area learning goals were assessed by our participants as especially relevant for the future of the medical profession. On the other hand, more than 50% of skills listed in the consensus statement as elective were also assessed as less relevant by our study.The experts assessed practical learning goals overwhelmingly as relevant for the future, primarily in the large categories of communication skills, soft skills, interinstitutional skills, cardiovascular, and emergency, but also in narrower disciplines such as mental health and the endocrine system. The portion of learning goals not relevant for the future is largest for the sensory organs and for the urogenital and GI tract systems. This could be related to the choice of experts, but could also be due to the fact that the learning goals were phrased in a very specific manner, and thus there are a great many of them. In other catalog categories, more learning goals tended to be summarized as one, which made it difficult for experts to provide a differentiated assessment. In addition, it cannot be determined whether rejection of a learning goal was due to a general lack of future relevance, or because experts considered the learning goal relevant for the future, but believed that the learning goal should be a part of specialty training rather than general medical training.In a further step, the detailed results of this study (cf. online appendix) could be used, just like other validation studies , to re-assess the individual learning goals of the consensus statement and the NKLM, which would contribute to a review of the consensus statement and the NKLM.Preparing future physicians to practice medicine should be done, in parallel, on as many levels as possible. Numerous OFs, unlike this study, currently name the “self-directed learning” method resulting from “self-assessment” as a significant method of improving the results of undergraduate medical studies . At the same time, there are significant doubts as to the accuracy of self-assessments , , . Thus, “lifelong learning” based on self-assessment cannot be the only methods of anticipating and addressing future developments.This should be done at the level of the OF. In addition to instructions on effective, self-directed, and lifelong learning, optimizing current OFs could make significant contributions. Anticipating future developments in conjunction with current research results could, on the one hand, provide important incentives for new content, and on the other hand, explorative Delphi studies could examine current learning goals and OFs with respect to their sustainability and possibly identify deficiencies. In concrete terms, the results of the Delphi study could serve to justify specific revisions to and implementation of the NKLM in different departments. Broad trend-setting decisions on possible future trends in undergraduate medical education can be derived from the assessment of these theses on the future. 1. LimitationsCognitive bias must be accepted as a significant limitation of any expert survey. This is of particular importance for the application of the explorative Delphi method for assessing issues that are uncertain, per se, as they take place in the future, since the line between rational assessment and the experts’ personal desires or fears could be blurred . The structure of the survey could also have influenced expert opinions. After first assessing the likelihood of implementing theses in the future, experts were then asked to assess the future relevance of learning goals. This could have led to a bias. Though experts were asked to base their assessments on general education leading up to the medical exam, it cannot be determined whether this was actually done, and to what extent experts assessed general education as opposed to specialty training.The study population of this paper is comprised primarily of inpatient physicians at maximum-care facilities. Consequently, a bias against outpatient treatment methods cannot be ruled out. In addition, colleagues practicing general medicine were underrepresented (just 2.9% of experts), while anesthesiology and intensive care – two highly specialized subjects – were overrepresented, which could explain the strong emphasis on technological trends in the theses generated. One possible explanation for the large number of anesthesiology practitioners represented in the study could be their disproportionate involvement in conveying practical skills. A follow-up survey with primarily outpatient physician seems reasonable. DiskussionIn der vorliegenden Arbeit wird versucht, einerseits zukünftige globale Herausforderungen an Absolventen der Medizin zu antizipieren und andererseits konkret die zukünftige Relevanz praktischer, ärztlicher Fertigkeiten als Beispiel eines begrenzten Kompetenzbereichs des Medizinstudiums zu beleuchten. Zu letzterem wurden die Lernziele des Konsensusstatements Praktische Fertigkeiten im Medizinstudium als Vorarbeit zum Kapitel „Klinisch-Praktische Fertigkeiten“ des NKLM mittels explorativer Delphistudie bewertet.Das Expertenpanel der Delphi-Runden verfügt über langjährige Berufserfahrung und bildet nahezu alle ärztlichen Spezialisierungsrichtungen ab. Der Hauptteil der Experten arbeitet in maximalversorgenden Kliniken, unter denen sich auch die Universitätskliniken befinden, an denen die medizinische Ausbildung in Deutschland im Wesentlichen durchgeführt wird. Zwar fließt so die intensivere Kenntnis der Experten von Studieninhalten und –bedürfnissen in die Befragung ein, andererseits ist die Gruppe ambulant tätiger Ärzte, die vor allem als Meinungsbildner der Zukunftsthesen benötigt werden, unterrepräsentiert. Über die Gründe der mangelnden Teilnahme ambulant tätiger Ärzte kann nur spekuliert werden. Zu Beginn der vorliegenden Arbeit wurden mittels Literaturrecherche und halbstrukturierter Experteninterviews 11 Thesen zu für die zukünftige Ausbildung relevanten Themenfeldern identifiziert. Dabei haben wir bewusst darauf verzichtet, den Interviews ein OF zugrunde zu legen, da sich die nationalen OF sowohl strukturell als auch inhaltlich erheblich unterscheiden. Einen ähnlichen Ansatz publizierte bereits eine amerikanische Gruppe , die jedoch im Unterschied zum in der vorliegenden Arbeit verwandten Befragungs-Prozess keine weiteren Validierungsschritte ihrer Thesen vornahmen. Im Folgenden diskutieren wir beispielhaft einige Thesen der vorliegenden Studie im Kontext ihrer Bewertung durch teilnehmende Experten und leiten Implikationen für die medizinische Ausbildung ab: Der bestehende demographische Wandel bedingt eine Zunahme Alters-assoziierter Erkrankungen, wie beispielsweise mild cognitive impairment und Demenz , . Im Lernzielkatalog finden sich zwei Lernziele, die dementiellen Erkrankungen zugeordnet werden können. Sowohl die Anamnese bei älteren Menschen wurde als zukunftsrelevant eingeschätzt, als auch die Durchführung einfacher Testverfahren, wie geriatrischer Assessments oder Sturzassessment. Die Erhebung geriatrischer Testverfahren wurde im Katalog jedoch lediglich als Wahllernziel bewertet und sollte nach Meinung der Experten dieser Studie eher einem Kernlernziel gleichgestellt sein. Die medizinische Versorgungssituation ist besonders in ländlichen Gegenden mit ihren spezifischen Anforderungen bereits jetzt verbesserungswürdig . Dort gemachte Erfahrungen während freiwilliger Praktika im Studium scheinen einen positiven Lerneffekt auf die Studierenden und ihre Karrierewahl zu haben und könnten die Primärversorgung stärken. In Deutschland wurde zuletzt die Pflicht-Hausarzt-Famulatur eingeführt, die GMA betont zudem in einem Positionspapier den Stellenwert der Primärversorgung innerhalb des Medizinstudiums . Neben diesen strukturellen Veränderungen kommt der Arbeit im (interprofessionellen) Team und dem Nutzen telemedizinischer bzw. E-Health-Anwendungen zukünftig ein höherer Stellenwert zu: Die Delegation von Arbeit an nicht-medizinisches Personal steigert die Effektivität in der Primärversorgung , . Gleichzeitig sind auch nicht rein ärztliche Lernziele, beispielsweise das Anlegen eines Gipsverbandes oder die Demonstration von funktionalem Taping, als zukunftsrelevant bewertet worden. Eine Förderung des interprofessionellen Arbeitens bereits im Studium, beispielsweise durch gemeinsame Lehrveranstaltungen mit den Auszubildenden oder Studierenden der Gesundheitsberufe wäre eine Möglichkeit, diesen Aspekt verstärkt im Studium zu implementieren.Daneben können mit Hilfe elektronischer Unterstützungssysteme (Health Information Technology) vorhandene Ressourcen effektiver genutzt werden , . Positive Effekte dieser Technik, z.B. eine Aktivitätssteigerung von COPD-Patienten oder eine Verbesserung der Symptomkontrolle des chronischen Asthmas , konnten bereits gezeigt werden. Eine Implementierung dieses wachsenden Feldes in die Lehre erscheint notwendig und könnte beispielsweise über Module zur Telemedizin geschehen . Ein eigener Lernzielkatalog für E-Health und Telemedizin wurde bereits publiziert und kann bei zukünftigen Entwicklungen berücksichtigt werden .Unter Berücksichtigung dieser Erkenntnisse und der hohen Relevanz von Soft Skills und kommunikativen Fertigkeiten in der vorliegenden Delphi-Studie könnte auch die Telefon- oder Internet-basierte Arzt-Patient-Interaktion an Wichtigkeit gewinnen . Um dem gerecht zu werden, sollte das Training kommunikativer Fertigkeiten beispielsweise am Telefon intensiviert werden , wie es vereinzelt bereits umgesetzt wird , . Ältere Patienten in Deutschland sehen telemedizinische Konzepte jedoch eher kritisch und vermissen besonders den persönlichen Kontakt zu ihrem Arzt und das direkte Feedback . Die Priorisierung von Lernzielen in Kern- und Wahlziele in der Originalpublikation des OF , die z.T. ebenfalls mittels Delphi-Methodik ermittelt wurde, und unsere Ergebnisse validieren sich dabei gegenseitig. Über 90% der als routiniert zu beherrschend definierten Lernziele des Konsensusstatements und nahezu alle Lernziele der Grenzbereiche eben dieses Statements werden auch von den Teilnehmern unserer Studie als besonders relevant für zukünftige ärztliche Tätigkeit bewertet. Umgekehrt werden über 50% der Fertigkeiten, die im Konsensusstatement lediglich als Wahllernziele eingestuft sind, auch in unserer Studie für weniger zukunftsrelevant erachtet. Vor allem in den großen Kategorien Kommunikative Fertigkeiten, Soft Skills, Organübergreifende Fertigkeiten, Herz-Kreislauf und Notfall aber auch in kleineren Fächern wie Psyche und Endokrines System, bewerteten die Experten die praktischen Lernziele als überwiegend zukunftsrelevant. In den Organsystemen Sinnesorgane, Harn- und Geschlechtsorgane und GI-Trakt ist der Anteil der als nicht zukunftsrelevant bewerteten Lernziele am größten. Dies könnte zum einen an der Expertenauswahl liegen, zum anderen auch daran, dass die Lernziele sehr kleinteilig formuliert und daher schlicht sehr viele sind. In anderen Kategorien des Katalogs wurden beispielsweise mehrere Lernziele zu einem zusammengefasst und erschweren so den Experten eine differenzierte Bewertung. Zudem kann nicht nachvollzogen werden, ob der Ablehnung der Lernziele eine generelle fehlende Zukunftsrelevanz zugrunde liegt oder ob die Experten das Lernziel zwar für zukunftsrelevant halten, jedoch eher in der Facharztweiterbildung als in der Ausbildung angesiedelt sehen.In einem weiteren Schritt könnten die detaillierten Ergebnisse dieser Studie (siehe Online-Appendix) ebenso wie bereits vorliegende andere Validierungsarbeiten dazu genutzt werden, die einzelnen Lernziele des Konsensusstatements und des NKLM neu zu bewerten und so zu einer Überarbeitung des Konsensusstatements und des NKLM beizutragen. Die Vorbereitung zukünftiger Ärzte auf ihren Berufsstart kann wohl nur auf möglichst vielen Ebenen parallel betrieben werden. In zahlreichen OFs wird, anders als in der vorliegenden Arbeit, aktuell vor allem die Methode des „Self-directed learnings“, welches aus einem „Self-Assessment“ folgt als wesentlicher Mechanismus zum Erhalt der Zukunftsfestigkeit medizinischer Ausbildung genannt . Gleichzeitig bestehen aber erhebliche Zweifel an der Akkuratheit von Self-Assessments , , . Darauf basierendes „Lifelong learning“ kann also nicht die einzige Möglichkeit sein, zukünftige Entwicklungen zu antizipieren und ihnen zu begegnen. Dies sollte bereits auf Ebene der OF erfolgen. Neben einer Anleitung zu einem effektiven, selbstbestimmten und lebenslangen Lernen kann die Optimierung bestehender OFs einen wichtigen Beitrag leisten. Die Antizipation zukünftiger Entwicklungen in Verbindung mit aktuellen Forschungsergebnissen können dabei auf der einen Seite wichtige Anreize für neue Inhalte geben, explorative Delphi-Studien können andererseits bestehende Lernziele und OFs auf ihre Nachhaltigkeit hin untersuchen und ggf. Lücken identifizieren. Konkret können die Ergebnisse der Delphi-Befragung als Argumentationshilfe bei der spezifischen Überarbeitung und Implementation des NKLM an den verschiedenen Fakultäten dienen. Aus der Bewertung der Zukunftsthesen lassen sich hingegen grobe Richtungsentscheidungen über mögliche zukünftige Trends in der Ausbildung ableiten. 1. LimitationenAls wesentliche Limitation jeder Expertenbefragung müssen kognitive Bias angenommen werden. Dies ist bei der Anwendung der explorativen Delphi-Methode zur Bewertung von per se unsicheren, da zukünftigen Sachverhalten von besonderer Bedeutung, da die Trennung zwischen rationalen Einschätzungen und persönlichen Wünschen oder Ängsten der Experten verschwimmen könnte . Ebenso könnte der Befragungsaufbau der Studie Einfluss auf die Expertenmeinung genommen haben. Nachdem sie zuerst die wahrscheinliche Realisierung der Zukunftsthesen bewerteten, sollten sie anschließend die zukünftige Relevanz der Lernziele für die Ausbildung bewerten. Es könnte hierzu zu einem Bias gekommen sein. Zwar wurden die Experten gebeten, ihre Einschätzung bezogen auf die allgemeine Ausbildung bis zum Staatsexamen zu beziehen. Ob dies aber tatsächlich funktioniert hat und inwieweit die Experten die Ausbildung allgemein und nicht auf eine Fachdisziplin bezogen bewerten, kann nicht abschließend beurteilt werden. Die Studienpopulation dieser Arbeit besteht vor allem aus Klinikärzten der Maximalversorgung. Ein Bias gegen ambulant tätige Versorgungsformen kann so nicht ausgeschlossen werden. Zudem sind allgemeinmedizinisch tätige Kollegen mit 2,9% der Experten unterrepräsentiert, während die Fächer Anästhesiologie und Intensivmedizin – zwei hoch technisierte Fächer – eher übermäßig repräsentiert sind, was die starke Gewichtung von technischen Trends in den generierten Thesen erklären könnte. Eine mögliche Erklärung der ausgeprägten Teilnahme von Kollegen der Anästhesie mag deren überproportionale Einbindung in die Vermittlung praktischer Fertigkeiten sein. Eine Folgebefragung mit eher ambulant tätigen Ärzten scheint sinnvoll. ConclusionsThe explorative Delphi method provides an adequate opportunity to allow a current outcome framework to be assessed by experts on the basis of its future relevance. In addition, future trends can be anticipated by means of generating and assessing theses. It is important to continually review and adapt current OF and curricula to future developments in order to provide optimal preparation for medical studies graduates for their future daily professional lives. FazitDie explorative Delphi-Methode stellt eine adäquate Möglichkeit dar, ein bestehendes Outcome framework auf seine zukünftige Relevanz durch Experten bewerten zu lassen. Mittels Thesengenerierung und -bewertung können zudem zukünftige Trends antizipiert werden. Eine fortlaufende Überprüfung und Anpassung bestehender OF und Curricula an zukünftige Entwicklungen ist wichtig, um Absolventen des Medizinstudiums optimal auf ihren zukünftigen Berufsalltag vorzubereiten. AcknowledgementsWe would like to thank Sascha Dannenberg for his help and support with technical questions about futures studies, and for his assistance in carrying out the study. In addition, we would like to thank Nicole Ambacher and Daniel Knapp for their support in data collection. Finally, we would like to sincerely thank all of the experts who took part in this study. DanksagungenWir bedanken uns bei Sascha Dannenberg für seine hilfreiche Unterstützung bei fachlichen Fragen zur Zukunftsforschung sowie seiner Mithilfe bei der Durchführung der Studie. Zudem bedanken wir uns bei Nicole Ambacher und Daniel Knapp für die Unterstützung bei der Datenerhebung. Schlussendlich einen herzlichen Dank an alle teilnehmenden Experten. DataData for this article are available from the Dryad Digital Repository: http://dx.doi.org/10.5061/dryad.q4sc8 DatenDaten für diesen Artikel sind im Dryad-Repositorium verfügbar unter: http://dx.doi.org/10.5061/dryad.q4sc8 Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autoren erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben. Nicky Hudson J Tonkin AL Clinical skills education: outcomes of relationships between junior medical students, senior peers and simulated patients 2008 Med Educ 901-908 Nicky Hudson J, Tonkin AL. Clinical skills education: outcomes of relationships between junior medical students, senior peers and simulated patients. Med Educ. 2008;42(9):901-908. DOI: 10.1111/j.1365-2923.2008.03107.x http://dx.doi.org/10.1111/j.1365-2923.2008.03107.x Yudkowsky R Otaki J Lowenstein T Riddle J Nishigori H Bordage G A hypothesis-driven physical examination learning and assessment procedure for medical students: initial validity evidence 2009 Med Educ 729-740 Yudkowsky R, Otaki J, Lowenstein T, Riddle J, Nishigori H, Bordage G. A hypothesis-driven physical examination learning and assessment procedure for medical students: initial validity evidence. Med Educ. 2009;43(8):729-740. DOI: 10.1111/j.1365-2923.2009.03379.x http://dx.doi.org/10.1111/j.1365-2923.2009.03379.x Ochsmann EB Zier U Drexler H Schmid K Well prepared for work? Junior doctors' self-assessment after medical education 2011 BMC Med Educ 99 Ochsmann EB, Zier U, Drexler H, Schmid K. Well prepared for work? Junior doctors' self-assessment after medical education. BMC Med Educ. 2011;11:99. DOI: 10.1186/1472-6920-11-99 http://dx.doi.org/10.1186/1472-6920-11-99 Cave J Woolf K Jones A Dacre J Easing the transition from student to doctor: how can medical schools help prepare their graduates for starting work? 2009 Med Teach 403-408 Cave J, Woolf K, Jones A, Dacre J. Easing the transition from student to doctor: how can medical schools help prepare their graduates for starting work? Med Teach. 2009;31(5):403-408. DOI: 10.1080/01421590802348127 http://dx.doi.org/10.1080/01421590802348127 Goldacre MJ Taylor K Lambert TW Views of junior doctors about whether their medical school prepared them well for work: questionnaire surveys 2010 BMC Med Educ 78 Goldacre MJ, Taylor K, Lambert TW. Views of junior doctors about whether their medical school prepared them well for work: questionnaire surveys. BMC Med Educ. 2010;10:78. DOI: 10.1186/1472-6920-10-78 http://dx.doi.org/10.1186/1472-6920-10-78 Damanakis A Ein kleiner Statusreport zu Skills Labs in der D-A-CH-Region 2011 Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). München, 05.-08.10.2011 Doc11gma133 Damanakis A. Ein kleiner Statusreport zu Skills Labs in der D-A-CH-Region. Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). München, 05.-08.10.2011. Düsseldorf: German Medical Science GMS Publishing House; 2011. Doc11gma133. DOI: 10.3205/11gma133 http://dx.doi.org/10.3205/11gma133 Harris P Snell L Talbot M Harden RM Competency-based medical education: implications for undergraduate programs 2010 Med Teach 646-650 Harris P, Snell L, Talbot M, Harden RM. Competency-based medical education: implications for undergraduate programs. Med Teach. 2010;32(8):646-650. DOI: 10.3109/0142159X.2010.500703 http://dx.doi.org/10.3109/0142159X.2010.500703 Busing N Slade S Rosenfield J Gold I Maskill S In the spirit of Flexner: working toward a collective vision for the future of medical education in Canada 2010 Acad Med 340-348 Busing N, Slade S, Rosenfield J, Gold I, Maskill S. In the spirit of Flexner: working toward a collective vision for the future of medical education in Canada. Acad Med. 2010 Feb;85(2):340-348. DOI: 10.1097/ACM.0b013e3181c8880d http://dx.doi.org/10.1097/ACM.0b013e3181c8880d Bloch R Burgi H The Swiss catalogue of learning objectives 2002 Med Teach 144-150 Bloch R, Burgi H. The Swiss catalogue of learning objectives. Med Teach. 2002 Mar;24(2):144-150. DOI: 10.1080/01421590220120759 http://dx.doi.org/10.1080/01421590220120759 Frank JR Danoff D The CanMEDS initiative: implementing an outcomes-based framework of physician competencies 2007 Med Teach 642-647 Frank JR, Danoff D. The CanMEDS initiative: implementing an outcomes-based framework of physician competencies. Med Teach. 2007;29(7):642-647. DOI: 10.1080/01421590701746983 http://dx.doi.org/10.1080/01421590701746983 Metz JC 'Blueprint 1994': common objectives of medical education in The Netherlands 1999 Neth J Med 165-167 Metz JC. 'Blueprint 1994': common objectives of medical education in The Netherlands. Neth J Med. 1999;55(4):165-167. DOI: 10.1016/S0300-2977(99)00067-4 http://dx.doi.org/10.1016/S0300-2977(99)00067-4 Cumming A Ross M The Tuning Project for Medicine-learning outcomes for undergraduate medical education in Europe 2007 Med Teach 636-641 Cumming A, Ross M. The Tuning Project for Medicine-learning outcomes for undergraduate medical education in Europe. Med Teach. 2007;29(7):636-641. DOI: 10.1080/01421590701721721 http://dx.doi.org/10.1080/01421590701721721 Hahn EG Fischer MR Nationaler Kompetenzbasierter Lernzielkatalog Medizin (NKLM) für Deutschland: Zusammenarbeit der Gesellschaft für Medizinische Ausbildung (GMA) und des Medizinischen Fakultätentages (MFT) 2009 GMS Z Med Ausbild Doc35 Hahn EG, Fischer MR. Nationaler Kompetenzbasierter Lernzielkatalog Medizin (NKLM) für Deutschland: Zusammenarbeit der Gesellschaft für Medizinische Ausbildung (GMA) und des Medizinischen Fakultätentages (MFT). GMS Z Med Ausbild. 2009;26(3):Doc35. DOI: 10.3205/zma000627 http://dx.doi.org/10.3205/zma000627 Fischer MR Bauer D Mohn K NKLM-Projektgruppe Finally finished! National Competence Based Catalogues of Learning Objectives for Undergraduate Medical Education (NKLM) and Dental Education (NKLZ) ready for trial 2015 GMS Z Med Ausbild Doc35 Fischer MR, Bauer D, Mohn K, NKLM-Projektgruppe. Finally finished! National Competence Based Catalogues of Learning Objectives for Undergraduate Medical Education (NKLM) and Dental Education (NKLZ) ready for trial. GMS Z Med Ausbild. 2015;32(3):Doc35. DOI: 10.3205/zma000977 http://dx.doi.org/10.3205/zma000977 Schnabel KP Boldt PD Breuer G Fichtner A Karsten G Kujumdshiev S Schmidts M Stosch C A consensus statement on practical skills in medical school - a position paper by the GMA Committee on Practical Skills 2011 GMS Z Med Ausbild Doc58 Schnabel KP, Boldt PD, Breuer G, Fichtner A, Karsten G, Kujumdshiev S, Schmidts M, Stosch C. A consensus statement on practical skills in medical school - a position paper by the GMA Committee on Practical Skills. GMS Z Med Ausbild. 2011;28(4):Doc58. DOI: 10.3205/zma000770 http://dx.doi.org/10.3205/zma000770 Blaum WE Dannenberg KA Friedrich T Jarczewski A Reinsch AK Ahlers O The practial use of the consensus statement on practical skills in medical school-a validation study 2012 GMS Z Med Ausbild Doc58 Blaum WE, Dannenberg KA, Friedrich T, Jarczewski A, Reinsch AK, Ahlers O. The practial use of the consensus statement on practical skills in medical school-a validation study. GMS Z Med Ausbild. 2012;29(4):Doc58. DOI: 10.3205/zma000828 http://dx.doi.org/10.3205/zma000828 Damanakis A Blaum WE Stosch C Lauener H Richter S Schnabel KP Simulator Network project report: a tool for improvement of teaching materials and targeted resource usage in Skills Labs 2013 GMS Z Med Ausbild Doc4 Damanakis A, Blaum WE, Stosch C, Lauener H, Richter S, Schnabel KP. Simulator Network project report: a tool for improvement of teaching materials and targeted resource usage in Skills Labs. GMS Z Med Ausbild. 2013;30(1):Doc4. DOI: 10.3205/zma000847 http://dx.doi.org/10.3205/zma000847 Hautz SC Hautz WE Feufel MA Spies CD Comparability of outcome frameworks in medical education: Implications for framework development 2015 Med Teach 1-9 Hautz SC, Hautz WE, Feufel MA, Spies CD. Comparability of outcome frameworks in medical education: Implications for framework development. Med Teach. 2015;20:1-9. DOI: 10.3109/0142159x.2015.1012490 http://dx.doi.org/10.3109/0142159x.2015.1012490 Hautz SC Hautz WE Keller N Feufel MA Spies C The scholar role in the National Competence Based Catalogues of Learning Objectives for Undergraduate Medical Education (NKLM) compared to other international frameworks 2015 GMS Ger Med Sci Doc20 Hautz SC, Hautz WE, Keller N, Feufel MA, Spies C. The scholar role in the National Competence Based Catalogues of Learning Objectives for Undergraduate Medical Education (NKLM) compared to other international frameworks. GMS Ger Med Sci. 2015;13:Doc20. DOI: 10.3205/000224 http://dx.doi.org/10.3205/000224 Kern DE 1998 Curriculum development for medical education: a six-step approach Kern DE. Curriculum development for medical education: a six-step approach. Baltimore u.a.: Johns Hopkins Univ. Press; 1998. Wijnen-Meijer M Burdick W Alofs L Burgers C ten Cate O Stages and transitions in medical education around the world: clarifying structures and terminology 2013 Med Teach 301-307 Wijnen-Meijer M, Burdick W, Alofs L, Burgers C, ten Cate O. Stages and transitions in medical education around the world: clarifying structures and terminology. Med Teach. 2013;35(4):301-307. DOI: 10.3109/0142159X.2012.746449 http://dx.doi.org/10.3109/0142159X.2012.746449 Rowe G Wright G The Delphi technique as a forecasting tool: issues and analysis 1999 I J Forecast 353-375 Rowe G, Wright G. The Delphi technique as a forecasting tool: issues and analysis. I J Forecast. 1999;15(4):353-375. DOI: 10.1016/S0169-2070(99)00018-7 http://dx.doi.org/10.1016/S0169-2070(99)00018-7 Grunwald A Modes of orientation provided by futures studies: making sense of diversity and divergence 2013 Eur J Futures Res Grunwald A. Modes of orientation provided by futures studies: making sense of diversity and divergence. Eur J Futures Res. 2013;2(1). Häder M 2009 Delphi-Befragungen: ein Arbeitsbuch Häder M. Delphi-Befragungen: ein Arbeitsbuch. 2. Aufl. ed. Wiesbaden: VS; 2009. DOI: 10.1007/978-3-531-91926-3 http://dx.doi.org/10.1007/978-3-531-91926-3 Gönder D 2014 KiTA 2030: Eine Delphi-Befragung zur Zukunft von Kindertageseinrichtungen in Deutschland Gönder D. KiTA 2030: Eine Delphi-Befragung zur Zukunft von Kindertageseinrichtungen in Deutschland. iF-Schriftenreihe Sozialwissenschaftliche Zukunftsforschung 04/2014. Berlin: Freie Universität Berlin, Institut Futur; 2014. Williams PL Webb C The Delphi technique: a methodological discussion 1994 J Adv Nurs 180-186 Williams PL, Webb C. The Delphi technique: a methodological discussion. J Adv Nurs. 1994;19(1):180-186. DOI: 10.1111/j.1365-2648.1994.tb01066.x http://dx.doi.org/10.1111/j.1365-2648.1994.tb01066.x Houwink EJ Henneman L Westerneng M van Luijk SJ Cornel MC Dinant JG Vleuten Cv Prioritization of future genetics education for general practitioners: a Delphi study 2012 Genet Med 323-329 Houwink EJ, Henneman L, Westerneng M, van Luijk SJ, Cornel MC, Dinant JG, Vleuten Cv. Prioritization of future genetics education for general practitioners: a Delphi study. Genet Med. 2012;14(3):323-329. DOI: 10.1038/gim.2011.15 http://dx.doi.org/10.1038/gim.2011.15 De Villiers MR de Villiers PJ Kent AP The Delphi technique in health sciences education research 2005 Med Teach 639-643 De Villiers MR, de Villiers PJ, Kent AP. The Delphi technique in health sciences education research. Med Teach. 2005;27(7):639-643. DOI: 10.1080/13611260500069947 http://dx.doi.org/10.1080/13611260500069947 Hasson F Keeney S McKenna H Research guidelines for the Delphi survey technique 2000 J Adv Nurs 1008-1015 Hasson F, Keeney S, McKenna H. Research guidelines for the Delphi survey technique. J Adv Nurs. 2000;32(4):1008-1015. Tavakol M Sandars J Quantitative and qualitative methods in medical education research: AMEE Guide No 90: Part II 2014 Med Teach 838-848 Tavakol M, Sandars J. Quantitative and qualitative methods in medical education research: AMEE Guide No 90: Part II. Med Teach. 2014;36(10):838-848. DOI: 10.3109/0142159X.2014.915297 http://dx.doi.org/10.3109/0142159X.2014.915297 Mayring P 2010 Qualitative Inhaltsanalyse. Grundlagen und Techniken Mayring, P. Qualitative Inhaltsanalyse. Grundlagen und Techniken. 11., aktualisierte und überarbeitete Auflage, Weinheim, Basel: Beltz Verlag; 2010. Flick U von Kardorff E Steinke I 2010 Qualitative Forschung Flick U, von Kardorff E, Steinke I. Qualitative Forschung. Ein Handbuch. Orig.-Ausg., 8. Reinbek bei Hamburg: Rowohlt-Taschenbuch-Verl; 2010. Pershing S Fuchs VR Restructuring Medical Education to Meet Current and Future Health Care Needs 2013 Acad Med 1798-1801 Pershing S, Fuchs VR. Restructuring Medical Education to Meet Current and Future Health Care Needs. Acad Med. 2013;88(12):1798-1801. DOI: 10.1097/ACM.0000000000000020 http://dx.doi.org/10.1097/ACM.0000000000000020 Pater C Mild cognitive impairment (MCI) - the novel trend of targeting Alzheimer's disease in its early stages - methodological considerations 2011 Curr Alzheimer Res 798-807 Pater C. Mild cognitive impairment (MCI) - the novel trend of targeting Alzheimer's disease in its early stages - methodological considerations. Curr Alzheimer Res. 2011;8(7):798-807. DOI: 10.2174/156720511797633250 http://dx.doi.org/10.2174/156720511797633250 Langa KM Levine DA The diagnosis and management of mild cognitive impairment: a clinical review 201417 JAMA 2551-2561 Langa KM, Levine DA. The diagnosis and management of mild cognitive impairment: a clinical review. JAMA. 201417;312(23):2551-2561. Weeks WB Wallace AE Rural-urban differences in primary care physicians' practice patterns, characteristics, and incomes 2008 J Rural Health 161-170 Weeks WB, Wallace AE. Rural-urban differences in primary care physicians' practice patterns, characteristics, and incomes. J Rural Health. 2008;24(2):161-170. DOI: 10.1111/j.1748-0361.2008.00153.x http://dx.doi.org/10.1111/j.1748-0361.2008.00153.x Rosenblatt RA Andrilla CH Curtin T Hart LG Shortages of medical personnel at community health centers: implications for planned expansion 2006 JAMA 1042-1049 Rosenblatt RA, Andrilla CH, Curtin T, Hart LG. Shortages of medical personnel at community health centers: implications for planned expansion. JAMA. 2006;295(9):1042-1049. DOI: 10.1001/jama.295.9.1042 http://dx.doi.org/10.1001/jama.295.9.1042 Barrett FA Lipsky MS Lutfiyya MN The impact of rural training experiences on medical students: a critical review 2011 Acad Med 259-263 Barrett FA, Lipsky MS, Lutfiyya MN. The impact of rural training experiences on medical students: a critical review. Acad Med. 2011;86(2):259-263. DOI: 10.1097/ACM.0b013e3182046387 http://dx.doi.org/10.1097/ACM.0b013e3182046387 Bundesministerium für Gesundheit Erste Verordnung zur Änderung der Approbationsordnung für Ärzte vom 17. Juli 2012 2012 Bundesgesetzbl 1539 Bundesministerium für Gesundheit. Erste Verordnung zur Änderung der Approbationsordnung für Ärzte vom 17. Juli 2012. Bundesgesetzbl. 2012;I(34);1539. Zugänglich unter/available from: http://www.bgbl.de/xaver/bgbl/start.xav?start=%2F%2F*[%40attr_id%3D%27bgbl112s1539.pdf%27]#__bgbl__%2F%2F*[%40attr_id%3D%27bgbl112s1539.pdf%27]__1436264296102 http://www.bgbl.de/xaver/bgbl/start.xav?start=%2F%2F*[%40attr_id%3D%27bgbl112s1539.pdf%27]#__bgbl__%2F%2F*[%40attr_id%3D%27bgbl112s1539.pdf%27]__1436264296102 Huenges B Gulich M Böhme K Fehr F Streitlein-Böhme I Rüttermann V Baum E Niebling WB Rusche H Recommendations for undergraduate training in the primary care sector-position paper of the GMA-Primary Care Committee 2014 GMS Z Med Ausbild Doc35 Huenges B, Gulich M, Böhme K, Fehr F, Streitlein-Böhme I, Rüttermann V, Baum E, Niebling WB, Rusche H. Recommendations for undergraduate training in the primary care sector-position paper of the GMA-Primary Care Committee. GMS Z Med Ausbild. 2014;31(3):Doc35. DOI: 10.3205/zma000927 http://dx.doi.org/10.3205/zma000927 Altschuler J Margolius D Bodenheimer T Grumbach K Estimating a reasonable patient panel size for primary care physicians with team-based task delegation 2012 Ann Fam Med 396-400 Altschuler J, Margolius D, Bodenheimer T, Grumbach K. Estimating a reasonable patient panel size for primary care physicians with team-based task delegation. Ann Fam Med. 2012;10(5):396-400. DOI: 10.1370/afm.1400 http://dx.doi.org/10.1370/afm.1400 Chen PG Mehrotra A Auerbach DI Do we really need more physicians? Responses to predicted primary care physician shortages 2014 Med Care 95-96 Chen PG, Mehrotra A, Auerbach DI. Do we really need more physicians? Responses to predicted primary care physician shortages. Med Care. 2014;52(2):95-96. DOI: 10.1097/MLR.0000000000000046 http://dx.doi.org/10.1097/MLR.0000000000000046 Urban E Ose D Joos S Szecsenyi J Miksch A Technical support and delegation to practice staff - status quo and (possible) future perspectives for primary health care in Germany 2012 BMC Med Inform Decis Mak 81 Urban E, Ose D, Joos S, Szecsenyi J, Miksch A. Technical support and delegation to practice staff - status quo and (possible) future perspectives for primary health care in Germany. BMC Med Inform Decis Mak. 2012;12:81. DOI: 10.1186/1472-6947-12-81 http://dx.doi.org/10.1186/1472-6947-12-81 Lundell S Holmner A Rehn B Nyberg A Wadell K Telehealthcare in COPD: a systematic review and meta-analysis on physical outcomes and dyspnea 2015 Respir Med 11-26 Lundell S, Holmner A, Rehn B, Nyberg A, Wadell K. Telehealthcare in COPD: a systematic review and meta-analysis on physical outcomes and dyspnea. Respir Med. 2015;109(1):11-26. DOI: 10.1016/j.rmed.2014.10.008 http://dx.doi.org/10.1016/j.rmed.2014.10.008 Fathima M Peiris D Naik-Panvelkar P Saini B Armour CL Effectiveness of computerized clinical decision support systems for asthma and chronic obstructive pulmonary disease in primary care: a systematic review 2014 BMC Pulm Med 189 Fathima M, Peiris D, Naik-Panvelkar P, Saini B, Armour CL. Effectiveness of computerized clinical decision support systems for asthma and chronic obstructive pulmonary disease in primary care: a systematic review. BMC Pulm Med. 2014;14:189. DOI: 10.1186/1471-2466-14-189 http://dx.doi.org/10.1186/1471-2466-14-189 Brockes MC Wirth F Schmidt-Weitmann S Battegay E Gerke W Implementierung des Moduls Klinische Telemedizin/E-Health" in das Medizinstudium der Universität Zürich 2010 GMS Z Med Ausbild Doc14 Brockes MC, Wirth F, Schmidt-Weitmann S, Battegay E, Gerke W. Implementierung des Moduls Klinische Telemedizin/E-Health" in das Medizinstudium der Universität Zürich. GMS Z Med Ausbild. 2010;27(1):Doc14. DOI: 10.3205/zma000651 http://dx.doi.org/10.3205/zma000651 Rohrig R Stausberg J Dugas M GMDS project group Medical Informatics Education in Medicine" Development of national competency-based learning objectives "Medical Informatics" for undergraduate medical education 2013 Methods Inf Med 184-188 Rohrig R, Stausberg J, Dugas M, GMDS project group Medical Informatics Education in Medicine". Development of national competency-based learning objectives "Medical Informatics" for undergraduate medical education. Methods Inf Med. 2013;52(3):184-188. DOI: 10.3414/ME13-04-0001 http://dx.doi.org/10.3414/ME13-04-0001 Car J Sheikh A Telephone consultations 2003 BMJ 966-969 Car J, Sheikh A. Telephone consultations. BMJ. 2003;326(7396):966-969. DOI: 10.1136/bmj.326.7396.966 http://dx.doi.org/10.1136/bmj.326.7396.966 Car J Freeman GK Partridge MR Sheikh A Improving quality and safety of telephone based delivery of care: teaching telephone consultation skills 2004 Qual Saf Health Care 2-3 Car J, Freeman GK, Partridge MR, Sheikh A. Improving quality and safety of telephone based delivery of care: teaching telephone consultation skills. Qual Saf Health Care. 2004;13(1):2-3. DOI: 10.1136/qshc.2003.009241 http://dx.doi.org/10.1136/qshc.2003.009241 Fisher J Martin R Tate D Hands on + hands free: simulated on-call interaction 2014 Clin Teach 425-428 Fisher J, Martin R, Tate D. Hands on + hands free: simulated on-call interaction. Clin Teach. 2014;11(6):425-428. DOI: 10.1111/tct.12180 http://dx.doi.org/10.1111/tct.12180 Dickinson M Pimblett M Hanson J Davis M Reflecting reality: pager simulations in undergraduate education 2014 Clin Teach 421-424 Dickinson M, Pimblett M, Hanson J, Davis M. Reflecting reality: pager simulations in undergraduate education. Clin Teach. 2014;11(6):421-424. DOI: 10.1111/tct.12185 http://dx.doi.org/10.1111/tct.12185 Terschuren C Mensing M Mekel OC Is telemonitoring an option against shortage of physicians in rural regions? Attitude towards telemedical devices in the North Rhine-Westphalian health survey, Germany 2012 BMC Health Serv Res 95 Terschuren C, Mensing M, Mekel OC. Is telemonitoring an option against shortage of physicians in rural regions? Attitude towards telemedical devices in the North Rhine-Westphalian health survey, Germany. BMC Health Serv Res. 2012;12:95. DOI: 10.1186/1472-6963-12-95 http://dx.doi.org/10.1186/1472-6963-12-95 Eva KW Regehr G Self-assessment in the health professions: a reformulation and research agenda 2005 Acad Med S46-54 Eva KW, Regehr G. Self-assessment in the health professions: a reformulation and research agenda. Acad Med. 2005;80(10 Suppl):S46-54. DOI: 10.1097/00001888-200510001-00015 http://dx.doi.org/10.1097/00001888-200510001-00015 Hautz SC Hautz WE Feufel MA Spies CD What makes a doctor a scholar: a systematic review and content analysis of outcome frameworks 2015 BMC Med Educ Hautz SC, Hautz WE, Feufel MA, Spies CD. What makes a doctor a scholar: a systematic review and content analysis of outcome frameworks. BMC Med Educ. 2015. Under Review. Davis DA Mazmanian PE Fordis M Van Harrison R Thorpe KE Perrier L Accuracy of physician self-assessment compared with observed measures of competence: a systematic review 2006 JAMA 1094-1102 Davis DA, Mazmanian PE, Fordis M, Van Harrison R, Thorpe KE, Perrier L. Accuracy of physician self-assessment compared with observed measures of competence: a systematic review. JAMA. 2006;296(9):1094-1102. DOI: 10.1001/jama.296.9.1094 http://dx.doi.org/10.1001/jama.296.9.1094 Li ST Paterniti DA Co JP West DC Successful self-directed lifelong learning in medicine: a conceptual model derived from qualitative analysis of a national survey of pediatric residents 2010 Acad Med 1229-1236 Li ST, Paterniti DA, Co JP, West DC. Successful self-directed lifelong learning in medicine: a conceptual model derived from qualitative analysis of a national survey of pediatric residents. Acad Med. 2010;85(7):1229-1236. DOI: 10.1097/ACM.0b013e3181e1931c http://dx.doi.org/10.1097/ACM.0b013e3181e1931c Gerhold L 2015 Standards und Gütekriterien der Zukunftsforschung: ein Handbuch für Wissenschaft und Praxis Gerhold L. Standards und Gütekriterien der Zukunftsforschung: ein Handbuch für Wissenschaft und Praxis. Wiesbaden: Springer VS; 2015. DOI: 10.1007/978-3-658-07363-3 http://dx.doi.org/10.1007/978-3-658-07363-3 Dannenberg KA Stroben F Schröder T Thomas A Hautz WE 2016 Data from: The future of practical skills in undergraduate medical education - an explorative Delphi-Study Dannenberg KA, Stroben F, Schröder T, Thomas A, Hautz WE. Data from: The future of practical skills in undergraduate medical education - an explorative Delphi-Study. Dryad Digital Repository. 2016. DOI: 10.5061/dryad.q4sc8 http://dx.doi.org/10.5061/dryad.q4sc8 11en1de

Table 1: Overview of interview partners

Tabelle 1: Übersicht Interviewpartner

22en2de

Table 2: Work experience, environment, and specialties for participants in rounds 1 and 2.

Tabelle 2: Arbeitserfahrung, -umfeld und Fachdisziplin der Teilnehmer in Runde 1 und 2.

33en3de

Table 3: Expert responses (round 1) to the 11 stakeholder theses

Tabelle 3: Antworten der Experten (Runde 1) zu den 11 Thesen der Stakeholder

44en4de

Table 4: Results of Delphi Rounds 1 + 2

Tabelle 4: Ergebnisse Delphirunde 1 + 2

4

1 1en 1de Figure 1: Study design and results overview. Abbildung 1: Studiendesign und Überblick der Ereignisse.

2 2en 2de Figure 2: Graphical depiction of the experts’ assessment of the 11 theses on the future of healthcare. See tab. 3 for allocation of these theses. Abbildung 2: Graphische Darstellung der Bewertungen der 11 Thesen durch die Experten. Für die Zuordnung der Thesen siehe Tabelle 3.

2 0 1 1en 1de Online attachment – only in german Online Appendix – in deutsch 1