Piloting a blended-learning concept for integrating evidence-based medicine into the general practice clerkship

zma001279 10.3205/zma001279 urn:nbn:de:0183-zma0012794 article Artikel Piloting a blended-learning concept for integrating evidence-based medicine into the general practice clerkship Pilotierung eines neuen Blended-Learning-Konzepts zur Integration Evidenzbasierter Medizin in das Blockpraktikum Allgemeinmedizin Engel Engel Bettina B Dr. med.

Carl von Ossietzky Universität Oldenburg, Department für Versorgungsforschung, Abteilung Allgemeinmedizin, Ammerländer Heerstr. 140, D-26111 Oldenburg, Germany, Phone: +49 (0)441/798-2416 /-2772Carl von Ossietzky Universität Oldenburg, Department für Versorgungsforschung, Abteilung Allgemeinmedizin, Oldenburg, Germany

Carl von Ossietzky Universität Oldenburg, Department für Versorgungsforschung, Abteilung Allgemeinmedizin, Ammerländer Heerstr. 140, 26111 Oldenburg, Deutschland, Tel.: +49 (0)441/798-2416 /-2772Carl von Ossietzky Universität Oldenburg, Department für Versorgungsforschung, Abteilung Allgemeinmedizin, Oldenburg, Deutschland

bettina.engel@uol.de author Esser Esser Miriam M

Rheinische Friedrich Wilhelm University, Bonn, Germany

Rheinische Friedrich Wilhelm Universität, Bonn, Deutschland

s4miesse@uni-bonn.de author Bleckwenn Bleckwenn Markus M PD Dr. med.

University Bonn, Medical Faculty, Institut für Hausarztmedizin, Bonn, Germany

Universität Bonn, Medizinische Fakultät, Institut für Hausarztmedizin, Bonn, Deutschland

markus.bleckwenn@ukbonn.de author German Medical Science GMS Publishing House

Düsseldorf

610 evidence based medicine blended learning medical education general practice clerkship Evidenzbasierte Medizin Blended Learning Medizindidaktik Blockpraktikum Family Medicine Allgemeinmedizin 20181001 20190607 20190702 20191115 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 2366-5017 36 6 GMS Journal for Medical Education GMS J Med Educ 71 Zielsetzung: Die vorliegende Arbeit prüft die Machbarkeit der praktischen Anwendung von Evidenzbasierter Medizin (EbM) durch Studenten während des Blockpraktikums (BP) im Fachgebiet Allgemeinmedizin durch ein neu entwickeltes Blended-Learning-Lehrkonzept.Methodik: Entwicklung, Pilotierung und Evaluation eines Blended-Learning Konzepts zur Einführung der Lehre der EbM im BP der Allgemeinmedizin werden beschrieben. Das Konzept besteht aus einem Online-Modul zur Vermittlung der theoretischen Grundlagen der EbM anhand des 5A-Schritteprozesses, zwei Präsenzseminaren zur Vertiefung der Inhalte und praktischen Übungen in Form von Fallbeispielen. Anschließend sollen die Studenten ihr erworbenes Wissen auf realen Patientenfällen in der Praxiszeit ihres BP anwenden. Zur Überprüfung des Lernerfolgs wurde auf Grundlage des Fresno Tests ein EbM-Evaluationsinstrument entwickelt – der Bonn- Test. Am Ende des Seminars können die Studenten das Konzept in einer schriftlichen Evaluation bewerten und Verbesserungsvorschläge einbringen.Ergebnisse: Insgesamt nahmen 35 Studenten an der Machbarkeitsstudie teil, 27 Bonn-Tests konnten ausgewertet werden. Alle Studierende erreichten bei der Ausarbeitung klinischer Fallbeispiele mehr als die zum Bestehen benötigte Mindestpunktzahl im Bonn Test. Die differenzierte Leistungsdarstellung in den einzelnen Kategorien des 5-A-Schritteprozesses der EbM mit Hilfe des Bonn-Tests ermöglicht spezifische Schwierigkeiten bei der Translation von EbM-Wissen in die Praxis aufzudecken und das Lehrkonzept fortlaufend weiterzuentwickeln und zu verbessern. In der Evaluation bewerteten die Studenten das Lehrkonzept zu 74 % mit „gut“ oder „sehr gut“.Schlussfolgerungen: Insgesamt bestätigt die vorliegende Studie, dass die Erweiterung des Blockpraktikums im Fachbereich für Allgemeinmedizin um das neu entwickelte EbM-Modul machbar ist und die Studenten die erlernten Inhalte erfolgreich in der Praxis anwenden können. Weitere Untersuchungen des Lehrkonzepts, insbesondere zu einem früheren Zeitpunkt des Medizinstudiums, sind empfehlenswert. Objective: The present study investigates the feasibility of the application of evidence-based medicine (EBM) procedures by students as part of practical training in general medicine through a newly developed blended-learning teaching concept.Methodology: This study describes the development, piloting and evaluation of a blended-learning concept for implementing EBM education as part of general practice training. Our concept consists of an online tutorial introducing the theoretical background, two classroom seminars for consolidation and practical exercises based on case studies. Following this, students were to apply their knowledge to real-life cases during their training. To evaluate the learning outcome, we have developed an evaluation tool based on the Fresno Test (Bonn Test). At the end of the seminar, students were invited to evaluate the concept.Results: A total of 35 students took part in the feasibility study and 27 Bonn tests were evaluated. All students achieved more than the pass mark required in the Bonn Test in the preparation of clinical case studies. Because of the differentiated assessment of learning outcomes in all categories of the 5A EBM process, difficulties in the translation process can be revealed by the Bonn test. As a result, the concept can be refined and improved continuously. In the evaluation, 74% of the students rated the teaching concept "good" or "very good".Conclusion: Overall, this study confirmed the feasibility of our EBM concept while demonstrating that students are able to apply the theoretical knowledge acquired to real-life settings. Further research with our concept is needed, especially at an earlier stage in the curriculum. IntroductionNew scientific approaches and methods revolutionize the state of the art almost on a daily basis. Existing guidelines are constantly adapted to implement those scientific achievements in the clinical daily routine in a timely manner. In a meta review, Franke et al. showed that such innovations take a long time to get implemented in practice, if at all .In order to treat the patients as required, the doctor in charge should be able to evaluate the relevant scientific literature . Evidence-based medicine (EBM) provides doctors with the skills both for making balanced medical decisions and for lifelong learning. In order to familiarise future doctors with this area of responsibility at an early stage, EBM should become an integral part of the medical curriculum , . Earlier studies clearly stated that the students are able to work on research questions during training in general practice, but they have to be well prepared and trained for this. Medical schools worldwide have already successfully integrated EBM into their curricula. Studies have shown that the integration of a blended-learning EBM unit in the medical curriculum or internship could close the gap between theory and practice , . Unfortunately, this has not yet been incorporated into the licensing regulations in Germany, and not all medical schools have integrated EBM into their curricula. Even in Bonn, EBM is not yet an integral part of the curriculum. The focus of previous teaching approaches is often on the theoretical understanding of EBM. Dirk Mooshammer et al. published a contribution to the integration of scientific questions in the practical training in general medicine in year 5 . In their general practical training, the students are already in an advanced stage of their medical education and therefore probably better able to formulate their own research questions in everyday practice. The present study examines the feasibility of evidence-based medicine practice by students during the training in general medicine as part of a newly developed blended learning teaching concept. EinleitungNeue wissenschaftliche Ansätze und Methoden revolutionieren nahezu tagtäglich den Forschungsstand. Bestehende Leitlinien werden regelmäßig angepasst und dienen der zeitnahen Implementation neugewonnener Erkenntnisse in den klinischen Alltag. Eine Metaanalyse zeigt jedoch, dass solche Neuerungen selten bzw. zeitverzögert Anwendung in der Praxis finden . Damit die Patienten von der bestmöglichen Therapie profitieren können, sollte sich der behandelnde Arzt daher kritisch mit der entsprechenden Fachliteratur auseinandersetzen können . Die Fähigkeiten der evidenzbasierten Medizin (EbM) geben nicht nur Möglichkeiten ausgewogene medizinische Entscheidungen zu treffen, sondern befähigen den Arzt auch zum lebenslangen Wissenserwerb. Um zukünftige Ärzte frühzeitig mit diesem Aufgabenbereich vertraut zu machen, soll die EbM fester Bestandteil des Studiums werden , . Hier wurde deutlich ausgearbeitet, dass die Studenten in der Lage sind Forschungsfragen im Blockpraktikum zu bearbeiten, jedoch müssen sie hierfür gut vorbereitet und geschult werden. Weltweit konnten medizinische Ausbildungsstätten EbM bereits erfolgreich in das Curriculum integrieren. Es konnte gezeigt werden, dass die Integration einer Blended-Learning EbM Einheit in der Lehre bzw. Weiterbildung nachhaltig die Lücke zwischen Theorie und Praxis schließen konnte , . In Deutschland ist es leider noch nicht Bestandteil der Approbationsordnung und nicht alle Fakultäten haben die EbM in das Medizinstudium integriert. Auch in Bonn ist die EbM noch kein fester Bestandteil im Curriculum. Der Schwerpunkt der bisherigen Lehransätze liegt dabei häufig auf dem theoretischen Verständnis für EbM. Dirk Mooshammer et al. veröffentlichten einen Beitrag zur Integration wissenschaftlicher Fragestellungen im Blockpraktikum Allgemeinmedizin . Im Blockpraktikum sind die Studierenden bereits in einem fortgeschrittenen Stadium ihrer medizinischen Ausbildung und daher vermutlich mehr in der Lage eigene Fragestellungen im Praxisalltag zu formulieren. Die vorliegende Arbeit prüft die Machbarkeit der praktischen Anwendung von Evidenzbasierter Medizin durch Studenten während des Blockpraktikums im Fachgebiet Allgemeinmedizin im Rahmen eines neu entwickelten Blended-Learning-Lehrkonzeptes. Project descriptionThe NKLM (National competence-based catalogue of learning objectives in medicine) not only requires students to understand the basics of EBM, but also to apply them in a problem-based manner [https://medizinische-fakultaeten.de/]. In order not only to train the students' theoretical understanding of EBM, but also to review translation in their clinical work, a new blended learning concept was developed in a dissertation. Prior to this, conceptual criteria were defined in order to be able to evaluate the practical implementation of EBM:Learning Outcomes: Students should have sufficient basic education in the field of EBM to allow them to understand the concept of evidence-based medicine. In particular, knowledge management should be trained here.Universal validity: The content of learning should be generalizable and thus applicable to a wide range of issues in everyday clinical practice.Evaluability: In order to be able to evaluate the developed teaching concept or the acquired competences, evaluation instruments have to be designed.Compliance: The teaching concept can only be successfully implemented if the perspective of the students is also included in the development of the concept.Based on these 4 criteria, a multi-level teaching concept has been developed. This includes a blended-learning online module, two on-site seminars, worksheets, and a procedure to review students' practical EBM skills and finally an evaluation tool. In terms of time, the sequence was as shown in table 1 .ParticipantsWe chose three different trainee groups in different time slots in the academic year as a participating group. Each group had between 10 and 15 participants. Participation in the EBM concept was formulated as a voluntary additional offer.Of the total of 38 students in the three participating groups, a total of 35 attended the first classroom seminar.On-line tutorialAfter a training course held at the University Computing Center Bonn, ME developed a module for the eCampus online platform, which is used by numerous institutes to provide teaching material to students. A pre-test with four students further improved the user-friendliness of the online application. The content of the learning module is divided into a general introduction to evidence-based medicine and chapters on each sub-item of the 5-A step process. The 5-A-step process is the theoretical basis of evidence-based medical practice , . It should be understood as a cycle of processes. The 5 As stand for Ask (formulation of the question), Acquire (knowledge acquisition), Appraise (evaluation of findings), Apply (application of knowledge) and Assess (evaluation of effects).Likewise, the PICO scheme is introduced and explained. The PICO scheme is used to develop scientific questions . The letters P, I, C and O stand for the most important aspects that should be considered if searching for the best possible therapy (P=“Patient Problem”, I=“Intervention”, C=“Comparison”, O=“outcome”). In order to make self-study with the learning module as interactive as possible, three to four repetition questions are interposed between the individual chapters. Once the students have completed a chapter, they can use the multiple choice and assignment questions to immediately review their understanding of the key content. An interactive case study helps to go through the individual steps again in order to eliminate possible questions before processing the work assignment.Home workFollowing the e-learning module, the trainees were to apply the 5-A step process in practice. For this purpose, 3 case studies have been developed. The students were assigned to one of the three cases beforehand by e-mail. Based on 10 given questions (BONN Test), students were to apply their basic knowledge.Selection of case studiesThe three case studies A, B and C are all related to gout research. This topic was chosen by BE because of her expertise in this field. She is one of the authors of the guideline for acute and chronic gout of the German College of General Practitioners and Family Physicians.Development of an EBM evaluation toolThe Fresno Test and the Berlin Questionnaire , , serve as validated tools for reviewing skills in evidence-based medicine. The "Bonn Test" was developed on the basis of the Fresno test (see table 2 ). In the original Fresno test, the first 4 As and additional basic statistical knowledge are queried. The Bonn Test covers all 5 As and consists of 10 open questions, allowing the test to be applied to any case study. Since the learning goals of our module did not include any statistical or mathematical knowledge, we have excluded these fields for the benefit of constructive alignment.For each question, an expectation horizon has been set (see table 3 ) which defines the content that needs to be covered in the answer, as well as the level of detail, to achieve a certain score. ProjektbeschreibungIm NKLM ist das Lernziel nicht nur die Grundlagen der EbM zu verstehen, sondern sie auch in Form von Problemstellung praktisch anzuwenden [https://medizinische-fakultaeten.de/]. Um nicht nur das theoretische Verständnis der Studenten bezüglich der EbM zu schulen, sondern auch die Translation in deren klinische Tätigkeit zu überprüfen, wurde ein neues Blended-Learning-Konzept im Rahmen einer Dissertation entwickelt. Im Vorfeld wurden dafür Kriterien definiert, die ein Lehrkonzept enthalten soll, um die Translation von EbM in der Praxis bewerten zu können:Lernziele: Die Studenten sollten eine ausreichende Basisausbildung auf dem Gebiet der EbM erhalten, sodass sie das Konzept der evidenzbasierten Medizin verstehen. Insbesondere sollte hier das Wissensmanagement geschult werden. Universelle Gültigkeit: Das vermittelte Wissen sollte generalisierbar und damit für die unterschiedlichsten Fragestellungen im klinischen Alltag anwendbar sein.Evaluierbarkeit: Um das entwickelte Lehrkonzept, bzw. die dadurch gewonnenen Kompetenzen evaluieren zu können, müssen Evaluationsinstrumente konzipiert werden.Compliance: Das Lehrkonzept kann nur erfolgreich implementiert werden, wenn auch die Perspektive der Studenten in die Entwicklung des Konzeptes mit einfließt. Bezugnehmend auf diese 4 Kriterien wurde ein mehrstufiges Lehrkonzept entwickelt. Dieses beinhaltet ein Blended-Learning-Online-Modul, zwei Anwesenheitsseminare, Arbeitsblätter zur Bearbeitung im Blockpraktikum, sowie ein Verfahren um die praktischen EbM-Fähigkeiten der Studenten zu überprüfen und letztendlich noch einen Evaluationsbogen.Zeitlich gestaltete sich der Ablauf wie in Tabelle 1 dargestellt.TeilnehmerInsgesamt haben wir zu drei Zeitpunkten im Studienjahr eine Blockpraktikumsgruppe als Teilnehmende Gruppe gewählt. In jeder Gruppe sind zwischen 10 und 15 Teilnehmer gewesen. Die Teilnahme an dem Seminar war als freiwilliges Zusatzangebot formuliert. Von den insgesamt 38 Studenten, die aufgeteilt auf drei Gruppen für die Probedurchläufe des erweiterten Blockpraktikums vorgesehen waren, erschienen insgesamt 35 zu dem jeweils ersten Präsenzseminar. Das Online-ModulFür die Entwicklung des Online-Moduls wurde auf die Kompetenz des Hochschulrechenzentrums Bonn zurückgegriffen. Nach einer Schulung des Hochschulrechenzentrums zur Programmierung von Lernmodulen entwickelte ME ein Modul für die Onlineplattform eCampus, die von zahlreichen Instituten zur Bereitstellung von Lehrmaterial für die Studenten genutzt wird. Mit Hilfe eines Pretests des Moduls mit 4 Studierenden konnte die Benutzerfreundlichkeit der Anwendung für die Studenten nochmals verbessert werden. Das Lernmodul ist inhaltlich in eine allgemeine Einführung zu Evidenzbasierter Medizin und in Kapitel zu jedem Unterpunkt des 5-A-Schritteprozesses unterteilt. Der 5-A-Schritteprozess ist die theoretische Grundlage des evidenzbasierten ärztlichen Handelns , . Er ist als ein Kreislauf von Abläufen zu verstehen. Die 5 As stehen für die Punkte Ask (Fragestellung formulieren), Acquire (Wissen aquirieren), Appraise (Erkenntnisse bewerten), Apply (Erkenntnisse anwenden) und Assess (Effekte evaluieren). Ebenso wird das PICO Schema eingeführt und erläutert. Das PICO Schema dient der Entwicklung wissenschaftlicher Fragestellungen . Die Buchstaben P, I, C und O stehen jeweils für die wichtigsten Aspekte, die bei der Frage nach der bestmöglichen Therapie berücksichtigt werden sollten (P=„Patient Problem“, I=„Intervention“, C=„Comparison“, O=„Outcome“).Um das Selbststudium mit dem Lernmodul möglichst interaktiv zu gestalten, sind den einzelnen Kapiteln jeweils drei bis vier Wiederholungsfragen zwischengeschaltet. Sobald die Studenten ein Kapitel abgeschlossen haben, können sie mit Hilfe der Multiple Choice- und Zuordnungsfragen ihr Verständnis für die wichtigsten Inhalte umgehend überprüfen. Da die Blockpraktikanten den nun folgenden Arbeitsauftrag im Rahmen des Selbststudiums als Hausaufgabe durchführen sollen, hilft ein interaktives Fallbeispiel, die einzelnen Schritte nochmals zu durchlaufen, um mögliche Fragen vor der Bearbeitung des Arbeitsauftrages auszuräumen.HausaufgabeIm Anschluss an das Lernmodul sollen die Blockpraktikanten den 5-A-Schritteprozess praktisch anwenden. Hierfür wurden 3 Fallbeispiele entwickelt. Welches der drei Fallbeispiele die Studenten bearbeiten sollen, wurde ihnen zuvor per E-Mail mitgeteilt. Anhand von 10 vorgegebenen Fragen sollten die Studenten ihr erlerntes Grundwissen anwenden. Auswahl FallbeispieleDie drei Fallbeispiele A, B und C stammen aus dem Themenfeld Gicht. Dieses Thema wurde von BE gewählt, da sie dazu eine S1-Leitlinie entwickelt hatte und entsprechend mit der Evidenz der Gichtbehandlung vertraut ist. Entwicklung eines EbM-EvaluationsinstrumentesAls anerkannte Instrumente zur Überprüfung von Fähigkeiten in der Evidenzbasierten Medizin dienen der Fresno Test und der Berlin Questionnaire , , . Der „Bonn Test“ wurde auf Grundlage des Fresno Tests entwickelt (siehe Tabelle 2 ). Im originalen Fresno Test werden die ersten 4 As und zusätzlich statistische Basiskenntnisse abgefragt. Der Bonn Test deckt alle 5As ab und besteht ausschließlich aus 10 offengestellten Kurzfragen, sodass sie auf jedes beliebige Fallbeispiel angewendet werden können. Da in unserem Modul keine statistisch, mathematischen Kenntnisse vermittelt wurden, haben wir im Sinne des constructive alignements auf deren Abfrage verzichtet.Für jede Frage wurde in einem Erwartungshorizont festgelegt (siehe Tabelle 3 ), welche Inhalte in der Antwort wie ausführlich abgedeckt sein müssen, um eine bestimmte Punktzahl zu erzielen. The classroom seminarsEvery Monday, Students take part in a 3-hour seminar in the Institute of Family Medicine in Bonn during their two-week training in general practice. The aim of the seminar is to deepen the contents of the online learning module as well as to discuss students’ homework. The seminars were led by a general practitioner and research associate at the Institute of Family Medicine (BE) and the PhD student (ME).The first classroom seminarThe first seminar begins with a short introductory round in which the students are to describe their level of satisfaction with the e-learning module, any comprehension issues, as well as expectations and wishes regarding their clinical training in general practice. Next, the lecturer makes a compact PowerPoint presentation on EBM. This is to refresh the knowledge acquired and is not intended to replace the self-study with the e-learning module. This is followed by an interactive unit where students are asked to assign cards with different study types to the correct definitions on a bulletin board and arrange them according to their levels of evidence. Thereafter, the students discuss different sources of research with the lecturer. Although we chose PubMed as the medium for our e-learning module because it helps us to follow each step, students should also familiarise themselves with commonly used sources such as the Cochrane Library or UptoDate. Finally, the students present their own search strategies and research results of their homework. They first compare their findings in small groups with students who have worked on the same case. Each group then presents a completed Bonn Test. The findings presented are then discussed together in the large group.Work assignmentAt the end of the first seminar, the students receive a work assignment for the training in general practice. Until the next seminar on the following Monday, they should develop their own research questions during their stay in the teaching practices and work on them with the help of the Bonn Test. The students are free to choose the topic. The students are expected to bring the completed documents with them for the second seminar.The second classroom seminarDuring the second seminar, the students can exchange their experiences in the training in general practices while also addressing any problems and ambiguities. The students present their self-developed research questions on clinical cases from the training as well as their research results and therapy recommendations. Afterwards, one of the questions presented will be resolved online so students can experience the practical application of EBM. At the end of the seminar, the completed documents for the students’ own clinical questions will be collected. They can be evaluated with the help of the expectation horizon of the Bonn Test, in much the same way as the gout case studies. The performance of the students is assessed in relation to the peer group and by comparing the theoretical with the practical application.EvaluationEvaluation sheets were handed out at the end of the second seminar. This evaluation includes the satisfaction of the students with the online tutorial, the seminars as well as the training in the practices. Criteria covered by the evaluation include the didactic and technical implementation of the concept as well as the learning effect for the respective aspects of the teaching concept. Die SeminareDie Studenten nehmen jeweils am Montag der beiden Blockpraktikumswochen an einem Seminar von jeweils 3 UE im Konferenzraum des Instituts für Hausarztmedizin teil. Ziel des Seminars ist die Vertiefung der erlernten Inhalte des Online-Lernmoduls sowie die Besprechung der mitgebrachten Hausaufgaben. Die Seminare wurden von einer Fachärztin für Allgemeinmedizin und wissenschaftlichen Mitarbeiterin des Instituts für Hausarztmedizin (BE) sowie der Doktorandin (ME) geleitet.Der erste SeminarterminDas erste Seminar beginnt jeweils mit einer kurzen Vorstellungsrunde, bei der die Studenten auf ihre Zufriedenheit mit dem Lernmodul, eventuelle Verständnisprobleme, sowie Erwartungen und Wünsche bezüglich des Blockpraktikums eingehen sollen. Anschließend stellt der Dozent das Thema EbM nochmals in einer kompakten PowerPoint Präsentation vor. Dieser Vortrag dient dabei lediglich dem Auffrischen des Erlernten und ersetzt nicht das Selbststudium mit dem Lernmodul. Es folgt eine interaktive Einheit, bei der die Studenten an einer Pinnwand Karten mit verschiedenen Studientypen den richtigen Definitionen zuordnen und entsprechend ihrer Evidenzstufen anordnen sollen. Danach besprechen die Studenten mit dem Dozenten unterschiedliche Recherchequellen. Obwohl wir für unser Lernmodul PubMed als Medium ausgewählt haben, da sich hierbei die einzelnen Schritte besser nachvollziehen lassen, sollen die Studenten sich auch mit häufig verwendeten Quellen wie der Cochrane Library oder UptoDate vertraut machen. Zuletzt stellen die Studenten ihre eigenen Suchstrategien und Rechercheergebnisse für ihre Hausaufgaben vor. Diese vergleichen sie zunächst in Kleingruppen mit Kommilitonen, die das gleiche Beispiel bearbeitet haben. Anschließend stellt jede Gruppe einen bearbeiteten Bonn Test vor. Die Vorgehensweise wird dann gemeinsam in der großen Gruppe diskutiert. ArbeitsauftragAm Ende des ersten Seminars erhalten die Studenten einen Arbeitsauftrag für das Blockpraktikum. Bis zum nächsten Seminartermin am darauffolgenden Montag sollen sie während ihres Aufenthaltes in den Lehrpraxen eine eigene wissenschaftliche Fragestellung entwickeln und mit Hilfe des Bonn Tests bearbeiten. Dabei ist den Studenten die Wahl des Themas freigestellt. Möglich wäre beispielsweise ein konkreter Patientenfall aus der Lehrarztpraxis oder der neuste Stand bestimmter Therapieoptionen, für deren Recherche der Lehrarzt keine Zeit hat. Die ausgefüllten Unterlagen sind wieder zum zweiten Seminartermin mitzubringen. Der zweite SeminarterminIm Rahmen des zweiten Seminartermins tauschen sich die Studenten über die bisherigen Erfahrungen in den Lehrarztpraxen aus. Hierbei besteht die Möglichkeit auf Probleme und Unklarheiten einzugehen. Die Studenten stellen ihre selbstentwickelten Fragestellungen zu klinischen Fällen aus den Lehrarztpraxen sowie ihre Rechercheergebnisse und Therapieempfehlungen vor. Anschließend wird eine der Fragestellungen gemeinsam mit Hilfe des Online-Zugangs vor Ort recherchiert um die praktische Anwendung von EbM nachvollziehbar auszuführen. Am Ende des Kurses werden die ausgefüllten Unterlagen zu den eigenen klinischen Fragestellungen eingesammelt. Wie auch schon zuvor die konstruierten Fallbeispiele können sie mit Hilfe des Erwartungshorizonts des Bonn Tests ausgewertet werden. Die Leistung der Studenten wird dabei sowohl untereinander als auch im Vergleich der theoretischen mit der praktischen Anwendung beurteilt.EvaluationAm Ende des zweiten Seminartages werden Evaluationsbögen ausgeteilt. Diese Evaluation umfasst jeweils die Zufriedenheit der Studenten mit dem Online-Modul, den Seminaren sowie dem Blockpraktikum. In der Bewertung wird unter anderem die didaktische und technische Umsetzung des Moduls sowie der Lerneffekt für die jeweiligen Aspekte des Lehrkonzepts berücksichtigt. ResultsThrough our feasibility study, a total of three data sets could be generated.The result of the Bonn Test is available for the gout case studies A, B and C. With this data, the general applicability of the teaching concept under controlled conditions is examined. In total, 32 of the 35 seminar participants (91%) submitted their gout case study (see figure 1 ). All of the 27 evaluable contributions achieve at least the required half of the possible maximum score (maximum 144 points). On average, 108.4 points are achieved with a standard deviation of 15.4 points. In the direct comparison, the students in the case studies A (MW106.2, SD=12.7, n=9), B (MW=107.9, SD=10.9, n=10) and C (MW=111), 6; SD=21.3; n=8) are similarly good, but case C shows a higher deviation from the mean result (see figure 2 ).2. The self-developed research questions of the students are evaluated with the Bonn Test and the quality of the solution approaches is evaluated according to the horizon of expectation. These data provide an insight into the translation of the learned contents into practice. The differentiated presentation of performance in all categories of the 5-A-step process with the aid of the defined points in the expectation horizon allows the direct comparison with the theoretical application of EBM. On average, the total score of the evaluated tests is 99.8 points (s=20.5) below the mean for the notional cases A, B and C (MW=108.4, SD=15.4) (see figure 3 ).3. The third data set is the evaluation questionnaire designed to assess students' satisfaction with the extension of the traineeship as well as their self-assessment of newly acquired skills. The most important aspects of the teaching concept are evaluated using a numerical scale from 0 (“does not apply”) to 10 (“fully agrees”). Out of a total of 34 evaluation forms, 31 were completely filled out and were considered in the further procedure. Overall, 74% of students rated the extension of the traineeship as good or very good (see figure 4 ). In group one and two, it is even 83% and 82% respectively. On average, the third group rates the change worse than the block trainees of the first two test runs with 6.6 out of 10 points (s=2.3). All of the trainees are in favour of implementing the teaching concept at an earlier stage in the curriculum. ErgebnisseDurch unsere Machbarkeitsstudie konnten insgesamt drei Datensätze generiert weden. Das Ergebnis des Bonn Tests liegt für die vorgegebenen Fallbeispiele A, B und C vor. Mit Hilfe dieser Daten wird die allgemeine Anwendbarkeit des Lehrkonzepts unter kontrollierten Rahmenbedingungen überprüft. Insgesamt reichten 32 der 35 der Seminarteilnehmer (91%) ihr bearbeitetes fiktives Fallbeispiel ein (siehe Abbildung 1 ). Alle der 27 auswertbaren Beiträge erreichen mindestens die zum Bestehen notwendige Hälfte der möglichen Punktzahl (Maximum 144 Punkte). Im Durchschnitt werden 108,4 Punkte mit einer Standardabweichung von 15,4 Punkten erzielt. Im direkten Vergleich schneiden die Studenten in den Fallbeispielen A (MW106,2; SD=12,7, N=9), B (MW=107,9; SD=10,9; N=10) und C (MW=111,6; SD=21,3; N=8) ähnlich gut ab, allerdings fällt bei Fallbeispiel C eine höhere Abweichung der Ergebnisse vom Mittelwert auf (siehe Abbildung 2 ). Die selbstentwickelten Fragestellungen der Studenten werden wieder mit Hilfe des Bonn Tests bearbeitet und die Qualität der Lösungsansätze entsprechend des Erwartungshorizonts bewertet. Dadurch lässt sich eine Aussage über die Translation der erlernten Inhalte in die Praxis treffen. Die differenzierte Leistungsdarstellung in den einzelnen Kategorien des 5-A-Schritteprozesses mit Hilfe der festgelegten Punktzahlen im Erwartungshorizont ermöglicht den unmittelbaren Vergleich mit der theoretischen Anwendung von EbM. Im Durchschnitt liegt die Gesamtpunktzahl der ausgewerteten Tests mit 99,8 Punkten (s=20,5) unter dem Mittelwert für die fiktiven Fallbeispiele A, B und C (MW=108,4; SD=15,4) (siehe Abbildung 3 ). Bei dem dritten Datensatz handelt es sich um die Evaluationsbögen, die die Zufriedenheit der Studenten mit der Erweiterung des Blockpraktikums, sowie deren Eigeneinschätzung von neugewonnenen Fähigkeiten erfassen sollen. Die wichtigsten Aspekte rund um das Lehrkonzept werden jeweils mit Hilfe einer numerischen Skala von 0 („trifft nicht zu“) bis 10 („trifft voll zu“) bewertet. Von insgesamt 34 Evaluationsbögen sind 31 vollständig ausgefüllt und werden im weiteren Verlauf berücksichtigt. Insgesamt bewerten 74% der Studenten die Erweiterung des Blockpraktikums mit gut oder sehr gut (siehe Abbildung 4 ). In Gruppe eins und zwei sind es sogar 83% bzw. 82%. Die dritte Gruppe bewertet die Umstellung im Durchschnitt mit 6,6 von 10 Punkten (s=2,3) schlechter als die Blockpraktikanten der ersten beiden Testdurchläufe. Die Blockpraktikanten sprechen sich gruppenübergreifend für die Implementierung des Lehrkonzepts zu einem früheren Zeitpunkt im Curriculum aus. DiscussionWe were able to show that our teaching and learning concept, in the sense of “constructive alignment”, combines students' self-directed learning with the assignment of relevant tasks . On the basis of relevant and realistic tasks, the students were able to achieve the intended learning objectives (fundamentals of scientific work). The results of the Bonn Test for the notional case studies A, B and C suggest that the students reached the desired learning goals in the field of EBM at the end of the learning module. The expectation horizon of the Bonn Test can specifically capture the newly acquired skills and appropriately differentiate strengths and weaknesses in relation to the 5-A-step process. Even if the average score of the Bonn Test is in practice below the score for the application in theory, it still by far exceeds the minimum score required to pass. This shows that both the content of the learning module as well as the assigned tasks can be transferred from theory into practice. The lower average score for “real cases” in some categories is probably due to the complexity of patient cases, which requires even more practice to systematically apply the 5-A step process. The self-developed research questions can also be processed and evaluated with the Bonn Test. This shows the translation of the theoretical contents into practice.Although Ilic et al. showed no superiority of blended learning over classroom education, the group has been able to demonstrate that a combination of both methods results in a significantly better translation of EBM into practice . The expectation horizon of the Bonn Test is an adequate evaluation tool for the relevant EBM skills with real patient cases just as with the notional case studies.Overall, we found potential for improving the concept.Particularly in the development of adequate questions or search strategies, the students need further support.The Bonn Test is associated with a labor-intensive and time-consuming correction process due to its open formulations and its corresponding horizon of expectation. This makes implementation difficult for all students at the same time. On the other hand, the open formulations are the greatest strength of the Bonn Test, as they allow the evaluation of the practical application of EBM at this depth. Therefore, a validation of the Bonn Test, if necessary in abbreviated form, appears as a useful further research approach.The evaluation shows a high acceptance for the extension of the traineeship, so that a future implementation of the teaching concept into the curriculum is feasible. However, the students unanimously agree that it would make more sense to implement this at an earlier phase in their studies. The evaluation reveals that the closeness to the state exam is highly relevant: the later the time of the participating group was in the academic year, the more the students saw the extra workload as a problem due to the upcoming examinations.In the future implementation of the blended learning module, external framework conditions must be taken into account to a higher degree. The implementation of the EBM module during the traineeship, i.e. in the 5th year, does not appear to be appropriate according to the evaluation results. Instead, the EBM module could provide students with the basic skills right at the beginning of the clinical phase in year 3. In the subsequent cross-sectional phases, the students would then be able to work on increasingly complex research questions of their own. The implementation of a correspondingly revised longitudinal model of our EBM module is currently being planned.Also for cost reasons, the integration of a blended learning module as a possible teaching method is a reasonable alternative. Maloney et al. were able to show that the development and implementation costs of a blended learning unit achieve the break-even point after three years compared to classroom training .Moreover, this approach also fits in with the requirements of the Master Plan for Medical Studies 2020, which postulates that more scientific competences should be taught throughout the course of study. DiskussionWir konnten zeigen, dass unser Lehr- und Lernkonzept im Sinne des „Constructive Alignments“ selbst geleitetes Lernen der Studierenden mit der Stellung relevanter Aufgaben verbindet . Anhand relevanter und realitätsnaher Aufgaben konnten die Studierenden die vorgesehenen Lernziele (Grundlagen wissenschaftlichen Arbeitens) erreichen. Die Ergebnisse des Bonn Tests für die vorgegebenen Fallbeispiele A, B und C sprechen dafür, dass die Studenten am Ende des Lernmoduls die gewünschten Lernziele auf dem Gebiet der EbM erreichten. Der Erwartungshorizont des Bonn Tests kann die neu erworbenen Fähigkeiten gezielt erfassen und Stärken bzw. Schwächen in Bezug auf den 5-A-Schritteprozess angemessen differenzieren. Auch wenn die durchschnittliche Punktzahl des Bonn Tests in der Praxis unter der Punktzahl für die Anwendung in der Theorie liegt, so übertrifft sie dennoch mit Abstand die nötige Mindestpunktzahl zum Bestehen. Das zeigt, dass sowohl die Inhalte des Lernmoduls, als auch Aufgabenstellung und Erwartungshorizont von der Theorie in die Praxis übertragen werden können. Die durchschnittlich geringere Punktzahl bei den „realen Fällen“ in einigen Kategorien ist vermutlich auf die Komplexität der Patientenfälle zurückzuführen, die noch mehr Übung erfordert um den 5-A-Schritteprozess systematisch anzuwenden. Die selbstentwickelten Fragestellungen können ebenfalls mit dem Bonn Test bearbeitet und ausgewertet werden. Dies spricht für die Translation der im Lernmodul vermittelten Inhalte in die Praxis. Zwar konnte Ilic et al. keine Überlegenheit von Blended learning vs. Präsenzlehre bei der Vermittlung von EbM-Lernzielen feststellen, aber die Gruppe konnte nachweisen, dass eine Kombination aus beiden Methoden eine deutliche bessere Translation der EbM in die Praxis mit sich bringt . Der Erwartungshorizont des Bonn Tests stellt sich wie bei den fiktiven Fallbeispielen als adäquates Evaluationsinstrument für die relevanten EbM-Fähigkeiten dar.In Zusammenschau der Ergebnisse ergeben sich noch Verbesserungsmöglichkeiten des entwickelten Lernmoduls. Insbesondere bei der Entwicklung adäquater Fragestellungen bzw. Suchstrategien benötigen die Studenten noch weiterführende Unterstützung. Der Bonn Test ist aufgrund seiner offenen Formulierungen und seines entsprechenden Erwartungshorizonts mit einer aufwendigeren Korrektur verbunden und daher personal- und zeitintensiv. Dies erschwert eine Implementierung für alle Studenten zu einem selben Zeitpunkt. Gleichzeitig stellen die offenen Formulierungen die wohl größte Stärke des Bonn Tests dar, da sie die Evaluation der praktischen Anwendung von EbM in dieser Tiefe ermöglichen. Hier erscheint eine Validierung des Bonn-Tests ggf in verkürzter Form als ein sinnvoller weiterer Forschungsansatz.Die Evaluation der studentischen Zufriedenheit zeigt eine hohe Akzeptanz für die Erweiterung des Blockpraktikums, sodass eine zukünftige Implementierung des Lehrkonzepts in das Curriculum möglich ist. Die Studenten sprechen sich jedoch einvernehmlich dafür aus, dass dies zu einem früheren Zeitpunkt im Studium sinnvoller ist. In der Evaluation spiegelt sich die Nähe zu dem Staatsexamen wieder: je später der Zeitpunkt der Durchführung im Semester lag, desto mehr haben die Studenten den Mehraufwand neben der Examensvorbereitung als Manko dargestellt. Bei der Implementierung des Blended-Learning-Moduls in der hier vorliegenden Form, müssen in Zukunft mehr die externen Rahmenbedingungen antizipiert werden. Die Implementierung des EbM-Moduls zu dem Zeitpunkt des Blockpraktikums, also im 4. Klinischen Semester, erscheint aufgrund der Evaluationsergebnisse nicht zielführend. Vielmehr könnte das EbM-Modul direkt zu Beginn des klinischen Abschnitts den Studenten die Basiskompetenzen vermitteln. In den anschließenden Querschnittsbereichen würden die Studenten dann zunehmend komplexere eigene Fragestellung bearbeiten. Die Implementierung eines entsprechend überarbeiteten longitudinalen Modells unseres EbM-Moduls ist aktuell in Planung. Auch aus Kostengründen, ist die Integration eines Blended-Learning Moduls als mögliche Lehrmethode eine sinnvolle Alternative. Maloney et al. konnten zeigen, dass sich bereits nach drei Jahren die Entwicklungs- und Implementierungskosten einer Blended-Learning Einheit im Vergleich zum Präsenzunterricht amortisiert .Dieser Ansatz passt auch zu den Vorgaben des Masterplans Medizinstudium 2020, indem mehr wissenschaftliche Kompetenzen während des gesamten Studiums vermitteln werden sollen. ConclusionOur results show that the developed EBM concept is a promising model for the implementation of evidence-based medicine in the curriculum. It enables medical students for the use of EBM in everyday practice. Overall, the present study confirms that the extension of the curriculum in the field of general medicine is feasible for EBM training and that students can successfully apply the learned content in practice. With the help of the evaluated Bonn Tests and student feedback, the teaching concept can be further improved. The Bonn Test seems to be an adequate evaluation tool for the practical application of EBM. Additional studies, especially at an earlier stage during medical studies, should further examine the validity of the Bonn Test. SchlussfolgerungDer verwendete Lehransatz ist nach Auswertung aller Ergebnisse ein vielversprechendes Modell zur Implementierung von Evidenzbasierter Medizin im Curriculum, welches Medizinstudenten gezielt auf die Anwendung von EbM im Praxisalltag vorbereiten kann. Insgesamt bestätigt die vorliegende Studie, dass die Erweiterung des Curriculums im Fachbereich Allgemeinmedizin um eine EbM-Schulung machbar ist und die Studenten die erlernten Inhalte erfolgreich in der Praxis anwenden können. Mit Hilfe der ausgewerteten Bonn Tests und studentischen Rückmeldungen kann das Lehrkonzept für zukünftige Einsätze gezielt verbessert werden. Den ersten Daten zu Folge scheint der Bonn Test dabei ein adäquates Evaluationsinstrument für die praktische Anwendung von EbM darzustellen. Im Rahmen weiterer Studien, insbesondere zu einem früheren Zeitpunkt während des Medizinstudiums, sollte die Validität des Tests näher untersucht werden. Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben. Francke AL Smit MC de Veer AJ Mistiaen P Factors influencing the implementation of clinical guidelines for health care professionals: A systematic meta-review 2008 BMC Med Inform Decis Mak 38 Francke AL, Smit MC, de Veer AJ, Mistiaen P. Factors influencing the implementation of clinical guidelines for health care professionals: A systematic meta-review. BMC Med Inform Decis Mak. 2008;8:38. DOI: 10.1186/1472-6947-8-38 https://doi.org/10.1186/1472-6947-8-38 Wissenschaftsrat 2014 Empfehlungen zur Weiterentwicklung des Medizinstudiums in Deutschland auf Grundlage einer Bestandsaufnahme der humanmedizinischen Modellstudiengänge Wissenschaftsrat. Empfehlungen zur Weiterentwicklung des Medizinstudiums in Deutschland auf Grundlage einer Bestandsaufnahme der humanmedizinischen Modellstudiengänge. Dresden: Wissenschaftsrat; 2014. Zugänglich unter/available from: https://www.wissenschaftsrat.de/download/archiv/4017-14.pdf https://www.wissenschaftsrat.de/download/archiv/4017-14.pdf ebm - Deutsches Netzwerk 2002 Curriculum Evidenzbasierte Medizin im Studium ebm - Deutsches Netzwerk. Curriculum Evidenzbasierte Medizin im Studium. Berlin: Deutsches Netzwerk Evidenzbasierte Medizin e.V.; 2002. Zugänglich unter/available from: https://www.ebm-netzwerk.de/pdf/curricula-zertifizierung/curriculum-ebm-im-studium.pdf https://www.ebm-netzwerk.de/pdf/curricula-zertifizierung/curriculum-ebm-im-studium.pdf Ilic D Hart W Fiddes P Misso M Villanueva E Adopting a blended learning approach to teaching evidence based medicine: A mixed methods study 2013 BMC Med Educ 169 Ilic D, Hart W, Fiddes P, Misso M, Villanueva E. Adopting a blended learning approach to teaching evidence based medicine: A mixed methods study. BMC Med Educ. 2013;13:169. DOI: 10.1186/1472-6920-13-169 https://doi.org/10.1186/1472-6920-13-169 te Pas E Wieringa-de Waard M de Ruijter W van Dijk N Learning results of GP trainers in a blended learning course on EBM: A cohort study 2015 BMC Med Educ 104 te Pas E, Wieringa-de Waard M, de Ruijter W, van Dijk N. Learning results of GP trainers in a blended learning course on EBM: A cohort study. BMC Med Educ. 2015;15:104. DOI: 10.1186/s12909-015-0386-2 https://doi.org/10.1186/s12909-015-0386-2 Moßhammer D Roos MJ Kronenthaler A Lorenz G Eissler M Joos S Bearbeitung von Forschungsfragen zur wissenschaftlichen Qualifizierung von Studierenden - ein Lehr- und Lernkonzept für das Blockpraktikum Allgemeinmedizin 2011 GMS Z Med Ausbild Doc24 Moßhammer D, Roos MJ, Kronenthaler A, Lorenz G, Eissler M, Joos S. Bearbeitung von Forschungsfragen zur wissenschaftlichen Qualifizierung von Studierenden - ein Lehr- und Lernkonzept für das Blockpraktikum Allgemeinmedizin. GMS Z Med Ausbild. 2011;28(2):Doc24. DOI: 10.3205/zma000736 https://doi.org/10.3205/zma000736 Cook DJ Jaeschke R Guyatt GH Critical appraisal of therapeutic interventions in the intensive care unit: Human monoclonal antibody treatment in sepsis. Journal Club of the Hamilton Regional Critical Care Group 1992 J Intensive Care Med 275-282 Cook DJ, Jaeschke R, Guyatt GH. Critical appraisal of therapeutic interventions in the intensive care unit: Human monoclonal antibody treatment in sepsis. Journal Club of the Hamilton Regional Critical Care Group. J Intensive Care Med. 1992;7(6):275-282. DOI: 10.1177/088506669200700601 https://doi.org/10.1177/088506669200700601 Duke University Medical Center Library UNC Health Sciences Library 2018 Introduction to Evidence-Base Practice Duke University Medical Center Library; UNC Health Sciences Library. Introduction to Evidence-Base Practice. 2018. Zugänglich unter/available from: http://guides.mclibrary.duke.edu/ebmtutorial http://guides.mclibrary.duke.edu/ebmtutorial Thomas R Kreptul D Systematic Review of Evidence-Based Medicine Tests for Family Physician Residents 2015 Fam Med 107-117 Thomas R, Kreptul D. Systematic Review of Evidence-Based Medicine Tests for Family Physician Residents. Fam Med. 2015;47(2):107-117. Ramos KD Validation of the Fresno test of competence in evidence based medicine 2003 BMJ 319-321 Ramos KD. Validation of the Fresno test of competence in evidence based medicine. BMJ. 2003;326(7384):319-321. DOI: 10.1136/bmj.326.7384.319 https://doi.org/10.1136/bmj.326.7384.319 Fritsche L Greenhalgh T Falck-Ytter Y Neumayer HH Kunz R Do short courses in evidence based medicine improve knowledge and skills? Validation of Berlin questionnaire and before and after study of courses in evidence based medicine 2002 BMJ 1338-1341 Fritsche L, Greenhalgh T, Falck-Ytter Y, Neumayer HH, Kunz R. Do short courses in evidence based medicine improve knowledge and skills? Validation of Berlin questionnaire and before and after study of courses in evidence based medicine. BMJ. 2002;325(7376):1338-1341. DOI: 10.1136/bmj.325.7376.1338 https://doi.org/10.1136/bmj.325.7376.1338 Biggs J Tang C 2011 Teaching for Quality Learning at University (/Society for Research into Higher Education). Biggs J, Tang C. Teaching for Quality Learning at University (/Society for Research into Higher Education). 4 ed. London: Open University Press; 2011. Ilic D Nordin RB Glasziou P Tilson JK Villanueva E A randomised controlled trial of a blended learning education intervention for teaching evidence-based medicine 2015 BMC Med Educ 39 Ilic D, Nordin RB, Glasziou P, Tilson JK, Villanueva E. A randomised controlled trial of a blended learning education intervention for teaching evidence-based medicine. BMC Med Educ. 2015;15:39. DOI: 10.1186/s12909-015-0321-6 https://doi.org/10.1186/s12909-015-0321-6 Maloney S Nicklen P Rivers G Foo J Ooi YY Reeves S A Cost-Effectiveness Analysis of Blended Versus Face-to-Face Delivery of Evidence-Based Medicine to Medical Students 2015 J Med Internet Res e182 Maloney S, Nicklen P, Rivers G, Foo J, Ooi YY, Reeves S, et al. A Cost-Effectiveness Analysis of Blended Versus Face-to-Face Delivery of Evidence-Based Medicine to Medical Students. J Med Internet Res. 2015;17(7):e182. DOI: 10.2196/jmir.4346 https://doi.org/10.2196/jmir.4346 11en1de

22en2de

33en3de

1 1en 1de Figure 1: Recruitment of evaluable Bonn tests Abbildung 1: Darstellung der Rekrutierung von auswertbaren Bonn Tests.

2 2en 2de Figure 2: Presentation of the achieved score in the Bonn Test for the notional cases and direct comparison of all contributions with the case-specific contributions A, B and C as well as the maximum score (Max 144) (see table 3). Abbildung 2: Darstellung der im Bonn Test erreichten Gesamtpunktzahl für die fiktiven Fälle und direkter Vergleich aller Beiträge mit den fallspezifischen Beiträgen A, B und C sowie der maximal möglichen Punktzahl (Max 144) (siehe Tabelle 3).

3 3en 3de Figure 3: Comparison of the average score for notional cases and real clinical cases Abbildung 3: Vergleich der mittleren erreichten Gesamtpunktzahlen in fiktiven Fällen im Vergleich zu realen Fällen.

4 4en 4de Figure 4: Presentation of the evaluation results for the EbM concept (maximum score: 10) Abbildung 4: Darstellung der insgesamt vergebenen Punktzahl für die Einführung des EbM –Moduls in der Evaluation (maximale Punktzahl: 10) 4 0 0