zma001338 10.3205/zma001338 urn:nbn:de:0183-zma0013382 article Artikel Blended Learning: Zehn Tipps zur Umsetzung in einem medizinischen Curriculum Hege Hege Inga I

Universität Augsburg, Med. Fakultät, Lehrstuhl Medical Education Sciences, Universitätsstr. 2, D-86159 Augsburg, GermanyUniversität Augsburg, Med. Fakultät, Lehrstuhl Medical Education Sciences, Augsburg, Germany

Universität Augsburg, Med. Fakultät, Lehrstuhl Medical Education Sciences, Universitätsstr. 2, 86159 Augsburg, DeutschlandUniversität Augsburg, Med. Fakultät, Lehrstuhl Medical Education Sciences, Augsburg, Deutschland

inga.hege@med.uni-augsburg.de author Tolks Tolks Daniel D

Klinikum der LMU München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, Germany Leuphana Universität Lüneburg, Zentrum für Angewandte Gesundheitswissenschaften, Lüneburg, Germany

Klinikum der LMU München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, Deutschland Leuphana Universität Lüneburg, Zentrum für Angewandte Gesundheitswissenschaften, Lüneburg, Deutschland

tolks@leuphana.de author Adler Adler Martin M

Instruct gGmbH, München, Germany

Instruct gGmbH, München, Deutschland

martin.adler@instruct.eu author Härtl Härtl Anja A

Universität Augsburg, Med. Fakultät, Lehrstuhl für Medizindidaktik und Ausbildungsforschung, DEMEDA, Augsburg, Germany

Universität Augsburg, Med. Fakultät, Lehrstuhl für Medizindidaktik und Ausbildungsforschung, DEMEDA, Augsburg, Deutschland

anja.haertl@med.uni-augsburg.de author German Medical Science GMS Publishing House

Düsseldorf

610 Blended Learning curriculum curriculum development Blended Learning Curriculum Curriculumsentwicklung How to: Blended Learning Gewusst wie: Blended Learning 20191213 20200405 20200512 20200915 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 2366-5017 37 5 GMS Journal for Medical Education GMS J Med Educ 45 Blended Learning ist eine sinnvolle Verknüpfung von Online- und Präsenzlehre. In diesem Artikel werden relevante Aspekte dieses Formats zusammengefasst und zehn Tipps zur Umsetzung eines Blended Learning-Curriculums in der Ausbildung in den Gesundheitsberufen gegeben. Die allgemeinen Tipps wurden sowohl aus der persönlichen Erfahrung der Autor*innen als auch auf Basis der verfügbaren Literatur abgeleitet und umfassen sowohl den Planungs- als auch den Umsetzungsprozess. Blended learning is a meaningful combination of online and face-to-face teaching and learning. In this article we summarize relevant aspects of this format and provide ten tips for educators and curriculum developers on implementing a blended learning curriculum in healthcare education. These general tips are derived from our experience and the available literature and cover the planning and implementation process. What is blended learning?An example of a well-known blended learning setting is the inverted or flipped classroom, in which students complete self-directed online activities to prepare for a subsequent face-to-face session that builds on the previously acquired knowledge . Generally speaking, blended learning is a meaningful, aligned combination of online and face-to-face teaching and learning that takes advantage of both approaches.There is no real consensus in the literature on how, in detail, a learning scenario should be designed in order to be called blended learning, and discussions often focus on the proportion and interaction of online and face-to-face teaching activities . However, some elements of blended learning that enhance the understanding of the concept have been defined: the learners have at least some control over when, where, and how they work, technology is used to leverage personalization, and instruction provides an integrated learning experience, i.e. the online and face-to-face instruction is aligned in a meaningful way . Was ist Blended Learning?Ein Beispiel für ein bekanntes Blended Learning Format ist das Konzept des „Inverted Classroom“, auch „Flipped Classroom“ genannt: Dabei bereiten sich die Lernenden mit einer Online-Selbstlernphase auf eine dann folgende Präsenzveranstaltung vor, die auf dem zuvor angeeigneten Wissen aufbaut . Im Allgemeinen wird Blended Learning als eine sinnvoll aufeinander abgestimmte Verknüpfung von Online- und Präsenzlehre bezeichnet, wobei Blended Learning die Vorteile beider Ansätze vereint. In der wissenschaftlichen Literatur besteht kein klarer Konsens darüber, wie genau eine Lernumgebung konzipiert sein muss, damit sie als Blended Learning bezeichnet werden kann. Die Diskussionen konzentrieren sich meist auf das Verhältnis und das Zusammenwirken der Online- und der Präsenzaktivitäten . Einige Bestandteile des Blended Learning sind jedoch definiert und tragen zum Verständnis des Konzepts bei: Die Lernenden können zumindest teilweise bestimmen, wann, wo und wie sie arbeiten, Technologie unterstützt das personalisierte Lernen und der Unterricht bietet eine integrierte Lernerfahrung, d. h., der Online- und der Präsenzunterricht sind sinnvoll aufeinander abgestimmt . What are the advantages?Some studies showed advantages of blended learning. A meta-analysis found that blended learning in the health professions seems to be more effective or at least as effective as traditional instruction for knowledge acquisition, but the heterogeneity of study settings and contexts makes conclusions difficult . However, as blended learning bridges traditional face-to-face and online learning, it can reduce the shortcomings of both formats. For example, a lack of personal contact with peers and tutors in e-learning activities is compensated for by the face-to-face sessions, and a lack of self-paced learning time in face-to-face teaching is compensated for by the online environment.Moreover, blended learning helps to bridge the gap between theory and practice and has the potential in healthcare education to improve learners’ clinical competencies, such as clinical reasoning or documentation skills . Welche Vorteile bietet es?Die Vorteile des Blended Learning konnten bereits in einigen Studien gezeigt werden. Beispielsweise erwies sich in einer Metaanalyse Blended Learning in Gesundheitsberufen beim Wissenserwerb als effektiver oder mindestens genauso effektiv wie traditioneller Unterricht. Die Heterogenität des Aufbaus und der Kontexte der Studien lassen allerdings kaum allgemeine Schlussfolgerungen zu . Blended Learning verbindet jedoch den traditionellen Präsenzunterricht und Onlinelernen und kann so die Defizite beider Formate durch deren Kombination reduzieren. So können beispielsweise der fehlende persönliche Kontakt mit Kommiliton*innen und Lehrenden bei E-Learning-Aktivitäten mit Präsenzveranstaltungen und fehlendes selbstgesteuertes Lernen im Präsenzunterricht in der Onlineumgebung ausgeglichen werden.Außerdem ist Blended Learning ein Bindeglied zwischen Theorie und Praxis und kann bei der Ausbildung in den Gesundheitsberufen die klinischen Kompetenzen der Lernenden, wie beispielsweise klinisches Entscheiden oder die Dokumentationsfähigkeiten verbessern . What are the disadvantages and barriers?Despite such benefits and technological advancements, the integration of online learning into a healthcare curriculum in the form of aligned blended learning is still limited in Germany.The reasons for and potential barriers to a more widespread uptake include, for example: low familiarity of educators with online learning and blending, initial effort, including costs, to create high-quality online learning material, and concerns that students are not familiar with the format and will not complete the online material , . Welche Nachteile und Hindernisse gibt es?Trotz dieser Vorteile und des technologischen Fortschritts findet die Integration von Onlinelernen in medizinische Curricula in Form von Blended Learning an Fakultäten in Deutschland nur begrenzt statt.Einer weiteren Verbreitung stehen einige Hindernisse entgegen. Beispielsweise sind Lehrende oft nicht mit online Lehre bzw. Blended Learning vertraut. Ein weiteres Hindernis ist der anfangs hohe Aufwand einschließlich der Kosten für die Erstellung von hochwertigem Online-Lernmaterial. Außerdem bestehen häufig Bedenken, dass die Lernenden mit dieser Lernform ebenfalls nicht vertraut sind und das Onlinematerial nicht bearbeiten , . How can I develop and implement a blended learning curriculum?In the following sections we propose ten general tips to help educators and curriculum designers to conceptualize and implement a blended learning curriculum in order to overcome barriers and make use of the advantages of blended learning. The tips are based on the literature on blended learning and our experience in implementing blended learning scenarios for the last 20 years. We, as authors, have different perspectives on blended learning making it possible to provide perspectives on curriculum development, e-learning, face-to-face teaching and faculty development in this article. Some of the tips may seem very basic, but often such obvious aspects are not sufficiently considered when planning blended learning scenarios. For each tip, we include examples or suggestions for further reading.1. Apply the Kern cycle for curriculum developmentThe planning and implementation of a curriculum or the reform of a curriculum is often based on the six-step Kern cycle of curriculum development. This cycle includes problem identification, targeted needs assessment, formulating goals and learning objectives, selecting educational strategies, implementation, and evaluation and feedback . Naturally, these steps are also useful for developing blended learning curricula and have been adapted by Chen et al. for online teaching . The adapted cycle includes step-specific aspects for online teaching, such as the need for technological support for the implementation step or deciding about learning platforms when selecting suitable educational strategies. This adapted Kern cycle can serve as a helpful framework for the development of a blended learning course or curriculum, ensuring that no steps are omitted, and online and face-to-face phases are planned together and closely aligned.Most importantly, we recommend planning the revision of the curriculum early, whether it be after evaluation results are available or even during the evaluation process (step 6). Often, curriculum development stops here and does not continue the cycle of refining and improving. Nevertheless, especially when developing a new curriculum with a novel format, planning the revision phases is essential.2. Apply an instructional framework for the designA common approach for developing blended learning is converting traditional courses by simply adding some technology-based learning activities, often resulting in extra workload for teachers and especially students . Instead, we recommend re-designing the entire curriculum or course and applying an instructional framework for the design of the online and the face-to-face phases. For example, Merrill et al. introduced five principles of instruction that can be applied to blended learning and can especially help to design state-of-the-art, face-to-face and online phases that actively engage the learner .The five principles include problem-centeredness with real-world problems, learner activation, demonstration of new knowledge or skills for the learner, application of new knowledge or skills by the learner, and integration with synthesis and reflection. Often, online activities do not include the application and integration level, despite this being technically possible and a much more effective use of the online activities. For this reason, we recommend putting a special emphasis on these steps, for example, by engaging learners in collaboratively developing their own examples or cases in an online environment which then can be presented and discussed in a seminar. 3. Train the faculty on blended learning and build a teamFaculty training on how to develop and implement blended learning and how to discuss their new role in such a student-centered approach is essential and can be a good starting point for building a development team.We recommend familiarizing the faculty with the new approach by teaching them in a longitudinal, blended learning format including follow-up sessions, which then can nicely blend into the development process and educators can build upon their own experience as learners . A fundamental aspect for faculty training is to use the same platforms, tools, frameworks, and settings that are used for teaching the students.When starting, it is helpful to develop one or more pilot implementation as an example for your faculty.Similar to a face-to-face curriculum, the development of a blended learning curriculum requires different perspectives and skills. Ideally, the team consists of a subject matter expert, an instructional designer and e-learning specialist, technical support, and an expert on face-to-face teaching working in close collaboration with other areas, such as assessment and evaluation. We admit that this might be difficult to achieve, but watching for faculty, staff or students with such experience and discussing your ideas and activities with them can help to build such a team in the long term.4. Involve the target group – you are not the learnerPart of the Kern cycle of curriculum development is identifying the needs of the intended target group, including learners with disabilities (steps 1 and 2). Therefore, we recommend involving your target group - the learners at a specific stage in their education who will experience your blended learning curriculum and the educators who will teach in this setting - in all steps of the curriculum development process. Since blended learning is also suitable to teach in interprofessional contexts , be aware to include all relevant target groups in such settings (e.g. medical, nursing and physiotherapy students). Learners can contribute their experiences with and approaches to learning in a rapidly changing technological environment, and they should be encouraged to share their own ideas.The target group should also be involved in (pilot) testing activities and learning scenarios, and their feedback should be obtained as a basis for further refinement and development.Such an approach can also be used to assess the digital competency of your learners at an early stage and enable you to address needs adequately.For example, during the online phases students become familiar with formats such as e-portfolios, virtual patients, adaptive learning environments, or social media, which can be followed up on and discussed in the face-to-face sessions.Another more challenging approach is to involve the target group as content creators by designing learning scenarios in which they are required to create content (e.g. a video clip) that can be re-used later on or for the next group of learners.By involving the target group in multiple ways during the development process, it is more likely that you will meet the needs of your future learners and that they will accept the implemented formats.5. Clarify incentives for educators and legal aspectsWhen starting to plan and develop blended learning, educators often fear a loss of accredited teaching time while, at the same time, having to spend more time preparing material for the online phases. Unfortunately, there is no easy answer to this and, for example in Germany, universities and states have different rules for accrediting (online) teaching time .As a consequence, we recommend having an open discussion about accreditation and finding solutions so that educators do not experience the disadvantages connected with blended learning. In any case, the online phases need to be an integral part of the teaching and included in the workload calculation for students and teachers.Other topics that need to be addressed early on as part of steps 1 and 2 of the Kern cycle are data protection and copyright aspects concerning the online phases, especially in relation to feedback and learning analytics since access to learners’ activities and results are required. Recommended guidelines and resources include, for example, a copyright document provided by the Würzburg-Schweinfurt University of Applied Sciences [https://urheberrecht.fhws.de/faq-urheberrecht/], e-teaching.org [https://www.e-teaching.org/technik/datenhaltung/datenschutz] and a MOOC [https://imoox.at/mooc/local/courseintro/views/startpage.php?id=44] on data protection.6. Build on a stable and modern technical infrastructure To implement a blended learning curriculum (step 4 of the Kern cycle), it is essential to have a stable and accessible [https://www.e-teaching.org/didaktik/konzeption/barrierefreiheit] technical infrastructure for the learning environment in terms of hardware and software. According to the student association “Digital Changemaker” at the 2019 conference of the "Hochschulforum Digitalisierung", even basics like access to power and internet connections can be a challenge. This is nothing you can address yourself, but it is important to feed such information back to the faculty and university and to support your institution in implementing necessary changes for a reliable digital infrastructure. However, to avoid being overwhelmed by technical aspects, especially if there is no technical expert on your team, we recommend starting by assessing the learning environment available at your institution and building on what is already in use, even if this means compromising in the beginning. Even though open source software, such as the learning management system moodle [https://moodle.org/] or the e-portfolio platform mahara [https://mahara.org/], is available, it does need professional maintenance. Servers and software, in general, become quickly outdated without professional and regular service and can pose a security risk to users and the network. EU data protection regulations (GDPR) require a minimum security standard even if only minimal user information such as email addresses is stored. Consequently, the technical infrastructure needs to be maintained professionally, either by an institution's computer center or external services.7. Provide a common threadA common thread is an overarching topic or guiding theme running through the curriculum. Providing one or more common threads for blended learning units and the overall curriculum helps both students and educators to navigate the curriculum and provides the "big picture" behind all online and face-to-face activities. The type of common thread might depend on the type of the curriculum, meaning it could be a problem, a cardinal symptom, a case, or a competency. In a spiral curriculum the common threads can be picked up again several times with increasing complexity and serve as a framework. For example, the cardinal symptom "cough" could serve as a common thread combining online teaching about the pathophysiology with face-to face bedside teaching and seminars addressing history taking and physical examination in patients with cough, virtual patients to train differential diagnoses, and students creating and presenting a concept map visualizing relevant aspects.8. Combine and align different teaching and assessment methods In general, the following combinations of online and face-to-face phases are possible:online learning as preparation for face-to-face courses (so-called flipped or inverted classroom) and/oronline learning as a follow-up after a face-to-face course and/oronline elements during a face-to-face session, such as working in simulated environments or part-task trainers.Depending on your learning objectives, there are many different formats and activities to choose from when developing the online and face-to-face phases; various websites provide guidance (e.g. [http://methodenpool.uni-koeln.de/frameset_uebersicht.htm], [https://fctl.ucf.edu/teaching-resources/teaching-strategies/teaching-methods-overview/]).As part of step 4 (selecting educational strategies) in the Kern cycle, we recommend combining a variety of different teaching methods and settings to optimally meet the learning objectives you defined in step 3 of the Kern cycle. Just as for traditional curricula, learning objectives, teaching methods and formative and summative assessment should be aligned with each other, consistent with the model of constructive alignment .Additionally, a variation of teaching methods can lead to a more satisfactory learning experience for the students .For the online phases, we recommend not only aiming for obvious levels of competencies, such as knowledge, but also using activities to address higher-level learning objectives. For example, students can be engaged in online group activities to collaboratively solve a problem, which could then be presented and discussed in the face-to-face session.As an example for combining formats in teaching clinical skills, videos and interactive online tasks can be used to prepare for a face-to-face course in which students train a clinical skill with simulated patients or part-task trainers; after the face-to-face course the trained skill can be put into a wider clinical context using virtual patients prior to bedside teaching rounds with patients in the hospital.9. Integrate open educational resources (OER)Step 5 of the Kern cycle is implementation, which applies in blended learning scenarios to the face-to-face and the online teaching and the alignment of these phases.Since online learning has been around for a long time, there is an abundance of material available for designing the online phase and reusing such material can save time. However, language might be a barrier to the re-use of existing high-quality material, which is often only available in English.By integrating material from platforms that are already used by your learners, the barriers will be lower for them and they will not view the online components as something they have to do in addition or separately from what they already learn with. Introducing additional material and resources gives them a wider variety of available resources for their own learning. Resources and platforms such as YouTube [https://www.youtube.com], AMBOSS [https://www.amboss.com], or social media channels can be integrated, and learners can be engaged in identifying high-quality content (see tip 4). Plus, a critical reflection on the resources can be implemented in both the online and the face-to-face phases to improve students’ digital literacy skills.Also, Massive Open Online Courses (MOOCs) can be integrated into a blended learning curriculum; de Jong et al. provide helpful tips on how to do this .Finally, if you or your learners create material, consider publishing it as OER. To ensure that it is also suitable for other curricula, it can be helpful to develop material jointly in national or even international collaboration. Grants are often available for such collaboration and various helpful websites, such as OERInfo or OER InForm, are available to guide the creation and use of OERs [[https://open-educational-resources.de/], [https://oer.amh-ev.de/].This tip addresses two barriers to introducing blended learning: the costs and the technological barriers for learners.10. Make full use of evaluation and feedback opportunitiesFor step 6 of the Kern cycle an evaluation framework, as described by Pombo et al. or Bowyer et al. , can form the basis for holistically evaluating a blended learning curriculum instead of evaluating the online and face-to-face phases separately.In addition to classic evaluation with questionnaires, the online phases provide cumulated and individual usage data (learning analytics). These data allow early identification of any issues with the course or learners and it may be possible to react during a course. The analysis of the usage data can also provide the basis for feedback and discussion in both the online and the face-to-face sessions.As mentioned earlier, feedback (teacher-student or student-student) is an overarching principle for effective learning and should be present in online and face-to-face phases; feedback can also be integrated into and aligned with the evaluation activities.Finally, we recommend setting up educational research studies based on your evaluations because there are still clear research gaps in how different types of learning influence academic performance, student content interactions, and the role of the teacher looking into both delivery modes . Wie kann ich ein Blended Learning-Curriculum umsetzen?In den folgenden Abschnitten werden zehn allgemeine Tipps vorgestellt, die in der Lehre und der Curriculumsentwicklung die Konzeptionierung und Umsetzung eines Blended Learning-Curriculums und damit die Überwindung von Hindernissen und die Nutzung der Vorteile des Blended Learning unterstützen. Die Tipps wurden auf Basis der Literatur zu Blended Learning und der persönlichen Erfahrung der Autor*innen bei der Umsetzung von Blended Learning-Szenarien aus den letzten 20 Jahren erstellt. Die Autor*innen bringen unterschiedliche Perspektiven auf Blended Learning ein, sodass in diesem Artikel Curriculumsentwicklung, E-Learning, Präsenzlehre und Fakultätsentwicklung betrachtet werden können. Einige der Tipps erscheinen möglicherweise sehr grundlegend, doch gerade solche offensichtlichen Aspekte werden bei der Planung von Blended Learning-Szenarien häufig nicht ausreichend berücksichtigt. Zu jedem Tipp geben wir Beispiele oder weiterführende Literatur an.1. Anwendung des Kern-Zyklus zur CurriculumsentwicklungDie Planung und Umsetzung bzw. die Reformierung eines Curriculums beruhen häufig auf dem Kern-Zyklus zur Curriculumsentwicklung. Dieser umfasst die folgenden sechs Schritte: Problemidentifizierung, Bedarfsanalyse der Zielgruppe, Formulierung übergeordneter Ziele und spezifischer Lernziele, Auswahl von Lehrmethoden, Umsetzung und Evaluation und Feedback . Diese Schritte sind auch zur Entwicklung von Blended Learning-Curricula hilfreich und wurden von Chen et al. an die Onlinelehre angepasst . In dem angepassten Zyklus werden in jedem Schritt spezifische Aspekte für die Onlinelehre berücksichtigt, darunter die Notwendigkeit technologischer Unterstützung bei der Umsetzung und die Entscheidung über Lernplattformen bei der Auswahl geeigneter Ausbildungsstrategien. Der angepasste Kern-Zyklus ist ein hilfreiches Framework für die Entwicklung einer Blended Learning-Lehrveranstaltung oder eines Blended Learning-Curriculums, da sichergestellt wird, dass kein Schritt ausgelassen und die Online- und Präsenzphasen eng aufeinander abgestimmt geplant werden.Vor allem empfehlen wir die frühzeitige Planung der Überarbeitung des Curriculums nach dem Erhalt der Evaluationsergebnisse (Schritt 6) oder sogar währenddessen. Meist ist die Entwicklung von Curricula hier beendet und es findet keine Feinabstimmung und Verbesserung mehr statt. Aber gerade die Planung der Überarbeitungsphasen ist besonders bei der Entwicklung eines neuen Curriculums in einem neuartigen Format unerlässlich.2. Verwendung eines Instructional Frameworks für die Konzeption Häufig werden traditionelle Lehrveranstaltungen durch Hinzufügen einiger technologiebasierter Lernaktivitäten in Blended Learning umgewandelt. Das führt jedoch meist zu einer zusätzlichen Arbeitsbelastung für die Lehrenden und Lernenden . Stattdessen empfehlen wir eine Neugestaltung des gesamten Curriculums oder der Lehrveranstaltung basierend auf einem Framework zur Gestaltung der Online- und Präsenzphasen. Beispielsweise haben Merrill et al. fünf Prinzipien entwickelt, die auf Blended Learning angewendet werden können, und die vor allem die Gestaltung von Online- und Präsenzphasen mit einem Fokus auf Lernendenaktivierung unterstützten .Diese fünf Prinzipien sind: Problemzentrierung mit realen Problemen, Aktivierung der Lernenden, Demonstration des neuen Wissens und der neuen Fertigkeiten für die Lernenden, Anwendung des neuen Wissens und der neuen Fertigkeiten durch die Lernenden und Integration mit Synthese und Reflexion durch die Lernenden. Bei vielen Onlineaktivitäten fehlt häufig die Anwendungs- und die Integrationsebene, obwohl diese technisch umsetzbar ist und so die Onlineaktivitäten effektiver genutzt werden könnten. Daher empfehlen wir, ein besonderes Augenmerk auf diese Schritte zu legen und die Lernenden beispielsweise dazu aufzufordern, in einem Onlineumfeld gemeinsam eigene Beispiele oder Fälle zu erarbeiten, die dann in einem Seminar vorgestellt und diskutiert werden. 3. Schulung der Lehrenden für Blended Learning und Aufbau eines TeamsDie Schulung bzw. Weiterbildung der Lehrenden zur Entwicklung und Umsetzung von Blended Learning sowie zur Diskussion ihrer neuen Rolle in einem solchen auf die Lernenden ausgerichteten Ansatz ist unerlässlich und ein guter Ausgangspunkt für den Aufbau eines Entwicklungsteams.Wir empfehlen, die Lehrenden mithilfe eines longitudinalen Blended Learning-Formats einschließlich Nachbesprechungen mit dem neuen Ansatz vertraut zu machen. Diese Nachbesprechungen können dann gut in den Entwicklungsprozess übergehen und ermöglichen den Lehrenden auf ihrer eigenen Erfahrung als Lernende aufzubauen . Ein wesentlicher Aspekt bei der Schulung der Lehrenden ist die Verwendung derselben Plattformen, Werkzeuge, Frameworks und Rahmen, die dann auch für die Lernenden eingesetzt werden. Zu Beginn ist die Entwicklung einer oder mehrerer Pilotimplementierungen als anschauliche Beispiele für die Lehrenden hilfreich.Für die Entwicklung von Blended Learning-Curricula werden wie für Präsenzcurricula auch unterschiedliche Perspektiven und Fähigkeiten benötigt. Daher sollte das Team im Idealfall aus Expert*innen im jeweiligen Fach, im Bereich Instruktionsdesign und E-Learning, für die technische Umsetzung und für die Präsenzlehre bestehen, welche eng mit Fachleuten anderer Bereiche wie Prüfungen und Evaluation zusammenarbeiten. Dieser Idealfall ist allerdings nur schwer erreichbar, doch es kann hilfreich sein, Lehrende oder Lernende zu suchen, die Erfahrungen in diesen Bereichen haben, Ideen und mögliche Aktivitäten mit ihnen zu besprechen und so langfristig ein Team aufzubauen.4. Einbeziehung der Zielgruppe – Lehrende sind nicht die LernendenZum Kern-Zyklus für die Curriculumsentwicklung gehört die Bestimmung der Anforderungen und Bedürfnisse der Zielgruppe(n), einschließlich Lernende mit Behinderung (Schritt 1 und 2). Wie empfehlen, die Zielgruppen – Lernende in einer bestimmten Stufe ihrer Ausbildung, für die das Blended Learning-Curriculum geplant wird, und die Lehrenden, die in diesem Format unterrichten werden – in alle Schritte der Curriculumsentwicklung einzubeziehen. Da Blended Learning auch für interprofessionelle Kontexte geeignet ist, sollten dabei stets alle relevanten Zielgruppen (z. B. Medizinstudierende, Auszubildende in der Pflege und Physiotherapie) berücksichtigt werden. Die Lernenden können so ihre eigenen Erfahrungen und Lernansätze in einer sich rasch wandelnden technischen Umgebung beitragen und sollten dazu ermutigt werden, ihre eigenen Ideen einzubringen.Zudem sollten die Zielgruppen in die (Pilot-)Erprobung der Lernszenarien und -aktivitäten eingebunden werden, und ihr Feedback als Grundlage für die Überarbeitung und Weiterentwicklung dienen.Ein solcher Ansatz kann auch zur frühzeitigen Beurteilung der digitalen Kompetenz der Lernenden dienen und erlaubt eine angemessene Berücksichtigung der Bedürfnisse der Lernenden. Beispielsweise können Studierende während einer Onlinephase mit Formaten wie E-Portfolios, virtuellen Patient*innen, adaptiven Lernumgebungen oder sozialen Medien vertraut gemacht werden. Diese können dann in den Präsenzveranstaltungen vertieft und diskutiert werden.Ein weiterer, anspruchsvollerer Ansatz umfasst die Einbeziehung der Zielgruppen bei der Erstellung von Inhalten. Beispielsweise könnten sie Lernszenarien entwerfen, für die sie entsprechende Inhalte zusammenstellen müssen (z. B. Videoclips). Solche Lernszenarien oder Inhalte könnten dann auch für die nächste Gruppe von Lernenden eingesetzt werden.Durch die vielfältige Einbeziehung der Zielgruppen in den Entwicklungsprozess steigt die Wahrscheinlichkeit, dass die Bedürfnisse der künftigen Lernenden erfüllt werden und sie die umgesetzten Formate annehmen.5. Anreize für Lehrende setzen und rechtliche Aspekte klärenZu Beginn der Planung und Entwicklung von Blended Learning fürchten Lehrende häufig einen Zeitverlust für anrechenbare Unterrichtszeit und gleichzeitig einen höheren Zeitaufwand für die Vorbereitung des online Lernmaterials. Leider gibt es hierfür keine einfache Lösung, und in Deutschland beispielsweise haben Länder und Universitäten für die Anerkennung von (Online-)Unterrichtszeit unterschiedliche Regelungen .Wir raten daher eine offene Diskussion innerhalb der eigenen Institution über die Anerkennung zu führen und Lösungen zu finden, sodass den Lehrenden durch Blended Learning keine Nachteile entstehen. In jedem Fall müssen die Onlinephasen ein integraler Bestandteil der Lehre sein und in die Berechnung des Arbeitspensums der Lehrenden und Lernenden einfließen.Weitere Themen, die frühzeitig im Rahmen des ersten und zweiten Schritts des Kern-Zyklus beachtet werden müssen, sind Datenschutz und Urheberrechtsaspekte für die Onlinephasen. Diese Themen müssen insbesondere hinsichtlich Feedback und Auswertung von Lernendenaktivitäten (learning analytics) besprochen werden, da hierfür der Zugriff auf die Nutzungsdaten und Ergebnisse der Lernenden erforderlich ist. Richtlinien und Hinweise hierfür finden sich z. B. in einem von der Hochschule für angewandte Wissenschaften Würzburg-Schweinfurt bereitgestellten Dokument zum Urheberrecht [https://urheberrecht.fhws.de/faq-urheberrecht/], auf e-teaching.org [https://www.e-teaching.org/technik/datenhaltung/datenschutz] oder in einem MOOC [https://imoox.at/mooc/local/courseintro/views/startpage.php?id=44] zum Thema Datenschutz.6. Verwendung einer stabilen und modernen technischen Infrastruktur Für die Umsetzung eines Blended Learning-Curriculums (Schritt 4 des Kern-Zyklus) ist eine stabile und leicht zugängliche [https://www.e-teaching.org/didaktik/konzeption/barrierefreiheit] technische Infrastruktur für die Lernumgebung hinsichtlich Hardware und Software unerlässlich. Laut Aussagen der Studierendeninitiative „Digital Changemaker“ auf der Konferenz des Hochschulforums Digitalisierung 2019 können selbst grundlegende Voraussetzungen wie Strom- und Internetanschluss eine Herausforderung darstellen. Zwar können diese Probleme nicht von Lehrenden selbst behoben werden, jedoch ist es wichtig, solche Informationen zu erfassen und an die Fakultät oder die Universität weiterzuleiten und so die Einrichtung bei der Umsetzung der für eine zuverlässige digitale Infrastruktur erforderlichen Änderungen zu unterstützen. Um jedoch eine Überforderung durch die technischen Aspekte zu vermeiden, insbesondere dann, wenn im Team Fachleute für Technik fehlen, empfehlen wir, zunächst die an ihrer Fakultät verfügbaren Lernumgebungen zu evaluieren und auf bereits verwendete Lösungen aufzubauen, auch wenn dabei anfangs Kompromisse eingegangen werden müssen. Auch Open-Source-Software wie das Lernmanagementsystem Moodle [https://moodle.org/] oder die E-Portfolio-Plattform Mahara [https://mahara.org/] bedarf professioneller Wartung. Server und Software im Allgemeinen sind ohne professionelle und regelmäßige Wartung schnell veraltet und können ein Sicherheitsrisiko für Anwender*innen und das Netzwerk darstellen. Datenschutzbestimmungen (GDPR) schreiben einen Mindestsicherheitsstandard vor, auch wenn nur sehr wenige Nutzer*innendaten wie E-Mail-Adressen gespeichert werden. Daher muss die technische Infrastruktur professionell gewartet werden, entweder durch das Rechenzentrum der Universität oder durch externe Dienstleistungsunternehmen.7. Entwicklung eines roten FadensEin „roter Faden“ ist ein übergeordnetes Thema oder Leitmotiv und zieht sich durch das gesamte Curriculum. Ein oder mehrere rote Fäden in den Blended Learning-Einheiten und dem gesamten Curriculum helfen Lernenden und Lehrenden beim Navigieren durch das Curriculum und zeigen das große Ganze hinter den Online- und Präsenzaktivitäten. Was genau der „rote Faden“ ist, hängt von der Art des Curriculums ab. Beispielsweise können ein Problem, ein Leitsymptom, ein Fall oder eine Kompetenz gewählt werden. Für Spiralcurricula können die roten Fäden mehrere Male und mit zunehmender Komplexität aufgegriffen werden und als Rahmen dienen. So könnte z. B. ein Leitsymptom „Husten“ als roter Faden dienen, wobei Onlineunterricht zur Pathophysiologie, Unterricht am Krankenbett und Seminare zur Anamneseerhebung und körperlichen Untersuchung von Patient*innen mit Husten, virtuelle Patient*innen zur Erstellung von Differentialdiagnosen und von den Lernenden erstellte und präsentierte Concept-Maps zur Veranschaulichung relevanter Aspekte miteinander kombiniert werden könnten.8. Kombination und Abstimmung unterschiedlicher Lehr- und Prüfungsmethoden Grundsätzlich sind folgende Verknüpfungen von Online- und Präsenzphasen möglich:Onlinelernen als Vorbereitung auf Präsenzveranstaltungen (sogenannter „Flipped Classroom“ oder „Inverted Classroom“) und/oderOnlinelernen als Nachbereitung von Präsenzveranstaltungen und/oderOnlineelemente während Präsenzveranstaltungen wie Simulationen oder Part-Task-Trainer.Für die Entwicklung der Online- und Präsenzphasen können je nach Lernzielen viele unterschiedliche Formate und Aktivitäten gewählt werden. Verschiedene Websites bieten hierzu Orientierungshilfen an (z. B. [http://methodenpool.uni-koeln.de/frameset_uebersicht.htm], [https://fctl.ucf.edu/teaching-resources/teaching-strategies/teaching-methods-overview/]).Im Rahmen des vierten Schritts (Auswahl von Lehr-und Prüfungsmethoden) des Kern-Zyklus empfehlen wir die Verknüpfung von unterschiedlichen Lehrmethoden und -umgebungen, damit die im dritten Schritt des Kern-Zyklus formulierten Lernziele optimal erreicht werden können. Lernziele, Lehrmethoden und formative und summative Prüfungen sollten wie auch in traditionellen Curricula im Einklang mit dem Modell des Constructive Alignment aufeinander abgestimmt werden . Außerdem trägt die Variation der Lehrmethoden zu einer höheren Zufriedenheit der Lernenden bei .Wir empfehlen außerdem, in den Onlinephasen nicht nur auf naheliegende Kompetenzen wie Wissen abzuzielen, sondern auch Aktivitäten für Lernziele höherer Ebene zu nutzen. So können Studierende beispielsweise in Online-Gruppenaktivitäten gemeinsam ein Problem lösen, dass dann in der Präsenzveranstaltung vorgestellt und diskutiert wird.Als Verknüpfung mehrerer Formate zur Vermittlung klinischer Fähigkeiten können beispielsweise Videos und interaktive Onlineaufgaben zur Vorbereitung einer Präsenzveranstaltung eingesetzt werden. Die Lernenden üben eine klinische Fähigkeit mithilfe von Simulationspatient*innen oder Part-Task-Trainingssysteme. Nach der Präsenzveranstaltung kann die geübte Fertigkeit durch den Einsatz virtueller Patient*innen in einen erweiterten klinischen Kontext eingebunden werden, gefolgt von Unterricht am Krankenbett.9. Integration von Open Educational Resources (OER)Schritt 5 des Kern-Zyklus ist die Umsetzung, die in Blended Learning-Szenarios die Präsenz- und Onlinephasen sowie die Abstimmung dieser Phasen betrifft.Da das Onlinelernen schon seit Langem Einzug in die Hochschulen gefunden hat, steht eine Fülle an Materialien zur Gestaltung solcher online Aktivitäten zur Verfügung. Durch die Verwendung solcher Materialien kann Zeit gespart werden. Bei hochwertigen Materialien kann jedoch die sprachliche Barriere eine Herausforderung darstellen, da sie oft nur auf Englisch verfügbar sind.Durch die Integration von Material von Plattformen, die Lernenden bereits verwenden, sind die Hürden für sie niedriger und sie erfahren die online Aktivitäten nicht als etwas, das sie zusätzlich oder getrennt von ihrer eigentlichen Lernumgebung bearbeiten müssen. Durch die Einführung von zusätzlichem Material und zusätzlichen Ressourcen erhalten sie Zugang zu einer größeren Bandbreite an Lernmaterialien. Außerdem können Ressourcen und Plattformen wie YouTube [https://www.youtube.com], AMBOSS [https://www.amboss.com] oder Social-Media-Kanäle integriert und die Lernenden so in die Identifizierung hochwertiger Inhalte (siehe Tipp 4) einbezogen werden. Die kritische Reflexion der Ressourcen kann zur Förderung der digitalen Medienkompetenz sowohl in die Online- als auch die Präsenzphasen eingebaut werden.Auch Massive Open Online Courses (MOOCs) können in Blended Learning-Curricula eingebunden werden. Dazu geben de Jong et al. hilfreiche Tipps .Zudem empfehlen wir, sowohl eigene als auch von den Lernenden erstellte Materialien als OER zu veröffentlichen. Um sicherzustellen, dass diese Materialien auch für andere Curricula geeignet sind, ist idealerweise eine Entwicklung innerhalb nationaler oder sogar internationaler Kooperationen hilfreich. Für solche Kooperationen werden häufig Fördermittel vergeben, und zur Erstellung und als Informationsquellen für die Verwendung von OERs stehen verschiedene Websites wie OERInfo oder OER InForm zur Verfügung [https://open-educational-resources.de/], [https://oer.amh-ev.de/].Dieser Tipp adressiert damit zwei Hindernisse für die Einführung von Blended Learning: die Kosten und die technologischen Hürden für die Lernenden. 10. Vollständige Nutzung der Evaluation und des FeedbacksFür den Schritt 6 des Kern-Zyklus sollte ein Evaluationsframework wie von Pombo et al. oder Bowyer et al. die Grundlage für eine umfassende Evaluation eines Blended Learning-Curriculums bilden, anstatt die Online- und die Präsenzphasen separat zu evaluieren.Zusätzlich zur klassischen Evaluation mit Hilfe von Fragebögen können, die während der Onlinephasen erfassten kumulierten und individuellen Nutzungsdaten analysiert werden (learning analytics). Mithilfe dieser Daten können Probleme in Bezug auf die Veranstaltung oder die Lernenden frühzeitig identifiziert werden und sogar noch während der Veranstaltung auf Probleme reagiert werden. Die Analyse der Nutzungsdaten kann außerdem sowohl in den Online- als auch den Präsenzveranstaltungen die Grundlage für Feedback und Diskussionen bilden.Wie bereits erwähnt ist Feedback (Lehrende-Lernende oder Lernende-Lernende) ein übergeordneter Grundsatz für effizientes Lernen und sollte sowohl in den online als auch in den Präsenzphasen erfolgen. Es kann auch in die Evaluationsaktivitäten integriert bzw. an sie angepasst werden.Abschließend empfehlen wir die Umsetzung von Studien auf Grundlage der Evaluation, da noch Forschungsbedarf zum Einfluss unterschiedlicher Arten des Lernens auf die akademische Leistung, die Interaktion der Lernenden mit den Inhalten sowie die Rolle der Lehrenden bei beiden Vermittlungsmethoden besteht . ConclusionsThese ten tips represent the core of our experience with implementing blended learning curricula and courses. With the general tips we focused on the specifics of blended learning and only touched on some aspects that are relevant to online learning or face-to-face teaching in general. However, guidelines on how to implement the different phases are, of course, also valid and helpful in blended learning scenarios and should be considered. Implementing a blended learning curriculum is not about digitalizing learning content at all costs, but about taking advantage of online and face-to-face teaching.Finally, be creative and have fun. Developing a blended learning curriculum is work, but it is also fun. You and your team can be creative in developing learning activities for both delivery modes and during the process you can learn a lot from the participating students and team members, each of whom has a different perspective on the curriculum. SchlussfolgerungenDie zehn Tipps sind die Quintessenz der Erfahrung der Autor*innen bei der Umsetzung von Blended Learning-Curricula und -veranstaltungen. Diese allgemeinen Tipps sind auf die Besonderheiten des Blended Learning gerichtet und berühren daher nur einige der für die Online- oder Präsenzlehre insgesamt relevanten Aspekte. Natürlich sind jedoch Richtlinien zur Umsetzung der jeweiligen Phasen auch für Blended Learning-Szenarios gültig und hilfreich und sollten daher berücksichtigt werden. Die Umsetzung eines Blended Learning-Curriculums bedeutet nicht, dass Lerninhalte um jeden Preis digitalisiert werden sollen. Vielmehr geht es darum, sich die Vorteile sowohl des online- als auch des Präsenzunterrichtes zunutze zu machen.Abschließend - Seien Sie kreativ und haben Sie Spaß: Die Entwicklung eines Curriculums bedeutet Arbeit, aber auch Spaß. Das Team kann bei der Entwicklung von Lernaktivitäten für beide Formate kreativ sein, und während des Prozesses können alle Mitglieder viel von den beteiligten Lernenden und anderen Mitgliedern mit unterschiedlichen Sichtweisen auf das Curriculum lernen. Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autor*innen erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben. Tolks D Schäfer C Raupach T Kruse L Sarikas A Gerhardt-Szép S Klauer G Lemons M Fischer MR Eichner B Sostmann K Hege I An Introduction to the Inverted/Flipped Classroom Model in Education and Advanced Training in Medicine and in the Healthcare Professions 2016 GMS J Med Educ Doc46 Tolks D, Schäfer C, Raupach T, Kruse L, Sarikas A, Gerhardt-Szép S, Klauer G, Lemons M, Fischer MR, Eichner B, Sostmann K, Hege I. An Introduction to the Inverted/Flipped Classroom Model in Education and Advanced Training in Medicine and in the Healthcare Professions. GMS J Med Educ. 2016;33(3):Doc46. DOI: 10.3205/zma001045 https://doi.org/10.3205/zma001045 Siemens G Gaševic D Dawson S 2015 Preparing for the digital university - a review of the history and current state of distance, blended, and online learning Siemens G, Gaševic D, Dawson S. Preparing for the digital university - a review of the history and current state of distance, blended, and online learning. Alberta (CA): Athabasca University; 2015. Zugänglich unter/available from: http://linkresearchlab.org/PreparingDigitalUniversity.pdf http://linkresearchlab.org/PreparingDigitalUniversity.pdf Maxwell C 2016 What blended learning is - and isn't Maxwell C. What blended learning is - and isn't. Lexington, MA: Clayton Christensen Institute; 2016. Zugänglich unter/available from: https://www.blendedlearning.org/what-blended-learning-is-and-isnt/ https://www.blendedlearning.org/what-blended-learning-is-and-isnt/ Liu Q Peng W Zhang F Hu R Li Y Yan W The Effectiveness of Blended Learning in Health Professions: Systematic Review and Meta-Analysis 2016 J Med Internet Res e2 Liu Q, Peng W, Zhang F, Hu R, Li Y, Yan W. The Effectiveness of Blended Learning in Health Professions: Systematic Review and Meta-Analysis. J Med Internet Res. 2016;18(1):e2. DOI: 10.2196/jmir.4807 https://doi.org/10.2196/jmir.4807 Rowe M Frantz J Bozalek V The role of blended learning in the clinical education of healthcare students: a systematic review 2012 Med Teach e216-221 Rowe M, Frantz J, Bozalek V. The role of blended learning in the clinical education of healthcare students: a systematic review. Med Teach. 2012;34(4):e216-221. DOI: 10.3109/0142159X.2012.642831 https://doi.org/10.3109/0142159X.2012.642831 Childs S Blenkinsopp E Hall A Walton G Effective e-learning for health professionals and students-barriers and their solutions. A systematic review of the literature-findings from the HeXL project 2005 Health Info Libr J 22-32 Childs S, Blenkinsopp E, Hall A, Walton G. Effective e-learning for health professionals and students-barriers and their solutions. A systematic review of the literature-findings from the HeXL project. Health Info Libr J. 2005;22 (Suppl 2):22-32. DOI: 10.1111/j.1470-3327.2005.00614.x https://doi.org/10.1111/j.1470-3327.2005.00614.x Boyle J Quail N Lou XY Linn A Flipping the classroom: is it worth the bother? 2016 Clin Teach 137-138 Boyle J, Quail N, Lou XY, Linn A. Flipping the classroom: is it worth the bother? Clin Teach. 2016;14(2):137-138. DOI: 10.1111/tct.12533 https://doi.org/10.1111/tct.12533 Kern DE Thomas PA Hughes MT 2009 Curriculum Development for Medical Education: A Six-Step Approach Kern DE, Thomas PA, Hughes MT, editors. Curriculum Development for Medical Education: A Six-Step Approach. 2nd ed. Baltimore (MD): Johns Hopkins University Press; 2009. Chen BY Kern DE Kearns RM Thomas P Hughes MT Tackett S From Modules to MOOCs: Application of the Six-Step Approach to Online Curriculum Development for Medical Education 2019 Acad Med 678-685 Chen BY, Kern DE, Kearns RM, Thomas P, Hughes MT, Tackett S. From Modules to MOOCs: Application of the Six-Step Approach to Online Curriculum Development for Medical Education. Acad Med. 2019;94(5):678-685. DOI: 10.1097/ACM.0000000000002580 https://doi.org/10.1097/ACM.0000000000002580 McGee P Reis A Blended Course Design: A Synthesis of Best Practices 2012 J Asynch Learn Network 7-22 McGee P, Reis A. Blended Course Design: A Synthesis of Best Practices. J Asynch Learn Network. 2012;16(4):7-22. DOI: 10.24059/olj.v16i4.239 https://doi.org/10.24059/olj.v16i4.239 Merrill MD First principles of instruction 2002 Educ Technol Res Develop 43-59 Merrill MD. First principles of instruction. Educ Technol Res Develop. 2002;50(3):43-59. DOI: 10.1007/BF02505024 https://doi.org/10.1007/BF02505024 Tolks D Pelczar I Bauer D Brendel T Görlitz A Küfner J Simonsohn A Hege I Implementation of a Blended-Learning Course as Part of Faculty Development 2014 Creat Educ 948-953 Tolks D, Pelczar I, Bauer D, Brendel T, Görlitz A, Küfner J, Simonsohn A, Hege I. Implementation of a Blended-Learning Course as Part of Faculty Development. Creat Educ. 2014;05(11):948-953. DOI: 10.4236/ce.2014.511108 https://doi.org/10.4236/ce.2014.511108 Liaw SY Tan KK Wu LT Tan SC Choo H Yap J Lim SM Wong L Ignacio J Finding the Right Blend of Technologically Enhanced Learning Environments: Randomized Controlled Study of the Effect of Instructional Sequences on Interprofessional Learning 2019 J Med Internet Res e12537 Liaw SY, Tan KK, Wu LT, Tan SC, Choo H, Yap J, Lim SM, Wong L, Ignacio J. Finding the Right Blend of Technologically Enhanced Learning Environments: Randomized Controlled Study of the Effect of Instructional Sequences on Interprofessional Learning. J Med Internet Res. 2019;21(5):e12537. DOI: 10.2196/12537 https://doi.org/10.2196/12537 Müller C Füngerlings S Tolks D Teaching load - a barrier to digitalisation in higher education? A position paper on the framework surrounding higher education medical teaching in the digital age using Bavaria, Germany as an example 2018 GMS J Med Educ Doc34 Müller C, Füngerlings S, Tolks D. Teaching load - a barrier to digitalisation in higher education? A position paper on the framework surrounding higher education medical teaching in the digital age using Bavaria, Germany as an example. GMS J Med Educ. 2018;35(3):Doc34. DOI: 10.3205/zma001180 https://doi.org/10.3205/zma001180 Biggs J Tang C 2011 Teaching for Quality Learning at University: What the Student Does Biggs J, Tang C. Teaching for Quality Learning at University: What the Student Does. 4. Aufl. Maidenhead: Open University Press; 2011. Anderson T Modes of interaction in distance education: Recent developments and research questions 2018 Handbook of Distance Education 129-144 Anderson T. Modes of interaction in distance education: Recent developments and research questions. In: Moore MG, Anderson WG, editors. Handbook of Distance Education. 2nd revised edition. Mahwah, NJ: Routledge; 2018. p.129-144. de Jong PG Pickering JD Hendriks RA Swinnerton BJ Goshtasbpour F Reinders ME Twelve tips for integrating massive open online course content into classroom teaching 2019 Med Teach de Jong PG, Pickering JD, Hendriks RA, Swinnerton BJ, Goshtasbpour F, Reinders ME. Twelve tips for integrating massive open online course content into classroom teaching. Med Teach. 2019;1-5. DOI: 10.1080/0142159X.2019.1571569 https://doi.org/10.1080/0142159X.2019.1571569 Pombo L An evaluation framework for blended learning - perspectives of experts worldwide 2015 Blended Learning: Student Perceptions, Emerging Practices and Effectiveness Pombo L. An evaluation framework for blended learning - perspectives of experts worldwide. In: Jones BR, editor. Blended Learning: Student Perceptions, Emerging Practices and Effectiveness. New York: Nova Science Pub Inc; 2015. Bowyer J Chambers L Evaluating blended learning: Bringing the elements together 2017 Res Matter 17-26 Bowyer J, Chambers L. Evaluating blended learning: Bringing the elements together. Res Matter. 2017;23(10):17-26. 0 0 0 0