zma001695 10.3205/zma001695 urn:nbn:de:0183-zma0016950 article Artikel EYE-EKG: Eine RCT-Studie zum Einfluss von Studierendenmerkmalen und Eye-Tracking-Expertenvideos mit Cued Retrospective Reporting auf die EKG-Befundungskompetenz von Studierenden Scherff Scherff Aline D. AD

LMU University Hospital, LMU Munich, Institute of Medical Education, Munich, Germany

LMU Klinikum, LMU München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, Deutschland

Aline.Scherff@med.uni-muenchen.de author Kääb Kääb Stefan S

LMU University Hospital, LMU Munich, Department of Medicine I, Munich, Germany

LMU Klinikum, LMU München, Medizinische Klinik und Poliklinik I, München, Deutschland

Stefan.Kaab@med.uni-muenchen.de author Fischer Fischer Martin R. MR

LMU University Hospital, LMU Munich, Institute of Medical Education, Munich, Germany

LMU Klinikum, LMU München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, Deutschland

martin.fischer@med.uni-muenchen.de author Berndt Berndt Markus M Dr.

LMU University Hospital, LMU Munich, Institute of Medical Education, Pettenkoferstr. 8a, D-80336 Munich, GermanyLMU University Hospital, LMU Munich, Institute of Medical Education, Munich, Germany

LMU Klinikum, LMU München, Institut für Didaktik und Ausbildungsforschung in der Medizin, Pettenkoferstr. 8a, 80336 München, DeutschlandLMU Klinikum, LMU München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, Deutschland

Markus.Berndt@med.uni-muenchen.de author German Medical Science GMS Publishing House

Düsseldorf

610 eye-tracking learning electrocardiography students medical clinical reasoning diagnosis Eye-Tracking Lernen Elektrokardiographie Medizinstudierende Clinical Reasoning Diagnose ECG interpretation EKG Auswertung 20230926 20240503 20240610 20240916 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 2366-5017 41 4 GMS Journal for Medical Education GMS J Med Educ 40 Hintergrund: Die Lehre der EKG-Befundung stützt sich häufig auf visuelle Schemata. Die resultierende EKG-Befundungskompetenz durch die Studierenden ist jedoch oft mangelhaft. Die Expertiseforschung zeigt, dass die Blickmuster von Experten häufig von den Schritten abweichen, welche beim Schema-Lernen vermittelt werden. Die vorliegende Studie visualisierte den Blick eines Kardiologieexperten bei der EKG-Befundung – durch Eye-Tracking-Videos mit Cued Retrospective Reporting (CRR) – und untersuchte das Potenzial als zusätzliche expertenbasierte Möglichkeit zur Verbesserung der EKG-Befundungskompetenz von Medizinstudierenden.Methodik: N=91 Medizinstudierende nahmen an der RCT einer EKG-Lernstudie teil, die darauf abzielte, die EKG-Befundungskompetenz von Medizinstudierenden zu verbessern. Sie erhielten entweder das Standard-Training (n=44) mit vier Lernfällen oder zusätzlich das neu entwickelte Eye-Tracking-Video mit CRR-Audiokommentarmaterial (n=47). Drei Befundungsscores, die sich auf verschiedene Aspekte der EKG-Befundungskompetenz beziehen, wurden aus den prä-post Multiple-Choice EKG-Tests entwickelt. Die Effekte des EYE-EKG Trainings und zusätzlicher Studierendenmerkmale (z. B. Vorerfahrung, Interesse) auf die EKG-Befundungskompetenz der Studierenden wurden mit Hilfe von t-Tests und multivariater linearer Regression bewertet.Ergebnisse: Es zeigte sich ein kleiner, nicht signifikanter Lernvorteil des EYE-EKG-Trainings, entsprechend einer Tendenz zu einem größeren Wissenszuwachs im Vergleich zum Standard-Training. In den durchgeführten multivariaten Regressionsmodellen war die prädiktive Rolle von Fall 1 ein unerwartetes Ergebnis, welches weiter exploriert werden muss.Fazit: Der zusätzliche Lernfortschritt nach einer nur 9-minütigen Intervention – bei welcher Videos von Echtzeit-Blickmustern eines Experten in Kombination mit der auditiven Präsentation des Denkprozesses während der EKG-Befundung verwendet wurden – sind ein vielversprechendes Ergebnis. Darüber hinaus wurde eine Reihe von spezifischen Leistungsmerkmalen identifiziert, die es den Studierenden ermöglichen, am besten vom EKG-Training zu profitieren. Mögliche Modifikationen der Lernintervention werden vorgeschlagen. Objectives: Teaching of ECG interpretation frequently relies on visual schemas. However, subsequent student ECG interpretation skills are often poor. Expertise research shows that expert looking patterns frequently deviate from the steps taught in schema learning. The present study made a cardiology expert’s gaze interpreting ECGs visible – through eye-tracking videos with cued retrospective reporting (CRR) – and investigated the potential as an additional expert-driven route to improve medical students’ ECG interpretation skills.Methods: N=91 Medical students participated in the RCT of an ECG e-learning session aimed at medical students’ ECG interpretation skills gain, either receiving the newly developed eye-tracking video with CRR audio commentary materials (n=47) or studying via four clinical cases only (n=44). Three outcome scores relating to different aspects of ECG interpretation skills were derived from pre-post MCQ ECG tests. The effect of the EYE-ECG training and additional characteristics (e.g., prior experience, interest) on student ECG interpretation skills were evaluated using t-tests and multivariate linear regression.Results: A small, non-significant advantage of the EYE-ECG training signifying a tendency for greater knowledge gain was observed, compared to training as usual. In multivariate regression models, the predictive value of clinical case 1 was an unexpected finding warranting further exploration.Conclusion: Additional gains after an only 9-minute intervention using videos of expert’s real-time gaze pattern in combination with hearing their thought processes during ECG interpretation is a promising finding. Furthermore, a number of specific performance characteristics enabling students to best benefit from ECG training were identified and possible modifications to the learning intervention suggested. 1. Introduction1.1. Learning and teaching of ECG interpretation skillsElectrocardiography (ECG) interpretation is a clinically highly relevant part of the medical education curriculum and is considered an Entrustable Professional Activity that medical students need to master prior to graduation , .There currently exists widespread agreement on the importance of ECGs as a diagnostic test, and the impact of accurate interpretations of patient cases is further illustrated by the finding that patient cases in which an ECG is of relevance are particularly prone to error and can lead to incorrect treatment . For these reasons, ECG interpretation forms part of core undergraduate medical training , and accuracy of ECG interpretation and the improvement thereof is already a widely studied topic, with a 2020 meta-analysis including 10056 participants across 78 studies . Crucially, it concludes that performance results are frequently poor with a derived mean accuracy of 42% for medical students, which improved to 75% for cardiologists. Overall, ECG interpretation holds continued potential for improvement throughout one’s medical professional career and developing early approaches to more successful skill learning could greatly positively impact the medical field. Available training methods have generally been found to moderately improve ECG interpretation skills and improvement has also been linked to a stable dose-effect relationship . Yet, to date, there is no universally recognised gold standard how ECG interpretation skills should be taught and knowledge thereof assessed . A common approach to the current teaching of ECG interpretation relies on didactically designed schemas or checklists, which can be used in the interpretation process as an organisational framework to ensure a professional and complete reporting. Nevertheless, relying on experts to develop interpretation schemas comes at the cost of being resource intensive while using students’ own schemas has been shown as more burdensome on their cognitive load .Moreover, expertise research shows that with increasing levels of expertise, physicians deviate more and more from standard schemas, and in doing so arrive at more accurate diagnoses more quickly , , . Similarly, expert knowledge in other domains, such as expertise vs. novice play in chess, is well characterised. It is therefore both of great academic interest and of interest to medical students as ECG novices to be able to experience and learn from examples of expert ECG interpretation as fully as possible. Methods such as eye-tracking, which visualise expert knowledge for medical teaching of ECG interpretation skills – without having to rely on standard schema learning – could offer a direct path (eye-tracking presents actual viewing patterns) to examples of good ECG interpretation skills.1.2. Expertise in medical visualisations from eye-tracking and verbal reportsBeyond schema learning, differences between experts and novices in their approach to medical visualisations, such as ECGs, have been demonstrated through a variety of measures. A review by Gegenfurtner et al. concludes that two of the major approaches to tease out differences in strategies have been tracking eye movements, and collecting and using verbal reports. These have been considered as mutually complementary, since eye-tracking is a relatively recent technology to demonstrate and share visual search and perception, and verbal reports permit insight into clinical reasoning and assign meaning to what one sees . Among the main themes that have been considered for their potential differences between experts and novices are time on task, eye movement characteristics of experts, differences in visual attention, visual search patterns, and the effect of teaching visual search strategies (review in ).Overall, expert cardiologists’ gaze is characterised by narrowly focused attention on few but relevant spots when interpreting ECGs and verbal reports already generated hypotheses including relevant diagnostic information .However, less progress has been made in converting specific (expert-like) search strategies to measurable student skill gains via deliberate teaching: For instance, a study by Kok et al. showed that their training in X-ray viewing led to a more systematic search but did not result in a higher diagnostic precision as compared to a student group not using the proposed strategy .Therefore, it has been proposed that novices – lacking a priori hypotheses allowing them to benefit from the efficient expert schemas – may benefit instead from an approach that directs learners’ attention to specific areas more generally but lets them draw their own inferences. While some of this may be achieved via shared attention during face to face communication, using an eye-tracker for eye movement modelling by visualising expert scan paths , makes this strategy available for self-paced digital learning. While this is of current appeal as a strategy suitable for COVID-19 contingencies where an expert teacher is not available, eye-tracking (unlike more traditional verbal lectures using laser pointers as aids) also has the added benefit of ensuring all cues are unambiguously presented and visible to learners at all times. Importantly, it presents interpretative viewing patterns as they truly are rather than how the expert teacher believes they should be presented.1.3. Cued retrospective reportingA promising method to support student learning processes is the combination of eye movement measurement (eye-tracking) and cued retrospective reporting (CRR, supported verbal explanation of eye movements) . CRR is a specific form of a retrospective think-aloud protocol based on eye movements. As opposed to concurrent thinking-aloud methods, it asks subjects to verbally report their thoughts after completion of a task, in this scenario using their own previously recorded eye-tracking patterns as memory cues. The advantage of cued retrospective reporting is that it does not interfere with task performance , i.e., by avoiding the risk of increased task demands, divided attention, or altering intuitive viewing patterns to suit verbal descriptions. It has been suggested that contributors are generally sufficiently accurate in their retrospective reporting, and this is particularly true for short tasks lasting 5-10 seconds , such as the time it takes an expert to interpret an ECG. Moreover, Helle (2017) also postulates that retrospective verbalisation appears to be the preferable option for eliciting more in-depth explications for very short tasks where there is simply not enough time to verbalise, and this has also been demonstrated experimentally, showing that compared to other methods, cued retrospective reporting is qualitatively equivalent and produces a greater quantity of comments , .Briefly, this method has been used successfully in a variety of learning scenarios including problem-solving , information-seeking tasks , , , and the interpretation of diagrams , but is an innovation in the context of ECG learning. Studies thus suggest that eye-tracking and CRR can act as a suitable method to support learning , , and the limited literature available on medical imagery would suggest that CRR currently poses a novel approach to medical teaching.1.4. Aim of the present studyIn summary, ECG interpretation skills are an important part of medical students’ curriculum but often rely on teaching via schema, with currently poor performance results. An alternative, novel approach to teaching and learning ECG interpretation skills may be achieved via a combined eye-tracking and retrospective thinking-aloud protocol.The present study investigated the effects of eye-tracking videos with cued retrospective reporting by a cardiology expert interpreting ECGs on medical students’ ECG interpretation skills. In addition to the aforementioned evaluation of this new training intervention, students’ ECG interpretation skills and the potential contribution of CRR-based learning were evaluated against the background of multiple other characteristics contributing to their ECG interpretation skills. These included a range of both short and long term factors such as overall prior knowledge, current motivation, and three conceptualisations of ECG learning outcomes (initial identification of ECG features, avoiding errors, and reaching a fully correct diagnosis).Research question one investigated the usefulness of CRR videos for student ECG learning, hypothesising that the intervention group (INT) would show greater ECG interpretation skills post-training as compared to training as usual (TAU). Research question two asked which characteristics could best predict post-training ECG interpretation skills, hypothesising that these skills could firstly be meaningfully predicted and secondly that specific sets of relevant characteristics would emerge depending on the interpretation strategy in focus. 1. Einleitung1.1. Lernen und Lehren von EKG-BefundungskompetenzDie Befundung von Elektrokardiogrammen (EKG) ist ein klinisch hoch relevanter Teil der medizinischen Ausbildung und gilt als anvertraubare professionelle Tätigkeit, die Medizinstudierende zum Studienabschluss beherrschen müssen , .Über die Wichtigkeit des EKGs als diagnostischen Test besteht derzeit weitgehende Einigkeit, und die Bedeutung einer korrekten Befundung von Patientenfällen zeigt sich auch darin, dass Patientenfälle, bei denen ein EKG von Bedeutung ist, besonders fehleranfällig sind und zu einer fehlerhaften Behandlung führen können . Aus diesen Gründen ist die EKG-Befundung Teil der medizinischen Grundausbildung , und die Genauigkeit der EKG-Befundungskompetenz und deren Verbesserung ist bereits ein vielfach untersuchtes Thema. Eine Metaanalyse aus dem Jahr 2020 hierzu umfasste 10056 Teilnehmende aus 78 Studien . Sie kommt zu dem Schluss, dass die Performanz häufig schlecht ist, bei einer mittleren Genauigkeit von 42% bei Medizinstudierenden, und sich bei Kardiologen auf 75% verbessert. Insgesamt birgt die EKG-Befundung ein kontinuierliches Verbesserungspotenzial während der gesamten medizinischen Laufbahn, und die Entwicklung frühzeitiger Ansätze für ein erfolgreicheres Erlernen dieser Fähigkeit könnte sich sehr positiv auf die medizinische Praxis auswirken. Bisher konnte insgesamt gezeigt werden, dass die verfügbaren Trainings die EKG-Befundungskompetenz mäßig verbessern, und der Lernfortschritt wurde auch mit einer verlässlichen Dosis-Wirkungs-Beziehung in Verbindung gebracht . Dennoch gibt es bis heute keinen allgemein anerkannten Goldstandard, wie EKG-Befundungskompetenzen vermittelt und entsprechende Kenntnisse bewertet werden sollten . Ein gängiger Ansatz für die Vermittlung der EKG-Befundung beruht auf didaktisch gestalteten Schemata oder Checklisten, die im Befundungsprozess als organisatorische Struktur verwendet werden können, um eine professionelle und vollständige Befundung sicherzustellen. Der Rückgriff auf Experten zur Vermittlung dieser Befundungsschemata ist jedoch ressourcenintensiv, während die Verwendung eigener Schemata durch die Studierenden nachweislich eine größere kognitive Anforderung für sie darstellt .Darüber hinaus zeigt die Expertiseforschung, dass Ärzt*innen mit zunehmender Expertise zunehmend von Standardschemata abweichen und dadurch schneller und zu genaueren Diagnosen gelangen , , . Expertenwissen in anderen Bereichen, z. B. im Vergleich zwischen Experten und Anfängern beim Schachspiel, ist bereits gut untersucht. Nun ist es sowohl für die Wissenschaft als auch für Medizinstudierende als EKG-Novizen von großem Interesse, so umfassend wie möglich auch Beispiele gelingender EKG-Befundung durch Experten erlebbar zu machen und daraus zu lernen. Methoden wie Eye-Tracking, welches das Expertenwissen für die medizinische Lehre von EKG-Befundung visualisiert, ohne sich auf das Standardschema-Lernen verlassen zu müssen, könnten einen direkten Einblick (Eye-Tracking als Darstellung der tatsächlichen Blickmuster) als Vorbilder für gute EKG-Befundung ermöglichen.1.2. Expertise in medizinischen Darstellungen via Eye-Tracking und verbalen BerichtenÜber das oben genannte Schema-Lernen hinaus wurden Unterschiede in ihrer Herangehensweise an medizinische Darstellungen, wie z. B. EKGs, zwischen Experten und Anfängern bereits vielfach nachgewiesen. Eine Übersichtsarbeit von Gegenfurtner et al. kommt zu dem Schluss, dass zwei der wichtigsten Ansätze zum Aufzeigen solcher Unterschiede in den jeweiligen Strategien die Verfolgung von Augenbewegungen sowie die Erfassung und Verwendung von verbalen Berichten waren. Diese beiden Ansätze werden als sich gegenseitig ergänzend betrachtet, da das Eye-Tracking eine relativ neue Technologie ist, welche die visuelle Suche und Wahrnehmung demonstriert und sichtbar macht und die verbalen Berichte einen Einblick in die klinische Argumentation ermöglichen, um dem Gesehenen eine Erklärung zu geben . Zu den vorrangigen Themen, die im Hinblick auf mögliche Unterschiede zwischen Experten und Anfängern untersucht wurden, gehören die aktive Lernzeit, die Augenbewegungsmuster von Experten, die Unterschiede in der visuellen Aufmerksamkeit, die visuellen Suchmuster und der Erfolg einer Vermittlung visueller Suchstrategien (Review in ).Insgesamt zeichnet sich der Blick von Kardiologieexperten durch eine stark fokussierte Aufmerksamkeit auf wenige, wegweisende Punkte bei der Befundung von EKGs aus, sowie durch verbale Berichte, die bereits Hypothesen mit relevanten diagnostischen Informationen enthalten .Weniger Fortschritte wurden jedoch dabei erzielt, spezifische (expertenähnliche) Suchstrategien in messbaren Fähigkeitszuwachs der Lernenden durch eine entsprechend gezielte Lehre zu verwandeln: So zeigte eine Studie von Kok et al., dass ihr Training zu Röntgenbildern zwar zu einer systematischeren Suche, aber nicht zu einer höheren diagnostischen Präzision führte, im Vergleich zu einer Studierendengruppe, die die vorgeschlagene Strategie nicht anwandte .Basierend darauf wurde vorgeschlagen, dass Anfänger – denen es an a priori Hypothesen mangelt, welche es ihnen ermöglichen würden von den verkürzten Schemata der Experten zu lernen – stattdessen von einem Ansatz profitieren können, der die Aufmerksamkeit der Lernenden etwas allgemeiner nur auf bestimmte Bereiche lenkt , sie aber ihre eigenen Schlüsse ziehen lässt. Obwohl dies teilweise auch durch geteilte Aufmerksamkeit während der persönlichen Kommunikation erreicht werden kann, ermöglicht die Verwendung eines Eye-Trackers zur Präsentation der Augenbewegungen via Visualisierung von Experten-Scanpfaden , diese Strategie nun auch für ein selbstgesteuertes digitales Lernen. Diese Strategie eignete sich besonders für COVID-19-Semester, in denen kein Experte zur persönlichen Lehre zur Verfügung stand. Darüber hinaus hat Eye-Tracking (im Gegensatz zu konventionellen Vorlesungen, bei denen Laserpointer als Hilfsmittel verwendet werden) den zusätzlichen Vorteil, dass alle Hinweise eindeutig dargestellt werden und für die Lernenden jederzeit sichtbar sind. Wichtig ist auch, dass die visuellen Befundungsmuster so dargestellt werden, wie sie wirklich sind, und nicht so, wie sie nach Meinung des dozierenden Experten dargestellt werden sollten.1.3. Cued Retrospective ReportingEine vielversprechende Methode zur Unterstützung studentischer Lernprozesse ist die Kombination von Messung der Augenbewegungen (Eye-Tracking) und Cued Retrospective Reporting (CRR, unterstützte verbale Erklärung der Augenbewegungen) . CRR ist eine spezifische Form eines retrospektiven thinking-aloud Protokolls, das auf Augenbewegungen basiert. Im Gegensatz zu den Methoden des gleichzeitigen lauten Denkens werden die Versuchspersonen bei beim CRR aufgefordert, ihre Gedanken erst nach Beendigung einer Aufgabe verbal zu schildern, wobei sie in diesem Szenario ihre eigenen, vorher aufgezeichneten Blickbewegungsmuster als Gedächtnisstützen verwenden. Der Vorteil von CRR besteht darin, dass es die Performanz bei der Aufgabe nicht beeinträchtigt , d. h. dass das Risiko erhöhter Aufgabenanforderungen, geteilter Aufmerksamkeit oder der Änderung intuitiver Blickmuster, um verbalen Beschreibungen entsprechen zu können, so vermieden werden. Es ist bekannt, dass die Ausführenden insgesamt hinreichend genau retrospektiv berichten können, und dies gilt insbesondere für kurze Aufgaben die 5-10 Sekunden dauern , wie z. B. für die Zeit, die ein Experte zur Befundung eines EKGs benötigt. Darüber hinaus postuliert Helle (2017), dass die retrospektive Verbalisierung bei sehr kurzen Aufgaben, bei denen einfach nicht genügend Zeit für die Verbalisierung zur Verfügung steht, die bevorzugte Option zur Erlangung eingehenderer Erklärungen zu sein scheint. Dies wurde auch experimentell nachgewiesen, wobei sich zeigte, dass im Vergleich zu anderen Methoden das CRR qualitativ gleichwertig ist und dabei eine größere Quantität an Kommentaren erzeugt , .Kurz gesagt wurde diese Methode bereits in einer Vielzahl von Lernszenarien erfolgreich eingesetzt, z. B. beim Problemlösen , bei Aufgaben zur Informationssuche , , und bei der Interpretation von Diagrammen , stellt jedoch in Zusammenhang mit dem EKG-Lernen eine Innovation dar. Studien deuten darauf hin, dass Eye-Tracking und CRR eine geeignete Methode zur Unterstützung des Lernens sein können , , und die begrenzte Literatur, die hierzu über medizinische Bilder verfügbar ist, legt nahe, dass CRR derzeit einen neuartigen Ansatz für den medizinischen Unterricht darstellt.1.4. Ziel der aktuellen StudieZusammenfassend lässt sich sagen, dass EKG-Befundung ein wichtiger Bestandteil des Lehrplans für Medizinstudierende ist, jedoch häufig anhand von Schemata gelehrt wird, was derzeit zu schlechten Leistungsergebnissen führt. Ein alternativer, neuartiger Ansatz für das Lehren und Lernen von EKG-Befundungskompetenz kann durch ein kombiniertes Eye-Tracking- und retrospektives thinking-aloud Protokoll erreicht werden.In der vorliegenden Studie wurden die Auswirkungen von Eye-Tracking Videos mit CRR eines Kardiologieexperten während der EKG-Befundung auf die EKG-Befundungskompetenz von Medizinstudierenden untersucht. Neben der bereits erwähnten Evaluierung dieses neuen Trainings wurden die EKG-Befundungskompetenz der Studierenden und der potenzielle Beitrag des CRR-basierten Lernens vor dem Hintergrund mehrerer anderer Merkmale, welche zu ihren EKG-Befundungskompetenzen beitragen, bewertet. Dieses umfasste eine Reihe von kurz- und langfristigen Faktoren wie das Vorwissen, die aktuelle Motivation und drei Konzeptualisierungen von EKG-Lernfortschritt (anfängliches Erkennen von EKG-Merkmalen, Vermeiden von Fehlern und Erreichen einer vollständig korrekten Diagnose).Forschungsfrage eins untersuchte den Nutzen von CRR-Videos für das EKG-Lernen von Studierenden und stellte die Hypothese auf, dass die Interventionsgruppe (INT) nach dem Training bessere EKG-Befundungskompetenz zeigen würde als die Standard-Training Gruppe (TAU). Die zweite Forschungsfrage beschäftigte sich damit, welche Merkmale die post-Training EKG-Befundungsscores am besten vorhersagen könnten. Dabei wurde die Hypothese aufgestellt, dass diese Fähigkeiten erstens umfassend statistisch vorhergesagt werden könnten und zweitens, dass sich je nach der o.g. Konzeptualisierung des Outcomes spezifische Kombinationen relevanter Merkmale herausbilden würden. 2. Materials and methods2.1. DesignThe study was designed as randomised controlled trial of a learning intervention aimed at advanced medical students in study year four to five, testing the effects of expert eye-tracking videos with cued retrospective reporting on students’ ECG interpretation skills in the intervention group (INT) vs. the training as usual group (TAU). Ethics approval was granted by the institutional review board.2.2. MaterialsMaterial development concerned the initial recording of the EYE-ECG video (see videoclip for an extract: attachment 1 ), an expert eye-tracking of ECG interpretation and creation of gaze pattern videos with CRR audio commentary (for a full description, see attachment 2 , point A).2.2.1. Learning interventionCombining all 15 video clips – obtained via eye-tracked expert ECG interpretation – with their CRR audio commentary resulted in a single (EYE-ECG) video of 9m 13s, simultaneously presenting both the visible expert gaze and CRR audio commentary. The addition of this video constituted the only difference for participants of the INT vs. TAU group in the intervention phase described hereafter.The intervention tested this newly developed video for its potential benefit regarding student ECG learning and was presented to the INT group after collection of participant characteristics and an ECG skills pre-test as the third component (see figure 1 ).2.2.2. MeasuresStudent ECG training consisted of 9 (TAU) or 10 (INT) components respectively, scheduled as a single online session taking 5 hours at a maximum. All questionnaires testing ECG skills (i.e., see figure 1 , components 2, 4, 5, 7, 8, 9) have been previously utilized and more detailed descriptions, including question content, answer options, as well as validation information, is available elsewhere , , . Beyond the trialling of the EYE-ECG video as a learning tool, the second novel aspect of this study was the utilisation of the just-mentioned ECG skills components to investigate their usefulness within the framework of three different aspects of ECG interpretation skills (feature identification, answer choice strategies, clinical requirements). Thus, hereafter, for the readers’ convenience a concise summary of the self-rated scales is given, and a more thorough explication of participants’ ECG interpretation components is provided.2.2.2.1. Self-rated scalesAt the beginning of the session (component 1), participants reported on their interest in ECGs and confidence in their own learning strategy. Interest contained 6 items with the item conferring the greatest item-total correlation relating to “I find the exploration of ECG interpretation challenges exciting” and a scale reliability of Cronbach’s α=.76. Learning (27 items, α=.90) queried, e.g., “I am good at identifying the times when I can learn best”. Mid-session data collection (component 6) included ratings of accessibility of the material (8 items, α=.81, “How easy or difficult did you find it to integrate the new information with what you already knew about the topic”) and flow state relating to the immersiveness of the experience (11 items, α=.83, “During the learning session so far, I found learning really exciting”). End of session evaluation (component 10) asked about participants’ perceived learning gain (self-rated benefit from session, 15 items, α=.85, “I would recommend practicing with this student ECG training to my fellow students”). Responses on all self-ratings were collected as 6-point Likert items and for easer interpretability, the sum totals derived were transformed into scores indicating 0-100% agreement. In addition, indicator items were collected asking about students’ extent of their motivation and restedness (0-100%) using a single item pre, mid, and post learning session (included in component 1, 6, 7, respectively).2.2.2.2. Student ECG interpretation skillsThe pre-test (component 2) measuring theoretical ECG knowledge consisted of 42 items with 4 answer options each (e.g., “Which of the following PQ times is/are considered physiological? – 0,12s/ 0,11s/ 0,20s/ 0,21s”). The 4 clinical cases (components 4, 5, 7, 8) each presented an image of an ECG that needed to be interpreted step by step both visually and clinically, guided by 4 test questions per case with a large, varying number of answer options and stepwise feedback. For example, for case 1, within a single question, participants were to select from a longlist all features that applied to the ECG shown regarding heart rate (3 options), rhythm (12), position of the heart (7), abnormalities of intervals (7), of amplitudes (3), and in the formation, propagation, and regression of electrical excitation of the heart muscle (5). The post-test containing quick practical ECG scenarios (component 9) consisted of 9 actual patient ECGs accompanied by a total of 69 question items with 4 answer options (e.g., “Given Ms. B.'s symptoms and ECG, what suspected diagnosis(/es) should be given preferential consideration? – Recent myocardial ischemia/pulmonary artery embolism/cardiomyopathy/electrolyte imbalance”).2.2.2.3. Calculation of interpretation skill scoresCentral focus of the study (and its primary outcome) are the quantitative differences in ECG interpretation skill gain (0-100% pre vs. post scores) at the end of the training session. Of note, while all test contents regarding ECGs are fully compliant with the national medical curriculum and should therefore have been familiar subject matter, the purposeful design as multiple-choice questions with an unknown number of correct answers (instead of a single one) to be selected represented a novel challenge to participants that vastly increased potential combinations and thus test difficulty.To assess various aspects of ECG skill gain, three outcome scores were derived, each signifying unique strategic aspects and learning features, allowing for different inferences to be drawn: A basic score (BS) summing up all correctly logged options as percentage correct was created to evaluate students’ ability to initially identify relevant ECG features from all potential combinations (example pre-test: 42 items *4 options=only 168 clickable fields overall but truly 24=16 possible combinations per each of the 42 items; 67 answers factually correct; thus a participant logging e.g., 49 correct fields scored 49/67=0.73=73%). Second, a relative score (RS) representing the fraction of correctly against falsely selected options (e.g., 73% correct-25% false=48%), evaluating students’ certainty in their answers and correcting for lucky guessers vs. cagey responders. Third, a very difficult to achieve conservative score (CS) only awarding points for fully correct items (e.g., all correct options and no incorrect options selected per item; a maximum of 42 points for pre-test=100%) and CS pertained to the need for medical students upon reaching professional qualification to accurately identify and treat all patient symptoms in correct combination to guarantee best clinical practice and warrant patient safety. The three outcome conceptualisations were applied to all ECG skill components (i.e., see figure 1 , components 2, 4, 5, 7, 8, 9): For example, modelling conducted on BS consistently included BS pre-test scores, BS clinical cases 1-4 scores and BS post-test scores; RS models were based on all RS scores, and CS models on CS scores throughout.2.3. ProcedureAll participants (N=91; INT n=47; TAU; n=44) were randomly allocated to their group and completed the online training session. This included collection of participant characteristics, an ECG pre-test, four clinical cases with an intercalated mid-session evaluation, ECG post-test and post-test evaluation (for components and order of presentation see figure 1 ) in pandemic-respecting small batches in-person under standardized conditions at a distraction-free university PC cluster. All participants were current medical students at the LMU Munich, Germany. They were recruited via email, and partaking was an extra-curricular activity. All medical students met the requirement of successful completion of their university cardiology module but were not yet fully qualified medical doctors. The intervention group was instructed to fully watch the EYE-ECG video at least once and were free to watch it multiple times. All items of training components were in fixed order and answers could not be changed once submitted, as sometimes more information became available subsequently. Similar time on task and successful randomisation was shown (piloting and manipulation checks, see table 1 of results).Statistical analysis utilised standard practice parametric testing, i.e., t-tests for groupwise comparisons and linear regression for multivariate modelling, as appropriate (for model building, see attachment 2 , point B statistical analyses and point C bivariate associations of model variables). 2. Materialien und Methoden2.1. DesignDie Studie wurde als randomisierte kontrollierte Studie einer Lernintervention für fortgeschrittene Medizinstudierende im vierten bis fünften Studienjahr konzipiert, in welcher die Effekte von Experten Eye-Tracking Videos mit CRR auf die EKG-Befundungskompetenz der Studierenden in der Interventionsgruppe (INT) im Vergleich zur „Training as usual“ Standard-Trainingsgruppe (TAU) getestet wurden. Die ethische Unbedenklichkeitsbescheinigung zur Durchführung wurde von der örtlichen Ethikkommission erteilt.2.2. MaterialienDie Entwicklung des Materials umfasste die anfängliche Aufzeichnung des EYE-EKG Videos (siehe Videoclip für einen Auszug: Anhang 1 ), ein Experten Eye-Tracking der EKG-Befundung und die Erstellung von visualisierten Blickmuster-Videos mit CRR-Audiokommentar (für eine vollständige Beschreibung siehe Anhang 2 , Punkt A).2.2.1. LerninterventionDie Kombination aller 15 Videoclips – welche die jeweiligen Blickmuster des Experten während der EKG-Befundung enthielten – mit dem CRR-Audiokommentar ergab ein gemeinsames (EYE-EKG) Video von 9m 13s, das gleichzeitig sowohl den sichtbaren Expertenblick als auch den CRR-Audiokommentar präsentierte. Die Präsentation dieses Videos stellte den einzigen Unterschied zwischen den Teilnehmenden der INT- und der TAU-Gruppe in der nachfolgend beschriebenen Interventionsphase dar.Die Intervention testete dieses neu entwickelte Video auf seinen potenziellen Nutzen für das EKG-Lernen der Studierenden und wurde der INT-Gruppe nach Erfassung der Teilnehmendenmerkmale und einem EKG- Prä-Test als dritte Komponente präsentiert (siehe Abbildung 1 ).2.2.2. InstrumenteDas EKG-Training der Studierenden bestand aus 9 (TAU) bzw. 10 (INT) Komponenten, die in einer einzigen Online-Sitzung von maximal 5 Stunden Dauer bearbeitet wurden. Alle Fragebögen, mit denen die EKG-Kompetenzen getestet wurden (siehe Abbildung 1 , Komponenten 2, 4, 5, 7, 8, 9), wurden bereits in Vorgängerstudien verwendet, und eine detailliertere Beschreibung, einschließlich des Inhalts der Fragen, der Antwortmöglichkeiten und der Validierung ist dort verfügbar , , . Neben der Erprobung des EYE-EKG Videos als Lerntool bestand der zweite neue Aspekt dieser Studie in der Untersuchung des Nutzens der eben erwähnten EKG-Komponenten im Rahmen von drei verschiedenen Outcome Aspekten der EKG-Befundung (Merkmalserkennung, Antwort-Auswahlstrategien, klinische Anforderungen). Zum besseren Verständnis wird daher im Folgenden eine nur kurze Zusammenfassung aller Selbstbewertungs-Skalen gegeben und eine dagegen ausführlichere Erläuterung der EKG-Komponenten der Teilnehmenden aufgeführt.2.2.2.1. Selbst-Rating SkalenZu Beginn der Sitzung (Komponente 1) berichteten die Teilnehmer über ihr Interesse an EKGs und ihr Vertrauen in ihre eigene Lernstrategie. Das Interesse umfasste 6 Items, wobei sich das Item mit der höchsten Item-Gesamt-Korrelation auf „Ich finde die Erforschung der Herausforderungen der EKG-Befundung spannend“ bezog und eine Skalenreliabilität von Cronbachs α=.76 aufwies. Lernen (27 Items α=.90) fragte z.B. „Ich bin gut darin, die Zeiten zu erkennen, in denen ich am besten lernen kann“. Die Datenerhebung zur Mitte der Sitzung (Komponente 6) umfasste die Bewertung der Zugänglichkeit des Materials (8 Items, α=.81, „Wie einfach oder schwierig fanden Sie es, die neuen Informationen mit dem zu verbinden, was Sie bereits über das Thema wussten“) und den mentalen Flow-Zustand in Bezug auf die Intensität der Erfahrung (11 Items, α=.83, "Während der bisherigen Lernsitzung fand ich das Lernen wirklich spannend"). Bei der Bewertung am Ende der Sitzung (Komponente 10) wurde nach dem von den Teilnehmenden wahrgenommenen Lerngewinn gefragt (Selbst-Rating Nutzen des Trainings 15 Items, α=.85, „Ich würde meinen Kommilitonen das Üben mit diesem EKG-Training empfehlen“). Die Antworten auf alle Selbst-Ratings wurden als 6-stufige Likert-Items erhoben, und zur leichteren Interpretierbarkeit wurden die ermittelten Rohwerte der Zustimmung auf 0-100% als Gesamtwert normiert. Darüber hinaus wurden Indikator-Items erhoben, mit denen das Ausmaß der Motivation und der Ausgeruhtheit (0-100%) der Studierenden mit einem einzigen Item vor, während und nach der Lerneinheit abgefragt wurde (jeweils in Komponente 1, 6 und 7 enthalten).2.2.2.2. EKG-Befundungskompetenz von StudierendenDer Prä-Test (Komponente 2) zur Messung des theoretischen EKG-Wissens bestand aus 42 Aufgaben mit jeweils 4 Antwortmöglichkeiten (z. B. „Welche der folgenden PQ-Zeiten wird/werden als physiologisch angesehen? – 0,12s/ 0,11s/ 0,20s/ 0,21s“). Die 4 klinischen Fälle (Komponenten 4, 5, 7, 8) zeigten jeweils ein Bild eines echten EKGs, das Schritt für Schritt sowohl visuell als auch klinisch interpretiert werden musste, angeleitet durch 4 Testfragen pro Fall mit einer großen, variierenden Anzahl von Antwortmöglichkeiten und schrittweisem Feedback. Zum Beispiel sollten die Teilnehmenden bei Fall 1 im Zuge einer einzigen Frage aus einer langen Liste alle Merkmale auswählen, die auf das gezeigte EKG zutrafen, und zwar in Bezug auf die Herzfrequenz (3 Optionen), den Rhythmus (12), die Position des Herzens (7), Anomalien der Intervalle (7), der Amplituden (3) und zu der Entstehung, Ausbreitung und Rückbildung der elektrischen Erregung des Herzmuskels (5). Der Post-Test mit schnellen praktischen EKG-Szenarien (Komponente 9) bestand aus 9 echten Patienten-EKGs mit insgesamt 69 Fragen mit 4 Antwortmöglichkeiten (z. B. „Welche Verdachtsdiagnose(n) sollte(n) angesichts der Symptome und des EKGs von Frau B. primär in Betracht gezogen werden? - Kürzlich aufgetretene Myokardischämie/Lungenarterienembolie/Kardiomyopathie/Elektrolyt-Entgleisung“).2.2.2.3. Berechnung der BefundungsscoresDas Hauptaugenmerk der Studie (und ihr primäres Ergebnis) sind die quantitativen Unterschiede in der EKG-Befundungskompetenz (0-100% prä vs. post Scores) am Ende der Schulung. Obwohl alle Testinhalte in Bezug auf EKGs vollständig mit dem nationalen kompetenzbasierten Lernzielkatalog Medizin übereinstimmen und daher basierend auf dem Probandeneinschluss bekannt sein sollten, stellte die gezielte Gestaltung als Multiple-Choice-Fragen mit einer unbekannten Anzahl richtiger Antworten (anstelle einer einzigen) eine besondere Herausforderung für die Teilnehmenden dar, welche die möglichen Kombinationen und damit die Schwierigkeit des Tests erheblich erhöhte.Um verschiedene Aspekte des EKG-Lernfortschritts zu bewerten, wurden drei Outcome Scores abgeleitet, die jeweils spezielle strategische Aspekte und Lernmerkmale kennzeichnen und unterschiedliche Schlussfolgerungen zulassen: Ein Basis Score (BS), welcher die korrekt gewählten Optionen als Prozentsatz aller Richtigen zusammenfasst wurde erstellt, um die Fähigkeit der Studierenden zu bewerten und zunächst relevante EKG-Merkmale aus allen möglichen Kombinationen zu identifizieren (Beispiel Prä-Test: 42 Items *4 Optionen=nur 168 wählbare sinnvolle Optionen insgesamt, aber mathematisch 24=16 mögliche Kombinationen für jedes der 42 Items; 67 Antworten sachlich richtig; so erzielt ein Teilnehmer, der z.B. 49 richtige Felder ankreutz, 49/67=0,73=73%). Zweitens ein Relativer Score (RS), der den Anteil der richtig und der falsch gewählten Optionen angibt (z. B. 73% richtig–25% falsch=48%), um die Sicherheit der Teilnehmenden bei ihren Antworten zu bewerten und um dafür zu korrigieren, ob sie eher raten oder eher vorsichtig kreuzen. Drittens eine sehr schwer zu erreichender Conservativer Score (CS), der nur Punkte für vollständig korrekte Items vergibt (z. B. alle richtigen Optionen und keine falschen Optionen pro Item ausgewählt; maximal 42 Punkte für den Prä-Test=100%) und sich auf die Anforderung bezieht, dass Medizinstudierende nach Erreichen der Approbation alle Patientensymptome in der richtigen Kombination genau erkennen und behandeln sollen, um eine gute klinische Praxis zu gewährleisten und die Patientensicherheit zu garantieren. Die drei-Score Konzeptualisierungen wurden auf alle EKG-Komponenten angewendet (siehe Abbildung 1 , Komponenten 2, 4, 5, 7, 8, 9): So wurden bei der Modellierung von BS durchgängig die BS-Prä-Test-Ergebnisse, die BS-Ergebnisse für die klinischen Fälle 1-4 und die BS-Post-Test-Ergebnisse berücksichtigt; die RS-Modelle basierten auf allen RS-Ergebnissen und die CS-Modelle auf allen CS-Ergebnissen.2.3. DurchführungAlle Teilnehmenden (N=91; INT n=47; TAU n=44) wurden nach dem Zufallsprinzip einer Gruppe zugeteilt und absolvierten das Online-Training. Dieses umfasste die Abfrage von Teilnehmendenmerkmalen, einen EKG-Prä-Test, vier klinische Fälle mit einer Zwischen-Erhebung in der Mitte der Sitzung, einen EKG-Post-Test und eine Post-Test-Erhebung (Komponenten und Reihenfolge der Präsentation siehe Abbildung 1 ) in pandemie-konformen Kleinserien in Präsenz unter standardisierten Bedingungen an einem ablenkungsfreien Universitäts-PC-Cluster. Alle Teilnehmenden waren aktuelle Medizinstudierende der LMU München. Sie wurden per E-Mail rekrutiert, und die Teilnahme war eine extracurriculäre, freiwillige Aktivität. Alle Medizinstudierenden hatten bereits ihren Kardiologieschein bestanden, waren aber noch keine approbierten Ärzt*innen. Die Interventionsgruppe wurde instruiert, das EYE-EKG Video mindestens einmal vollständig anzuschauen, wobei es ihnen freigestellt war, es mehrfach anzusehen. Alle Items der Trainingskomponenten waren in fixer Reihenfolge und die Antworten konnten nach dem Absenden nicht mehr geändert werden, da teilweise nachträglich weitere Informationen verfügbar waren. Es wurde eine ähnliche aktive Lernzeit der Gruppen an den Aufgaben und eine erfolgreiche Randomisierung nachgewiesen (Pilotierung und Manipulationskontrollen, siehe Tabelle 1 der Ergebnisse).Für die statistische Analyse wurden standard parametrische Tests verwendet, d. h. t-Tests für gruppenweise Vergleiche und lineare Regression für die multivariate Modellierung (zur Modellbildung siehe Anhang 2 , Punkt B, statistische Analysen und Punkt C, bivariate Assoziationen der Modellvariablen). 3. Results3.1. Sample characteristicsRequiring all participants to have passed their cardiology exam prior to the study, the sample was typical of medical students towards the latter part of their studies and consisted of 76% females and 24% males aged M=24.14 (SD=3.04) years. They were approaching the end of their medical degree with a current semester of M=9.79 (SD=1.41) equating to 4th/5th year of studies. A prior medical vocational training had been completed by 18%. Similarly, years in education (M=17.57, SD=2.27) reflected that they had tended to be in continuous formal education. A voluntary prior cardiological clerkship was reported by 35% of participants. An equally large proportion (29%) reported never having received any dedicated ECG training, while the remainder stated having received ECG training during their studies (31%) or through some combination of university, online, and external sources (40%). Participants estimated their mean quantity of previously independently interpreted ECGs as M=24.90, though this number differed greatly amongst them (SD=66.28), which was consistent with the data showing that participants included both complete novices without any prior independent practice and well-practiced students with an emergency medical technician (EMT) background. In addition, student feedback supported the notion of a varied sample, which was evident e.g. from participants stating as reasons for partaking a wide spectrum ranging from keen interest in a cardiology specialisation, to a strategic decision to utilise the training for revision, to counteracting a lack of ECG experience. Additional sample characteristics are presented in table 2 .3.2. Effects of EYE-ECG training on ECG interpretation skillsOverall, partaking in the study significantly improved participant ECG interpretation skills to moderate effects (pre-post gain BS=4.80±9.10, t(90)=5.03, p<.03*10-3, Cohen’s d=1.27; RS=10.45±10.29, t(90)=9.68, p<.01*10-13, d=1.19; CS=15.97±9.02, t(90)=16.88, p<.03*10-14, d=1.60). Crucially, however, calculation of differential learning gains of INT vs. TAU showed that BS ∆M=2.14, RS ∆M=1.25, and CS ∆M=2.19. This indicated higher, yet statistically non-significant additional improvement in students’ ECG interpretation skills after having seen the EYE-ECG video (BS Welch-t(80.17)=1.11, p<.27, d=0.23; BS Welch-t(87.09)=0.58, p<.57, d=0.12; CS Welch-t(80.82)=1.15, p<.25, d=0.24) (see table 1 ) .3.3. Identification of best predictors for specific ECG interpretation skill scoresRegression models (for full results see attachment 2 , point D) showed that overall, variables meaningfully accounted for post-test scores (all models highly significant) and contributed a substantial proportion of variance (R2=.44-.63). Simplification to 5-7 predictors greatly increased parsimony (R2≈R2adj) and only led to a relatively small reduction of predictive power in final models as compared to full models. As expected, pre-test scores significantly contributed in all three final models. Of particular interest was the combination of additional significant final predictors: Relevant to BS in this regard was a prior cardiological clerkship, interest in ECGs, accessibility of material, and scores on clinical case 1. Interestingly, having experienced these typically month-long cardiology clerkships only conferred an advantage of 3.23%. In the same vein, judging the provided learning materials as easier was in fact associated with reduced performance, which might be indicative of a more cavalier attitude towards tasks perceived as trivial. Final RS were also predicted by interest in ECGs and case study 1, final CS also by interest in ECGs only. Thus, performing well on the first learning scenario appeared to be of marked importance both for participants’ initial recognition of relevant ECG features (BS) and general strategic weighing of correct against false options (RS) but not for understanding practical ECG scenarios in their entirety (CS) (see table 3 ). 3. Ergebnisse3.1. StichprobenbeschreibungAlle Teilnehmenden mussten vor der Studie ihren Kardiologieschein bestanden haben und die Stichprobe war typisch für fortgeschrittene Medizinstudierende, bestehend aus 76% Frauen und 24% Männern im Alter von M=24.14 (SD=3.04) Jahren. Sie standen kurz vor dem Ende ihres Medizinstudiums mit einer Semesterzahl von M=9.79 (SD=1.41). Eine vorherige medizinische Berufsausbildung hatten 18% absolviert. Auch die Bildungsjahre (M=17.57, SD=2.27) spiegeln wider, dass sie sich tendenziell kontinuierlich in formaler Ausbildung befanden. Eine freiwillige Kardiologiefamulatur wurde von 35% der Teilnehmenden angegeben. Ein ebenso großer Anteil (29%) gab an, nie ein explizites EKG-Training erhalten zu haben, während der Rest angab, während des Studiums (31%) oder durch eine Kombination aus universitären, Online- und externen Quellen (40%) ein EKG-Training erhalten zu haben. Die Teilnehmenden schätzten die mittlere Anzahl der zuvor unabhängig befundeten EKGs auf M=24.90, wobei diese Zahl zwischen den einzelnen Teilnehmenden sehr variierte (SD=66.28), was mit den o.g. Daten übereinstimmte, welche zeigen, dass unter den Teilnehmenden sowohl komplette Anfänger ohne jegliche vorherige eigene Übungspraxis als auch gut geübte Studierende, mit einem Hintergrund z.B. als Rettungssanitäter, waren. Darüber hinaus reflektierte auch das Feedback der Studierenden das Bild einer vielseitigen Stichprobe, was sich z. B. darin zeigte, dass die Teilnehmenden als Gründe für ihre Teilnahme ein breites Spektrum angaben, das von starkem Interesse an einer kardiologischen Weiterbildung über eine strategische Entscheidung die Schulung zur Wiederholung zu nutzen bis hin zum Wunsch, mangelnde EKG-Kenntnisse zu verbessern, reichte. Weitere Merkmale der Stichprobe sind in Tabelle 2 dargestellt.3.2. Effekte des EYE-EKG Trainings auf die EKG-BefundungskompetenzInsgesamt verbesserte die Teilnahme an der Studie die EKG-Befundungskompetenz der Teilnehmenden signifikant und mit moderaten Effekten (prä-post Lernzuwachs BS=4.80±9.10, t(90)=5.03, p<.03*10-3, Cohens d=1.27; RS=10.45±10.29, t(90)=9.68, p<.01*10-13, d=1.19; CS=15.97±9.02, t(90)=16.88, p<.03*10-14, d=1.60). Als entscheidend zeigte sich jedoch die Berechnung der unterschiedlichen Lernzuwächse von INT vs. TAU, entsprechend BS ∆M=2.14, RS ∆M=1.25 und CS ∆M=2.19. Dies deutet auf eine höhere, jedoch statistisch nicht signifikante zusätzliche Verbesserung der EKG-Befundungskompetenz der Studierenden der INT-Gruppe durch das EYE-EKG Video hin (BS Welch-t(80.17)=1.11, p<.27, d=0.23; BS Welch-t(87.09)=0.58, p<.57, d=0.12; CS Welch-t(80.82)=1.15, p<.25, d=0.24) (siehe Tabelle 1 ).3.3. Identifizierung der besten Prädiktoren für die spezifischen EKG-BefundungsscoresDie Regressionsmodelle (vollumfängliche Ergebnisse siehe Anhang 2 , Punkt D) zeigten, dass die Variablen insgesamt einen bedeutsamen Einfluss auf die Ergebnisse nach dem Test hatten (alle Modelle waren hochsignifikant) und einen erheblichen Anteil der Varianz beitrugen (R2=44-.63). Die Vereinfachung auf 5-7 Prädiktoren erhöhte die Parsimonie erheblich (R2≈R2adj) und führte nur zu einer relativ kleinen Verringerung der Vorhersagekraft der finalen Modelle im Vergleich zu den ursprünglichen Modellen. Wie erwartet trugen die Prä-Test- Scores signifikant zu allen drei endgültigen Modellen bei. Von besonderem Interesse war daher die Kombination der zusätzlichen signifikanten finalen Prädiktoren: Relevant für BS war in diesem Zusammenhang eine vorherige Kardiologiefamulatur, Interesse an EKGs, Zugänglichkeit des Materials und die Performanz im klinischen Fall 1. Interessanterweise brachte die Vorerfahrung durch die üblicherweise einmonatigen Kardiologiefamulaturen nur einen Vorteil von 3.23%. In ähnlicher Weise war auch die Einschätzung des zur Verfügung gestellten Lernmaterials als relativ einfacher tatsächlich mit einer geringeren Leistung verbunden. Dies könnte auf eine unbedachte Einstellung gegenüber solchen Aufgaben hinweisen, welche als trivial empfunden werden. Die finalen RS wurden auch durch das Interesse an EKGs und durch Fallstudie 1 vorhergesagt; die finalen CS wurden ebenfalls nur durch das Interesse an EKGs vorhergesagt. Ein gutes Abschneiden im ersten Lernszenario schien also sowohl für das anfängliche Erkennen relevanter EKG-Merkmale (BS) als auch für das allgemeine strategische Abwägen zwischen richtigen und falschen Optionen (RS) von großer Bedeutung zu sein, nicht jedoch für das Verständnis praktischer EKG-Szenarien in ihrer Gesamtheit (CS) (siehe Tabelle 3 ). 4. DiscussionThe present study was based on the proposition that ECG interpretation skills are part of the core skill set for medical students, and that there is both a clear need and the potential to better understand factors that facilitate the successful acquisition of these ECG interpretation skills. Thus, the goal of the present study was twofold:First, to contribute to the continued improvement of ECG teaching via technology-enhanced presentation of actual expert ECG diagnosis. A novel instructional video visualising expert gaze patterns during ECG interpretation and providing cued retrospective reporting (CRR) audio commentary was developed and its benefit evaluated in this learning intervention study.Second, to supplement this perspective on the scope of the new instructional design, broader information on participant characteristics, objective and subjective learning parameters, participant involvement, and the impact of individual learning scenarios were gathered. This was evaluated against three different strategies to formally compute successful ECG interpretation skills from the tests administered during the study. Adding the results of these student-based factors may provide some of the background upon which the intervention-based skill gain took place.Addressing the first research goal, with respect to the video intervention, results showed a small positive point difference of the CRR teaching method against training as usual after only 9 minutes of presentation. That, however, was too small to carry through based on current sample size and effect of prior theoretical ECG knowledge. Given that satisfactory acquisition of ECG interpretation skills is a multi-year process, this finding is very promising and results indicate that being let in on an expert’s real-time inspection pattern and associated thought processes during ECG interpretation may be further developed as a useful learning and teaching tool.Regarding the potential benefit of using the CRR method for ECG teaching, participant feedback relating to the intervention was overwhelmingly positive and there was general agreement that the verbal content of CRR videos was helpful. Several students however suggested that pausing eye gaze (as opposed to pausing the entire video track) at crucial points instead of showing a continuous loop – i.e., holding the focus spot in place while playing the corresponding auditory explanation – would afford them more time to retrace and comprehend the visual information referred to and is an exciting strategy to be investigated as the next step in a follow-up study.Concerning the second research aim of elucidating students’ personal background, regression analyses on three conceptually complementary post-learning ECG interpretation skill scores representing the aspects of ECG feature identification, strategic answering, and a full understanding of patient presentations were performed. The presence of some nonsignificant predictors in the final RS and CS regressions – denoting no sufficiently certain contribution despite indicative tendencies for effects – may be interpreted as either due to the relatively small sample size for multivariate linear regression, or as a signal for an association with presently unexplored concepts. Comparison of the three models helped to first illustrate which combination of predictors is generally of importance in predicting students’ ECG interpretation skills (e.g., interest in ECGs). Second, some unique characteristics were identified (e.g., prior cardiological clerkship for prediction of the basic score) that are associated with ECG interpretation skill outcomes only when specific performance aspects (e.g., successful feature detection) are considered. These participant data may therefore provide some leverage in tailoring teaching approaches in a manner that is most enticing to students and may encourage specific outcomes (e.g., full comprehension vs. feature detection) over others.Similarly, specifically the result of a ubiquitous role of self-proclaimed interest in ECGs in all regression models was unsurprising and highlights both the opportunity and the necessity for instructors to kindle curiosity in the subject, over and above a more limited skill focus as was operationalised by prior knowledge (pre-test scores).Another specific finding meriting further discussion is that of a significant predictive influence of clinical case 1 for which two alternative underlying explanations – namely order effects or saliency of content – are plausible: Either starting off well into the feedbacked learning component was generally important, or else scenario 1 (posterior myocardial infarction) represented gatekeeper content that fundamentally needed to be understood before further progression of students’ ECG interpretation skills. This unknown could be addressed by randomising presentation of the clinical cases in the future. Finally, in thinking about the just discussed points in relation to the first research question, being knowledgeable on sample characteristics may indeed assist the evaluation and further development of the EYE-ECG video for ECG training of medical students: In the present design, participants and the ECG interpretation skills they held initially were randomly sampled in order to best investigate potential changes attributable to the intervention. However, beyond demonstrating such training effect, it is also of great practical relevance to determine which other co-occurring factors may help to optimise the utility of CRR videos. To pick just one of many examples where this could be relevant, it is conceivable that CRR could be more beneficial to absolute beginners (signified by very low prior ECG interpretation skills), who would not be able to spot relevant ECG features from disjointed visual or auditory instruction alone, and hence particularly profit from the concurrent CRR presentation. Inversely, the opposite argument may also be made that it could be particularly the more advanced students who are better equipped to make use of the spontaneous real-time expert video commentary. 4. DiskussionDie vorliegende Studie basiert auf der Annahme, dass die EKG-Befundung eine Kernkompetenz von Medizinstudierenden ist und dass es sowohl einen offensichtlichen Bedarf als auch das Potenzial gibt, wegweisende Faktoren für den erfolgreichen Erwerb dieser EKG-Befundungskompetenz zu verstehen. Die vorliegende Studie hatte daher zwei Ziele:Erstens soll ein Beitrag zur kontinuierlichen Verbesserung der EKG-Lehre durch eine technologiegestützte Darstellung der tatsächlichen EKG-Befundung von Experten geleistet werden. Ein neuartiges Lehrvideo, welches das Blickmuster eines Experten während der EKG-Befundung visualisiert und mit Cued Retrospective Reporting (CRR) Audiokommentaren versehen ist wurde entwickelt, und dessen Nutzen in dieser Lerninterventionsstudie evaluiert.Zweitens wurden zur Ergänzung der Abschätzung des Trainingspotenzials umfassendere Teilnehmendenmerkmale, objektive und subjektive Lernparameter, motivationale Aspekte und Effekte der einzelnen Lernszenarien gesammelt. Dies wurde bewertet, indem drei verschiedene Strategien zur Operationalisierung erfolgreicher EKG-Befundungskompetenz anhand der während der Studie durchgeführten Tests angewandt wurden. Die zusätzliche Betrachtung dieser personenzentrierten Faktoren kann Einsicht in den Hintergrund liefern, vor dem der interventionsbasierte Kompetenzzuwachs stattfand.In Bezug auf das erste Forschungsziel, der Evaluation der Videointervention, zeigten die Ergebnisse nach nur 9 Minuten Präsentation einen kleinen positiven Punktunterschied zwischen dem CRR-Training und dem Standard-Training. Dieser Unterschied war jedoch zu gering, um sich bei der vorhandenen Stichprobengröße und gegenüber dem Einfluss des Prä-Tests der theoretischen EKG-Befundungskompetenz durchzusetzen. In Anbetracht der Tatsache, dass ein umfassender Erwerb von EKG-Befundungskompetenz ein mehrjähriger Prozess ist, ist dieses Ergebnis sehr vielversprechend, und die Ergebnisse deuten darauf hin, dass der Zugang zu Echtzeit-Blickmustern eines Experten und seine damit verbundenen Denkprozesse während der EKG-Befundung als nützliches Lern- und Lehrinstrument weiterentwickelt werden könnten.Was den potenziellen Nutzen der CRR-Methode für die EKG-Lehre anbelangt, so war das Feedback der Teilnehmenden bezüglich der Intervention entschieden positiv und die Teilnehmenden berichteten übereinstimmend, dass der verbale Inhalt der CRR-Videos hilfreich war. Mehrere Studierende regten jedoch an, dass das isolierte Anhalten des Blicks (also nicht des Films als solchen) an entscheidenden Stellen anstelle einer Endlosschleife – d. h. das Fixieren der Markierung, während die entsprechende auditive Erklärung abgespielt wird – ihnen mehr Zeit geben würde, die besprochenen visuellen Informationen nachzuvollziehen und zu verstehen. Dies ist eine interessante Strategie, die in einem nächsten Schritt in einer Folgestudie untersucht werden könnte.Hinsichtlich des zweiten Forschungsziels, einer Beleuchtung des Beitrags des persönlichen Hintergrunds der Studierenden, wurden Regressionsanalysen zu drei konzeptionell komplementären EKG-Befundungsscores durchgeführt, nämlich zu Aspekten der EKG-Merkmalserkennung, des strategischen Antwortens und des vollständigen Verständnisses der Patientenvignette. Hierbei kann das Vorhandensein einiger nicht signifikanter Prädiktoren – welche trotz richtungsweisender Tendenzen keinen hinreichend sicheren Beitrag darstellen – in den endgültigen RS- und CS-Regressionsmodelle entweder als Folge der relativ kleinen Stichprobengröße für eine multivariate lineare Regression oder aber als Signal für einen Zusammenhang mit derzeit unerforschten Konzepten interpretiert werden. Der Vergleich der drei Modelle half zunächst zu verdeutlichen, welche Kombination von Prädiktoren grundsätzlich von Bedeutung für die Vorhersage der EKG-Befundungskompetenz der Studierenden ist (z. B. Interesse an EKGs). Darüber hinaus wurden einige spezifische Merkmale identifiziert (z. B. vorherige Kardiologiefamulatur zur Vorhersage des Basis Scores), die nur dann mit den Ergebnissen der EKG-Befundungskompetenz assoziiert sind, wenn bestimmte Leistungsaspekte (z. B. erfolgreiche Merkmalserkennung) berücksichtigt werden. Diese Teilnehmendenmerkmale könnten daher einen Hebel darstellen, um Lehrmethoden so zu gestalten, dass sie für Studierende am motivierendsten sind und bestimmte Outcomes (z. B. die Entwicklung vollständigen Verstehens vs. reiner Merkmalserkennung) gegenüber anderen begünstigen.Auch das Ergebnis, dass das selbsterklärte Interesse an EKGs in allen Regressionsmodellen eine Rolle spielte, war nicht überraschend und unterstreicht sowohl die Möglichkeit als auch die Notwendigkeit für die Dozierenden über den konkreten Kompetenzfokus, wie er durch das Vorwissen (EKG- Prä-Test) operationalisiert wurde, hinaus eine Neugier auf das Thema zu wecken.Ein weiteres spezifisches Ergebnis, das einer weiteren Diskussion bedarf, ist der signifikante prädiktive Einfluss des klinischen Falls 1, für den zwei alternative Erklärungen plausibel sind – nämlich Reihenfolgeeffekte oder Inhaltseffekte: Entweder war es generell wichtig, von Anfang an gut mit den Lernkomponenten mit inkrementellem Feedback zurechtzukommen oder aber Szenario 1 (Hinterwandinfarkt) stellte inhaltlich einen Gatekeeper-Inhalt dar, der grundsätzlich verstanden werden musste, bevor die EKG-Befundungskompetenz der Studierenden sich weiterentwickeln konnte. Diese offene Frage könnte in Zukunft durch eine randomisierte Präsentation der klinischen Fälle geklärt werden. Wenn man nun den Bezug zwischen den gerade benannten Punkten und der ersten Forschungsfrage herstellt, kann die Kenntnis der Stichprobenmerkmale tatsächlich die Evaluation und Weiterentwicklung des EYE-EKG Videos für die EKG-Lehre von Medizinstudierenden unterstützen: Im vorliegenden Design wurden die Teilnehmenden und somit ihre bestehenden EKG-Befundungskompetenzen nach dem Zufallsprinzip ausgewählt, um mögliche Veränderungen, welche auf die Intervention zurückzuführen sind, bestmöglich zu untersuchen. Über den Nachweis eines solchen Lerneffekts hinaus ist es jedoch auch von großer praktischer Relevanz zu ermitteln, welche anderen mitverantwortlichen Personenmerkmale dazu beitragen können, den Nutzen von CRR-Videos zu optimieren. Um nur eines von vielen relevanten zukünftigen Beispielen herauszugreifen ist es denkbar, dass CRR insbesondere für absolute Anfänger (mit sehr geringen Vorkenntnissen der EKG-Befundung) von größerem Nutzen sein könnte, da diese nicht in der Lage wären relevante EKG-Merkmale aus einer getrennten visuellen bzw. auditiven Instruktion eigenständig zu erkennen, und daher besonders von der gleichzeitigen CRR-Video Darstellung profitieren würden. Umgekehrt wäre es alternativ aber auch möglich, dass gerade die fortgeschrittenen Studierenden besser in der Lage sind, Lerngewinn aus den spontanen Echtzeit Experten-Videokommentaren zu ziehen. 5. LimitationsParticipant characteristics indicate the study may have had some self-selection tendencies concerning the participant pool. On one end of the spectrum, a relatively high percentage had completed a cardiological clerkship, which may have been due to their greater willingness to volunteer for this thematically related study because cardiology was of great personal interest to those students. On the other end, an equally large proportion reported never even having received any dedicated ECG training. This assertion is demonstrably incorrect (based on recruitment/ inclusion criteria and the university’s syllabus) but is consistent with verbal communication from many participants of feeling a great sense of overload, unpreparedness, dread, and despair towards ECG interpretation in general. Thus, it is of some relevance that this study included both self-reported and performance-based ECG measures.Further, an interesting question which the current study was not equipped to answer is that of how much ECG interpretation skill is required to derive the greatest benefit from eye-tracking CRR video presentations. While this specific issue cannot be resolved definitively with current data at this point in time, some of the stimulus adjustments proposed above may begin to address this question and could be incorporated in future follow-up studies. Present findings do however extend previous applications of CRR , , , , by showing its appropriateness for a medical learning setting. 5. LimitationenDie Personenmerkmale deuten darauf hin, dass die Studie eine gewisse Tendenz zur Selbstselektion des Teilnehmendenkreises hatte. Einerseits hatte ein relativ hoher Prozentsatz der Teilnehmenden eine Kardiologiefamulatur absolviert, was zu einer größeren Bereitschaft geführt haben könnte, an dieser thematisch verwandten Studie teilzunehmen, da die Kardiologie für diese Studierenden von großem persönlichen Interesse war. Auf der anderen Seite gab ein ebenso großer Anteil an, noch nie ein explizites EKG-Training erhalten zu haben. Diese Behauptung ist faktisch nicht korrekt (basierend auf den Rekrutierungs-/Einschlusskriterien und dem Lehrplan der örtlichen Universität), steht aber im Einklang mit den verbalen Äußerungen vieler Teilnehmenden, welche ein großes Gefühl der Überforderung, Unvorbereitetheit, Angst und Verzweiflung gegenüber der EKG-Befundung ganz grundsätzlich empfanden. Daher ist es von Bedeutung, dass diese Studie sowohl subjektiv wahrgenommene als auch objektiv leistungsbasierte Messinstrumente umfasste.Eine weitere interessante Frage, welche in der aktuellen Studie nicht beantwortet werden konnte, ist, welches Fähigkeitsniveau für die EKG-Befundung erforderlich ist, um den größten Nutzen aus CRR-Videopräsentationen mit Eye-Tracking zu ziehen. Während diese spezifische Überlegung mit den aktuellen Daten zum jetzigen Zeitpunkt nicht endgültig geklärt werden kann, könnten einige der oben vorgeschlagenen Stimulusanpassungen dazu beitragen, diese Frage zu beantworten, und könnten in zukünftige Folgestudien einbezogen werden. Die vorliegenden Ergebnisse erweitern jedoch bereits jetzt frühere Anwendungen von CRR , , , , , , indem sie dessen Eignung für medizinische Lernsettings zeigen. 6. ConclusionOne theme that did emerge clearly from the data on students’ personal background is that interest in ECGs plays an important role for the acquisition of ECG interpretation skills, and that propitiously, the EYE-ECG video was perceived as both interesting and useful by participants, which in turn indicates the continued development of CRR videos for the teaching of ECG interpretation will be of value to medical students.Tangible plans to further expand on the promising initial findings of greater ECG interpretation skill gains in students receiving the CRR video training are: first, to modify and improve the video by incorporating student feedback from this study; second to randomise presentation of clinical cases in order to more fully understand the contribution of specific content on learning outcomes; and third, to further explore to which target group and in which setting CRR videos can provide the greatest benefit. 6. SchlussfolgerungenEin Thema, das sich aus den Daten zum persönlichen Hintergrund der Studierenden klar herauskristallisierte, ist, dass das Interesse an EKGs eine wichtige Rolle für den Erwerb von EKG-Befundungskompetenz spielt und dass das EYE-EKG Video von den Teilnehmenden als interessant und hilfreich empfunden wurde. Dies wiederum deutet darauf hin, dass die weitere Entwicklung von CRR-Videos für die Lehre der EKG-Befundung für Medizinstudierenden von Nutzen sein kann.Konkrete Pläne, um die vielversprechenden ersten Ergebnisse eines tendenziell größeren Zugewinns an EKG-Befundungskompetenz derjenigen Studierenden, die das CRR-Videotraining erhalten haben weiter auszubauen sind: erstens, das Video zu modifizieren und zu verbessern, indem das Feedback der Studierenden aus dieser Studie einbezogen wird; zweitens, die Präsentation klinischer Fälle nach dem Zufallsprinzip durchzuführen, um den Beitrag spezifischer Inhalte zu den Lernergebnissen besser zu verstehen; und drittens, weiter zu vertiefen, für welche Zielgruppe und in welchem Setting CRR-Videos den größten Nutzen bringen können. Authors’ ORCIDsAline D. Scherff: [0000-0002-7420-2292]Stefan Kääb: [0000-0001-8824-3581]Martin R. Fischer: [0000-0002-5299-5025] Markus Berndt: [0000-0002-4467-5355] ORCIDs der Autor*innenAline D. Scherff: [0000-0002-7420-2292]Stefan Kääb: [0000-0001-8824-3581]Martin R. Fischer: [0000-0002-5299-5025] Markus Berndt: [0000-0002-4467-5355] Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autor*innen erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben. Viljoen CA Millar RS Manning K Burch VC Determining electrocardiography training priorities for medical students using a modified Delphi method 2020 BMC Med Educ 431 Viljoen CA, Millar RS, Manning K, Burch VC. Determining electrocardiography training priorities for medical students using a modified Delphi method. BMC Med Educ. 2020;20(1):431. DOI: 10.1186/s12909-020-02354-4 https://doi.org/10.1186/s12909-020-02354-4 Jablonover RS Stagnaro-Green A ECG as an entrustable professional activity: CDIM survey results, ECG teaching and assessment in the third year 2016 Am J Med 226-230 Jablonover RS, Stagnaro-Green A. ECG as an entrustable professional activity: CDIM survey results, ECG teaching and assessment in the third year. Am J Med. 2016;129(2):226-230.e1. DOI: 10.1016/j.amjmed.2015.10.034 https://doi.org/10.1016/j.amjmed.2015.10.034 Salerno SM Alguire PC Waxman HS Competency in interpretation of 12-lead electrocardiograms: a summary and appraisal of published evidence 2003 Ann Intern Med 751-60 Salerno SM, Alguire PC, Waxman HS. Competency in interpretation of 12-lead electrocardiograms: a summary and appraisal of published evidence. Ann Intern Med. 2003;138(9):751-60. DOI: 10.7326/0003-4819-138-9-200305060-00013 https://doi.org/10.7326/0003-4819-138-9-200305060-00013 O'Brien KE Cannarozzi ML Torre DM Mechaber AJ Durning SJ Training and assessment of ECG interpretation skills: results from the 2005 CDIM survey 2009 Teach Learn Med 111-115 O'Brien KE, Cannarozzi ML, Torre DM, Mechaber AJ, Durning SJ. Training and assessment of ECG interpretation skills: results from the 2005 CDIM survey. Teach Learn Med. 2009;21(2):111-115. DOI: 10.1080/10401330902791255 https://doi.org/10.1080/10401330902791255 Cook DA Oh SY Pusic MV Accuracy of physicians’ electrocardiogram interpretations: a systematic review and meta-analysis 2020 JAMA Intern Med 1461-1471 Cook DA, Oh SY, Pusic MV. Accuracy of physicians’ electrocardiogram interpretations: a systematic review and meta-analysis. JAMA Intern Med. 2020;180(11):1461-1471. DOI: 10.1001/jamainternmed.2020.3989 https://doi.org/10.1001/jamainternmed.2020.3989 Rourke L Leong J Chatterly P Conditions-based learning theory as a framework for comparative-effectiveness reviews: A worked example 2018 Teach Learn Med 386-394 Rourke L, Leong J, Chatterly P. Conditions-based learning theory as a framework for comparative-effectiveness reviews: A worked example. Teach Learn Med. 2018;30(4):386-394. DOI: 10.1080/10401334.2018.1428611 https://doi.org/10.1080/10401334.2018.1428611 Blissett S Cavalcanti R Sibbald M ECG rhythm analysis with expert and learner-generated schemas in novice learners 2015 Adv Health Sci Educ Theory Pract 915-933 Blissett S, Cavalcanti R, Sibbald M. ECG rhythm analysis with expert and learner-generated schemas in novice learners. Adv Health Sci Educ Theory Pract. 2015;20(4):915-933. DOI: 10.1007/s10459-014-9572-y https://doi.org/10.1007/s10459-014-9572-y Manning D Ethell S Donovan T Crawford T How do radiologists do it? The influence of experience and training on searching for chest nodules 2006 Radiography 134-142 Manning D, Ethell S, Donovan T, Crawford T. How do radiologists do it? The influence of experience and training on searching for chest nodules. Radiography. 2006;12(2):134-142. DOI: 10.1016/j.radi.2005.02.003 https://doi.org/10.1016/j.radi.2005.02.003 Reingold EM Sheridan H 2011 Eye movements and visual expertise in chess and medicine. Oxford handbook on eye movements Reingold EM, Sheridan H. Eye movements and visual expertise in chess and medicine. Oxford handbook on eye movements. Oxford: Oxford University Press; 2011. DOI: 10.1093/oxfordhb/9780199539789.013.0029 https://doi.org/10.1093/oxfordhb/9780199539789.013.0029 Wood G Batt J Appelboam A Harris A Wilson MR Exploring the impact of expertise, clinical history, and visual search on electrocardiogram interpretation 2014 Med Decis Making 75-83 Wood G, Batt J, Appelboam A, Harris A, Wilson MR. Exploring the impact of expertise, clinical history, and visual search on electrocardiogram interpretation. Med Decis Making. 2014;34(1):75-83. DOI: 10.1177/0272989X13492016 https://doi.org/10.1177/0272989X13492016 Gegenfurtner A Siewiorek A Lehtinen E Säljö R Assessing the quality of expertise differences in the comprehension of medical visualizations 2013 Vocation Learn 37-54 Gegenfurtner A, Siewiorek A, Lehtinen E, Säljö R. Assessing the quality of expertise differences in the comprehension of medical visualizations. Vocation Learn. 2013;6(1):37-54. DOI: 10.1007/s12186-012-9088-7 https://doi.org/10.1007/s12186-012-9088-7 Helle L Prospects and Pitfalls in Combining Eye-Tracking Data and Verbal Reports 2017 Frontline Learn Res 1-12 Helle L. Prospects and Pitfalls in Combining Eye-Tracking Data and Verbal Reports. Frontline Learn Res. 2017;5(3):1-12. Van der Gijp A Ravesloot C Jarodzka H Van der Schaaf M Van der Schaaf I van Schaik JP Ten Cate TJ How visual search relates to visual diagnostic performance: a narrative systematic review of eye-tracking research in radiology 2017 Adv Health Sci Educ Theory Pract 765-787 Van der Gijp A, Ravesloot C, Jarodzka H, Van der Schaaf M, Van der Schaaf I, van Schaik JP, Ten Cate TJ. How visual search relates to visual diagnostic performance: a narrative systematic review of eye-tracking research in radiology. Adv Health Sci Educ Theory Pract. 2017;22(3):765-787. DOI: 10.1007/s10459-016-9698-1 https://doi.org/10.1007/s10459-016-9698-1 Kok EM Jarodzka H de Bruin AB BinAmir HA Robben SG van Merriënboer JJ Systematic viewing in radiology: seeing more, missing less? 2016 Adv Health Sci Educ Theory Pract 189-205 Kok EM, Jarodzka H, de Bruin AB, BinAmir HA, Robben SG, van Merriënboer JJ. Systematic viewing in radiology: seeing more, missing less? Adv Health Sci Educ Theory Pract. 2016;21(1):189-205. DOI: 10.1007/s10459-015-9624-y https://doi.org/10.1007/s10459-015-9624-y Jarodzka H Balslev T Holmqvist K Nyström M Scheiter K Gerjets P Eika B Conveying clinical reasoning based on visual observation via eye-movement modelling examples 2012 Instr Sci 813-827 Jarodzka H, Balslev T, Holmqvist K, Nyström M, Scheiter K, Gerjets P, Eika B. Conveying clinical reasoning based on visual observation via eye-movement modelling examples. Instr Sci. 2012;40(5):813-827. DOI: 10.1007/s11251-012-9218-5 https://doi.org/10.1007/s11251-012-9218-5 Vitak SA Ingram JE Duchowski AT Ellis S Gramopadhye AK Gaze-augmented think-aloud as an aid to learning. Proceedings of the SIGCHI conference on human factors in computing systems; 2012 May 5-10; Austin, Texas. Vitak SA, Ingram JE, Duchowski AT, Ellis S, Gramopadhye AK, editors. Gaze-augmented think-aloud as an aid to learning. Proceedings of the SIGCHI conference on human factors in computing systems; 2012 May 5-10; Austin, Texas. Van Gog T Paas F Van Merriënboer JJ Witte P Uncovering the problem-solving process: Cued retrospective reporting versus concurrent and retrospective reporting 2005 J Exp Psychol Appl 237 Van Gog T, Paas F, Van Merriënboer JJ, Witte P. Uncovering the problem-solving process: Cued retrospective reporting versus concurrent and retrospective reporting. J Exp Psychol Appl. 2005;11(4):237. DOI: 10.1037/1076-898X.11.4.237 https://doi.org/10.1037/1076-898X.11.4.237 Ericsson KA Protocol analysis and expert thought: Concurrent verbalizations of thinking during experts’ performance on representative tasks 2006 The Cambridge handbook of expertise and expert performance 223-241 Ericsson KA. Protocol analysis and expert thought: Concurrent verbalizations of thinking during experts’ performance on representative tasks. In: Ericsson KA, Charness N, Feltovich PJ, Hoffmann RR, editors. The Cambridge handbook of expertise and expert performance. Cambridge: Cambridge University Press; 2006. p.223-241. DOI: 10.1017/CBO9780511816796.013 https://doi.org/10.1017/CBO9780511816796.013 Brand-Gruwel S Kammerer Y Van Meeuwen L Van Gog T Source evaluation of domain experts and novices during Web search 2017 J Comp Ass Learn 234-251 Brand-Gruwel S, Kammerer Y, Van Meeuwen L, Van Gog T. Source evaluation of domain experts and novices during Web search. J Comp Ass Learn. 2017;33(3):234-251. DOI: 10.1111/jcal.12162 https://doi.org/10.1111/jcal.12162 Greussing E Kessler SH Boomgaarden HG Learning from science news via interactive and animated data visualizations: An investigation combining eye tracking, online survey, and cued retrospective reporting 2020 Sci Communication 803-828 Greussing E, Kessler SH, Boomgaarden HG. Learning from science news via interactive and animated data visualizations: An investigation combining eye tracking, online survey, and cued retrospective reporting. Sci Communication. 2020;42(6):803-828. DOI: 10.1177/1075547020962100 https://doi.org/10.1177/1075547020962100 Bender L Renkl A Eitel A When and how seductive details harm learning. A study using cued retrospective reporting 2021 Appl Cogn Psychol 948-959 Bender L, Renkl A, Eitel A. When and how seductive details harm learning. A study using cued retrospective reporting. Appl Cogn Psychol. 2021;35(4):948-959. DOI: 10.1002/acp.3822 https://doi.org/10.1002/acp.3822 Schwonke R Berthold K Renkl A How multiple external representations are used and how they can be made more useful 2009 Appl Cogn Psychol 1227-1243 Schwonke R, Berthold K, Renkl A. How multiple external representations are used and how they can be made more useful. Appl Cogn Psychol. 2009;23(9):1227-1243. DOI: 10.1002/acp.1526 https://doi.org/10.1002/acp.1526 Berndt M Thomas F Bauer D Härtl A Hege I Kääb S Fischer MR Heitzmann N The influence of prompts on final year medical students’ learning process and achievement in ECG interpretation 2020 GMS J Med Educ Doc 11 Berndt M, Thomas F, Bauer D, Härtl A, Hege I, Kääb S, Fischer MR, Heitzmann N. The influence of prompts on final year medical students’ learning process and achievement in ECG interpretation. GMS J Med Educ. 2020;37(1):Doc 11. DOI: 10.3205/zma001304 https://doi.org/10.3205/zma001304 Schwehr KA 2018 Klassifizierung und Analyse von Fehlern bei der EKG-Beschreibung, Befundung und Interpretation Schwehr KA. Klassifizierung und Analyse von Fehlern bei der EKG-Beschreibung, Befundung und Interpretation. München: LMU München; 2018. Hasch F 2018 Lernen aus Fehlern–Der Einfluss von Fehleranalyseprompts und Begründungsprompts auf das selbstregulierte Lernen in einer Online-Lernumgebung zum Thema Elektrokardiogramm Hasch F. Lernen aus Fehlern–Der Einfluss von Fehleranalyseprompts und Begründungsprompts auf das selbstregulierte Lernen in einer Online-Lernumgebung zum Thema Elektrokardiogramm. München: LMU München; 2018. 11en1de

Table 1: Piloting and manipulation checks

Tabelle 1: Pilotierung und Manipulationskontrolle

22en2de

Table 2: Sample characteristics – additional information

Tabelle 2: Stichprobenmerkmale – zusätzliche Informationen

33en3de

Table 3: List of predictors included in the 3 final regression models

Tabelle 3: Liste der in den 3 finalen Regressionsmodellen enthaltenen Prädiktoren

3

1 1en 1de Figure 1: Overview of measures and procedure used in the study. Numbers refer to the order of presentation. Abbildung 1: Überblick über die in der Studie verwendeten Instrumente und Durchführung. Die Zahlen beziehen sich auf die Reihenfolge der Präsentation.

1 0 1 1en 1de EYE-ECG sample video extract (with German audio) Beispielvideoausschnitt EYE-EKG 2 2en 2de Supplementary material Zusatzmaterial 2