zma001304 10.3205/zma001304 urn:nbn:de:0183-zma0013047 article Artikel The influence of prompts on final year medical students' learning process and achievement in ECG interpretation Der Einfluss von Prompts auf den Lernprozess und Lernerfolg Medizinstudierender im Praktischen Jahr bei der EKG-Befundung Berndt Berndt Markus M Dr.
University Hospital, LMU Munich, Institute for Medical Education, Pettenkoferstr. 8a, D-80336 Munich, Germany, Phone: +49 (0)89/4400-57208, Fax: +49 (0)89/4400-57202University Hospital, LMU Munich, Institute for Medical Education, Munich, GermanyWalden University, Richard W. Riley College of Education and Leadership, Minneapolis (MN), USA
Klinikum der Universität München, LMU München, Institut für Didaktik und Ausbildungsforschung in der Medizin, Pettenkoferstr. 8a, 80336 München, Deutschland, Tel.: +49 (0)89/4400-57208, Fax: +49 (0)89/4400-57202Klinikum der Universität München, LMU München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, DeutschlandWalden University, Richard W. Riley College of Education and Leadership, Minneapolis (MN), USA
markus.berndt@med.uni-muenchen.de author Thomas Thomas Franziska F
SLK Clinics Heilbronn GmbH, Center for Anesthesiology ZAINS, Heilbronn, Germany
SLK-Kliniken Heilbronn GmbH, Zentrum für Anästhesie ZAINS, Heilbronn, Deutschland
franziska.thomas@slk-kliniken.de author Bauer Bauer Daniel D Dr. med.
University of Bern, Faculty of Medicine, Institute for Medical Education, Bern, Switzerland
Universität Bern, Medizinische Fakultät, Institut für Medizinische Ausbildung, Bern, Schweiz
daniel.bauer@iml.unibe.ch author Härtl Härtl Anja A
University Hospital, LMU Munich, Institute for Medical Education, Munich, Germany University of Augsburg, Medical School, Augsburg, Germany
Klinikum der Universität München, LMU München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, Deutschland Universität Augsburg, Medizinische Fakultät, Augsburg, Deutschland
anja.haertl@med.uni-augsburg.de author Hege Hege Inga I PD Dr. med.
University Hospital, LMU Munich, Institute for Medical Education, Munich, Germany University of Augsburg, Medical School, Augsburg, Germany
Klinikum der Universität München, LMU München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, Deutschland Universität Augsburg, Medizinische Fakultät, Augsburg, Deutschland
inga.hege@med.uni-augsburg.de author Kääb Kääb Stefan S
University Hospital, LMU Munich, Department of Medicine I, Munich, Germany
Klinikum der Universität München, LMU München, Medizinische Klinik und Poliklinik I, München, Deutschland
stefan.kaab@med.uni-muenchen.de author Fischer Fischer Martin R. MR Prof. Dr. med. MME
University Hospital, LMU Munich, Institute for Medical Education, Munich, Germany
Klinikum der Universität München, LMU München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, Deutschland
martin.fischer@med.uni-muenchen.de author Heitzmann Heitzmann Nicole N
University Hospital, LMU Munich, Institute for Medical Education, Munich, Germany LMU Munich, Chair of Education and Educational Psychology, Munich, Germany
Klinikum der Universität München, LMU München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, Deutschland LMU München, Lehrstuhl für Empirische Pädagogik und Pädagogische Psychologie, München, Deutschland
nicole.heitzmann@med.uni-muenchen.de author German Medical Science GMS Publishing House
Düsseldorf
 610 prompts error analysis prompts justification prompts ECG ECG interpretation computer-supported learning Prompts Fehleranalyseprompts Begründungsprompts EKG EKG-Befundung computergestütztes Lernen ECG appraisal EKG-Befundung 20190506 20190911 20191128 20200217 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 2366-5017 37 1 GMS Journal for Medical Education GMS J Med Educ 11 Zielsetzung: Die EKG-Befundung ist anfällig für Fehler, welche zu relevanten Fehldiagnosen und falschen Therapien führen können. Eine Möglichkeit, das Lernen aus eigenen Fehlern und die Reduktion der Fehlerrate im Rahmen von Lehrveranstaltungen zu fördern, sind Prompts. Prompts sind Maßnahmen, wie Fragen, Hinweise und Anregungen inhaltlicher oder metakognitiver Natur, die zur Selbsterklärung beim Lernenden und damit zu tieferem Verständnis eines Sachverhaltes führen können. Das Ziel der Studie war es daher, zu untersuchen, ob der Einsatz von Prompts die Fehlerrate Studierender bei der EKG-Befundung reduzieren kann.Methodik: In einem 2x2 experimentellen Versuchs-Kontrollgruppen Design bearbeiteten N=100 Medizinstudierende mit PJ-Reife Online-Fallvignetten in CASUS® mit EKG-Befundungsaufgaben. Dabei wurden Begründungsprompts (B) und Fehleranalyseprompts (F) in vier Gruppen systematisch variiert sowie der Lernerfolg in einem Wissenstest gemessen. Zusätzlich wurde das Vorwissen zur EKG- Befundung, Motivation, Interesse an der Thematik, subjektive Sicherheit bei der Befundung und Cognitive Load erhoben.Ergebnisse: Weder Fehleranalyseprompts noch Begründungsprompts hatten einen signifikanten Effekt auf die korrekte EKG-Befundung Studierender, F(1,96)=1.03, p=.31. Begründungsprompts schienen sich positiv auf die Sicherheit bei der Beantwortung der Aufgaben auszuwirken, F(1,96)=10.15, p=.002, partielles η2=.10, und negativ auf die Motivation der Studierenden, F(1,96)=8.13, p=.005, partielles η2=.08, beides jedoch bei vergleichbarer Befundungsrichtigkeit.Schlussfolgerung: Die vorliegende Studie konnte in der Literatur berichtete positive Effekte von Prompts auf die Fehlerrate bei der EKG-Befundung nicht bestätigen, zeigte jedoch signifikante Effekte auf die subjektive Sicherheit bei der Beantwortung und die Motivation, die es in weiterführenden Studien zu untersuchen gilt. Objective: ECG interpretation is prone to errors that can lead to relevant misdiagnoses and incorrect treatment. Prompts are one way in lectures to encourage learning from one’s own mistakes and to reduce error rates. Prompts are measures such as questions, hints, and suggestions of content-related or metacognitive nature, which can lead to self-explanation in the learner and thus to a deeper understanding of an issue. The aim of the study was therefore to investigate whether the use of prompts can reduce the error rate in ECG interpretation among students.Method: In a 2x2 experimental test and control group design, N=100 final year medical students carried out ECG interpretation tasks in the form of online case vignettes in CASUS®. In these tasks, justification prompts (B) and error analysis prompts (F) were systematically varied in four groups and the learning success was measured using a knowledge test. In addition, prior knowledge in ECG interpretation, motivation, interest in the topic, subjective confidence in ECG interpretation, and cognitive load was collected.Results: Neither error analysis prompts nor justification prompts had a significant effect on the correct ECG interpretation by students, F(1,96)=1.03, p=.31. Justification prompts seemed to have a positive effect on the confidence of answering the questions, F(1,96)=10.15, p=.002, partial η2=.10; and a negative effect on student motivation, F(1,96)=8.13 , p=.005, partial η2=.08; but both with comparable diagnostic accuracy.Conclusion: The present study could not confirm the positive effects of prompts on the error rate in ECG interpretation reported in the literature but showed significant effects on subjective confidence and motivation which should be investigated in further studies. 1. IntroductionDiagnostic errors occur in one out of ten cases and lead to millions of incorrect diagnoses worldwide, with some of them being of critical importance for the patients . In such cases, the diagnosis of patient cases in which an electrocardiogram (ECG) is used is particularly error-prone and can subsequently lead to incorrect treatment . Targeted support and training in the interpretation and diagnosis of ECGs is therefore necessary in learning settings during medical studies , , .Computer-based learning environments have shown that digital prompts can support the learning process and can be as useful as prompts by human tutors . How exactly prompts must be designed is the subject of current research. In the present work, it was examined how specially designed prompts affect the learning success of ECG interpretation when learning in an online learning environment.1.1. Misdiagnoses and errorsMisdiagnoses, i.e. the deviation of the diagnosed disease from the actual disease, represent the most common type of error in primary care and are a much-discussed topic in medicine . Graber et al. estimate the rate of misdiagnoses as unacceptably high . In order to minimize errors, a systematic error analysis is required and a more open approach to errors, for example through mutual giving of hints within the therapeutic team . However, errors also have potential and can be used as a source of learning.Graber et al. , categorize misdiagnoses into three main types. On the one hand, there are “no fault” errors which arise, for example, through atypical development of clinical symptoms. The second type are system errors that are of a technical (software or hardware errors) or an organizational (e.g. unclear processes or responsibilities) nature. The third error type finally involves cognitive errors. These error types are not mutually exclusive. System errors are, according to Graber et al. , involved in up to 65% of misdiagnoses, cognitive factors in up to 74%. Furthermore, Braun et al. describe a lack of diagnostic skills (24%) and inadequate medical knowledge (16%) as reasons for misdiagnoses.Graber et al. further distinguish cognitive errors into faulty knowledge, faulty data collection, and faulty data processing , . Faulty knowledge leads to confusion of clinical pictures or to the misinterpretation of examination results. Faulty knowledge is generally a rare source of errors. Faulty data collection occurs more frequently and is based on a lack of diagnostic skills but also on incomplete diagnostics. Faulty data interpretation is considered a key problem and is the most common cause of misdiagnoses. Premature acceptance of a working diagnosis and rejection of alternatives (“premature closure”) is the main source of errors here. In addition, information processing problems can result from the application of heuristics. Heuristics make it possible to solve a diagnostic problem quickly and without much deliberation . They allow for quick action but hold potential for errors. In summary, cognitive errors are discussed as the central cause of misdiagnoses.1.2. Reduction of misdiagnoses and errors through promptsIn general, some authors believe that education about heuristics and biases helps to avoid cognitive errors , . Nevertheless, in a review on clinical reasoning, Eva comes to the conclusion that the explicit education regarding misdiagnoses is not sufficient to avoid diagnostic errors. It is difficult to address cognitive errors of individual learners alongside content knowledge transfer. One possibility is computer-supported learning, for example using virtual patients and the use of prompts .According to Chi , prompts are measures that can lead to self-explanation among learners and thus to a deeper understanding of an issue. They can be given in a variety of forms as an instructional measure, for example as open questions, hints, or suggestions of a content or metacognitive nature. Prompts are as effective in online learning environments as prompts by human tutors .Chi reports that self-explanation of content involves processes that can close knowledge gaps but can also lead to the revision of misunderstandings . This description reflects two major types of prompts. Prompts aimed directly at knowledge acquisition which have been used successfully in mathematics, for example, through prompts raising awareness of the individual computation steps , . The other type of prompts is more focused on learners’ metacognition and seeks to improve learning by influencing the learning process. This can be done by, for example, asking learners to explain why they decided for or against additional material or to justify at which point they wish to receive the solution to the task in the learning process . However, there are very different reports in the literature on the effectiveness of prompts. While prompts were shown to enhance learning in some studies, they had negative or no effects in other studies. Systematic indications of when which kind of prompts are conducive to learning cannot be found to date.Aleven and Koedinger showed that test subjects who had to explain their individual thinking steps in solving a task in more detail later showed better integrated, declarative knowledge than test subjects in the control group . Berthold et al. showed that in tasks with multiple solution approaches, open question prompts in combination with more specific support prompts (prompts as cloze texts in which sub-steps of the solution approach must be entered) tend to promote procedural knowledge. On the other hand, the acquisition of pure factual knowledge is promoted more strongly through support prompts alone , which is in line with the findings of Atkinson and colleagues . Specific prompts which help learners demonstrate principles underlying learning content are thus promising. However, the prompts in the above studies referred to the cognitive level of knowledge itself. At the meta-cognitive level, a study by Bannert showed that encouraging learners to actively use metacognitive learning strategies (e.g. setting learning objectives, monitoring their own learning progress) had a positive effect on application knowledge but not on factual knowledge. In a study by Kennedy et al. the use of prompts in the self-assessment of learning needs led to an increase in the knowledge and skills of medical students as part of a four-week module on aging and health . Regarding medical education specifically, de Bruin et al. recommend studying the use of prompts to regulate learning in the teaching of clinical reasoning . First positive results are reported by Chamberland et al. whose study improved clinical reasoning of medical students by learning through videos using self-explanation, examples, and specific question prompts .Kauffman et al. investigated the effectiveness of problem solving prompts and reflection prompts . The former showed a positive learning effect as they supported the learner in the process of knowledge growth. Regarding reflection prompts, an effect could only be shown in combination with problem solving prompts. According to the authors, this is because test subjects can only benefit from reflection prompts if they possess sufficient prior knowledge in order to reflect on their achievements in the acquisition of knowledge. However, according to Nokes et al., a problem with reflection prompts is that students sometimes feel that such prompts are useless, ignored them, or did not deal with them seriously . Conflicting results on the benefit of prompts were reported by Papadopoulos et al. who were not able to show a significant difference in knowledge growth with and without content-related question prompts. Heitzmann also was not able to find evidence of an effect of self-explanation prompts . In general, it can be stated, regarding the effectiveness of prompts in knowledge acquisition, that these are not effective if their wording is too abstract and if they provide learners with no concrete suggestions on how to improve their approach , , . At the metacognitive level, the prior knowledge of the learner plays a decisive role, as otherwise they are already fully engaged with the acquisition of knowledge , .1.3. The present studyThe subject of this work was the question whether the use of prompts has a positive effect on the error rate of case-based ECG interpretation by students. In addition to measuring differences in knowledge after learning with or without prompts in an online learning environment, motivation, cognitive load, and subjective confidence in answering were measured. The influence of the prompts used (justification prompts and error analysis prompts) was examined in combination and individually. In the described study, the following research questions and hypotheses were considered:Research question 1: What is the impact of error analysis prompts and justification prompts on the learning success of ECG interpretation by students in a case-based online learning environment?Hypothesis 1: Error analysis prompts lead to better results in a knowledge test on ECG interpretation compared to a control group without prompts.Hypothesis 2: Justification prompts lead to better results in a knowledge test on ECG interpretation compared to a control group without prompts.Hypothesis 3: The combination of error analysis prompts and justification prompts leads to the best result in a knowledge test on ECG interpretation.Research question 2: What is the impact of error analysis prompts and justification prompts in a case-based online learning environment for ECG interpretation on motivation, cognitive load, and subjective confidence in answering the knowledge test on ECG interpretation? 1. EinleitungDiagnosefehler geschehen in einem von zehn Fällen und führen weltweit zu Millionen fehlerhafter Diagnosen, teils mit dramatischer Bedeutung für PatientInnen . Hierbei ist die Diagnose von PatientInnenfällen, in denen ein Elektrokardiogramm (EKG) genutzt wird, besonders fehleranfällig und kann in der Folge eine falsche Behandlung nach sich ziehen . Eine gezielte Unterstützung und das Training der Befundung und Diagnosestellung von EKGs in Lernsettings bereits im Studium ist darum notwendig , , .In computergestützten Lernumgebungen hat sich gezeigt, dass digitale Prompts (deutsch Aufforderungen) den Lernprozess unterstützen und ebenso nützlich sein können wie Prompts durch menschliche TutorInnen . Wie genau Prompts gestaltet sein müssen, ist Gegenstand aktueller Forschung. In der vorliegenden Arbeit wurde untersucht, wie sich speziell gestaltete Prompts beim Lernen in einer online Lernumgebung auf den Lernerfolg Medizinstudierender bei der EKG-Befundung auswirken.1.1. Fehldiagnosen und FehlerFehldiagnosen, also die Abweichung des tatsächlichen vom diagnostizierten Krankheitsbild, stellen den häufigsten Fehlertyp in der Grundversorgung dar und sind ein viel diskutiertes Thema der Medizin . Graber et al. schätzen die Rate an Fehldiagnosen als inakzeptabel hoch ein . Um Fehler zu minimieren, bedarf es einer systematischen Fehleranalyse und eines offeneren Umgangs mit Fehlern, etwa durch gegenseitige Hinweise innerhalb des therapeutischen Teams . Fehler bergen jedoch auch Potential und können genutzt werden, um aus ihnen zu lernen.Graber et al. , kategorisieren Fehldiagnosen in drei Haupttypen. Zum einen die „Niemands Schuld“ Fehler (engl. no fault), welche etwa durch die untypische Ausprägung eines Krankheitsbildes entstehen. Eine weitere Kategorie sind Systemfehler technischer (Software- oder Hardwaremängel) oder organisatorischer Natur (z. B. unklare Abläufe oder Zuständigkeiten). Der dritte Fehlertyp umfasst schließlich kognitive Fehler. Die Fehlertypen schließen sich dabei nicht gegenseitig aus. Systemfehler sind laut Graber et al. bei bis zu 65% der Fehldiagnosen beteiligt, kognitive Faktoren bei bis zu 74%. Weiterhin führen Braun et al. fehlende diagnostische Fertigkeiten (24%) und inadäquates Fachwissen (16%) als Gründe für Fehldiagnosen auf.Kognitive Fehler werden bei Graber et al. weiter unterschieden nach fehlerhaftem Wissen, fehlerhafter Datensammlung und fehlerhafter Datenverarbeitung , . Fehlerhaftes Wissen führt etwa zu einer Verwechslung von Krankheitsbildern oder zur Fehlinterpretation von Untersuchungsergebnissen. Fehlerhaftes Wissen ist allgemein eine seltene Fehlerquelle. Fehlerhafte Datensammlung kommt häufiger vor und basiert zum einen auf mangelnden diagnostischen Fertigkeiten, aber auch auf unvollständiger Diagnostik. Fehlerhafte Dateninterpretation gilt als zentrales Problem und führt am häufigsten zu Fehldiagnosen. Das verfrühte Akzeptieren einer Arbeitsdiagnose und Verwerfen von Alternativen (engl. premature closure) ist hierbei die Hauptfehlerquelle. Zudem können Informationsverarbeitungsprobleme aus der Anwendung von Heuristiken resultieren. Heuristiken ermöglichen in kurzer Zeit und ohne viel Nachdenken die Lösung eines diagnostischen Problems . Sie erlauben zwar rasches Handeln, bergen aber Fehlerpotential. Zusammengefasst werden kognitive Fehler als die zentrale Ursache für Fehldiagnosen diskutiert.1.2. Reduktion von Fehldiagnosen und Fehlern durch PromptsAllgemein existiert bei einigen AutorInnen die Meinung, dass durch Aufklärung über Heuristiken und Biases, kognitive Fehler vermieden werden können , . Dennoch kommt Eva in einem Review zur klinischen Diagnosefindung zu dem Ergebnis, dass das explizite Aufklären über Fehldiagnosen nicht ausreicht, um Diagnosefehler zu vermeiden.Neben inhaltlicher Wissensvermittlung auch auf kognitive Fehler einzelner Lernenden einzugehen ist schwer. Eine Möglichkeit bietet computergestütztes Lernen, beispielsweise mit virtuellen PatientInnen und der Nutzung von Prompts .Prompts sind Maßnahmen, die nach Chi zur Selbsterklärung bei Lernenden und damit zu tieferem Verständnis eines Sachverhaltes führen können. Sie können als instruktionale Maßnahme in einer Vielzahl von Formen gegeben werden, zum Beispiel als offene Fragen, als Hinweise oder Anregungen inhaltlicher oder metakognitiver Natur. Dabei zeigen sich Prompts in einer online Lernumgebung als genauso effektiv, wie Prompts durch menschliche TutorInnen .Chi beschreibt, dass bei der Selbsterklärung eines Inhaltes Prozesse beteiligt sind, die Wissenslücken schließen aber auch Missverständnisse revidieren können . Diese Beschreibung spiegelt zwei Hauptklassen von Prompts wider. Prompts, die direkt auf die Aneignung von Wissen zielen, wurden etwa in der Mathematik erfolgreich eingesetzt, indem durch Prompts die einzelnen Rechenschritte bewusst gemacht wurden , . Die andere Art von Prompts zielt mehr auf die Metakognition der Lernenden ab und versucht, Lernen durch Beeinflussung des Lernvorgangs zu verbessern. Dies kann z. B. geschehen, indem Lernende aufgefordert werden zu begründen, warum sie sich für oder gegen zusätzliches Material entscheiden oder zu begründen, wann im Lernprozess sie den Lösungsansatz zur Aufgabe erhalten wollen . Für die Effektivität von Prompts finden sich jedoch sehr unterschiedliche Hinweise in der Literatur. Während sich Prompts in einigen Studien als lernförderlich zeigten, hatten sie in anderen Studien negative oder keine Effekte. Systematische Hinweise, wann welche Art von Prompts lernförderlich sind, finden sich bisher nicht.Aleven und Koedinger zeigten, dass ProbandInnen, die ihre einzelnen Denkschritte bei der Lösung einer Aufgabe näher erklären mussten, später besser integriertes, deklaratives Wissen zeigten als ProbandInnen der Kontrollgruppe . Berthold et al. zeigten, dass bei Aufgaben mit mehreren Lösungswegen offene Frageprompts in Kombination mit spezifischeren Unterstützungsprompts (Prompts als Lückentexte, in die Teilschritte des Lösungswegs eingetragen werden müssen) eher prozedurales Wissen fördern. Die Aneignung reinen Faktenwissens wird hingegen mehr durch Unterstützungsprompts alleine gefördert , was zu den Erkenntnissen von Atkinson und Kollegen passt . Spezifische Prompts , die den Lernenden helfen, einem Lerninhalt zugrundeliegende Prinzipien aufzuzeigen, sind also vielversprechend. Die aufgeführten Studien bezogen sich mit ihren Prompts allerdings auf die kognitive Ebene des Wissens an sich. Auf metakognitiver Ebene zeigte eine Studie von Bannert , dass die Aufforderung, aktiv metakognitive Lernstrategien beim Lernenden einzusetzen (z. B. Setzen von Lernzielen, Überwachen des eigenen Lernfortschritts), einen positiven Effekt auf das Anwendungswissen, nicht aber auf das Faktenwissen hatte. In einer Studie von Kennedy et al. führte der Einsatz von Prompts zur Selbstevaluation des Lernbedarfs zu einem Zuwachs an Wissen und Fertigkeiten von Medizinstudierenden im Rahmen eines vierwöchigen Moduls zu Alter und Gesundheit . Spezifisch für die medizinische Ausbildung raten de Bruin et al. dazu, Prompts zur Regulation des Lernens beim Unterrichten von klinischer Diagnosefindung zu untersuchen . Erste positive Ergebnisse berichten Chamberland et al., in deren Studie sich die klinische Diagnosefindung von Medizinstudierenden beim Lernen durch Videos mit Selbsterklärung, Beispielen und spezifischen Frageprompts verbesserte .Kauffman et al. untersuchten die Wirksamkeit von Problemlöseprompts und Reflexionsprompts . Erstere zeigten einen positiven Lerneffekt, da sie den Lernenden im Prozess des Wissenszuwachses unterstützten. Für Reflexionsprompts konnte ein Effekt nur in Kombination mit Problemlöseprompts gezeigt werden. Dies liegt den AutorInnen nach daran, dass ProbandInnen nur dann von Reflexionsprompts profitieren können, wenn genügend Vorwissen vorhanden sei, um ihre Leistungen im Wissenserwerb reflektieren zu können. Ein Problem bei Reflexionsprompts sei nach Nokes et al. allerdings, dass Studierende diese zum Teil von vornherein als unnütz empfänden, ignorierten oder nicht ernsthaft bearbeiteten . Widersprüchliche Ergebnisse für den Nutzen von Prompts erhielten Papadopoulos et al. , die keinen signifikanten Unterschied im Wissenszuwachs mit und ohne inhaltliche Frageprompts zeigen konnten. Auch bei Heitzmann konnte kein Effekt von Selbsterklärungsprompts nachgewiesen werden . Allgemein lässt sich zur Wirksamkeit von Prompts mit dem Zweck der Wissensaneignung sagen, dass diese nicht lernwirksam werden, wenn sie zu abstrakt formuliert sind und den Lernenden keine konkreten Hinweise zur Verbesserung ihres Vorgehens liefern , , . Auf metakognitiver Ebene spielt das Vorwissen der Lernenden eine entscheidende Rolle, da diese sonst bereits mit der Wissensaneignung ausgelastet sind , .1.3. Die vorliegende StudieGegenstand dieser Arbeit war die Frage, ob der Einsatz von Prompts positive Effekte auf die Fehlerrate bei der fallbasierten EKG-Befundung Studierender zeigt. Dazu wurden neben der Messung von Wissensunterschieden nach dem Lernen mit bzw. ohne Prompts in einer online Lernumgebung auch Motivation, Cognitive Load und subjektive Sicherheit bei der Beantwortung gemessen. Der Einfluss der eingesetzten Prompts (Begründungsprompts und Fehleranalyseprompts) wurde kombiniert und einzeln untersucht. Für die beschriebene Untersuchung wurden folgende Forschungsfragen und Hypothesen betrachtet:Forschungsfrage 1: Welchen Einfluss haben Fehleranalyseprompts und Begründungsprompts in einer fallbasierten online Lernumgebung auf den Lernerfolg Medizinstudierender bei der EKG-Befundung?Hypothese 1: Fehleranalyseprompts führen im Vergleich zu einer Kontrollgruppe ohne Prompts zu einem besseren Ergebnis in einem Wissenstest zur EKG Befundung.Hypothese 2: Begründungsprompts führen im Vergleich zu einer Kontrollgruppe ohne Prompts zu einem besseren Ergebnis in einem Wissenstest zur EKG Befundung.Hypothese 3: Die Kombination aus Fehleranalyseprompts und Begründungsprompts führt zum besten Ergebnis in einem Wissenstest zur EKG Befundung.Forschungsfrage 2: Welchen Einfluss haben Fehleranalyseprompts und Begründungsprompts in einer fallbasierten online Lernumgebung zur EKG-Befundung auf Motivation, Cognitive Load und subjektive Sicherheit bei der Beantwortung des Wissenstests zum Thema EKG-Befundung? 2. Methodology2.1. Design and sampleThe study was conducted in an experimental 2x2 between subject design with 100 medical final-year students (second state examination successfully completed) at the Medical Faculty of the University of Munich. The data was collected with a clearance certificate from the ethics committee of the Medical Faculty of LMU Munich. 73.3% of the test subjects were female and 26.7% were male. On average, they were 26.6 years old (SD=3.7) and on average were in the 12th semester (SD=1.2). The test subjects were randomly assigned to three experimental groups (EG 1-3) and one control group (KG) (see table 1 ). Each of the groups had a gender ratio of approximately 75% female to 25% male test subjects.2.2. Instruments and operationalizationsIn the following, the procedure and the instruments used to measure the variables and their operationalizations are explained in detail.2.2.1. ProcedureThe subjects arrived at the study center, received a test subject ID, and were assigned to a PC workstation. Before the start of the intervention, personal characteristics (demography data, interest) and prior knowledge regarding ECG interpretation were collected. Subsequently the first learning phase began on the PC (two hours for processing two cases). After a lunch break, the second learning phase followed (two hours for processing two further cases). Cognitive load and motivation were collected between the two learning phases. The test concluded with the completion of the ECG interpretation knowledge test. 2.2.2. InterestThe interest in the ECG interpretation study was calculated based on the mean of a six-item scale according to Stark et al. (example item: “I am interested in ECG interpretation”). The items were evaluated using a 6-point Likert scale, which ranged from “not at all” to “definitely” (Cronbach’s α=.78).2.2.3. Prior knowledge testBefore processing the first learning case, a 22-item prior knowledge test on ECG interpretation was carried out. The items were developed with regard to the content conveyed in the learning cases. The prior knowledge test consisted of multiple choice tasks with multiple true/false selection. Per question 0-4 points could be scored, 88 points in total. For each question there were four possible answers, of which zero to four could be correct. The number of correct answers was not known to the test subjects. This reduced the probability of guessing correct solutions from 25% to about 6% compared to single-choice. After each task, as a metacognitive element, a question was asked about the students’ subjective confidence regarding the correctness of the answer (“How confident are you that you answered the question correctly?”). This question was answered using a four-point response scale ranging from “very unconfident” to “very confident”. The items were statistically evaluated with regard to their difficulty, variance, and selectivity and items which were too simple (item difficulty<0.2) or too difficult (item difficulty>0.8) as well as items with insufficient selectivity (item-total correlation<0.3) were excluded (internal consistency: Cronbach’s α=.70, respectively α=.85 for questions regarding confidence). 2.2.4. InterventionFour thematically different learning cases with virtual patients were created in CASUS® with the aim to improve the diagnostic competence of students. The platform was known to students through its use in medical studies. The four cases were structured on the basis of typical and frequent ECG diagnoses and each included a case vignette with one ECG each (see figure 1 ). The diagnostic steps were based on a seven-point scheme for ECG interpretation familiar to students (see table 2 ).The test subjects were free to allocate processing time for each learning case as they saw fit. Within each learning case, tasks were set for all diagnostic steps, based on four levels of competence. At each level of competence there were different answer categories, each of which had about 30-40 possible answer options to tick (see table 2 ). In the experimental groups (EG 1-3) additionally prompts were presented. Two prompts were systematically varied in these: Justification prompts and error analysis prompts. Test subjects in the experimental groups with justification prompts (EG 2 and EG 3) were asked to justify their answers. The error analysis prompts (EG 1 and EG 3) were meant to help the test subjects to understand their own mistakes at an individual level. The prompts therefore consisted of three parts: Recognizing the error made (free text), assigning the error to an error form (faulty knowledge, faulty data collection, faulty data interpretation, faulty verification) and naming a strategy for preventing future errors (free text), see figure 2 . Subjects of the control group (KG) processed the learning cases without prompts.2.2.5. Motivation and cognitive loadBetween processing cases 2 and 3, process data on learning motivation and cognitive load of the test subjects were collected analogous to a prompt study by Heitzmann . Motivation was evaluated based on a questionnaire of eleven items according to Prenzel et al. . For this purpose, the test subjects answered items using a 4-point Likert scale which ranged from “almost never” to “very often”. An example item is “I enjoyed the work in the previous learning session”. From these data, a mean value for learning motivation was calculated (Cronbach’s α=.78). The cognitive load was measured using a modified 7-point Likert scale according to Paas , ranging from “very easy” to “very difficult” and comprising eight items . A sample item is “How easy or difficult do you find interpreting ECGs?” The total cognitive load was calculated as the mean of all items (Cronbach’s α=.81).2.2.6. Knowledge testThe measurement tool for determining differences in knowledge was a knowledge test designed specifically for the study. It was prepared in advance on the basis of a standard Herold medical textbook on internal medicine in collaboration with a senior cardiologist and reviewed and tested in a pilot study. Just like the prior knowledge test this was meant to measure the test subjects’ knowledge regarding ECG interpretation. The test consisted of 40 multiple choice items (see sample items in figure 3 ), which were distributed over nine ECG cases. It was evaluated in congruence with the prior knowledge test: For each question there were four possible answers, of which zero to four could be correct (maximum score 160). After each item, the question about subjective confidence was asked again (see figure 3 ). All items of the knowledge test were statistically evaluated with regard to their difficulty, variance, and selectivity and items which were too simple (item difficulty<0.2) or too difficult (item difficulty>0.8) as well as items with insufficient selectivity (item-total correlation<0.3) were excluded (internal consistency: Cronbach’s α=.78, respectively α=.91 for questions about confidence).2.2.7. Statistical evaluationAnalysis of variance and correlative methods were used for the statistical evaluation. Prior to the data analysis, the dataset was analyzed for outliers: All values for standardized skewness and kurtosis were within [-3; +3] . Furthermore, the fulfillment of the statistical assumptions of the analysis of variance methods (normal distribution and variance homogeneity) was checked and confirmed. The variable ‘Interest in the topic’ proved to be a significant predictor for the results achieved in the prior knowledge test and the knowledge test. For this reason, it was checked and found that the groups used for the analyzes did not differ in terms of interest and prior knowledge. 2. Methodik2.1. Design und StichprobeDie Studie wurde in einem experimentellen 2x2 between subject Design mit 100 Medizinstudierenden mit PJ-Reife (zweites Staatsexamen erfolgreich absolviert) an der Medizinischen Fakultät der LMU München durchgeführt. Die Datenerhebung erfolgte mit einer Unbedenklichkeitsbescheinigung der Ethikkommission der medizinischen Fakultät der LMU München. 73.3% der ProbandInnen waren Frauen und 26.7% Männer. Sie waren im Durchschnitt 26.6 Jahre alt (SD=3.7) und befanden sich durchschnittlich im 12. Fachsemester (SD=1.2). Die ProbandInnen wurden randomisiert drei Experimentalgruppen (EG 1-3) und einer Kontrollgruppe (KG) zugeteilt (siehe Tabelle 1 ). Jede der Gruppen wies ein Geschlechterverhältnis von ca. 75% weiblichen zu 25% männlichen ProbandInnen auf.2.2. Instrumente und OperationalisierungenIm Folgenden werden der Ablauf sowie die eingesetzten Instrumente zur Messung der Variablen und deren Operationalisierungen eingehend erläutert.2.2.1. AblaufDie ProbandInnen trafen im Studienzentrum ein, erhielten eine ProbandInnen ID und wurden einem PC Arbeitsplatzplatz zugewiesen. Vor Beginn der Intervention wurden persönliche Merkmale (Demografie, Interesse) und sowie das Vorwissen zur EKG-Befundung erhoben. Danach begann die erste Lernphase am PC (zwei Stunden zur Bearbeitung zweier Fälle). Nach einer Mittagspause folgte die zweite Lernphase (zwei Stunden zur Bearbeitung zweier weiterer Fälle). Zwischen den beiden Lernphasen wurden Cognitive Load und Motivation erhoben. Der Versuchsdurchlauf wurde mit der Beantwortung des Wissenstests zur EKG-Befundung abgeschlossen. 2.2.2. InteresseDas Interesse an der EKG Befundung wurde aus dem Mittelwert einer sechs Items umfassenden Skala nach Stark et al. berechnet (Beispielitem: „Ich bin am Thema EKG Interpretation interessiert“). Die Bewertung der Items erfolgte anhand einer 6-stufigen Likert Skala, welche von „stimmt überhaupt nicht“ bis „stimmt genau“ reichte (Cronbachs α=.78).2.2.3. VorwissenstestVor der Bearbeitung des ersten Lernfalles wurde ein 22-Item Vorwissenstest zur EKG-Befundung durchgeführt. Die Items wurden in Hinblick auf die in den Lernfällen vermittelten Inhalte entwickelt. Der Vorwissenstest bestand aus Multiple Choice Aufgaben mit Mehrfachauswahl im Kprim-Format. Pro Frage konnten 0-4 Punkte erzielt werden, maximal also 88 Punkte. Zu jeder Frage gab es vier Antwortmöglichkeiten, von denen null bis vier richtig sein konnten. Die Anzahl der richtigen Lösungen war den ProbandInnen nicht bekannt. Dadurch verringert sich die Ratewahrscheinlichkeit für Richtiglösungen im Vergleich zur Einfachauswahl von 25% auf ca. 6%. Nach jeder Aufgabe wurde als metakognitives Element zudem eine Frage zur subjektiven Sicherheit bezüglich einer richtigen Beantwortung gestellt („Wie sicher sind Sie, dass Sie diese Frage richtig beantwortet haben?“). Es gab hierbei eine vier Punkte umfassende Antwortskala von „sehr unsicher“ bis „sehr sicher“. Die Items wurden hinsichtlich ihrer Schwierigkeit, Varianz und Trennschärfe statistisch beurteilt und zu einfache (Itemschwierigkeit<0.2) bzw. zu schwierige (Itemschwierigkeit>0.8) Items sowie Items mit zu geringer Trennschärfe (Item-Total Korrelation<0.3) exkludiert (interne Konsistenz: Cronbachs α=.70, respektive α=.85 für die Sicherheitsfragen). 2.2.4. InterventionVier thematisch unterschiedliche Lernfälle mit virtuellen PatientInnen wurden in CASUS® realisiert, mit dem Ziel, die Diagnosekompetenz der Studierenden zu verbessern. Die Plattform war den Studierenden durch die Verwendung im Studium bekannt. Die vier Fälle wurden anhand typischer und häufiger EKG-Befunde strukturiert und umfassten jeweils eine Fallvignette mit je einem EKG (siehe Abbildung 1 ). Die Diagnoseschritte orientierten sich an einem den Studierenden bekannten sieben-Punkte-Schema zur EKG-Befundung (siehe Tabelle 2 ).Die zur Verfügung stehende Bearbeitungszeit je Lernfall war für die ProbandInnen frei einteilbar. Innerhalb jedes Lernfalls wurden Aufgaben zu allen Diagnoseschritten gestellt, basierend auf vier Kompetenzniveaus. Auf jedem Kompetenzniveau gab es verschiedene Antwortkategorien, welche jeweils mit ca. 30-40 möglichen anzukreuzenden Antwort-Optionen hinterlegt waren (siehe Tabelle 2 ). In den Experimentalgruppen (EG 1-3) wurden zusätzlich Prompts präsentiert. Hierbei wurden zwei Prompts systematisch variiert: Begründungsprompts und Fehleranalyseprompts. ProbandInnen der Versuchsgruppen mit Begründungsprompts (EG 2 und EG 3) wurden dazu aufgefordert, ihre Antworten zu begründen. Die Fehleranalyseprompts (EG 1 und EG 3) sollten den ProbandInnen beim individuellen Verständnis der eigenen Fehler helfen. Die Prompts bestanden daher aus drei Teilen: Erkennen des gemachten Fehlers (Freitext), Zuordnung des Fehlers in eine Fehlerform (fehlendes Wissen, fehlerhafte Informationssammlung, fehlerhaftes Umgehen mit gesammelten Informationen, fehlerhaftes Verifizieren) und Nennung einer Strategie zur zukünftigen Fehlervermeidung (Freitext), siehe Abbildung 2 . ProbandInnen der Kontrollgruppe (KG) bearbeiteten die Lernfälle ohne Prompts.2.2.5. Motivation und Cognitive LoadZwischen der Bearbeitung von Fall 2 und 3 wurden Prozessdaten zu Lernmotivation und Cognitive Load der ProbandInnen analog einer Promptstudie von Heitzmann erhoben . Die Motivation wurde mit einem elf Items umfassenden Fragebogen nach Prenzel et al. erfasst. Die ProbandInnen beantworteten hierfür Items anhand einer vier Punkte Skala, welche von „fast nie“ bis „sehr häufig“ reicht. Ein Beispielitem lautet „Während der bisherigen Lernsitzung macht mir das Arbeiten Spaß“. Aus diesen Daten wurde ein Mittelwert zur Lernmotivation berechnet (Cronbachs α=.78). Der Cognitive Load (deutsch kognitive Belastung) wurde mittels einer modifizierten sieben Punkte Skala nach Paas gemessen, die von ‚sehr leicht‘ bis ‚sehr schwer‘ reichte und acht Items umfasste . Ein Beispielitem ist „Wie leicht oder schwer finden Sie das Thema EKG Befundung?“ Der Gesamt-CL wurde als Mittelwert aller Items berechnet (Cronbachs α=.81).2.2.6. WissenstestDas Messinstrument für die Feststellung von Wissensunterschieden war ein eigens für die Studie konzipierter Wissenstest, der im Vorfeld auf Grundlage eines Standardlehrbuchs der Inneren Medizin von Herold und in Zusammenarbeit mit einem leitenden Oberarzt der Kardiologie erstellt, inhaltlich überprüft und in einer Pilotstudie getestet wurde. Dieser sollte genau wie der Vorwissenstest das Wissen zur EKG-Befundung der ProbandInnen messen. Der Test bestand aus 40 Multiple Choice Aufgaben (siehe Beispielitem in Abbildung 3 ), welche auf neun EKG Fälle verteilt waren. Die Auswertung erfolgte kongruent zum Vorwissenstest: Zu jeder Frage gab es vier Antwortmöglichkeiten, von denen null bis vier richtig sein konnten (maximale Punktzahl 160). Nach jeder Aufgabe wurde zudem wieder die beschriebene Frage zur Sicherheit bei der Beantwortung gestellt (siehe Abbildung 3 ). Alle Items des Wissenstest wurden hinsichtlich ihrer Schwierigkeit, Varianz und Trennschärfe statistisch beurteilt und zu einfache (Itemschwierigkeit<0.2) bzw. zu schwierige (Itemschwierigkeit>0.8) Items sowie Items mit zu geringer Trennschärfe (Item-Total Korrelation<0.3) exkludiert (interne Konsistenz: Cronbachs α=.78, respektive α=.91 für die Sicherheitsfragen).2.2.7. Statistische AuswertungFür die statistische Auswertung kamen varianzanalytische und korrelative Verfahren zum Einsatz. Vor der Datenanalyse wurde der Datensatz einer Ausreißeranalyse unterzogen: Alle Werte für standardisierte Schiefe und Kurtosis lagen innerhalb [-3; +3] . Weiterhin wurde die Erfüllung der statistischen Annahmen der varianzanalytischen Verfahren (Normalverteilung und Varianzhomogenität) überprüft und bestätigt. Die Variable Interesse an der Thematik erwies sich als signifikanter Prädiktor für die erzielten Ergebnisse in Vorwissens- und Wissenstest. Aus diesem Grund wurde überprüft und festgestellt, dass sich die für die Analysen herangezogenen Gruppen bzgl. Interesse sowie Vorwissen nicht unterschieden. 3. Results3.1. What is the impact of justification prompts and error analysis prompts on learning success?An ANOVA with the group affiliation (EG 1-3, KG) as an independent variable and the score in the knowledge (post) test as a dependent variable showed no statistically significant effect, F(1,96)=0.40, p=.75. Mean and standard deviation for the four groups are shown in table 3 .3.2. What is the impact of justification prompts and error analysis prompts on motivation, cognitive load, and subjective confidence in answering the knowledge test?A two-factorial ANOVA with justification prompts (yes/no) and error analysis prompts (yes/no) as an independent variable and motivation as a dependent variable shows a statistically significant interaction effect, F(1,96)=4.12, p=.045, partial η2=.04 and a statistically significant main effect for justification prompts F(1,96)=8.13, p=.005, η2=.08. The motivation for learning with both prompts (M=2.84, SD=0.37) as well as with justification prompts (M=2.95, SD=0.39) was lower than in the other groups (M=3.00-3.21, SD=0.37-0.41).A scrutiny of the differences in cognitive load showed no significant differences between the four groups. Cognitive load had a statistically significant negative correlation with motivation r(100)=-.56, p<.001.The main effect of justification prompts on confidence in the knowledge test was statistically significant F(1,96)=10.15, p=.002, partial η2=.10. The test subjects who learned with reasoning prompts felt more confident answering the knowledge test than any other group. However, a similar statistically significant difference was found between the groups in the prior knowledge test, F(1,96)=5.84, p=.018, partial η2=.06. The result of an ANCOVA with the independent variables error analysis (EG 1), justification prompts (EG 2), interaction of this (EG 3) and covariate confidence in the prior knowledge test confirmed the statistically significant difference between the groups but did not show a statistically significant increase in answer confidence in the group with justification prompts. A main effect of error analysis prompts on the confidence in the knowledge test as well as an interaction effect could not be shown. The correlation between answer confidence in the prior knowledge test was statistically significant positive and pronounced with r(100)=.74, p<.001. 3. Ergebnisse3.1. Welchen Einfluss haben Begründungsprompts und Fehleranalyseprompts auf den Lernerfolg?Eine ANOVA mit der Gruppenzugehörigkeit (EG 1-3, KG) als unabhängige Variable und dem Score im Wissenstest (post) als abhängige Variable, zeigte keinen statistisch signifikanten Effekt, F(1,96)=0.40, p=.75. Mittelwerte und Standardabweichung für die vier Gruppen sind in Tabelle 3 abgebildet.3.2. Welchen Einfluss haben Begründungsprompts und Fehleranalyseprompts auf Motivation, Cognitive Load und subjektive Sicherheit bei der Beantwortung des Wissenstests?Eine zweifaktorielle ANOVA mit Begründungsprompts (ja/nein) und Fehleranalyseprompts (ja/nein) als unabhängige Variable und Motivation als abhängige Variable zeigte einen statistisch signifikanten Interaktionseffekt, F(1,96)=4.12, p=.045, partielles η2=.04, sowie einen statistisch signifikanten Haupteffekt für Begründungsprompts F(1,96)=8.13, p=.005, η2=.08. Die Motivation beim Lernen mit beiden Prompts (M=2.84, SD=0.37) sowie nur mit Begründungsprompts (M=2.95, SD=0.39) war geringer als in den anderen Gruppen (M=3.00-3.21, SD=0.37-0.41).Die Untersuchung der Unterschiede im Cognitive Load zeigte keine signifikanten Unterschiede zwischen den vier Gruppen. Cognitive Load korrelierte statistisch signifikant negativ mit der Motivation r(100)=-.56, p<.001.Der Haupteffekt von Begründungsprompts auf die Sicherheit im Wissenstest war statistisch signifikant F(1,96)=10.15, p=.002, partielles η2=.10. Die ProbandenInnen, die mit Begründungsprompts lernten, fühlten sich sicherer in der Beantwortung des Wissenstests, als alle anderen Gruppen. Es wurde jedoch ein ähnlicher statistisch signifikanter Unterschied zwischen den Gruppen im Vorwissenstest festgestellt, F(1,96)=5.84, p=.018, partielles η2=.06. Das Ergebnis einer ANCOVA mit den unabhängigen Variablen Fehleranalyseprompts (EG 1), Begründungsprompts (EG 2), Interaktion dieser (EG 3) und der Kovariate Sicherheit im Vorwissenstest bestätigte den statistisch signifikanten Unterschied zwischen den Gruppen, zeigte jedoch keinen statistisch signifikanten Anstieg der Sicherheit der Beantwortung innerhalb der Gruppe mit Begründungsprompts. Ein Haupteffekt von Fehleranalyseprompts auf die Sicherheit im Wissenstest sowie ein Interaktionseffekt konnten nicht gezeigt werden. Die Korrelation zwischen der Sicherheit der Beantwortung im Vorwissens- und Wissenstest war statistisch signifikant positiv und stark ausgeprägt mit r(100)=.74, p<.001. 4. DiscussionThe aim of the present study was to investigate whether error analysis prompts and justification prompts are viable methods for reducing the error rate of students in ECG interpretation. Neither error analysis prompts nor justification prompts had significant positive effects on correct ECG interpretation in the knowledge test. Hypotheses 1-3 could not be confirmed. Papadopoulos et al. also were not able to detect any effect of their question analysis prompts in their web-based software project management. In this study, the question analysis prompts were set up in such a way that the test subjects, while processing learning cases, were supposed to observe their own knowledge, recall prior knowledge, and draw useful conclusions comparable to the prompts used here. Despite some methodological weaknesses, Papadopoulos et al. give the short learning time in the learning program or having conducted the knowledge test too soon thereafter as a possibility for the failure of the study . As in the study described here, the test period was only one day and the learning success was measured immediately after the learning phase, which could be a possible methodological limitation of the present study. In other studies, there was no measurable effect of analysis prompts either, for example if they were too abstract in design and without concrete learning advice . It would be conceivable that the benefit of prompts, as shown in some studies, is no longer evident in students with stronger prior knowledge compared to those with weaker prior knowledge , . A contrasting study of students with both weaker and stronger prior knowledge could provide further insights.An important finding for the success of analysis prompts is explained by Nokes et al. through the Instructional Fit Hypothesis . This describes to what extent the type or configuration of prompts leads to the desired knowledge improvement among learners. According to this theory, prompts for filling knowledge gaps for subjects with weak prior knowledge and prompts for revising knowledge models for subjects with strong prior knowledge are useful. In their study, they reaffirmed this by showing that only the knowledge gap prompts were useful for students in a science learning program because the test subjects had little knowledge in this area. This is supported by O’Neil et al. in whose study the nature of the question analysis prompt was crucial and found that prompts for closing knowledge gaps were particularly helpful .Justification prompts seem to affect the confidence of answering the tasks, but performance stays the same. Although the higher confidence assessment was already present initially in the justification prompt group, it became apparent that this confidence was reinforced by justification prompts. Excessive diagnosis confidence can have negative consequences, especially in medicine, if diagnostic competence remains the same. For example, this could mean that assistant physicians at the start of their specialist training do not have their diagnoses validated by specialists as a result of being too confident, leading them to possibly acting prematurely. Therefore, this result seems particularly interesting. Although the cognitive load across all groups was similar, it is striking that the students found both the justification prompts on their own and the combination of both types of prompting to be demotivating. A negative effect of justification and error analysis prompts on motivation suggests that students may view them as an unnecessary additional burden, possibly because prompts are not usually included in the standard learning strategy of many students. These results are similar to those of Nokes et al. , who found that test subjects considered reflection prompts to be worthless and that, as a result of a lack of motivation, might not tackle them seriously. Looking at the task as a whole, it is quite conceivable that a negative effect on motivation results from a change in self-perception due to continuous assessment of one’s own confidence, justification of one’s own answers, and analysis of one’s own mistakes. Such a loss of motivation could be explained by self-determination theory . According to this theory, autonomy in learning, experiencing competence, and social relatedness are crucial for motivation in learning. Thus, the control exerted by prompts could be perceived by the test subjects as a restriction of their autonomy. In addition, it’s possible that the experience of competence was reduced by increased attention to their own mistakes as well as to their own uncertainty in answering. Due to the individual processing of the learning cases, the degree of social relatedness is also considered to be low. Changing only one of these factors might already have a positive impact on learning motivation. It seems worthwhile to investigate this in follow-up studies. 4. DiskussionZiel der vorliegenden Studie war, zu untersuchen, ob Fehleranalyseprompts und Begründungsprompts geeignete Mittel darstellen, um die Fehlerrate von Studierenden bei der EKG-Befundung zu reduzieren. Weder Fehleranalyseprompts noch Begründungsprompts hatten signifikante positive Effekte auf die korrekte EKG Befundung im Wissenstest. Die Hypothesen 1-3 konnten nicht bestätigt werden. Auch Papadopoulos et al. konnten keinen Effekt ihrer Frageanalyseprompts in ihrem webbasierten Software Projekt Management feststellen. In dieser Studie wurden die Frageanalyseprompts so gestellt, dass die ProbandInnen während der Bearbeitung von Lernfällen ihr Wissen beobachten, Vorwissen erinnern und nützliche Schlussfolgerungen ziehen sollten, vergleichbar mit den hier verwendeten Prompts. Trotz einiger methodischer Schwächen geben Papadopoulos et al. als Möglichkeit für den Misserfolg der Studie die geringe Lernzeit im Lernprogramm an oder den zu zeitnah durchgeführten Wissenstest . Wie bei der hier beschriebenen Studie betrug die Versuchszeit nur einen Tag und der Lernerfolg wurde direkt nach der Lernphase gemessen, was eine mögliche methodische Einschränkung der vorliegenden Studie darstellen könnte. Auch in anderen Untersuchungen konnte kein Effekt von Analyseprompts gemessen werden, wenn sie etwa zu abstrakt und ohne konkrete Lernhinweise gestaltet waren . Denkbar wäre, dass sich der in einigen Studien gezeigte Nutzen von Prompts bei vorwissensschwachen Studierenden bei höherem Vorwissen nicht mehr zeigt , . Eine kontrastierende Studie mit sowohl vorwissensschwachen als auch vorwissensstarken Studierenden könnte weitere Einblicke ermöglichen.Eine wichtige Erkenntnis für den Erfolg von Analyseprompts erläutern Nokes et al. durch die Instructional Fit Hypothesis . Diese beschreibt, inwieweit die Art oder Ausgestaltung von Prompts zur einer gewünschten Wissensverbesserung bei Lernenden führt. Demzufolge seien Prompts zum Füllen von Wissenslücken für Vorwissensschwache und Prompts für die Revision eines Wissensmodells für Vorwissensstarke nützlich. In ihrer Studie bekräftigten sie dies, indem sie zeigten, dass nur die Wissenslückenprompts in einem Physiklernprogramm für Studierende nützlich waren, da die ProbandInnen wenig Wissen auf diesem Gebiet hatten. Gestützt wird dies durch O’Neil et al., in deren Studie die Art der Frageanalyseprompts entscheidend war und insbesondere Prompts hilfreich waren, die Wissenslücken schlossen .Begründungsprompts scheinen sich auf die Sicherheit bei der Beantwortung der Aufgaben auszuwirken, jedoch bei gleichbleibender Performanz. Obwohl die höhere Einschätzung der Sicherheit bei der Beantwortung bereits zu Beginn innerhalb der Begründungspromptgruppe vorlag, zeigte sich, dass diese Sicherheit durch Begründungsprompts noch verstärkt wird. Gerade in der Medizin kann eine zu hohe Sicherheit in der Diagnose bei gleichbleibender Diagnosekompetenz negative Konsequenzen nach sich ziehen. Dies könnte beispielsweise dazu führen, dass AssistenzärztInnen am Anfang der Weiterbildung in der Notaufnahme ihre Diagnosen nicht fachärztlich validieren lassen, weil sie sich ihrer Sache zu sicher sind, und möglicherweise vorschnell handeln. Dieses Ergebnis erscheint daher besonders interessant. Obwohl der Cognitive Load über alle Gruppen hinweg ähnlich ausgeprägt war, fällt auf, dass die Studierenden die Begründungsprompts allein und auch die Kombination beider Promptarten als demotivierend empfanden. Ein negativer Effekt von Begründungs- und Fehleranalyseprompts auf die Motivation lässt vermuten, dass die Studierenden diese als unnötige, zusätzliche Belastung ansehen, möglicherweise auch, da Prompts in der Regel nicht in die Standard-Lernstrategie vieler Studierender inkludiert sind. Diese Ergebnisse ähneln jenen von Nokes et al. , in deren Untersuchung ProbandInnen Reflexionsprompts als unnütz ansahen und diese möglicherweise bei fehlender Motivation nicht ernsthaft bearbeiteten. Betrachtet man die Aufgabenstellung als Ganzes, so ist durchaus vorstellbar, dass ein negativer Effekt auf die Motivation aus einer veränderte Selbstwahrnehmung aufgrund fortwährender Bewertung der eigenen Sicherheit, Begründung der eigenen Antworten, und Analyse der eigenen Fehler resultiert. Ein Motivationsverlust ließe sich anhand der Selbstbestimmungstheorie erklären. Nach dieser Theorie sind Autonomie beim Lernen, Kompetenzerleben und soziale Eingebundenheit maßgeblich für die Motivation beim Lernen. So könnte die Steuerung durch Prompts von den ProbandInnen als Einschränkung der Autonomie wahrgenommen werden. Zusätzlich könnte das Kompetenzerleben reduziert werden durch eine gesteigerte Aufmerksamkeit auf die eigenen Fehler sowie auf die eigene Unsicherheit bei der Beantwortung. Durch die individuelle Bearbeitung der Lernfälle ist auch die soziale Eingebundenheit als niedrig anzusehen. Möglicherweise hat bereits die Veränderung eines dieser Faktoren eine positive Auswirkung auf die Lernmotivation. Es erscheint lohnenswert, dies in Folgestudien zu untersuchen. 5. ConclusionIn the chosen setting, the use of justification and error analysis prompts had no influence on the correct interpretation of ECGs, but on the confidence in answering and student motivation. Follow-up studies with more test subjects and the inclusion of the participants’ prior knowledge, for example in the sense of Instructional Fit , could provide further insights into possible effects of justification and error analysis prompts on the correct interpretation of ECGs. 5. FazitIm gewählten Setting hatte der Einsatz von Begründungs- und Fehleranalyseprompts keinen Einfluss auf die korrekte Befundung von EGKs, jedoch auf die Sicherheit bei der Beantwortung und die Motivation der Studierenden. Folgestudien mit mehr ProbandInnen und unter Einbezug des Vorwissens der ProbandInnen, beispielsweise im Sinne des Instructional Fit , könnten weitere Erkenntnisse über mögliche Effekte von Begründungs- und Fehleranalyseprompts auf die korrekte Befundung von EKGs liefern. NoteParts of this manuscript were submitted as a doctoral thesis. AnmerkungTeile dieses Manuskripts wurden als Dissertation eingereicht. Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie AutorInnen erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben. National Acadmies of Sciences Engineering and Medicine 2015 Improving Diagnosis in Health Care National Acadmies of Sciences, Engineering, and Medicine. Improving Diagnosis in Health Care. Washington, DC: The National Academies Press; 2015. DOI: 10.17226/21794 https://doi.org/10.17226/21794 Salerno S Alguire P Waxman H Competency in interpretation of 12 lead electrocardiograms: A summary and appraisal of published evidence 2003 Ann Intern Med 751-760 Salerno S, Alguire P, Waxman H. Competency in interpretation of 12 lead electrocardiograms: A summary and appraisal of published evidence. Ann Intern Med. 2003;138(9):751-760. DOI: 10.7326/0003-4819-138-9-200305060-00013 https://doi.org/10.7326/0003-4819-138-9-200305060-00013 Akgun T Karabay CY Kocabay G Kalayci A Oduncu V Guler A Pala S Kirma C Learning electrocardiogram on You Tube: How useful is it? 2014 J Electrocardiol 113-117 Akgun T, Karabay CY, Kocabay G, Kalayci A, Oduncu V, Guler A, Pala S, Kirma, C. Learning electrocardiogram on You Tube: How useful is it? J Electrocardiol. 2014;47(1):113-117. DOI: 10.1016/j.jelectrocard.2013.09.004 https://doi.org/10.1016/j.jelectrocard.2013.09.004 Keller D Zakowski L An effective ECG curriculum for third year medical students in a community based clerkship 2000 Med Teach 354-358 Keller D, Zakowski L. An effective ECG curriculum for third year medical students in a community based clerkship. Med Teach. 2000;22(4):354-358. DOI: 10.1080/014215900409447 https://doi.org/10.1080/014215900409447 Little B Ho KJ Scott L Electrocardiogram and rhythm strip interpretation by final year medical students 2001 Ulster Med J 108-110 Little B, Ho KJ, Scott L. Electrocardiogram and rhythm strip interpretation by final year medical students. Ulster Med J. 2001;70(2):108-110. Hausmann R Chi M Can a computer interface support self explaining? 2002 Cogn Technol 4-14 Hausmann R, Chi M. Can a computer interface support self explaining? Cogn Technol. 2002;7(1):4-14. Thammasitboon S Singhal G Diagnosing diagnostic error 2013 Curr Probl Pediatr Adolesc Health Care 227 231 Thammasitboon S, Singhal G. Diagnosing diagnostic error. Curr Probl Pediatr Adolesc Health Care. 2013;43(9):227 231. DOI: 10.1016/j.cppeds.2013.07.002 https://doi.org/10.1016/j.cppeds.2013.07.002 Graber M The incidence of diagnostic error in medicine 2013 BMJ Qual Safe ii21-ii27 Graber M. The incidence of diagnostic error in medicine. BMJ Qual Safe. 2013;22 Suppl 2:ii21-ii27. doi: 10.1136/bmjqs 2012 001615 https://doi.org/10.1136/bmjqs 2012 001615 Rall M Manser T Guggenberger H Gaba DM Unertl K Patientensicherheit und Fehler in der Medizin 2001 Anästhesiol Intensivmed Notfallmed Schmerzther 321-330 Rall M, Manser T, Guggenberger H, Gaba DM, Unertl K. Patientensicherheit und Fehler in der Medizin. Anästhesiol Intensivmed Notfallmed Schmerzther. 2001;36(6):321-330. DOI: 10.1055/s-2001-14806 https://doi.org/10.1055/s-2001-14806 Hofinger G Walaczek H Behandlungsfehler: Das Bewusstsein schärfen 2003 Dtsch Aerztebl A2848-2849 Hofinger G, Walaczek H. Behandlungsfehler: Das Bewusstsein schärfen. Dtsch Aerztebl. 2003;100:A2848-2849. Graber M Gordon R Franklin N Reducing diagnostic errors in medicine: what's the goal? 2002 Acad Med 981-992 Graber M, Gordon R, Franklin N. Reducing diagnostic errors in medicine: what's the goal? Acad Med. 2002;77(10):981-992. DOI: 10.1097/00001888 200210000 00009 https://doi.org/10.1097/00001888 200210000 00009 Graber M Franklin N Gordon R Diagnostic error in internal medicine 2005 Arch Intern Med 1493-1499 Graber M, Franklin N, Gordon R. Diagnostic error in internal medicine. Arch Intern Med. 2005;165(13):1493-1499. DOI: 10.1001/archinte.165.13.1493 https://doi.org/10.1001/archinte.165.13.1493 Braun L Zwaan L Kiesewetter J Fischer MR Schmidtmaier R Diagnostic errors by medical students: results of a prospective qualitative study 2017 BMC Med Educ 191 Braun L, Zwaan L, Kiesewetter J, Fischer MR, Schmidtmaier R. Diagnostic errors by medical students: results of a prospective qualitative study. BMC Med Educ. 2017;17:191. DOI: 10.1186/s12909-017-1044-7 https://doi.org/10.1186/s12909-017-1044-7 Gigerenzer G Todd P 1999 Simple heuristics that make us smart Gigerenzer G, Todd P. Simple heuristics that make us smart. New York, NY, US: Oxford University Press; 1999. Croskerry P The importance of cognitive errors in diagnosis and strategies to minimize them 2003 Acad Med 775-780 Croskerry P. The importance of cognitive errors in diagnosis and strategies to minimize them. Acad Med. 2003;78(8):775-780. DOI: 10.1097/00001888 200308000 00003 https://doi.org/10.1097/00001888 200308000 00003 Klein J Five pitfalls in decisions about diagnosis and prescribing 2005 BMJ 781-783 Klein J. Five pitfalls in decisions about diagnosis and prescribing. BMJ. 2005;330(7494):781-783. DOI: 10.1136/bmj.330.7494.781 https://doi.org/10.1136/bmj.330.7494.781 Eva K What every teacher needs to know about clinical reasoning 2005 Med Educ 98-106 Eva K. What every teacher needs to know about clinical reasoning. Med Educ. 2005;39(1):98-106. DOI: 10.1111/j.1365 2929.2004.01972.x https://doi.org/10.1111/j.1365 2929.2004.01972.x Berman NB Durning SJ Fischer MR Huwendiek S Triola MM The Role for Virtual Patients in the Future of Medical Education 2016 Acad Med 1217-1222 Berman NB, Durning SJ, Fischer MR, Huwendiek S, Triola MM. The Role for Virtual Patients in the Future of Medical Education. Acad Med. 2016;91(9):1217-1222. DOI: 10.1097/ACM.0000000000001146 https://doi.org/10.1097/ACM.0000000000001146 Chi MT Constructing self explanations and scaffolded explanations in tutoring 1996 Appl Cogn Psychol S33-S49 Chi MT. Constructing self explanations and scaffolded explanations in tutoring. Appl Cogn Psychol. 1996;10(Spec Issue):S33-S49. DOI: 10.1002/(sici)1099 0720(199611)10:7<33::aid acp436>3.0.co;2 e https://doi.org/10.1002/(sici)1099 0720(199611)10:7<33::aid acp436>3.0.co;2 e Chi M Self explaining: The dual processes of generating inference and repairing mental models 2000 Educ Design Cogn Sci 161-238 Chi M. Self explaining: The dual processes of generating inference and repairing mental models. Educ Design Cogn Sci. 2000;5:161-238. Atkinson R Renkl A Merrill M Transitioning From Studying Examples to Solving Problems: Effects of Self Explanation Prompts and Fading Worked Out Steps 2003 J Educ Psychol 774-783 Atkinson R, Renkl A, Merrill M. Transitioning From Studying Examples to Solving Problems: Effects of Self Explanation Prompts and Fading Worked Out Steps. J Educ Psychol. 2003;95(4):774-783. DOI: 10.1037/0022 0663.95.4.774 https://doi.org/10.1037/0022 0663.95.4.774 Berthold K Eysink T Renkl A Assisting self explanation prompts are more effective than open prompts when learning with multiple representations 2009 Instruct Sci 345-363 Berthold K, Eysink T, Renkl A. Assisting self explanation prompts are more effective than open prompts when learning with multiple representations. Instruct Sci. 2009;37(4):345-363. DOI: 10.1007/s11251 008 9051 z https://doi.org/10.1007/s11251 008 9051 z Stark R Krause U Effects of reflection prompts on learning outcomes and learning behaviour in statistics education 2009 Learn Environ Res 209-223 Stark R, Krause U. Effects of reflection prompts on learning outcomes and learning behaviour in statistics education. Learn Environ Res. 2009;12(3):209-223. DOI: 10.1007/s10984 009 9063 x https://doi.org/10.1007/s10984 009 9063 x Aleven V Koedinger K An effective metacognitive strategy: Learning by doing and explaining with a computer based Cognitive Tutor 2002 Cogn Sci 147-179 Aleven V, Koedinger K. An effective metacognitive strategy: Learning by doing and explaining with a computer based Cognitive Tutor. Cogn Sci. 2002;26(2):147-179. DOI: 10.1016/s0364 0213(02)00061 7 https://doi.org/10.1016/s0364 0213(02)00061 7 Renner B Prilla M Cress U Kimmerle J Effects of prompting in reflective learning tools: Findings from experimental field, lab, and online studies 2016 Front Psychol 820 Renner B, Prilla M, Cress U, Kimmerle J. Effects of prompting in reflective learning tools: Findings from experimental field, lab, and online studies. Front Psychol. 2016;7:820. DOI: 10.3389/fpsyg.2016.00820 https://doi.org/10.3389/fpsyg.2016.00820 Bannert M Effekete metakognitiver Lernhilfen auf den Wissenserwerb in vernetzten Lernumgebungen. = Effects of metacognitive help on knowledge acquisition in Web based learning environments 2003 Z Päd Psychol 13-25 Bannert M. Effekete metakognitiver Lernhilfen auf den Wissenserwerb in vernetzten Lernumgebungen. = Effects of metacognitive help on knowledge acquisition in Web based learning environments. Z Päd Psychol. 2003;17(1):13-25. DOI: 10.1024//1010-0652.17.1.13 https://doi.org/10.1024//1010-0652.17.1.13 Kennedy G Rea J Rea I Prompting medical students to self-assess their learning needs during the ageing and health module: a mixed methods study 2019 Med Educ Online 1-12 Kennedy G, Rea J, Rea I. Prompting medical students to self-assess their learning needs during the ageing and health module: a mixed methods study. Med Educ Online. 2019;24(1):1-12. DOI: 10.1080/10872981.2019.1579558 https://doi.org/10.1080/10872981.2019.1579558 de Bruin A Dunlosky J Cavalcanti R Monitoring and regulation of learning in medical education: the need for predictive cues 2017 Med Educ 575-584 de Bruin A, Dunlosky J, Cavalcanti R. Monitoring and regulation of learning in medical education: the need for predictive cues. Med Educ. 2017;51(6):575-584. DOI: 10.1111/medu.13267 https://doi.org/10.1111/medu.13267 Chamberland M Mamede S St-Onge C Setrakian J Bergeron L Schmidt H Self-explanation in learning clinical reasoning: the added value of examples and prompts 2015 Med Educ 193-202 Chamberland M, Mamede S, St-Onge C, Setrakian J, Bergeron L, Schmidt H. Self-explanation in learning clinical reasoning: the added value of examples and prompts. Med Educ. 2015;49(2):193-202. DOI: 10.1111/medu.12623 https://doi.org/10.1111/medu.12623 Kauffman D Ge X Xie K Chen CH Prompting in web based environments: Supporting self monitoring and problem solving skills in college students 2008 J Educ Comp Res 115-137 Kauffman D, Ge X, Xie K, Chen CH. Prompting in web based environments: Supporting self monitoring and problem solving skills in college students. J Educ Comp Res. 2008;38(2):115-137. DOI: 10.2190/EC.38.2.a https://doi.org/10.2190/EC.38.2.a Nokes T Hausmann R VanLehn K Gershman S Testing the instructional fit hypothesis: The case of self explanation prompts 2001 Instruct Sci 645-666 Nokes T, Hausmann R, VanLehn K, Gershman S. Testing the instructional fit hypothesis: The case of self explanation prompts. Instruct Sci. 2001;39(5):645-666. DOI: 10.1007/s11251 010 9151 4 https://doi.org/10.1007/s11251 010 9151 4 Papadopoulos P Demetriadis S Stamelos I Tsoukalas I Prompting students' context generating cognitive activity in ill structured domains: Does the prompting mode affect learning? 2009 Educ Technol Res Develop 193-210 Papadopoulos P, Demetriadis S, Stamelos I, Tsoukalas I. Prompting students' context generating cognitive activity in ill structured domains: Does the prompting mode affect learning? Educ Technol Res Develop. 2009;57(2):193-210. DOI: 10.1007/s11423 008 9105 6 https://doi.org/10.1007/s11423 008 9105 6 Heitzmann N 2014 Fostering diagnostic competence in different domains (Dissertation) Heitzmann N. Fostering diagnostic competence in different domains (Dissertation). München: LMU; 2014. URN: urn:nbn:de:bvb:19-168621 https://nbn-resolving.org/urn:nbn:de:bvb:19-168621 O'Neil H Chung G Kerr D Vendlinski T Buschang R Mayer R Adding self explanation prompts to an educational computer game 2014 Comp Human Behav 23-28 O'Neil H, Chung G, Kerr D, Vendlinski T, Buschang R, Mayer R. Adding self explanation prompts to an educational computer game. Comp Human Behav. 2014;30:23-28. DOI: 10.1016/j.chb.2013.07.025 https://doi.org/10.1016/j.chb.2013.07.025 Stark R Tyroller M Krause U Mandl H Effekte einer metakognitiven Promptingmaßnahme beim situierten, beispielbasierten Lernen im Bereich Korrelationsrechnung 2008 Z Päd Psychol 59-71 Stark R, Tyroller M, Krause U, Mandl H. Effekte einer metakognitiven Promptingmaßnahme beim situierten, beispielbasierten Lernen im Bereich Korrelationsrechnung. Z Päd Psychol. 2008;22(1):59-71. DOI: 10.1024/1010-0652.22.1.59 https://doi.org/10.1024/1010-0652.22.1.59 Hege I Adler M Peter S CASUS - ein fallbasiertes Lernsystem 2011 E-Learning Einsatzkonzepte und Erfolgsfaktoren des Lernens mit interaktiven Medien 101-107 Hege I, Adler M, Peter S. CASUS - ein fallbasiertes Lernsystem. In: Dittler U, editor. E-Learning Einsatzkonzepte und Erfolgsfaktoren des Lernens mit interaktiven Medien. Berlin: De Gruyter; 2011. p.101-107. Prenzel M Eitel F Holzbach R Schoenheinz RJ Lernmotivation im studentischen Unterricht in der Chirurgie 1993 Z Päd Psychol 125-137 Prenzel M, Eitel F, Holzbach R, Schoenheinz RJ. Lernmotivation im studentischen Unterricht in der Chirurgie. Z Päd Psychol. 1993;7(2 3):125-137. Paas F Training strategies for attaining transfer of problem solving skill in statistics: A cognitive load approach 1992 J Educ Psychol 429 434 Paas F. Training strategies for attaining transfer of problem solving skill in statistics: A cognitive load approach. J Educ Psychol. 1992;84(4):429 434. DOI: 10.1037/0022 0663.84.4.429 https://doi.org/10.1037/0022 0663.84.4.429 Paas F Tuovinen J Tabbers H Van Gerven P Cognitive load measurement as a means to advance cognitive load theory 2003 Educ Psychol 63-71 Paas F, Tuovinen J, Tabbers H, Van Gerven P. Cognitive load measurement as a means to advance cognitive load theory. Educ Psychol. 2003;38(1):63-71. DOI: 10.1207/S15326985EP3801_8 https://doi.org/10.1207/S15326985EP3801_8 Herold G 2010 Innere Medizin unter Berücksichtigung des Gegenstandskataloges für die ärztliche Prüfung Herold G. Innere Medizin unter Berücksichtigung des Gegenstandskataloges für die ärztliche Prüfung. Köln: G. Herold; 2010. Tabachnick BG Fidell LS 2013 Using multivariate statistics Tabachnick BG, Fidell LS. Using multivariate statistics. 6th ed. Boston: Allyn & Bacon; 2013. Niemiec C Ryan RM Autonomy, competence, and relatedness in the classroom: Applying self-determination theory to educational practice 2009 Theor Res Educ 133-144 Niemiec C, Ryan RM. Autonomy, competence, and relatedness in the classroom: Applying self-determination theory to educational practice. Theor Res Educ. 2009;7(2):133-144. DOI: 10.1177/1477878509104318 https://doi.org/10.1177/1477878509104318 11en1de
Table 1: Experimental conditions of the study Tabelle 1: Versuchsbedingungen der Studie
22en2de
Table 2: Reference of learning cases to competence levels and response options Tabelle 2: Bezug der Lernfälle zu Kompetenzniveaus und Antwortoptionen
33en3de
Table 3: Results in the pre-test (88 points) and post-test (160 points) Tabelle 3: Ergebnisse im Prätest (88 Punkte) und Posttest (160 Punkte)
3
1 1en 1de Figure 1: Example of a case vignette in CASUS® Abbildung 1: Beispiel für eine Fallvignette in CASUS®
2 2en 2de Figure 2: Example of error analysis prompts in CASUS® Abbildung 2: Beispiel für Fehleranalyseprompts in CASUS®
3 3en 3de Figure 3: Example of a knowledge test question, as well as assessment of the subjective confidence in giving answers in CASUS® Abbildung 3: Beispiel einer Wissenstestfrage, sowie Einschätzung der subjektiven Sicherheit der Beantwortung in CASUS®
3 0 0