zma001653 10.3205/zma001653 urn:nbn:de:0183-zma0016534 article Artikel Anfänge von Learning Analytics in einem Blended-Learning-Curriculum für Allgemeinmedizin an der Universität des Saarlandes – ein quantitativer Überblick Junge Junge Helene H

Saarland University, Department of Family Medicine, Homburg, Germany

Universität des Saarlandes, Zentrum Allgemeinmedizin, Homburg, Deutschland

Helene.Junge@uks.eu author Schuster Schuster Kerstin K

Saarland University, Department of Family Medicine, Homburg, Germany

Universität des Saarlandes, Zentrum Allgemeinmedizin, Homburg, Deutschland

Kerstin.Schuster@campus.hamburger-fh.de author Salzmann Salzmann Aline A

Saarland University, Department of Family Medicine, Homburg, Germany

Universität des Saarlandes, Zentrum Allgemeinmedizin, Homburg, Deutschland

s8alsalz@stud.uni-saarland.de author Volz-Willems Volz-Willems Sara S

Saarland University, Department of Family Medicine, Homburg, Germany

Universität des Saarlandes, Zentrum Allgemeinmedizin, Homburg, Deutschland

Sara.Willems@uks.eu author Jäger Jäger Johannes J

Saarland University, Department of Family Medicine, Homburg, Germany

Universität des Saarlandes, Zentrum Allgemeinmedizin, Homburg, Deutschland

Johannes.jaeger@uks.eu author Dupont Dupont Fabian F Dr. MHPE

Saarland University, Department of Family Medicine, Geb. 80.2, D-66421 Homburg, GermanySaarland University, Department of Family Medicine, Homburg, Germany

Universität des Saarlandes, Zentrum Allgemeinmedizin, Geb. 80.2, 66421 Homburg, DeutschlandUniversität des Saarlandes, Zentrum Allgemeinmedizin, Homburg, Deutschland

fabian.dupont@uks.eu author German Medical Science GMS Publishing House

Düsseldorf

610 formative assessment digital learning behaviour blended learning undergraduate medical education formatives Assessment digitales Lernverhalten Blended Learning Medizinstudium learning analytics Learning Analytics 20230302 20230727 20230828 20231115 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 2366-5017 40 6 GMS Journal for Medical Education GMS J Med Educ 71 Hintergrund: Die medizinische Ausbildung wurde durch die wachsende Bedeutung des digitalen Lernens revolutioniert. Über das Online-Lernverhalten der Studierenden und dessen Zusammenhang mit den Studienleistungen ist wenig bekannt. Diese quantitative Studie analysiert und beschreibt das digitale Lernverhalten der Studierenden in einem Blended-Learning-Curriculum für Allgemeinmedizin an der Universität des Saarlandes, Deutschland. Daneben wird der Zusammenhang zwischen digitalem Lernverhalten und Prüfungsleistungen untersucht.Methoden: Kohorten- und individualisierte AMBOSS® Nutzerdaten von 195 Studierenden der Universität des Saarlandes wurden quantitativ ausgewertet. Die Leistungen in den kursspezifischen Multiple-Choice-Fragesitzungen und die Nutzerdaten der integrierten Online-Lernaktivitäten wurden miteinander und mit den Noten der Klausur im Fach Allgemeinmedizin korreliert. Als Referenzkohorte dienten anonymisierte Daten von 10.534 Studierenden von 35 anderen deutschen Universitäten. Unterschiede im digitalen Lernverhalten zwischen den Gruppen wurden mit dem Mann-Whitney-U-Test für nicht-normalverteilte Daten berechnet.Ergebnisse: Die Studierenden des Blended-Learning-Kurses nutzten integrierte Inhalte häufiger als die Referenzkohorte (U=48777, p<0,001). Die Anzahl der gelesenen digitalen Lernkarten korrelierte moderat mit der Leistung im formativen Assessment (ρ=0,331, p=0,005 und ρ=0,217, p=0,034). Die Ergebnisse des formativen Assessments und die Prüfungsergebnisse korrelierten in der Kohorte des Sommersemesters stark (ρ=0,505, p<0,001) und in der Kohorte des Wintersemesters moderat (ρ=0,381, p<0,001). Schlussfolgerungen: Es gibt einen Unterschied in der Nutzung von Online-Lernaktivitäten, wenn diese gezielt in einen Lehrplan integriert werden. Digitale Lernaktivitäten, die formatives Assessment enthalten, können als wertvolle, konstruktiv ausgerichtete Prüfungsvorbereitung dienen. Dies ist für Lehrende in der Allgemeinmedizin bei der Planung künftiger Blended-Learning-Lehrpläne und Portfoliosysteme von Bedeutung, da so finanzielle und personelle Ressourcen eingespart werden können. Objectives: Medical education has been revolutionized by the growing importance of digital learning. Little is known about students’ online study behaviour and its relationship with exam performance. This quantitative study analyses and describes students’ digital learning behaviours in a blended learning curriculum for General practice at Saarland University, Germany. It also examines the relationship between digital learning behaviour and exam performance.Methods: Cohort and individualized AMBOSS® user data from 195 students at Saarland University was analysed quantitatively. Performance in course-specific multiple-choice question sessions and user data of the integrated online learning activities were correlated with each other and with General practice exam grades. Anonymized data from 10,534 students from 35 other German universities served as the reference cohort. Differences in digital learning behaviour between the groups were calculated using Mann-Whitney-U-Test for non-normally distributed data.Results: Students in the blended learning course used integrated content more frequently than the reference cohort (U=48777, p<0.001). The number of digital learning cards read correlated moderately with digital formative assessment performance (ρ=0.331, p=0.005 and ρ=0.217, p=0.034). Formative assessment scores and exam results correlated strongly in the summer semester cohort (ρ=0.505, p<0.001), and moderately in the winter semester cohort (ρ=0.381, p<0.001). Conclusion: There is a difference in the usage of online learning activities when they are purposefully integrated into a curriculum. Digital learning activities including formative assessment may serve as valuable, constructively aligned exam preparation. This is relevant for medical educators when planning future blended learning curricula and portfolio systems, as it may save financial and human resources. 1. IntroductionIn recent years, online learning has reshaped the way undergraduate medical students study for the subject of General practice (GP). With the development of new content such as apps, podcasts, question banks and online learning platforms, online learning activities (OLA) have become essential to a modern learning environment , . These tools will likely be vital to the training of upcoming physicians, especially since the global COVID-19 pandemic has further accentuated remote learning , , . Previous studies have suggested high acceptance of online learning among students . There is also evidence that blended learning (BL) may be superior to traditional onsite curricula regarding knowledge outcome , . At the same time, there appears to be a lack of institutional support and limited guidance on how online learning may be implemented in at medical schools , , , . A recently emerging practice to track and store students’ web-based learning behaviour and make it evaluable for teachers in health sciences is the application of so-called “learning analytics” . Although a great amount of learning data is already collected through digital learning platforms in medical education, the practice of “learning analytics” is still relatively new to medical schools, and has rarely been used for GP undergraduate training . Learning analytics can consider various data resources, e.g., number of log-ins to e-learning platforms or time spent on e-learning platforms . Another tool that can be used for “learning analytics” is formative assessment (FA). Previous studies have shown that FA positively impacts learning and academic performance by providing students with feedback and guidance on their learning process , , . Although traditionally associated with summative assessment, multiple choice questions (MCQ) can equally be used for FA in medical education and are popular among learners , , , , . Previous studies show that repeated testing throughout the learning process may enhance long-term retention of information in students , . The “testing effect” describes the circumstance that if one or more “tests” are included in exam preparation, students show better exam performance, even if the exam consists of novel, more challenging questions . For MCQ to serve as a FA tool, a hint and/or results explanation should be provided upon answering each question, since feedback is an essential component of FA , . It has also been stated that FA works best if built into a planned curriculum . Based on these findings, MCQ may be a valuable tool for FA exercises in BL curricula, which again can be used as a tool for learning analytics.At Saarland University (UdS), various OLA such as podcasts, MCQ and learning cards are incorporated into a new compulsory year 5 GP BL curriculum. Some OLA used in the course, namely MCQs and learning cards, are provided by AMBOSS®, a common provider of OLA in undergraduate medical education in Europe and the US . As previous studies have shown correlations between digital learning behaviour and exam performance, this study aims to investigate this relationship for a BL course in undergraduate GP , . By analysing students’ use of digital learning cards and FA sessions during the GP course, and correlating them with GP exam performance and first state exam grades, this quantitative study aims to answer the following questions: Is there is a correlation between learning card usage and FA performance? Is there a correlation between FA performance and GP exam performance? By comparing user data from two different semester cohorts at UdS and a nationwide reference cohort, this study also aims to examine: Is there a difference in the use of digital learning resources at Saarland University between students in the summer and winter semester? How do UdS students use digital learning cards that are integrated in a GP BL curriculum in comparison to a nationwide cohort? 1. EinleitungIn den letzten Jahren hat das Online-Lernen die Art und Weise, wie Medizinstudierende im Studium für das Fach Allgemeinmedizin (AM) lernen, verändert. Mit der Entwicklung neuer Inhalte wie Apps, Podcasts, Multiple Choice (MC) Fragesessions und Online-Lernplattformen sind Online-Lernaktivitäten (OLA) für eine moderne Lernumgebung unerlässlich geworden , . Diese Tools werden für die Ausbildung angehender Ärzt*innen von entscheidender Bedeutung sein, zumal die weltweite COVID-19-Pandemie das Distanzlernen noch stärker in den Vordergrund gerückt hat , , . Frühere Studien haben eine hohe Akzeptanz von Online-Lernen unter Studierenden gezeigt . Es gibt Evidenz dafür, dass Blended Learning (BL) den traditionellen Präsenzlehrplänen in Bezug auf den Wissenserwerb überlegen sein könnte , . Gleichzeitig scheint es wenig institutionelle Unterstützung und Instruktion hinsichtlich der Implementation von Online-Lernen an medizinischen Fakultäten zu geben , , , . Eine in jüngster Zeit aufkommende Praxis, um das webbasierte Lernverhalten von Studierenden zu verfolgen, zu speichern und für Lehrende in den Gesundheitswissenschaften auswertbar zu machen, ist die Anwendung von sogenannten „learning analytics“ . Obwohl in der medizinischen Ausbildung bereits eine große Menge an Lerndaten über digitale Lernplattformen gesammelt wird, ist die Praxis der „learning analytics“ an medizinischen Fakultäten noch relativ neu und wurde bisher nur selten für die allgemeinmedizinische Ausbildung eingesetzt . „Learning analytics“ kann verschiedene Datenquellen berücksichtigen, z. B. die Anzahl der Anmeldungen bei E-Learning-Plattformen oder die auf E-Learning-Plattformen verbrachte Zeit . Ein weiteres Instrument, das für „learning analytics“ genutzt werden kann, ist das formative Assessment (FA). Frühere Studien haben gezeigt, dass sich FA positiv auf das Lernen und die akademischen Leistungen auswirkt, indem es Studierenden Feedback und Orientierung zu ihrem Lernprozess gibt , , . Obwohl MC-Fragen traditionell mit summativem Assessment assoziiert sind, können sie ebenso für FA in der medizinischen Ausbildung verwendet werden und sind bei Lernenden beliebt , , , , . Frühere Studien haben gezeigt, dass wiederholte Tests während des Lernprozesses das langfristige Behalten von Informationen bei Studierenden verbessert , . Der „testing effect“ beschreibt den Umstand, dass Studierende bessere Prüfungsleistungen zeigen, wenn ein oder mehrere „Tests“ in die Prüfungsvorbereitung einbezogen werden, selbst wenn die Prüfung aus neuen, anspruchsvolleren Fragen besteht . Damit MC-Fragen als FA-Instrument dienen können, sollte bei der Beantwortung jeder Frage ein Hinweis und/oder eine Erläuterung der Ergebnisse gegeben werden, da Feedback einen wesentlichen Bestandteil von FA darstellt , . Es wurde außerdem festgestellt, dass FA am besten funktioniert, wenn es in ein geplantes Curriculum integriert ist . Auf der Grundlage dieser Erkenntnisse können MC-Fragen ein wertvolles Instrument für FA-Übungen in BL-Curricula sein und als Instrument für „learning analytics“ genutzt werden.An der Universität des Saarlandes (UdS) sind verschiedene OLA wie Podcasts, MC-Fragen und Lernkarten in ein neues BL-Pflichtcurriculum für die Allgemeinmedizin-Lehre im fünften Studienjahr integriert. Einige der im Kurs verwendeten OLA (MC-Fragen und Lernkarten) werden von AMBOSS® zur Verfügung gestellt, einem in Europa und den USA weit verbreiteten Anbieter von OLA für das Medizinstudium . Da frühere Studien Korrelationen zwischen digitalem Lernverhalten und Prüfungsleistungen gezeigt haben, zielt diese Studie darauf ab, diese Beziehung für einen BL-AM-Kurs im Medizinstudium zu untersuchen , . Durch die Analyse der Nutzung von digitalen Lernkarten und FA-Sessions durch die Studierenden während des AM-Kurses sowie deren Korrelation mit den allgemeinmedizinischen Prüfungsleistungen und den Noten des ersten Staatsexamens soll diese quantitative Studie die folgenden Fragen beantworten: Gibt es einen Zusammenhang zwischen der Nutzung von Lernkarten und den Leistungen in FA? Gibt es eine Korrelation zwischen Leistungen in FA und den allgemeinmedizinischen Prüfungsleistungen? Durch den Vergleich von Nutzerdaten aus zwei verschiedenen Semesterkohorten an der UdS und einer bundesweiten Referenzkohorte soll diese Studie außerdem Folgendes untersuchen: Gibt es einen Unterschied in der Nutzung digitaler Lernressourcen an der Universität des Saarlandes zwischen Studierenden im Sommer- und Wintersemester? Wie nutzen die Studierenden der UdS digitale Lernkarten, die in ein AM-BL-Curriculum integriert sind, im Vergleich zu einer bundesweiten Kohorte? 2. Methods2.1. Participants and settingParticipants were year-5 medical students at UdS who participated in the compulsory GP course during winter semester 2020/21 or summer semester 2021. Inclusion criteria were consent to participate via an online form, an active AMBOSS® account, provision of the registration email address and participation in the 60-item final examination for the GP BL course. Usage fees for AMBOSS® were covered by the university for all students regardless of participation. 86 (93%) winter semester students and 109 (98%) summer semester students consented to study participation. 34 learning cards and nine especially designed question sessions with 30 questions each (“UdS sessions”) were selected from the AMBOSS® database for the BL course. Selected content was integrated into customized online material for GP, such as commentaries, podcasts, screen- and video casts and online lectures, on the curriculum’s homepage. Students were able to access the homepage throughout the semester. While they were able to complete the MCQ sessions at any given time, it was recommended to do so after studying the associated material. To avoid learning effects from repeated completion, the score of each first MCQ session attempt was used for data analysis. Correct MCQ results with explanations were provided upon answering.2.2. Data collectionAMBOSS® user data of participating UdS students was recorded for the winter semester (01/10/20-28/02/21) and summer semester (01/04/21-31/08/21). The dataset contained user data from the UdS FA sessions, namely the number of questions answered, and the rate of questions answered correctly on first attempt (“FA score”). It also included the rate of all questions answered correctly on AMBOSS® (“question success rate”). Additionally, the number of learning cards read and the number of accesses for the learning cards were recorded, both for the “selected learning cards” for the BL course and for all learning cards on AMBOSS®. To complete the information obtained through the AMBOSS® data set, UdS students were asked to provide information about their socio-demographic data and grade in the completed first state examination. 10,393 anonymized AMBOSS® users from 35 different German universities served as a reference cohort. Reference cohort data was collected between 01/10/2020 and 28/02/21. Users were included if they were in their fifth year of medical school, had been provided access to AMBOSS® by their university free of charge, and had accessed at least one OLA on AMBOSS® during the respective timeframe.2.3. Data analysisAnalyses were performed using Jamovi (Version 1.6.23.0). Descriptive analyses included mean, median and standard deviation. To investigate the relationship between learning card use, FA performance, state exam grades and exam performance, correlation analysis was conducted for both semester cohorts separately. Differences in data between summer and winter semester cohort and between UdS students and reference cohort were calculated with Mann-Whitney-U-Test (U). All analysed data were non-normally distributed (Shapiro-Wilk-Test). For all analyses, an alpha significance level of 0.05 with a two-sided approach was used. Power analysis was done for a two-sided t test prior to data collection with G*power and jpower (Jamovi). Effect sizes (correlation coefficients) were evaluated using Spearman’s rho (ρ) for non-normally distributed data (ρ<0.3: small effect; ρ=0.3-0.5; moderate effect, ρ>0.5; large effect). Correlation coefficients were also freely interpreted based on the same effect size levels, to maintain readability . Benchmarks for effect sizes were applied as suggested by Cohen , . For state exams, the German grading system (1=A to 6=F) was used. 2. Methoden2.1. Teilnehmende und RahmenbedingungenDie Teilnehmende waren Medizinstudierende des 5. Studienjahres der UdS, die im Wintersemester 2020/21 oder im Sommersemester 2021 am Pflichtkurs AM teilnahmen. Einschlusskriterien waren die Zustimmung zur Teilnahme über ein Online-Formular, ein aktives AMBOSS® Konto, die Angabe der Registrierungs-E-Mail-Adresse und die Teilnahme an der 60 Fragen umfassenden Abschlussprüfung für den BL-Kurs. Die Nutzungsgebühren für AMBOSS® wurden von der Universität für alle Studierenden unabhängig von der Teilnahme übernommen. 86 (93%) Studierende des Wintersemesters und 109 (98%) Studierende des Sommersemesters stimmten der Studienteilnahme zu. Aus der AMBOSS® Datenbank wurden für den BL-Kurs 34 Lernkarten und neun speziell konzipierte MC-Fragesitzungen mit je 30 Fragen („UdS-Sessions“) ausgewählt. Die ausgewählten Inhalte wurden in maßgeschneiderte Online-Materialien der AM, wie Kommentare, Podcasts, Screen- und Videocasts und Online-Vorlesungen, auf der Homepage des Curriculums integriert. Die Studierenden konnten während des gesamten Semesters auf diese Homepage zugreifen. Sie konnten die MC-Fragen-Sitzungen jederzeit absolvieren, es wurde jedoch empfohlen, dies nach dem Studium des zugehörigen Materials zu tun. Um Lerneffekte durch wiederholtes Ausfüllen zu vermeiden, wurde die Punktzahl jedes ersten Versuchs einer MC-Fragen-Sitzung für die Datenanalyse verwendet. Die richtigen Antworten der MC-Fragen mit Erklärungen wurden nach der Beantwortung bereitgestellt.2.2. DatenerhebungDie AMBOSS® Nutzerdaten der teilnehmenden UdS-Studierenden wurden für das Wintersemester (01/10/20-28/02/21) und das Sommersemester (01/04/21-31/08/21) erfasst. Der Datensatz enthielt Nutzerdaten aus den UdS- Sessions, wie die Anzahl der beantworteten Fragen und die Rate der initial richtig beantworteten Übungsfragen (formative assessment score: „FA-Score“). Er enthielt auch die Rate aller richtig beantworteten Fragen auf AMBOSS® („Fragenerfolgsrate“). Zusätzlich wurden die Anzahl der gelesenen Lernkarten und die Anzahl der Zugriffe auf die Lernkarten erfasst, sowohl für die ausgewählten Lernkarten des BL-Kurses als auch für alle anderen Lernkarten auf AMBOSS®. Zur Vervollständigung der aus dem AMBOSS® Datensatz gewonnenen Informationen wurden die UdS-Studierenden gebeten, Angaben zu ihren soziodemografischen Daten und ihrer Note im abgeschlossenen ersten Staatsexamen zu machen. Als Referenzkohorte dienten 10.393 anonymisierte AMBOSS® Nutzende von 35 verschiedenen deutschen Hochschulen. Die Daten der Referenzkohorte wurden zwischen dem 01.10.2020 und dem 28.02.21 erhoben. Nutzende wurden eingeschlossen, wenn sie sich im fünften Jahr ihres Medizinstudiums befanden, von ihrer Universität einen kostenlosen Zugang zu AMBOSS® erhalten hatten und im entsprechenden Zeitraum mindestens eine OLA auf AMBOSS® aufgerufen hatten.2.3. DatenanalyseDie Analysen wurden mit Jamovi (Version 1.6.23.0) durchgeführt. Die deskriptiven Analysen umfassten Mittelwert, Median und Standardabweichung. Um den Zusammenhang zwischen Lernkartennutzung, FA-Leistungen, Staatsexamensnoten und Prüfungsleistungen zu untersuchen, wurde eine Korrelationsanalyse für beide Semesterkohorten getrennt durchgeführt. Die Unterschiede in den Daten zwischen der Sommer- und Wintersemesterkohorte und zwischen den UdS-Studierenden und der Referenzkohorte wurden mit dem Mann-Whitney-U-Test (U) berechnet. Alle analysierten Daten waren nicht-normalverteilt (Shapiro-Wilk-Test). Für alle Analysen wurde ein zweiseitiges Alpha-Signifikanzniveau von 0,05 verwendet. Die Power-Analyse wurde für einen zweiseitigen t-Test vor der Datenerhebung mit G*power und jpower (Jamovi) durchgeführt. Die Effektgrößen (Korrelationskoeffizienten) wurden mit Spearman’s rho (ρ) für nicht-normalverteilte Daten ausgewertet (ρ<0,3: kleiner Effekt; ρ=0,3-0,5; mäßiger Effekt, ρ>0,5; großer Effekt). Die Korrelationskoeffizienten wurden ebenfalls auf der Grundlage dieser Effektstärken interpretiert, um die Lesbarkeit zu erhalten . Als Richtwerte für die Effektstärken wurden die von Cohen vorgeschlagenen Werte verwendet , . Für die Staatsexamina wurde das deutsche Notensystem (1=A bis 6=F) verwendet. 3. Results3.1. Sociodemographic dataMean age of participants was 26.3 (SD: 4.61) years in the winter semester, and 24.2 years (SD: 2.35) years in the summer semester. Among participants in the winter semester, 52 (60.5%) of participants were female and 34 (39.5%) were male. In summer semester the distribution was 63 (58.3%) and 45 (41.7%) respectively. One student in the summer semester did not provide their gender.3.2. Digital learning behaviourDigital learning behaviour data was available for 98 (90%) summer semester students and 73 (85%) winter semester students. There was no significant difference between the mean number of selected learning cards read between summer- and winter semester students (31±4.7 vs. 30±5.0; U=3046, p=0.092). At the same time, the 34 selected learning cards were accessed significantly more often by summer semester students than by winter semester students (185±143 vs. 131±71.7; U=2726, p=0.008). There was a strong correlation between the number of selected learning cards read and the frequency of accesses for the selected learning cards, both in the summer semester (ρ=0.525, p<0.001, see table 1 ) and the winter semester (ρ=0.632, p<0.001, see table 2 ). Again, summer semester students read significantly more learning cards, considering all learning cards on AMBOSS®, than winter semester students (665±348 vs. 313±240; U=1561; p=0.001). Students from the reference cohort who did not take part in the BL curriculum read significantly fewer of the selected learning cards, on average only 10 out of the 34 cards (SD: 8.28; U=48200, p<0.001). On average, the reference cohort also accessed the selected learning cards significantly less frequently than the UdS cohort (38±54.2 vs. 162±120; U=157892; p=0.001).3.3. Digital learning behaviour and formative assessment Weak and moderate correlations were found between the number of selected learning cards read and the FA score (winter semester: ρ=0.331, p=0.005; summer semester: ρ=0.217, p=0.034, see table 1 and table 2 ). A weak correlation was found between the number of accesses for selected learning cards and the FA score in both semesters (winter semester: ρ=0.275, p=0.02; summer semester: ρ=0.281, p=0.005, see table 1 and table 2 ).3.4. Formative assessment performanceUser data for the UdS MCQ sessions was available for 106 (97%) summer semester students and 80 (93%) winter semester students. On average, out of 180 MCQ selected for the BL course, UdS students answered 92% (166, SD: 33.6) in the summer semester and 96% (172, SD: 23.1) in the winter semester. The mean result score for the initial session (“FA score”) was 0.860 (SD: 0.0841) for summer semester students, hence significantly higher than the score for winter semester students (0.789, SD: 0.112, U=2452, p=<0.001). In total, summer semester students answered significantly more questions on AMBOSS® than winter semester students (6496±4574 vs. 1276±1977; U=856, p<0,001).In both UdS semester cohorts, the overall question success rate on AMBOSS® was correlated positively with FA scores. This correlation was strong for the summer semester cohort (ρ=0.789, p<0.001, see table 1 ) and moderate for the winter semester cohort (ρ=0.419, p<0.001, see table 2 ). 3.5. Formative assessment performance and exam performance85 (99%) winter semester and 107 (98%) summer semester students participated in GP final exam. There was a strong correlation between FA scores and GP exam results in the summer semester cohort (ρ=0.505, p<0.001, see table 1 ), and a moderate correlation in the winter semester cohort (ρ=0.381, p<0.001, see table 2 ). Correspondingly, moderate correlations between scores in the first state exam and FA scores were found in both the summer semester cohort (ρ=0.332, p<0.001, see table 1 ) and the winter semester cohort (ρ=0.414, p<0.001, see table 2 ).A strong correlation was found between the overall question success rate and the exam scores of UdS students in the summer semester (ρ=0,568, p<0.001). No significant correlation was found for the winter semester cohort. 3. Ergebnisse3.1. Soziodemografische DatenDas Durchschnittsalter der Teilnehmende betrug im Wintersemester 26,3 (SD: 4,61) Jahre und im Sommersemester 24,2 (SD: 2,35) Jahre. Von den Teilnehmenden des Wintersemesters waren 52 (60,5%) weiblich und 34 (39,5%) männlich. Im Sommersemester war die Verteilung 63 (58,3%) bzw. 45 (41,7%). Eine Person des Sommersemesters machte keine Angaben zum Geschlecht.3.2. Digitales LernverhaltenDaten zum digitalen Lernverhalten lagen für 98 (90%) Studierende im Sommersemester und 73 (85%) Studierende im Wintersemester vor. Es gab keinen signifikanten Unterschied zwischen der mittleren Anzahl der gelesenen ausgewählten Lernkarten zwischen den Studierenden des Sommer- und Wintersemesters (31±4,7 vs. 30±5,0; U=3046, p=0,092). Gleichzeitig wurden die 34 ausgewählten Lernkarten von den Sommersemester-Studierenden signifikant häufiger aufgerufen als von den Wintersemester-Studierenden (185±143 vs. 131±71,7; U=2726, p=0,008). Sowohl im Sommersemester (ρ=0,525, p<0,001, siehe Tabelle 1 ) als auch im Wintersemester (ρ=0,632, p<0,001, siehe Tabelle 2 ) bestand ein starker Zusammenhang zwischen der Anzahl der gelesenen ausgewählten Lernkarten und der Häufigkeit der Zugriffe auf die ausgewählten Lernkarten. Bezogen auf alle verfügbaren Lernkarten auf AMBOSS® lasen die Studierenden des Sommersemesters eine signifikant höhere Anzahl von Lernkarten als die Studierenden des Wintersemesters (665±348 vs. 313±240; U=1561; p=0,001). Die Studierenden der Referenzkohorte, die nicht am BL-Curriculum teilgenommen hatten, lasen signifikant weniger der ausgewählten Lernkarten, im Durchschnitt nur 10 der 34 Karten (SD: 8,28; U= 48200, p<0,001). Im Durchschnitt griff die Referenzkohorte auch signifikant seltener auf die ausgewählten Lernkarten zu als die UdS-Kohorte (38±54,2 vs. 162±120; U=157892; p=0,001).3.3. Digitales Lernverhalten und formatives Assessment Schwache und moderate Korrelationen wurden zwischen der Anzahl der gelesenen ausgewählten Lernkarten und dem FA-Score gefunden (Wintersemester: ρ=0,331, p=0,005; Sommersemester: ρ=0,217, p=0,034, siehe Tabelle 1 und Tabelle 2 ). Zwischen der Anzahl der Zugriffe auf ausgewählte Lernkarten und dem FA-Score wurde in beiden Semestern ein schwacher Zusammenhang gefunden (Wintersemester: ρ=0,275, p=0,02; Sommersemester: ρ=0,281, p=0,005, siehe Tabelle 1 und Tabelle 2 ).3.4. Formatives AssessmentDie Nutzerdaten für die UdS-MC-Fragen-Sitzungen lagen für 106 (97%) Studierende im Sommersemester und 80 (93%) Studierende im Wintersemester vor. Im Durchschnitt beantworteten die UdS-Studierenden im Sommersemester 92% (166, SD: 33,6) und im Wintersemester 96% (172, SD: 23,1) der 180 ausgewählten MC-Fragen für den BL-Kurs. Der durchschnittliche FA-Score lag bei den Sommersemester-Studierenden bei 0,860 (SD: 0,0841) und damit signifikant höher als bei den Wintersemester-Studierenden (0,789, SD: 0,112, U=2452, p=<0,001). Insgesamt beantworteten die Sommersemester-Studierenden signifikant mehr Fragen auf AMBOSS® als die Wintersemester-Studierenden (6496±4574 vs. 1276±1977; U=856, p<0,001).In beiden UdS-Semesterkohorten korrelierte die Fragenerfolgsrate auf AMBOSS® positiv mit den FA-Scores. Diese Korrelation war stark für die Sommersemesterkohorte (ρ=0,789, p<0,001, siehe Tabelle 1 ) und moderat für die Wintersemesterkohorte (ρ=0,419, p<0,001, siehe Tabelle 2 ). 3.5. Formative Bewertung und Prüfungsleistungen 85 (99%) Studierende des Wintersemesters und 107 (98%) Studierende des Sommersemesters nahmen an der AM-Abschlussprüfung teil. Es gab eine starke Korrelation zwischen den FA-Scores und den Ergebnissen der AM-Abschlussprüfung in der Sommersemesterkohorte (ρ=0,505, p<0,001, siehe Tabelle 1 ) und eine moderate Korrelation in der Wintersemesterkohorte (ρ=0,381, p<0,001, siehe Tabelle 2 ). Entsprechend wurden sowohl in der Sommersemesterkohorte (ρ=0,332, p<0,001, siehe Tabelle 1 ) als auch in der Wintersemesterkohorte (ρ=0,414, p<0,001, siehe Tabelle 2 ) mäßige Korrelationen zwischen den Noten im ersten Staatsexamen und den FA-Scores festgestellt.Es wurde eine starke Korrelation zwischen der Fragenerfolgsrate und den Prüfungsergebnissen der UdS-Studierenden im Sommersemester festgestellt (ρ=0,568, p<0,001). Für die Wintersemesterkohorte wurde hierfür kein signifikanter Zusammenhang festgestellt. 4. Discussion4.1. Summary This study explores interrelations between students’ use of OLA, FA performance, and exam performance for a GP curriculum. Results indicate that embedding online learning content into a BL curriculum increases its use. Intensity of digital GP content use is related to scores in constructively aligned FA exercises. Scores in FA exercises appear to correlate with exam performance. 4.2. Summer vs. winter semester cohortResults show distinct differences in online learning behaviour between the summer and winter semester cohort. Students at UdS usually prepare for the state examinations during the summer semester. This may explain greater use of OLA and stronger performance in FA sessions for summer semester students. Due to the greater use of MCQs as a tool for state exam preparation, summer semester students may have been more familiar with FA as an OLA. This could explain the fact that a strong correlation between the overall question success rate on AMBOSS® and exam scores was found for the summer semester-, but not for the winter semester cohort. These results may indicate that FA is particularly useful for assessing exam performance when used frequently and intensively. It may also suggest that the motivation to study and the acceptance of OLA and FA appear to be higher when aligned with state exam content, especially in the semester prior to the state exam.4.3. Digital learning and digital formative assessment Findings show that it is possible to promote students’ online learning efforts in GP by pre-selecting OLA and then specifically incorporating them into a curriculum. In the UdS cohort, a higher amount of selected learning cards was read compared to the nation-wide reference cohort. These learning cards were also accessed more frequently, indicating that the integration of OLA in the course resulted in greater traffic for the GP learning cards. The strong correlation between the number of selected learning cards read overall and the frequency of accesses of those cards may indicate that students who read more learning cards for the BL course also studied them more frequently. This may indicate that the integration of OLA into a curriculum incentivises its use by students. An interesting finding of this study is that FA scores could be used to monitor exam performance during a GP course, since FA scores correlate strongly with GP subject exam scores and moderately with scores for the first state exam. This could help medical educators quickly identify and support weaker learners in a course, even before summative assessment takes place. In the future, these findings may help reduce the focus on summative assessment as sole proof of performance in GP medical education.4.4. Implications for practiceLiterature shows an extensive use of OLA for self-directed learning and high popularity of self-monitoring via FA among medical students , . Our study adds to previous research that describes positive correlations between students’ results in self-assessment exercises and subject examinations in other countries, for other medical subjects , , , . Since students tend to choose learning interfaces they are familiar with, integrating established OLA into curricula may help promote online learning even further . To date, online learning content and online FA exercises have mostly been developed specifically for university-specific blended learning courses , , , . As stated by Prober et al. in 2013, it can cause frustration and stress among students when course curricula do not mirror the content of standardized national examinations . That may be a reason why students often prefer third-party study material over faculty-specific course content . Using an existing online learning tool that is adapted to the local national examination and already well known among students could save faculty time and staff resources. Unlike with faculty-specific formative assessment systems, little additional programming and design effort is required when using an existing learning platform. This is especially relevant for a subject like GP, where often teaching staff are doctors working in practices simultaneously, and university institutes tend to be small. Based on existing literature and our findings, it may be useful to purposefully integrate third-party OLA, including FA into BL courses to increase the effectiveness of digital learning. As the example of the GP BL course at UdS shows, they may be a useful complement to faculty-specific online or in-person content. Evidently, medical school curricula first and foremost serve the purpose of training good doctors, not just preparing students for state exams. Nevertheless, constructive alignment of course content and state examination requirements may foster learner motivation and learning success since “assessment drives learning”. This is especially true since the national state examinations are often the main common denominator among different medical schools . It has been stated that the use of MCQ for FA is limited by the one-dimensionality of this assessment format. MCQ may enable a learner to correctly answer a question by solely recognizing the correct answer (“cueing”) . For this reason, the use of key-feature MCQ to evaluate clinical reasoning is currently being investigated at UdS. In key-feature question sequences, going back to a previous question is not possible. This way, multistage decision processes can be simulated, even if additional information is given in subsequent items . Key-feature questions may also reduce cueing . Research supports the use of key-feature questions to assess clinical reasoning . Besides investigating further strategies to improve the MCQ format, future studies should investigate the correlations found in this study for other forms of evaluation, such as OSCEs.For medical educators in GP, collecting and analysing students’ online learning behaviour data in the sense of learning analytics may enable continuous performance tracking of both individual students and cohorts, especially during times of remote learning , , . Lockyer et al. (2017) stated that digital tools that facilitate the collection and analysis of assessment data will be crucial for future competency-based medical education, for example by feeding into e-portfolios [46]. E-portfolios provide a longitudinal view on learning and enable teachers to monitor students’ learning success while the course is still in progress. Especially when financial or humanitarian resources are lacking, automated assessment and feedback, e.g., through learning analytics and E-portfolios, can provide relief. In the future, E-portfolios that include FA could even provide an alternative to summative assessment , , , , , .4.5. LimitationsDue to incorrect email addresses, AMBOSS® user data of four students from the winter semester and one student from the summer semester could not be matched with consent forms. This data was not considered for analysis. Although only fifth-year students were considered for the reference cohort, the curricula of the various German medical schools differ. It remains unclear which subjects the students of the reference cohort were taught in their fifth year and whether and to what extent digital learning was included in other curricula.As part of an ongoing cooperation with IMPP, both FA exercises and the GP exam at UdS are based on state exam questions. It was ensured that no GP exam questions were used in the FA sessions. However, it is evident that the use of MCQs for FA is limited since MCQ can only assess factual knowledge acquired in a course. The BL course at UdS, like many other BL courses, is designed to teach not only cognitive, but also affective competencies such as empathy and communication skills, which are trained in on-site simulations. These abilities are especially important for the subject of GP and cannot be measured well with MCQs. In the future, other types of assessment, e.g., OSCEs, need to be adapted for a digital learning environment and included in e-portfolios for GP. 4. Diskussion4.1. Zusammenfassung In dieser Studie werden die Zusammenhänge zwischen der Nutzung von OLA durch Studierende, den FA-Scores und den Prüfungsleistungen in einem AM-Curriculum untersucht. Die Ergebnisse zeigen, dass die Einbettung von Online-Lerninhalten in einen BL-Curriculum deren Nutzung erhöht. Die Intensität der Nutzung digitaler AM-Inhalte steht im Zusammenhang mit den Ergebnissen in konstruktiv ausgerichteten FA-Aufgaben. Die FA-Scores scheinen mit der Prüfungsleistung zu korrelieren. 4.2. Vergleich von Sommer- und WintersemesterkohorteDie Ergebnisse zeigen deutliche Unterschiede im Online-Lernverhalten zwischen der Sommer- und der Wintersemesterkohorte. Die Studierenden der UdS bereiten sich in der Regel im Sommersemester auf die Staatsexamina vor. Dies könnte die stärkere Nutzung von OLA und die besseren Leistungen in den FA-Aufgaben im Sommersemester erklären. Aufgrund der Verwendung von MC-Fragen als Instrument zur Vorbereitung auf das Staatsexamen waren die Studierenden des Sommersemesters möglicherweise stärker mit FA als OLA vertraut. Dies könnte die Tatsache erklären, dass eine starke Korrelation zwischen der Fragenerfolgsrate auf AMBOSS® und den Prüfungsergebnissen für die Sommersemester-, nicht aber für die Wintersemesterkohorte festgestellt wurde. Die Ergebnisse könnten darauf hindeuten, dass FA besonders effektiv für die Leistungseinschätzung ist, wenn es häufig und intensiv genutzt wird. Daneben scheinen die Lernmotivation und die Akzeptanz von OLA und FA höher zu sein, wenn sie auf die Inhalte des Staatsexamens abgestimmt sind, insbesondere im Semester vor dem Staatsexamen.4.3. Digitales Lernen und digitales formatives Assessment Die Ergebnisse zeigen, dass es möglich ist, das Online-Lernen der Studierenden in der Allgemeinmedizin zu fördern, indem OLA vorausgewählt und dann gezielt in ein Curriculum integriert werden. In der UdS-Kohorte wurde im Vergleich zur bundesweiten Referenzkohorte eine höhere Anzahl ausgewählter Lernkarten gelesen. Auf diese Lernkarten wurde zudem häufiger zugegriffen, was darauf hindeutet, dass die Integration von OLA in den Kurs zu einer stärkeren Nutzung der AM-Lernkarten führte. Die starke Korrelation zwischen der Anzahl der insgesamt gelesenen ausgewählten Lernkarten und der Häufigkeit der Zugriffe könnte darauf hindeuten, dass Studierende, die mehr Lernkarten für den BL-Kurs gelesen haben, diese auch häufiger gelesen haben. Dies könnte wiederum bedeuten, dass die Integration von OLA in einen Lehrplan einen Nutzungsanreiz für die Studierenden darstellt. Ein interessantes Ergebnis dieser Studie ist, dass die FA-Scores zum Monitoring von studentischer Leistung während eines AM-Kurses verwendet werden könnten, da sie mit den Ergebnissen der AM-Prüfung und mäßig mit den Ergebnissen des ersten Staatsexamens korrelieren. Dies könnte den Lehrenden in der medizinischen Ausbildung helfen, schwächere Lernende in einem Kurs schnell zu erkennen und zu unterstützen, noch bevor die summative Bewertung stattfindet. In Zukunft könnten diese Ergebnisse dazu beitragen, den Fokus auf die summative Bewertung als einzigen Leistungsnachweis in der allgemeinmedizinischen Ausbildung zu verringern.4.4. Auswirkungen auf die PraxisDie Literatur zeigt eine umfangreiche Nutzung von OLA für selbstgesteuertes Lernen und eine große Beliebtheit von FA als Lernkontrolle unter Medizinstudierenden , . Unsere Studie ergänzt frühere Forschung in anderen Ländern sowie für andere medizinische Fächer, die positive Korrelationen zwischen den Ergebnissen von Studierenden in formativem Assessment und Prüfungen beschreibt , , , . Da Studierende dazu neigen, Lernoberflächen zu wählen, mit denen sie vertraut sind, kann die Integration etablierter OLA in die Lehrpläne dazu beitragen, das Online-Lernen zu unterstützen . Bislang wurden Online-Lerninhalte und Online-FA-Übungen meist speziell für hochschulspezifische BL-Kurse entwickelt , , , . Wie Prober et al. 2013 feststellten, kann es bei den Studierenden zu Frustration und Stress führen, wenn die Lehrpläne nicht die Inhalte der standardisierten nationalen Prüfungen widerspiegeln . Dies könnte ein Grund dafür sein, dass Studierende teilweise externe Lernmaterialien den fakultätsspezifischen Kursinhalten vorziehen . Die Verwendung eines bestehenden Online-Lernprogramms, das an die nationalen Prüfungen angepasst und bei den Studierenden bereits gut bekannt ist, könnte den Lehrenden Zeit und Personalressourcen sparen. Im Gegensatz zu fakultätsspezifischen formativen Bewertungssystemen ist bei der Verwendung einer bestehenden Lernplattform nur wenig zusätzlicher Programmier- und Gestaltungsaufwand erforderlich. Dies ist besonders wichtig für ein Fach wie AM, in dem die Lehrkräfte oft gleichzeitig als Ärzt*innen in Praxen tätig sind und die Universitätsinstitute eher klein sind. Auf der Grundlage der vorhandenen Literatur und unserer Ergebnisse kann es sinnvoll sein, OLA von Drittanbietern, einschließlich FA, gezielt in BL-Kurse zu integrieren, um die Wirksamkeit des digitalen Lernens zu erhöhen. Wie das Beispiel des AM-BL-Kurses an der UdS zeigt, können sie eine nützliche Ergänzung zu fakultätsspezifischen Online- oder Präsenzinhalten sein. Natürlich dienen die Curricula der medizinischen Fakultäten in erster Linie der Ausbildung guter Ärzt*innen und nicht nur der Vorbereitung auf die Staatsexamina. Nichtsdestotrotz kann eine konstruktive Abstimmung von Kursinhalten und staatlichen Prüfungsanforderungen die Motivation der Lernenden und den Lernerfolg fördern („assessment drives learning“). Dies gilt umso mehr, als dass die nationalen Staatsexamina oft der wichtigste gemeinsame Nenner zwischen den verschiedenen medizinischen Fakultäten sind . Die Verwendung von MC-Fragen für das FA wird durch die Eindimensionalität dieses Formates begrenzt. MC-Fragen können einen Lernenden in die Lage versetzen, eine Frage korrekt zu beantworten, indem er oder sie die richtige Antwort lediglich erkennt („cueing“) . Aus diesem Grund wird an der UdS derzeit der Einsatz von Key-Feature-MC-Fragen zur Einschätzung des klinischen Denkens untersucht. Bei Key-Feature-Fragesitzungen ist ein Rücksprung zu vorherigen Fragen nicht möglich. Auf diese Weise können mehrstufige Entscheidungsprozesse simuliert werden, auch wenn in nachfolgenden Items zusätzliche Informationen gegeben werden . Key-Feature-Fragen können auch das „cueing“ reduzieren . Bisherige Forschung unterstützt die Verwendung von Key-Feature-Fragen zur Bewertung des klinischen Denkens . Neben der Untersuchung weiterer Strategien zur Verbesserung des MC-Fragen-Formats sollten zukünftige Studien die in dieser Studie gefundenen Korrelationen für andere Formen der Bewertung, wie OSCEs, untersuchen.Für Lehrende in der Allgemeinmedizin kann die Erfassung und Analyse von Daten zum Online-Lernverhalten der Studierenden im Sinne von „learning analytics“ eine kontinuierliche Leistungsverfolgung von sowohl einzelnen Studierenden als auch Kohorten ermöglichen, insbesondere in Zeiten des Distanzlernens , , . Lockyer et al. (2017) stellten fest, dass digitale Tools, die die Sammlung und Analyse von Bewertungsdaten erleichtern, für die zukünftige kompetenzbasierte medizinische Ausbildung von entscheidender Bedeutung sein werden, zum Beispiel durch die Einspeisung in E-Portfolios . E-Portfolios bieten eine Längsschnittbetrachtung des Lernens und ermöglichen es den Lehrkräften, den Lernerfolg der Studierenden bereits während des Kurses zu überwachen. Vor allem wenn finanzielle oder personelle Ressourcen fehlen, kann eine automatisierte Bewertung und Rückmeldung, z. B. durch „learning analytics“ und E-Portfolios, unterstützend wirken. In Zukunft könnten E-Portfolios, die FA enthalten, sogar eine Alternative zur summativen Bewertung darstellen , , , , , .4.5. LimitationenAufgrund falscher E-Mail-Adressen konnten die AMBOSS® Nutzerdaten von vier Studierenden aus dem Wintersemester und einem Studierenden aus dem Sommersemester nicht mit den Einverständniserklärungen abgeglichen werden. Diese Daten wurden für die Analyse nicht berücksichtigt. Obwohl für die Referenzkohorte nur Studierende im fünften Studienjahr berücksichtigt wurden, ist zu bedenken, dass sich die Curricula der verschiedenen deutschen medizinischen Fakultäten unterscheiden. Es bleibt unklar, in welchen Fächern die Studierenden der Referenzkohorte in ihrem fünften Studienjahr unterrichtet wurden und ob und inwieweit digitales Lernen hierbei integriert wurde.Im Rahmen einer laufenden Zusammenarbeit mit dem IMPP basieren sowohl die FA-Aufgaben als auch die Allgemeinmedizinprüfung an der UdS auf Fragen des Staatsexamens. Es wurde sichergestellt, dass in den FA-Sitzungen keine allgemeinmedizinischen Prüfungsfragen verwendet wurden. Es ist jedoch offensichtlich, dass der Einsatz von MC-Fragen für FA begrenzt ist, da MC-Fragen nur das in einem Kurs erworbene Faktenwissen bewerten können. Der BL-Kurs an der UdS ist wie viele andere BL-Kurse darauf ausgelegt, nicht nur kognitive, sondern auch affektive Kompetenzen wie Empathie und Kommunikationsfähigkeit zu vermitteln, die in Simulationen vor Ort trainiert werden. Diese Fähigkeiten sind für das Fach AM besonders wichtig und können mit MC-Fragen nicht gut gemessen werden. In Zukunft sollten andere Bewertungsmethoden, z. B. OSCEs, für eine digitale Lernumgebung angepasst und in E-Portfolios für AM aufgenommen werden. 5. ConclusionThis study provides some evidence that the selection and embedding of OLA in a digital GP learning environment can increase their use. Digital, self-directed FA may help predict students’ exam performance. Learning analytics of students’ online learning behaviour can promote learning success in GP, while helping educators to guide and monitor students’ self-directed learning. This is especially relevant during periods of online learning and when human resources are scarce. In the future, learning analytics may be a useful part of e-portfolios and even help replace or transform traditional forms of summative assessment. 5. SchlussfolgerungDiese Studie liefert einige Belege dafür, dass die Auswahl und Einbettung von OLA in eine digitale allgemeinmedizinische Lernumgebung deren Nutzen steigern kann. Digitales, selbstgesteuertes FA kann helfen, die Prüfungsleistungen der Studierenden einzuschätzen. „Learning analytics“ kann bezogen auf das Online-Lernverhalten der Studierenden den Lernerfolg in der Allgemeinmedizin fördern und gleichzeitig den Lehrenden helfen, das selbstgesteuerte Lernen der Studierenden anzuleiten und zu überwachen. Dies ist besonders in Zeiten des Online-Lernens und bei knappen Personalressourcen von Bedeutung. In Zukunft könnte „learning analytics“ ein nützlicher Bestandteil von E-Portfolios sein und sogar dazu beitragen, traditionelle Formen der summativen Bewertung zu ersetzen oder zu verändern. AbbreviationsBL: blended learningFA: Formative AssessmentFA Score: Formatives Assessment ScoreGP: General practiceIMPP: Institut für medizinische und pharmazeutische PrüfungsfragenMCQ: Multiple choice questionsOLA: Online learning activities UdS: Universität des SaarlandesSD: Standard deviationVs.: Versus AbkürzungenBL: Blended LearningFA: Formatives AssessmentFA Score: initiales Ergebnis der Übungsaufgaben (Formatives Assessment Score)AM: AllgemeinmedizinIMPP: Institut für medizinische und pharmazeutische PrüfungsfragenMC-Fragen: Multiple-Choice-FragenOLA: Online-Lernaktivitäten UdS: Universität des SaarlandesSD: Standardabweichung (Standard deviation)Vs.: Versus Ethics approvalEthics approval was obtained prior study initiation by Saarland medical association ethics committee on 25.09.2020 (Bu234/20). EthikvotumDas Ethikvotum wurde vor Studienbeginn von der Ethikkommission der Ärztekammer des Saarlandes am 25.09.2020 erteilt (Bu234/20). Competing interestsThe authors declare that they received financial and structural support by AMBOSS®, the Medical Faculty of Saarland University and the Kassena¨rztliche Vereinigung Saarland. The department for GP Homburg has cooperation agreements with AMBOSS® and the IMPP as external parties. No external party had any influence on study design, data collection, analysis, or publication procedures. InteressenkonfliktDie Autoren erklären, dass sie finanzielle und strukturelle Unterstützung durch AMBOSS®, die Medizinische Fakultät der Universität des Saarlandes und die Kassenärztliche Vereinigung Saarland erhalten haben. Das Zentrum Allgemeinmedizin Homburg hat Kooperationsvereinbarungen mit AMBOSS® und dem IMPP als externe Parteien. Keine externe Partei hatte Einfluss auf das Studiendesign, die Datenerhebung, die Analyse oder das Publikationsverfahren. Thoma B Turnquist A Zaver F Hall AK Chan TM Communication, learning and assessment: Exploring the dimensions of the digital learning environment 2019 Med Teach 385-390 Thoma B, Turnquist A, Zaver F, Hall AK, Chan TM. Communication, learning and assessment: Exploring the dimensions of the digital learning environment. Med Teach. 2019;41(4):385-390. DOI: 10.1080/0142159X.2019.1567911 https://doi.org/10.1080/0142159X.2019.1567911 Emanuel EJ The Inevitable Reimagining of Medical Education 2020 JAMA 1127-1128 Emanuel EJ. The Inevitable Reimagining of Medical Education. JAMA. 2020;323(12):1127-1128. DOI: 10.1001/jama.2020.1227 https://doi.org/10.1001/jama.2020.1227 Stojan J Haas M Thammasitboon S Lander L Evans S Pawlik C Pawilkowska T Lew M Khamees D Peterson W Hider A Grafton-Clarke C Uraiby H Gordon M Daniel M Online learning developments in undergraduate medical education in response to the COVID-19 pandemic: A BEME systematic review: BEME Guide No. 69 2022 Med Teach 109-129 Stojan J, Haas M, Thammasitboon S, Lander L, Evans S, Pawlik C, Pawilkowska T, Lew M, Khamees D, Peterson W, Hider A, Grafton-Clarke C, Uraiby H, Gordon M, Daniel M. Online learning developments in undergraduate medical education in response to the COVID-19 pandemic: A BEME systematic review: BEME Guide No. 69. Med Teach. 2022;44(2):109-129. DOI: 10.1080/0142159X.2021.1992373 https://doi.org/10.1080/0142159X.2021.1992373 Rose S Medical Student Education in the Time of COVID-19 2020 JAMA 2131-2132 Rose S. Medical Student Education in the Time of COVID-19. JAMA. 2020;323(21):2131-2132. DOI: 10.1001/jama.2020.5227 https://doi.org/10.1001/jama.2020.5227 Ferrel MN Ryan JJ The Impact of COVID-19 on Medical Education 2020 Cureus e7492 Ferrel MN, Ryan JJ. The Impact of COVID-19 on Medical Education. Cureus. 2020;12(3):e7492. DOI: 10.7759/cureus.7492 https://doi.org/10.7759/cureus.7492 Scott K Morris A Marais B Medical student use of digital learning resources 2018 Clin Teach 29-33 Scott K, Morris A, Marais B. Medical student use of digital learning resources. Clin Teach. 2018;15(1):29-33. DOI: 10.1111/tct.12630 https://doi.org/10.1111/tct.12630 Vallée A Blacher J Cariou A Sorbets E Blended learning compared to traditional learning in medical education: systematic review and meta-Analysis 2020 J Med Internet Res e16504 Vallée A, Blacher J, Cariou A, Sorbets E. Blended learning compared to traditional learning in medical education: systematic review and meta-Analysis. J Med Internet Res. 2020;22(8):e16504. DOI: 10.2196/16504 https://doi.org/10.2196/16504 Liu Q Peng W Zhang F Hu R Li Y Yan W The Effectiveness of Blended Learning in Health Professions: Systematic Review and Meta-Analysis 2016 J Med Internet Res e2 Liu Q, Peng W, Zhang F, Hu R, Li Y, Yan W. The Effectiveness of Blended Learning in Health Professions: Systematic Review and Meta-Analysis. J Med Internet Res. 2016;18(1):e2. DOI: 10.2196/jmir.4807 https://doi.org/10.2196/jmir.4807 O'Doherty D Dromey M Lougheed J Hannigan A Last J McGrath D Barriers and solutions to online learning in medical education - an integrative review 2018 BMC Med Educ 130 O'Doherty D, Dromey M, Lougheed J, Hannigan A, Last J, McGrath D. Barriers and solutions to online learning in medical education - an integrative review. BMC Med Educ. 2018;18(1):130. DOI: 10.1186/s12909-018-1240-0 https://doi.org/10.1186/s12909-018-1240-0 Costello E Corcoran M Barnett J Birkmeier M Cohn R Ekmekci O Falk N Harrod T Herrmann D Robinson S Walker B Information and Communication Technology to Facilitate Learning for Students in the Health Professions: Current Uses, Gaps and Future Directions 2014 Online Learning 1-18 Costello E, Corcoran M, Barnett J, Birkmeier M, Cohn R, Ekmekci O, Falk N, Harrod T, Herrmann D, Robinson S, Walker B. Information and Communication Technology to Facilitate Learning for Students in the Health Professions: Current Uses, Gaps and Future Directions. Online Learning. 2014;18(4):1-18. DOI: 10.24059/olj.v18i4.512 https://doi.org/10.24059/olj.v18i4.512 Childs S Blenkinsopp E Hall A Walton G Effective e‐learning for health professionals and students—barriers and their solutions. A systematic review of the literature—findings from the HeXL project 2005 Health Info Libr J 20-32 Childs S, Blenkinsopp E, Hall A, Walton G. Effective e‐learning for health professionals and students—barriers and their solutions. A systematic review of the literature—findings from the HeXL project. Health Info Libr J. 2005;22:20-32. DOI: 10.1111/j.1470-3327.2005.00614.x https://doi.org/10.1111/j.1470-3327.2005.00614.x Regmi K Jones L A systematic review of the factors – enablers and barriers – affecting e-learning in health sciences education 2020 BMC Med Educ 91 Regmi K, Jones L. A systematic review of the factors – enablers and barriers – affecting e-learning in health sciences education. BMC Med Educ. 2020;20(1):91. DOI: 10.1186/s12909-020-02007-6 https://doi.org/10.1186/s12909-020-02007-6 Chan AK Botelho MG Lam OL Use of Learning Analytics Data in Health Care-Related Educational Disciplines: Systematic Review 2019 J Med Internet Res e11241 Chan AK, Botelho MG, Lam OL. Use of Learning Analytics Data in Health Care-Related Educational Disciplines: Systematic Review. J Med Internet Res. 2019;21(2):e11241. DOI: 10.2196/11241 https://doi.org/10.2196/11241 Saqr M A literature review of empirical research on learning analytics in medical education 2018 Int J Health Sci (Qassim) 80-85 Saqr M. A literature review of empirical research on learning analytics in medical education. Int J Health Sci (Qassim). 2018;12(2):80-85. Konopasek L Norcini J Krupat E Focusing on the formative: building an assessment system aimed at student growth and development 2016 Acad Med 1492-1497 Konopasek L, Norcini J, Krupat E. Focusing on the formative: building an assessment system aimed at student growth and development. Acad Med. 2016;91(11):1492-1497. DOI: 10.1097/ACM.0000000000001171 https://doi.org/10.1097/ACM.0000000000001171 Velan GM Jones P McNeil HP Kumar RK Integrated online formative assessments in the biomedical sciences for medical students: benefits for learning 2008 BMC Med Educ 52 Velan GM, Jones P, McNeil HP, Kumar RK. Integrated online formative assessments in the biomedical sciences for medical students: benefits for learning. BMC Med Educ. 2008;8:52. DOI: 10.1186/1472-6920-8-52 https://doi.org/10.1186/1472-6920-8-52 Evans DJ Zeun P Stanier RA Motivating student learning using a formative assessment journey 2014 J Anat 296-303 Evans DJ, Zeun P, Stanier RA. Motivating student learning using a formative assessment journey. J Anat. 2014;224(3):296-303. DOI: 10.1111/joa.12117 https://doi.org/10.1111/joa.12117 Wynter L Burgess A Kalman E Heron JE Bleasel J Medical students: what educational resources are they using? 2019 BMC Med Educ 36 Wynter L, Burgess A, Kalman E, Heron JE, Bleasel J. Medical students: what educational resources are they using? BMC Med Educ. 2019;19(1):36. DOI: 10.1186/s12909-019-1462-9 https://doi.org/10.1186/s12909-019-1462-9 Say R Visentin D Cummings E Carr A King C Formative online multiple-choice tests in nurse education: An integrative review 2022 Nurse Educ Pract 103262 Say R, Visentin D, Cummings E, Carr A, King C. Formative online multiple-choice tests in nurse education: An integrative review. Nurse Educ Pract. 2022;58:103262. DOI: 10.1016/j.nepr.2021.103262 https://doi.org/10.1016/j.nepr.2021.103262 Larsen DP Butler AC Roediger 3rd HL Repeated testing improves long-term retention relative to repeated study: a randomised controlled trial 2009 Med Educ 1174-1181 Larsen DP, Butler AC, Roediger 3rd HL. Repeated testing improves long-term retention relative to repeated study: a randomised controlled trial. Med Educ. 2009;43(12):1174-1181. DOI: 10.1111/j.1365-2923.2009.03518.x https://doi.org/10.1111/j.1365-2923.2009.03518.x Rohrer D Taylor K Sholar B Tests enhance the transfer of learning 2010 J Exp Psychol Learn Mem Cogn 233-239 Rohrer D, Taylor K, Sholar B. Tests enhance the transfer of learning. J Exp Psychol Learn Mem Cogn. 2010;36(1):233-239. DOI: 10.1037/a0017678 https://doi.org/10.1037/a0017678 Rushton A Formative assessment: a key to deep learning? 2005 Med Teach 509-513 Rushton A. Formative assessment: a key to deep learning? Med Teach. 2005;27(6):509-513. DOI: 10.1080/01421590500129159 https://doi.org/10.1080/01421590500129159 Shute VJ Focus on Formative Feedback 2008 Rev Educ Res 153-189 Shute VJ. Focus on Formative Feedback. Rev Educ Res. 2008;78(1):153-189. DOI: 10.3102/0034654307313795 https://doi.org/10.3102/0034654307313795 Amboss 2022 Vorklinik & Physikum. Alle Inhalte in einem Programm Amboss. Vorklinik & Physikum. Alle Inhalte in einem Programm. Berlin: Amboss; 2022. Zugänglich unter/available from: https://www.amboss.com/de/vorklinikstudium https://www.amboss.com/de/vorklinikstudium Critchley LA Kumta SM Ware J Wong JW Web-based formative assessment case studies: role in a final year medicine two-week anaesthesia course 2009 Anaesth Intensive Care 637-645 Critchley LA, Kumta SM, Ware J, Wong JW. Web-based formative assessment case studies: role in a final year medicine two-week anaesthesia course. Anaesth Intensive Care. 2009;37(4):637-645. DOI: 10.1177/0310057X0903700408 https://doi.org/10.1177/0310057X0903700408 Lameris AL Hoenderop JG Bindels RJ Eijsvogels TM The impact of formative testing on study behaviour and study performance of (bio)medical students: a smartphone application intervention study 2015 BMC Med Educ 72 Lameris AL, Hoenderop JG, Bindels RJ, Eijsvogels TM. The impact of formative testing on study behaviour and study performance of (bio)medical students: a smartphone application intervention study. BMC Med Educ. 2015;15(1):72. DOI: 10.1186/s12909-015-0351-0 https://doi.org/10.1186/s12909-015-0351-0 Maher JM Markey JC Ebert-May D The other half of the story: effect size analysis in quantitative research 2013 CBE Life Sci Educ 345-351 Maher JM, Markey JC, Ebert-May D. The other half of the story: effect size analysis in quantitative research. CBE Life Sci Educ. 2013;12(3):345-351. DOI: 10.1187/cbe.13-04-0082 https://doi.org/10.1187/cbe.13-04-0082 Rea LM Ñames Parker RA Allen R 2016 Designing and conducting survey research Rea LM, Ñames, Parker RA, Allen R, editors. Designing and conducting survey research. Hoboken (NJ): John Wiley; 2016. Cohen J 1988 Statistical power analysis for the behavioral sciences Cohen J. Statistical power analysis for the behavioral sciences. Cambridge (MA): Academic Press; 1988. Khalil R Mansour AE Fadda WA Almisnid K Aldamegh M Al-Nafeesah A Alkhalifah A Al-Wutayd O The sudden transition to synchronized online learning during the COVID-19 pandemic in Saudi Arabia: a qualitative study exploring medical students' perspectives 2020 BMC Med Educ 285 Khalil R, Mansour AE, Fadda WA, Almisnid K, Aldamegh M, Al-Nafeesah A, Alkhalifah A, Al-Wutayd O. The sudden transition to synchronized online learning during the COVID-19 pandemic in Saudi Arabia: a qualitative study exploring medical students' perspectives. BMC Med Educ. 2020;20(1):285. DOI: 10.1186/s12909-020-02208-z https://doi.org/10.1186/s12909-020-02208-z Morrison C Smith L Ross L Butler A Smith C Learning through Self-Assessment: Investigating the Relationship between Performance on the NBME® Clinical Science Mastery Series Self-Assessments and Clinical Science Subject Examinations 2016 Med Sci Educ 665-672 Morrison C, Smith L, Ross L, Butler A, Smith C. Learning through Self-Assessment: Investigating the Relationship between Performance on the NBME® Clinical Science Mastery Series Self-Assessments and Clinical Science Subject Examinations. Med Sci Educ. 2016;26(4):665-672. DOI: 10.1007/s40670-016-0330-z https://doi.org/10.1007/s40670-016-0330-z Cong X Zhang Y Xu H Liu LM Zheng M Xiang RL Wang JY Jia S Cai JY Liu C Wu LL The effectiveness of formative assessment in pathophysiology education from students' perspective: a questionnaire study 2020 Adv Physiol Educ 726-733 Cong X, Zhang Y, Xu H, Liu LM, Zheng M, Xiang RL, Wang JY, Jia S, Cai JY, Liu C, Wu LL. The effectiveness of formative assessment in pathophysiology education from students' perspective: a questionnaire study. Adv Physiol Educ. 2020;44(4):726-733. DOI: 10.1152/advan.00067.2020 https://doi.org/10.1152/advan.00067.2020 Baig M Gazzaz ZJ Farouq M Blended Learning: The impact of blackboard formative assessment on the final marks and students' perception of its effectiveness 2020 Pak J Med Sci 327-332 Baig M, Gazzaz ZJ, Farouq M. Blended Learning: The impact of blackboard formative assessment on the final marks and students' perception of its effectiveness. Pak J Med Sci. 2020;36(3):327-332. DOI: 10.12669/pjms.36.3.1925 https://doi.org/10.12669/pjms.36.3.1925 Bringman-Rodenbarger L Hortsch M How students choose E-learning resources: The importance of ease, familiarity, and convenience 2020 FASEB Bioadv 286-295 Bringman-Rodenbarger L, Hortsch M. How students choose E-learning resources: The importance of ease, familiarity, and convenience. FASEB Bioadv. 2020;2(5):286-295. DOI: 10.1096/fba.2019-00094 https://doi.org/10.1096/fba.2019-00094 Costich M Finkel MA Friedman S Catallozzi M Gordon RJ Transition-to-residency: pilot innovative, online case-based curriculum for medical students preparing for pediatric internships 2021 Med Educ Online 1892569 Costich M, Finkel MA, Friedman S, Catallozzi M, Gordon RJ. Transition-to-residency: pilot innovative, online case-based curriculum for medical students preparing for pediatric internships. Med Educ Online. 2021;26(1):1892569. DOI: 10.1080/10872981.2021.1892569 https://doi.org/10.1080/10872981.2021.1892569 Roskvist R Eggleton K Goodyear-Smith F Provision of e-learning programmes to replace undergraduate medical students’ clinical general practice attachments during COVID-19 stand-down 2020 Educ Prim Care 247-254 Roskvist R, Eggleton K, Goodyear-Smith F. Provision of e-learning programmes to replace undergraduate medical students’ clinical general practice attachments during COVID-19 stand-down. Educ Prim Care. 2020;31(4):247-254. DOI: 10.1080/14739879.2020.1772123 https://doi.org/10.1080/14739879.2020.1772123 Johnson C Shen E Winn K Digiacobbe G Akinola M Neonatal Resuscitation: A Blended Learning Curriculum for Medical and Physician Assistant Students 2020 MedEdPORTAL 10921 Johnson C, Shen E, Winn K, Digiacobbe G, Akinola M. Neonatal Resuscitation: A Blended Learning Curriculum for Medical and Physician Assistant Students. MedEdPORTAL. 2020;16:10921. DOI: 10.15766/mep_2374-8265.10921 https://doi.org/10.15766/mep_2374-8265.10921 Margolin EJ Kurtzman JT Gordon RJ Anderson CB Badalato GM Efficacy of an Online Blended Learning Curriculum to Improve Medical Student Urologic Education 2021 Med Sci Educ 2007-2015 Margolin EJ, Kurtzman JT, Gordon RJ, Anderson CB, Badalato GM. Efficacy of an Online Blended Learning Curriculum to Improve Medical Student Urologic Education. Med Sci Educ. 2021;31(6):2007-2015. DOI: 10.1007/s40670-021-01427-3 https://doi.org/10.1007/s40670-021-01427-3 Prober CG Khan S Medical education reimagined: a call to action 2013 Acad Med 1407-1410 Prober CG, Khan S. Medical education reimagined: a call to action. Acad Med. 2013;88(10):1407-1410. DOI: 10.1097/ACM.0b013e3182a368bd https://doi.org/10.1097/ACM.0b013e3182a368bd Epstein RM Assessment in Medical Education 2007 N Engl J Med 387-396 Epstein RM. Assessment in Medical Education. N Engl J Med. 2007;356(4):387-396. DOI: 10.1056/NEJMra054784 https://doi.org/10.1056/NEJMra054784 Kuhn S Frankenhauser S Tolks D Digitale Lehr- und Lernangebote in der medizinischen Ausbildung: Schon am Ziel oder noch am Anfang? 2018 Bundesgesundheitsblatt Gesundheitsforschung Gesundheitsschutz 201-209 Kuhn S, Frankenhauser S, Tolks D. Digitale Lehr- und Lernangebote in der medizinischen Ausbildung: Schon am Ziel oder noch am Anfang? [Digital learning and teaching in medical education: Already there or still at the beginning?]. Bundesgesundheitsblatt Gesundheitsforschung Gesundheitsschutz. 2018;61(2):201-209. DOI: 10.1007/s00103-017-2673-z https://doi.org/10.1007/s00103-017-2673-z Hrynchak P Takahashi SG Nayer M Key-feature questions for assessment of clinical reasoning: a literature review 2014 Med Educ 870-883 Hrynchak P, Takahashi SG, Nayer M. Key-feature questions for assessment of clinical reasoning: a literature review. Med Educ. 2014;48(9):870-883. DOI: 10.1111/medu.12509 https://doi.org/10.1111/medu.12509 Siemens G Learning Analytics: The Emergence of a Discipline 2013 Am Behav Sci 1380-1400 Siemens G. Learning Analytics: The Emergence of a Discipline. Am Behav Sci. 2013;57(10):1380-1400. DOI: 10.1177/0002764213498851 https://doi.org/10.1177/0002764213498851 Gil P da Cruz Martins S Moro S Costa J A data-driven approach to predict first-year students' academic success in higher education institutions 2021 Educ Inf Technol 2165-2190 Gil P, da Cruz Martins S, Moro S, Costa J. A data-driven approach to predict first-year students' academic success in higher education institutions. Educ Inf Technol. 2021;26:2165-2190. DOI: 10.1007/s10639-020-10346-6 https://doi.org/10.1007/s10639-020-10346-6 Saqr M Fors U Tedre M How learning analytics can early predict under-achieving students in a blended medical education course 2017 Med Teach 757-667 Saqr M, Fors U, Tedre M. How learning analytics can early predict under-achieving students in a blended medical education course. Med Teach. 2017;39(7):757-667. DOI: 10.1080/0142159X.2017.1309376 https://doi.org/10.1080/0142159X.2017.1309376 Lockyer J Carraccio C Chan MK Hart D Smee S Touchie C Holmboe ES Frank JR ICBME Collaborators Core principles of assessment in competency-based medical education 2017 Med Teach 609-616 Lockyer J, Carraccio C, Chan MK, Hart D, Smee S, Touchie C, Holmboe ES, Frank JR; ICBME Collaborators. Core principles of assessment in competency-based medical education. Med Teach. 2017;39(6):609-616. DOI: 10.1080/0142159X.2017.1315082 https://doi.org/10.1080/0142159X.2017.1315082 Ellaway R Masters K AMEE Guide 32: e-Learning in medical education Part 1: Learning, teaching and assessment 2008 Med Teach 455-473 Ellaway R, Masters K. AMEE Guide 32: e-Learning in medical education Part 1: Learning, teaching and assessment. Med Teach. 2008;30(5):455-473. DOI: 10.1080/01421590802108331 https://doi.org/10.1080/01421590802108331 Challis M AMEE Medical Education Guide No.11 (revised): Portfolio-based learning and assessment in medical education 1999 Med Teach 370-386 Challis M. AMEE Medical Education Guide No.11 (revised): Portfolio-based learning and assessment in medical education. Med Teach. 1999;21(4):370-386. DOI: 10.1080/01421599979310 https://doi.org/10.1080/01421599979310 Van Tartwijk J Driessen EW Portfolios for assessment and learning: AMEE Guide no. 45 2009 Med Teach 790-801 Van Tartwijk J, Driessen EW. Portfolios for assessment and learning: AMEE Guide no. 45. Med Teach. 2009;31(9):790-801. DOI: 10.1080/01421590903139201 https://doi.org/10.1080/01421590903139201 Dannefer EF Henson LC The portfolio approach to competency-based assessment at the Cleveland Clinic Lerner College of Medicine 2007 Acad Med 493-502 Dannefer EF, Henson LC. The portfolio approach to competency-based assessment at the Cleveland Clinic Lerner College of Medicine. Acad Med. 2007;82(5):493-502. DOI: 10.1097/ACM.0b013e31803ead30 https://doi.org/10.1097/ACM.0b013e31803ead30 Davis MH Friedman Ben-David M Harden RM Howie P Ker J McGhee C Pippard MJ Snadden D Portfolio assessment in medical students' final examinations 2001 Med Teach 357-366 Davis MH, Friedman Ben-David M, Harden RM, Howie P, Ker J, McGhee C, Pippard MJ, Snadden D. Portfolio assessment in medical students' final examinations. Med Teach. 2001;23(4):357-366. DOI: 10.1080/01421590120063349 https://doi.org/10.1080/01421590120063349 11en1de

Table 1: Online learning behaviour, formative assessment scores and exam performance for Students at Saarland University in the summer semester 2021 (correlation table).

Tabelle 1: Online-Lernverhalten, formatives Assessment und Prüfungsleistungen von Studierenden der Universität des Saarlandes im Sommersemester 2021 (Korrelationstabelle).

22en2de

Table 2: Online learning behaviour, formative assessment scores and exam performance for Students at Saarland University in the winter semester 2020/21 (correlation table).

Tabelle 2: Online-Lernverhalten, formatives Assessment und Prüfungsleistungen der Studierenden der Universität des Saarlandes im Wintersemester 2020/21 (Korrelationstabelle).

2 0 0 0