zma001571 10.3205/zma001571 urn:nbn:de:0183-zma0015718 article Artikel Implementierung und Evaluation einer Tele-OSCE in der Mund-, Kiefer und Gesichtschirurgie – eine Pilotstudie Seifert Seifert Lukas Benedikt LB

University Hospital Frankfurt, Department of Oral, Cranio-Maxillofacial and Facial Plastic Surgery, Theodor-Stern-Kai 7, D-60590 Frankfurt, GermanyUniversity Hospital Frankfurt, Department of Oral, Cranio-Maxillofacial and Facial Plastic Surgery, Frankfurt, Germany

Klinikum der Goethe Universität Frankfurt, Klinik für Mund-, Kiefer und plastische Gesichtschirurgie, Theodor-Stern-Kai 7, 60590 Frankfurt, DeutschlandKlinikum der Goethe Universität Frankfurt, Klinik für Mund-, Kiefer und plastische Gesichtschirurgie, Frankfurt, Deutschland

Lukasbenedikt.seifert@kgu.de author Coppola Coppola Alawia A

University Hospital Frankfurt, Department of Oral, Cranio-Maxillofacial and Facial Plastic Surgery, Frankfurt, Germany

Klinikum der Goethe Universität Frankfurt, Klinik für Mund-, Kiefer und plastische Gesichtschirurgie, Frankfurt, Deutschland

alawia.coppola@kgu.de author Diers Diers Julian Wilhelm Amadeus JW

University Hospital Frankfurt, Department of Oral, Cranio-Maxillofacial and Facial Plastic Surgery, Frankfurt, Germany

Klinikum der Goethe Universität Frankfurt, Klinik für Mund-, Kiefer und plastische Gesichtschirurgie, Frankfurt, Deutschland

julian.diers@kgu.de author Kohl Kohl Christoph C

University Hospital Frankfurt, Department of Oral, Cranio-Maxillofacial and Facial Plastic Surgery, Frankfurt, Germany

Klinikum der Goethe Universität Frankfurt, Klinik für Mund-, Kiefer und plastische Gesichtschirurgie, Frankfurt, Deutschland

christophkohl7910@gmail.com author Britz Britz Vanessa V

Goethe University, Medical Faculty, Frankfurt Interdisciplinary Simulation Center (FIneST), Frankfurt, Germany

Goethe Universität, Medizinische Fakultät, Frankfurter Interdisziplinäres Simulationszentrum (FIneST), Frankfurt, Deutschland

vanessa.Britz@kgu.de author Sterz Sterz Jasmina J

Goethe University, Medical Faculty, Frankfurt Interdisciplinary Simulation Center (FIneST), Frankfurt, Germany University Hospital Frankfurt, Department for Trauma, Hand and Reconstructive Surgery, Frankfurt, Germany

Goethe Universität, Medizinische Fakultät, Frankfurter Interdisziplinäres Simulationszentrum (FIneST), Frankfurt, Deutschland Klinikum der Goethe Universität Frankfurt, Klinik für Unfall-, Hand- und rekonstruktive Chirurgie, Frankfurt, Deutschland

jasmine.sterz@kgu.de author Rüsseler Rüsseler Miriam M

University Hospital Frankfurt, Department for Trauma, Hand and Reconstructive Surgery, Frankfurt, Germany

Klinikum der Goethe Universität Frankfurt, Klinik für Unfall-, Hand- und rekonstruktive Chirurgie, Frankfurt, Deutschland

author Sader Sader Robert R

University Hospital Frankfurt, Department for Trauma, Hand and Reconstructive Surgery, Frankfurt, Germany

Klinikum der Goethe Universität Frankfurt, Klinik für Unfall-, Hand- und rekonstruktive Chirurgie, Frankfurt, Deutschland

robert.sader@kgu.de author German Medical Science GMS Publishing House

Düsseldorf

610 oral and maxillofacial Surgery dentoalveolar surgery telemedicine, teledentistry OSCE Mund-, Kiefer und Gesichtschirurgie Dentoalveoläre Chirurgie Tele-Medizin Tele-Zahnmedizin OSCE OSCE OSCE 20220117 20220523 20220804 20221115 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 2366-5017 39 5 GMS Journal for Medical Education GMS J Med Educ 50 Hintergrund: Der stetige Wandel hin zur Digitalisierung im Bildungswesen wurde durch die Covid-19 Pandemie rasant beschleunigt. In der zahnmedizinischen Ausbildung, wo der Kontakt zur Mundhöhle integraler Bestandteil der klinischen Lehre ist, müssen die gewählten digitalen Lehrformate jedoch hohen Anforderungen unterliegen, um eine sinnvolle Alternative zur Präsenzlehre darzustellen. Ziel dieser Pilotstudie war deshalb einen neu entwickelten Tele-OSCE in der Mund-, Kiefer- und Gesichtschirurgie mit vorherigen Präsenz-OSCE Prüfungen hinsichtlich Performanz und Zufriedenheit bei Studierenden und Prüfern zu evaluieren. Methoden: Die Studienteilnehmer waren Zahnmedizinstudierende im vierten Jahr und MKG-ChirurgInnen (Prüfer), die an einer neu entwickelten Tele-OSCE teilnahmen, welche drei fünfminütige Stationen umfasste (1. strukturierte Gesichtsuntersuchung, 2. Management von Unterkieferfrakturen, 3. Management des Plattenepithelkarzinoms). Der Kontakt zwischen Studierendem und Prüfer wurde mit der Zoom®-Software hergestellt. Die studentischen Leistungen wurden anhand validierter OSCE-Checklisten gemessen und mit einer vorangegangenen Präsenz-Kohorte aus dem Wintersemester 2019 verglichen. Die Leistung der Studierenden wurde mittels Mann-Whitney-U-Test auf signifikante Unterschiede getestet. Darüber hinaus wurde das neue Prüfungsformates durch Studierende und Prüfer anhand zuvor entwickelter Fragebögen evaluiert.Ergebnisse: An der Studie nahmen 66 Studierende der Zahnmedizin (Studiengruppe: n=34, Sommersemester 2021, Kontrollgruppe: n=32 Wintersemester 2019) und neun PrüferInnen teil. Im Vergleich zur Präsenz-Kohorte von 2019 gab es keine signifikanten (p=0,53) Unterschiede in der Gesamtleistung der Studierenden. Die Evaluation zeigte jedoch, dass die Demonstration und Bewertung praktischer Fertigkeiten im Tele-Setting nur eingeschränkt möglich waren. Eine Angst schlechter oder falsch bewertet zu werden bestand auf Studierendenseite nicht. Der Demonstration und Bewertung von anamnestischen und beratenden Kompetenzen wurden von Studierenden und Prüfern als unproblematisch eingeschätzt.Diskussion: Diese Pilotstudie konnte zeigen, dass eine Tele-OSCE in der zahnmedizinischen Ausbildung als Alternative zu Präsenzprüfungen problemlos implementierbar ist und zu keinen Leistungsunterschieden in Vergleich zu Präsenzprüfungen führt. Allerdings empfanden sowohl Studierende als auch PrüferInnen die Demonstration und Bewertung praktischer Fertigkeiten durch das neue Prüfungsformat als eingeschränkt. Dennoch könnten Tele-OSCEs eine sinnvolle Alternative darstellen und Studierenden die Möglichkeit zu geben, ihre zahnmedizinische Ausbildung in Zeiten von Kontaktrestriktionen fortzusetzen. Background: The ongoing changes in learning and education towards digitalisation have been rapidly accelerated by the COVID-19 pandemic. Especially in dental education where contact to the oral cavity is an integral part of training the chosen digital examination methods and training formats must undergo high requirements to full fill the goal of a real alternative to face-to-face exams. Therefore, this study compared student performance in a newly developed Tele-OSCE with a prior OSCE examinations in presence within an oral- and maxillofacial surgery curriculum. Methods: Study participants were fourth-year (in a five year curriculum) dental students and board certified maxillofacial surgeons (examiners) that took part in a newly developed Tele-OSCE that comprised three five-minute stations (structured facial examination, management mandibular fracture and squamous cell carcinoma) using the zoom® software. Student performance was measured using validated OSCE-Checklists and compared to a previous OSCE examination from the winter term 2019 with the same OSCE stations that was conducted in presence. Significant differences were tested using the Mann-Whitney U test. Furthermore, the new Tele-OSCE was evaluated by students and examiners using previously developed questionnaires.Results: Sixty-six dental students (study group: n=34, summer term 2021, control group: n=32 winter term 2019) and nine examiners participated in the study. Compared to previous non-pandemic OSCEs, there were no significant (p=0.53) differences in overall student performance. Evaluation of the Tele-OSCE showed that the demonstration and rating of practical skills was limited due to missing standard patients or phantoms, however, students did not fear to be misjudged. The demonstration and rating of anamnestic and consultation competencies was seen as unproblematic by students and examiners. Discussion: This pilot-study showed the feasibility of a Tele-OSCE as a formative examination in dental education. However, both students and examiners felt that the demonstration and assessment of practical skills was limited due the new examination format. Nevertheless, Tele-OSCEs might offer an alternative to enable students to complete their dental training. 1. IntroductionDue to the coronavirus pandemic, many essential parts of medical education had to be paused. The necessity to limit students’ patient encounters and interactions with each other down to a minimum had and still has a tremendous effect on medical education . Dental education in particular was drastically affected by these restrictions since the profession necessarily involves close examination as well as diagnostic and therapeutic interventions in the naso-oro-pharyngeal region, thus dentists are most susceptible to get infected with the corona virus . A recent survey administered by the Association of Dental Education in Europe (ADEE) has captured the initial response of European dental schools to the coronavirus pandemic and pointed out the need for more research on distant learning methods . In this context, dental schools worldwide are facing an inevitable change from the traditional chair-side teaching to virtual solutions such as tele-dentistry or the use of virtual patients . Although there can't be an exact replacement, telemedicine has proven to be an unique opportunity to bridge this current gap . According to Sharma et al. there are a number of suggested skills that can be effectively integrated into medical and dental curricula using telemedicine. These include but are not limited to the following: communication, physical examination professionalism and technological literacy . Tele-dentistry as a subunit of telemedicine is found to be comparable to real-time consultation in areas with limited access to facilities, in schoolchildren and in long-term-healthcare facilities . Tele-consultation and tele-diagnosis have been rated positively and beneficial for dental care as well . In terms of medical school training and examinations, telemedicine has already found its application in zero-patient contact virtual practical exit examinations for orthopaedic residents or running virtual objective structured clinical examination (OSCE) cases , 9. In a recent study by Pante et al. the implementation of a 6-station virtual OSCE was described and evaluated within a German post-graduate masters program (MME). The authors found that the virtual OSCE was well realizable in terms of time and organisation and was evaluated positively by the participants . For dental education, there has been one pilot study that described the implementation of a virtual OSCE (VOSCE) in paediatric dentistry and orthodontics that worked well for both students and examiners. In this 10-station VOSCE Donn et al. used the video-call software zoom® with its break-out room function to switch students from OSCE station to OSCE station. However, this required additional staff (lead host and lead invigilator) and examination time. The examined skills were reduced to communication and consultation since no standardized patients took part in this VOSCE. Students and examiners both evaluated the VOSCE favourably, however it was not investigated whether the new examination format would have an influence on student performance . Therefore, the primary aim of the present study is to assess the feasibility and acceptance of a newly developed Tele-OSCE for dental students and examiners. We piloted a 3-station Tele-OSCE within oral and maxillofacil surgery (OMF) curriculum using the video-call software zoom® and evaluated its acceptance among students and examiners. Furthermore, student performance was measured using standardized checklists and compared to a previous OMF OSCE which was conducted under normal circumstances in presence. A secondary aim was to compare both examination formats (Tele-OSCE and presence OSCE) regarding student performance. Our null-hypothesis was, that both examination formats would lead to different student performance. 1. EinleitungAufgrund der Coronavirus-Pandemie mussten viele wesentliche Teile der medizinischen Ausbildung pausiert werden. Die Notwendigkeit, die Patientenkontakte und Interaktionen der Studenten untereinander auf ein Minimum zu beschränken, hatte und hat immer noch enorme Auswirkungen auf die medizinische Ausbildung . Insbesondere die zahnärztliche Ausbildung war von diesen Beschränkungen stark betroffen, da der Beruf zwangsläufig mit genauen praktischen Untersuchungen sowie diagnostischen und therapeutischen Eingriffen im Nasen- und Rachenraum verbunden ist und Zahnärzte daher besonders anfällig für eine Ansteckung mit dem Coronavirus sind . Eine kürzlich von der Association of Dental Education in Europe (ADEE) durchgeführte Umfrage hat die erste Reaktion der europäischen zahnmedizinischen Fakultäten auf die Coronavirus-Pandemie erfasst und den erhöhten Forschungsbedarf zu Fernlernmethoden aufgezeigt . In diesem Zusammenhang sehen sich die zahnmedizinischen Fakultäten weltweit mit einem unvermeidlichen Wechsel von der traditionellen Lehre am Behandlungsstuhl zu virtuellen Lösungen wie der Tele-Zahnmedizin oder dem Einsatz virtueller Patienten konfrontiert . Obwohl Fernlernformate die Präsenzlehre nicht vollständig ersetzen können, hat die Telemedizin das Potenzial eine sinnvolle Alternative zur Präsenzlehre darzustellen . Nach Sharma et al. gibt es eine Reihe von Vorschlägen für Fähigkeiten, die durch den Einsatz der Telemedizin wirksam in die medizinischen und zahnmedizinischen Lehrpläne integriert werden können. Dazu gehören unter anderem: Kommunikation, Professionalität bei der körperlichen Untersuchung und technologische Kompetenz . Die Telezahnmedizin als Teilbereich der Telemedizin zeigte sich bisher in Gebieten mit begrenztem Zugang zu Einrichtungen, bei Schulkindern und in Langzeitpflegeeinrichtungen mit einer medizinischen Konsultation in Präsenz vergleichbar . Diese Tele-Konsultationen und das Stellen von Tele-Diagnosen wurden auch für die zahnärztliche Versorgung als positiv und vorteilhaft durch PatientInnen und ÄrztInnen bewertet . Im Rahmen der medizinischen Ausbildung und der Prüfungen medizinischer Kompetenzen wurde die Telemedizin bereits im Rahmen virtueller praktischer Abschlussprüfungen ohne Patientenkontakt für Assistenzärzte in der Orthopädie oder in der Durchführung virtueller OSCE-Prüfungen durchgeführt , . In einer aktuellen Studie von Pante et al. wurde die Durchführung einer virtuellen OSCE mit 6 Stationen in einem deutschen postgradualen Masterstudiengang (MME) beschrieben und evaluiert. Die Autoren stellten fest, dass das virtuelle OSCE zeitlich und organisatorisch gut realisierbar war und von den Teilnehmern positiv bewertet wurde .Für die zahnmedizinische Ausbildung gibt es eine Pilotstudie, in der die Durchführung eines virtuellen OSCE (VOSCE) in der Kinderzahnheilkunde und Kieferorthopädie beschrieben wurde, die sowohl für Studierende als auch für Prüfer gut funktionierte. Bei diesem VOSCE mit 10 Stationen verwendeten Donn et al. die Videocall-Software Zoom® mit ihrer Break-out-Room-Funktion, um die Studierenden von OSCE-Station zu OSCE-Station zu schalten. Dies erforderte jedoch zusätzliches Personal (Lead Host und Lead Invigilator) und Prüfungszeit. Die geprüften Fertigkeiten wurden auf Kommunikation und Konsultation reduziert, da an diesem VOSCE keine standardisierten Patienten teilnahmen. Sowohl die Studierenden als auch die Prüfer bewerteten das VOSCE positiv; es wurde jedoch nicht untersucht, ob das neue Prüfungsformat einen Einfluss auf die Leistungen der Studierenden hat . Das Hauptziel der vorliegenden Studie war die Machbarkeit und Akzeptanz eines neu entwickelten Tele-OSCE für Studierende und Prüfende in der Mund-, Kiefer und Gesichtschirurgie (MKG) zu untersuchen. Eine Tele-OSCE mit drei Stationen wurde unter Verwendung der Video-Call-Software Zoom® curricular implementiert und die Akzeptanz des neuen Prüfungsformates bei Studierenden und Prüfenden untersucht. Darüber hinaus wurde die Leistung der Studierenden anhand standardisierter Checklisten gemessen und mit einer früheren MKG-OSCE verglichen, die unter normalen Umständen als Präsenzprüfung durchgeführt wurde. Ein weiteres Ziel war es, beide Prüfungsformate (Tele-OSCE und Präsenz-OSCE) hinsichtlich der studentischen Leistung zu vergleichen. Unsere Null-Hypothese war, dass beide Prüfungsformate zu unterschiedlichen Leistungen der Studierenden führen würden. 2. Methods2.1. Ethics approval and consent to participateThe study was reviewed by the Ethical Commission of the University Hospital Frankfurt (Goethe University) and it was stated no further ethical approval was required. The study was conducted according to the Declaration of Helsinki . Participation was voluntarily. All study participants gave their written informed consent prior to participation, which they could withdraw at any time. 2.2. Study participantsStudy participants (study group: n=34, f=25, m=9; control group: n=32, f=21, m=11) were fourth-year dentistry students (in a five-year curriculum) in the period of 2021 attending a compulsory internship, which includes a five-day rotation through every section of the Department of Oral, Cranio-Maxillofacial and Facial Plastic Surgery, i.e. the operative room, the outpatient clinic or the emergency department. Before starting their rotation, students have to complete a practical skills training. In this practical skills training students were taught the most common reasons for a OMF consultation in a problem-orientated learning style and learned how to perform practical OMF skills (i.e. a structured facial examination, placing an “Ernst”-ligature or placing an i.v. catheter) in small groups up to six students . The training lasted for 4 hours and was conducted by an experienced OMF surgeons who received a standardized blueprint about the practical skills training and its learning objectives beforehand. Both, the study- and the control-group, had to participate in the “practical skills training” in presence. Moreover, the study included nine board certified OMF Surgeons, with extensive experience in examining OSCEs, who served as examiners in the formative OMF OSCE at the end of the internship. 2.3. Study conductionThe study took place within the formative OMF OSCE seven weeks ± 1,5 weeks after the OMF internship. Under non-pandemic conditions, this OSCE is composed of eight five-minute stations, four of them verifying theoretical skills using multiple-choice tests and four of them assessing practical skills. Students rotate between theoretical and practical stations for which they have 5 minutes to complete. Frequently examined skills include i.e. the performance of a structured facial examination, management and consulting stations regarding frequent OMF consultations like squamous cell carcinomas, traumas of the facial skeleton or infections of the face and the oral cavity . Due to the pandemic situation, the examination couldn’t take place under normal conditions. Therefore, a reduced three-station Tele-OSCE was implemented and piloted to formatively assess students' competencies (see figure 1 ). Prior to the Tele-OSCE, examiners were given instructions on how to use the video-call software Zoom (Zoom video communications, San José, California, USA) and were provided with a standardized Power Point® presentation containing the OSCE station scenarios. Moreover, examiners received previously validated and published OSCE Checklists for each OSCE station and an Tele-OSCE time schedule with the names and e-mail addresses of each student that were assigned to one of the examiners before the study conduction (see attachment 1 ). On the day of the study conduction, students received an e-mail invitation for their scheduled examination and met up with the examiners in a private online-meeting to carry out the Tele-OSCE examination. Each online meeting was set up for 30 min. First, students received a short explanation about the upcoming examination by the examiner, then they completed three OSCE stations, namely the performance of a structured facial examination, the management of a mandibular fracture as well as the management of an oral squamous cell carcinoma with the same examiner. For each OSCE station, students received a precise working assignment which was presented for one minute via the screen share function (see figure 2 ). Afterwards, students had five minutes to complete the OSCE assignment. Each examination took 18 minutes. The remaining 12 minutes were used for feedback and evaluation of the new Tele-OSCE format. Due to the new setting, the examination itself had to be slightly adapted, i.e. x-rays normally used within the station “management mandibular fracture” were presented via the screen share function using standardized Power Point® slides. Moreover, students were told to correctly describe in their own words how they would perform a structured facial examination step-by-step since no patient actor was present. After completion, every examiner met up with a new student and repeated the examination. In case of technical problems, a special Zoom® room was provided for students and examiners. Every OMF Surgeon involved examined between three to four students. In total, the Tele-OSCE lasted for two hours. 2.4. Performance measurementStudents' performance was measured using previously validated OSCE Checklists . Prior to the study all examiners received an educational course as calibration and to gain experience using the OSCE Checklists (see attachment 1 ). In addition, the content validity was ensured through the creation as part of an expert workshop with didactic and surgical experts as well as through the repeated application and adaption in the context of previous studies , , , and OSCE exams. 2.5. Tele-OSCE evaluationPrior to the examination, two evaluation questionnaires (see table 1 and table 2 ) (one for the students and one for the examiners) were designed and concerted by an expert group based on a literature review. The items were tested regarding comprehensibility by a group of medical education specialists who were not involved in designing the questionnaires. Based on the answers of the medical education specialists, the questionnaires were edited. Each questionnaire consisted of 10 statements, five of which were concurrent for both groups. The remaining five questions were group-specific. The questions were answered by both groups after the OSCE by using a 5-point Likert-scale ((1) strongly agree; (2) agree; (3) neither agree nor disagree; (4) disagree; (5) strongly disagree). Moreover, the questionnaire contained free-text commentaries for written feedback. 2.6. Statistical analysis Microsoft Office 2016 (© Microsoft Corporation, Redmond, USA) for Mac and SPSS Statistics version 19 (IBM, Armonk, USA) were used for the statistical analysis. Student performance was tested for normal Gaussian distribution using the Shapiro-Wilk normality test. Furthermore, the sample size needed was calculated a priori using the software G*power (Version 3.1.9.6) with the following settings: tails (1), distribution (logistic), effect size (0.5), alpha (0.05), 1-beta error probability (0.8). Examination results from the Tele-OSCE were compared to the OMF OSCE examination results (only practical stations) in the summer term 2019 to analyse whether the new examination format would have any influence on student performance. To test for significant differences, the Mann-Whitney U-test was used, since data were not normally distributed. Data was presented as mean ± standard deviation. 2. Methoden2.1. Ethikgenehmigung und Zustimmung zur Teilnahme Die Studie wurde von der Ethikkommission des Universitätsklinikums Frankfurt (Goethe-Universität) geprüft und es wurde festgestellt, dass keine weitere ethische Genehmigung erforderlich ist. Die Studie wurde in Übereinstimmung mit der Deklaration von Helsinki durchgeführt . Die Teilnahme war freiwillig. Alle Studienteilnehmer gaben vor der Teilnahme ihre schriftliche Einverständniserklärung ab, die sie jederzeit widerrufen konnten. 2.2. Studienteilnehmer*innenDie Studienteilnehmer*innen (Studiengruppe: n=34, f=25, m=9; Kontrollgruppe: n=32, f=21, m=11) waren Zahnmedizinstudierende im vierten Studienjahr, die im Jahr 2021 an einem Pflichtpraktikum teilnahmen, das eine fünftägige Rotation durch die Abteilung für Mund-, Kiefer- und Gesichtschirurgie, d. h. den Operationssaal, die Ambulanz oder die Notaufnahme, umfasst. Vor Beginn der Rotation müssen die Studierenden ein Training praktischer Fertigkeiten (TPF) absolvieren. In diesem TPF werden den Studierenden die häufigsten Gründe für eine MKG-Konsultation in einem problemorientierten Lernstil vermittelt und sie lernen, wie sie praktische MKG-Fertigkeiten (z. B. eine strukturierte Gesichtsuntersuchung, das Legen einer „Ernst“-Ligatur oder das Legen eines i.v.-Katheters) in kleinen Gruppen von bis zu sechs Studierenden durchführen . Das TPF dauert vier Stunden und wird von einem erfahrenen MKG-Chirurgen durchgeführt, der zuvor einen standardisierten Leitfaden über das TPF und dessen Lernziele erhalten hat. Sowohl die Studien- als auch die Kontrollgruppe mussten vor Beginn des MKG-Praktikums am TPF teilnehmen. Darüber hinaus umfasste die Studie neun MKG-Chirurgen mit umfassender Erfahrung in der Prüfung von OSCEs, die als Prüfer in der formativen MKG-OSCE nach Abschluss des MKG-Praktikums fungierten.2.3. StudiendurchführungDie Studie fand im Rahmen einer formativen MKG-OSCE sieben Wochen ± 1,5 Wochen nach dem MKG-Praktikum statt. Unter nicht-pandemischen Bedingungen besteht diese OSCE aus acht Stationen, von denen vier die theoretischen Fähigkeiten der Studierenden anhand von Multiple-Choice-Tests überprüfen und vier die praktischen Fertigkeiten bewerten. Die Studierenden wechseln zwischen theoretischen und praktischen Stationen, für die sie jeweils fünf Minuten Zeit haben. Zu den häufig geprüften Kompetenzen gehören die Durchführung einer strukturierten Gesichtsuntersuchung, Management- und Beratungsstationen zu häufigen MKG-Konsultationen wie dem Plattenepithelkarzinom, Traumata des Gesichtsskeletts oder Infektionen des Gesichts und der Mundhöhle . Aufgrund der bestehenden Kontaktrestriktionen konnte die Prüfung nicht unter normalen Bedingungen durchgeführt werden. Daher wurde eine Tele-OSCE mit drei Stationen implementiert und erprobt, um die Kompetenzen der Studierenden formativ zu bewerten (siehe Abbildung 1 ). Vor dem Tele-OSCE erhielten die Prüfenden eine Einweisung in die Nutzung der Video-Call-Software Zoom® (Zoom video communications, San José, Kalifornien, USA) und eine standardisierte PowerPoint-Präsentation mit den OSCE-Szenarien. Darüber hinaus erhielten die Prüfenden zuvor validierte und veröffentlichte OSCE-Checklisten für jede OSCE-Station und einen Tele-OSCE-Zeitplan mit den Namen und E-Mail-Adressen jedes Studierenden, der einem der Prüfenden vor der Studiendurchführung zugewiesen wurde (siehe Anhang 1 ). Am Tag der Studiendurchführung erhielten die Studierenden eine E-Mail-Einladung zu ihrem Prüfungstermin und trafen sich mit den Prüfenden in einem privaten Online-Meeting, um die Tele-OSCE-Prüfung durchzuführen. Jede Online-Prüfung wurde für 30 Minuten anberaumt. Zunächst erhielten die Studierenden vom Prüfenden eine kurze Erklärung über die bevorstehende Prüfung, dann absolvierten sie mit demselben Prüfenden drei OSCE-Stationen, nämlich die Durchführung einer strukturierten Gesichtsuntersuchung, das Management einer Unterkieferfraktur sowie das Management eines oralen Plattenepithelkarzinoms. Für jede OSCE-Station erhielten die Studierenden eine genaue Arbeitsanweisung, die über die Bildschirmfreigabefunktion eine Minute lang präsentiert wurde (siehe Abbildung 2 ). Anschließend hatten die Studierenden fünf Minuten Zeit, um die OSCE-Station zu absolvieren. Jede Prüfung dauerte 18 Minuten. Die verbleibenden 12 Minuten wurden für ein Feedback an den Studierenden und die Bewertung des neuen Tele-OSCE-Formats genutzt. Aufgrund des neuen Settings musste die Untersuchung selbst leicht angepasst werden, d. h. die normalerweise in der Station „Management Unterkieferfraktur“ verwendeten Röntgenbilder wurden über die Bildschirmfreigabefunktion mit standardisierten PowerPoint-Folien präsentiert. Außerdem sollten die Studierenden mit eigenen Worten korrekt beschreiben, wie sie eine strukturierte Gesichtsuntersuchung Schritt für Schritt durchführen würden, da kein Schauspielpatient anwesend war. Nach Abschluss der Prüfung traf sich jeder Prüfende mit einem neuen Studierenden und wiederholte die Prüfung. Für den Fall, dass technische Probleme auftraten, wurde den Studierenden und Prüfenden ein spezieller Zoom®-Raum zur Verfügung gestellt. Jeder beteiligte MKG-Chirurg prüfte jeweils zwischen drei und vier Studierende. Insgesamt dauerte die Tele-OSCE zwei Stunden.2.4. LeistungsanalyseDie Leistung der Studierenden wurde anhand von zuvor validierten OSCE-Checklisten gemessen . Im Vorfeld der Studie erhielten alle Prüfenden eine Schulung zum Umgang mit den OSCE-Checklisten (siehe Anhang 1 ). Darüber hinaus wurde die inhaltliche Validität durch die Erstellung im Rahmen eines Expertenworkshops mit didaktischen und chirurgischen Experten sowie durch die wiederholte Anwendung und Anpassung im Rahmen früherer Studien , , , und OSCE-Prüfungen sichergestellt.2.5. Tele-OSCE EvaluationIm Vorfeld der Prüfung wurden zwei Evaluationsfragebögen (siehe Tabelle 1 und Tabelle 2 ) (einer für die Studierenden und einer für die Prüfenden) von einer Expertengruppe auf der Grundlage einer Literaturrecherche entworfen und umgesetzt. Die Inhalte wurden von einer Gruppe von Medizinpädagogen, die nicht an der Gestaltung der Fragebögen beteiligt waren, auf ihre Verständlichkeit hin überprüft. Auf der Grundlage der Antworten der ExpertInnen für Medizindidaktik wurden die Fragebögen überarbeitet. Jeder Fragebogen bestand aus 10 Aussagen, von denen fünf für beide Gruppen übereinstimmend waren. Die restlichen fünf Fragen waren gruppenspezifisch. Die Fragen wurden von beiden Gruppen nach der OSCE mit Hilfe einer 5-Punkte-Likert-Skala beantwortet ((1) stimme vollkommen zu; (2) stimme zu; (3) stimme weder zu noch stimme ich zu; (4) stimme nicht zu; (5) stimme überhaupt nicht zu). Außerdem enthielt der Fragebogen Freitextkommentare für schriftliches Feedback.2.6. Statistische Auswertung Für die statistische Analyse wurden Microsoft Office 2016 (© Microsoft Corporation, Redmond, USA) für Mac und SPSS Statistics Version 19 (IBM, Armonk, USA) verwendet. Die Leistung der Studierenden wurde mit dem Shapiro-Wilk-Test auf Gaußsche Normalverteilung geprüft. Darüber hinaus wurde der erforderliche Stichprobenumfang a priori mit der Software G*power (Version 3.1.9.6) mit folgenden Einstellungen berechnet: Schwänze (1), Verteilung (logistisch), Effektgröße (0,5), Alpha (0,05), 1-Beta-Fehlerwahrscheinlichkeit (0,8). Die Prüfungsergebnisse aus dem Tele-OSCE wurden mit den MKG-OSCE Prüfungsergebnissen (nur praktische Stationen) im Sommersemester 2019 verglichen, um zu untersuchen, ob das neue Prüfungsformat einen Einfluss auf die Leistungen der Studierenden haben würde. Um auf signifikante Unterschiede zu testen, wurde der Mann-Whitney-U-Test verwendet, da die Daten nicht normalverteilt waren. Die Daten wurden als Mittelwert ± Standardabweichung dargestellt. 3. Results3.1. Statistical power, study participants and study conductionThe calculated sample sizes for the control- and study group was 51 participants per group. Sixty-six dental students (study group: f=25 m=9, 100% of the semester, summer term 2021, control group: f=21, m=11, 100% of the semester, winter term 2019) and nine board certified OMF Surgeons (f=3, m=6, 42% of the Department) took part in the study. Due to a technical problem (instable internet connection) at the beginning of the Tele-OSCE, eight of 34 students had to postpone their examination appointment by one hour to keep up with the planned schedule. After switching the examiners internet connection, no other technical problems occurred and the conduction of the Tele-OSCE went fluently and was feasible within the given timeframe. 3.2. Performance measurementCompared to the OMF OSCE examination results from the summer term 2019, there were no significant (p=0,53; CG (control group): Av=75,35%±7,7%; SG (study group): Av=72,59%±14,0%) differences in overall student performance in the Tele-OSCE. In the OSCE stations’ “structured facial examination” (p=0,25; CG: Av=77,28%±10,2%; SG: Av=79,76%±14,7%) and “management of a squamous cell carcinoma” (p=0,36; CG: Av=62%±11,2%; SG: Av=65,09%±17,6%) no significant differences in student performance were observed compared to the OMF OSCE in 2019. However, in the OSCE station “management mandibular fracture”, students achieved significantly less points (p<0,01; CG: Av=86,81%±11,6%; SG: Av=72,97%±14,2%) than in 2019. 3.3. Student evaluation31 out of 34 (91 %) students (study group) completed the evaluation questionnaire (see table 2 ). The majority of students felt that the demonstration of their performance was possible without any problems and did not fear to be misjudged due to the new format. Moreover, the demonstration of anamnestic and consultation competencies was rated as unproblematic by students. However, the demonstration of practical skills, such as the performance of a structured facial examination, was seen as more problematic. The video- and audio-quality were overall rated as very good and most students stated that they would like to participate in future Tele-OSCEs. In the free-text commentaries, students commended the “good atmosphere” (n=4), the “well-structured time schedule” (n=1), and the “given time for direct verbal feedback” by the examiner after the examination (n=3). However, some students criticized “technical problems at the beginning” of the Tele-OSCE (n=3) and would have preferred models or phantoms to better demonstrate their facial examination skills (“use of phantoms”, n=1). 3.4. Examiner evaluationAll nine examiners completed the evaluation questionnaire (see table 3 ). Like the student evaluation, most examiners felt that, overall, student assessment was possible without any problems, especially for anamnestic and consultation competencies, but expressed impeded assessment of practical skills within the Tele-OSCE format. Examiners rated the audio- and video signal as very good, but also were critical regarding the technical implementation and conduction of the Tele-OSCE. Nevertheless, most examiners stated that they would like to participate in future Tele-OSCE examinations.In the free text commentaries, examiners praised the possibility to “carry out the examination from home” without any disruptions due to clinical duties (n=1). Examiners also commended that they could “examine one student through the entire Tele-OSCE and, thus, had a better impression of the student’s level of competence” (n=1). Similar to the students, examiners also would have “preferred phantom models or standardized patients for the demonstration of facial examination skills” (n=2). 3. Ergebnisse3.1. Studienpower, StudienteilnehmerInnen und StudiendurchführungDie berechnete Stichprobengröße für die Kontroll- und Studiengruppe betrug 51 Teilnehmer pro Gruppe. Sechsundsechzig zahnmedizinische Studierende (Studiengruppe: f=25 m=9, 100% des Semesters, Sommersemester 2021, Kontrollgruppe: f=21, m=11, 100% des Semesters, Wintersemester 2019) und neun MKG-ChirurgInnen (f=3, m=6, 42% der Abteilung) nahmen an der Studie teil. Aufgrund eines technischen Problems (instabile Internetverbindung) zu Beginn des Tele-OSCE mussten acht von 34 Studierenden ihren Prüfungstermin um eine Stunde verschieben, um den geplanten Zeitplan einzuhalten. Nach der Umstellung der Internetverbindung des Prüfenden traten keine weiteren technischen Probleme auf, und die Durchführung des Tele-OSCE verlief reibungslos und war innerhalb des vorgegebenen Zeitrahmens machbar.3.2. LeistungsanalyseIm Vergleich zu den MKG-OSCE-Prüfungsergebnissen aus dem Sommersemester 2019 gab es keine signifikanten (p=0,53; KG (Kontrollgruppe): MW=75,35%±7,7%; SG (Studiengruppe): MW=72,59%±14,0%) Unterschiede in der Gesamtleistung der Studierenden im Tele-OSCE. Bei den OSCE-Stationen „Strukturierte Gesichtsuntersuchung“ (p=0,25; KG: MW=77,28%±10,2%; SG: MW=79,76%±14,7%) und „Management eines Plattenepithelkarzinoms“ (p=0,36; KG: MW=62%±11,2%; SG: MW=65,09%±17,6%) wurden keine signifikanten Unterschiede in den Leistungen der Studierenden im Vergleich zum OMF-OSCE 2019 festgestellt. Bei der OSCE-Station „Management Unterkieferfraktur“ erreichten die Studierenden jedoch signifikant weniger Punkte (p<0,01; KG: MW=86,81%±11,6%; SG: MW=72,97%±14,2%) als im Jahr 2019.3.3. Studierendenevaluation31 von 34 (91%) der Studierenden (Studiengruppe) füllten den Evaluationsfragebogen aus (siehe Tabelle 2 ). Die Mehrheit der Studierenden war der Meinung, dass die Demonstration ihrer Leistungen problemlos möglich war und sie keine Angst hatten, aufgrund des neuen Formats falsch beurteilt zu werden. Auch die Demonstration der anamnestischen und beraterischen Kompetenzen wurde von den Studierenden als unproblematisch eingestuft. Die Demonstration praktischer Fertigkeiten, wie die Durchführung einer strukturierten Gesichtsuntersuchung, wurde jedoch als problematischer angesehen. Die Video- und Audioqualität wurde insgesamt als sehr gut bewertet und die meisten Studierenden gaben an, dass sie gerne an zukünftigen Tele-OSCEs teilnehmen würden. In den Freitextkommentaren lobten die Studierenden die „gute Atmosphäre“ (n=4), den „gut strukturierten Zeitplan“ (n=1) und die „gegebene Zeit für direktes verbales Feedback“ durch den Prüfenden nach der Prüfung (n=3). Einige Studierende kritisierten jedoch „technische Probleme zu Beginn“ des Tele-OSCE (n=3) und hätten sich Modelle oder Phantome gewünscht, um ihre Fähigkeiten bei der Gesichtsuntersuchung besser zu demonstrieren („Verwendung von Phantomen“, n=1).3.4. Evaluation der Prüfenden Alle neun Prüfenden füllten den Bewertungsfragebogen aus (siehe Tabelle 3 ). Wie bei der Evaluation der Studierenden waren die meisten Prüfenden der Meinung, dass die Beurteilung der Studierenden insgesamt problemlos möglich war, insbesondere bei den anamnestischen und beratenden Kompetenzen, äußerten aber eine erschwerte Beurteilung der praktischen Fertigkeiten im Rahmen des Tele-OSCE-Formats. Die Prüfenden bewerteten das Audio- und Videosignal als sehr gut, äußerten sich aber auch kritisch über die technische Umsetzung und Durchführung des Tele-OSCE. Dennoch gaben die meisten Prüfenden an, dass sie gerne an zukünftigen Tele-OSCE-Prüfungen teilnehmen würden.In den Freitextkommentaren lobten die Prüfenden die Möglichkeit, „die Prüfung von zu Hause aus“ ohne Unterbrechung durch klinische Aufgaben durchzuführen (n=1). Die Prüfenden lobten auch die Tatsache, dass sie „einen Studierenden während der gesamten Tele-OSCE-Prüfung prüfen konnten und dadurch einen besseren Eindruck vom Kompetenzniveau des Studierenden hatten“ (n=1). Ähnlich wie die Studierenden hätten auch die Prüfenden „Phantommodelle oder standardisierte Patienten für die Demonstration der Fähigkeiten zur Gesichtsuntersuchung bevorzugt“ (n=2). 4. DiscussionThe current study investigated the development and curricular integration of a virtual Tele-OSCE examination in Oral- and Maxillofacial Surgery as an alternative to the traditional OSCE for dental students at our institution due to corona virus contact restrictions. Overall, our results show that the implementation of the OSCE was (apart from minor technical problems at the beginning of the examination) feasible within the given timeframe and was well-accepted by students and by examiners. Interestingly, no significant differences in student performance were found for the OSCE stations “structured facial examination”, even though both students and examiners expressed difficulties in demonstrating and rating a purely practical skill. An explanation for the inferior student performance in the OSCE station “management mandibular fracture” compared to non-pandemic examinations might be limited screen size of the tablets and smartphones which many students used to take part in the examination. This might have limited students to correctly allocate anatomical landmarks and pathologies in the presented CT scans of the OSCE station (see figure 2 ) and should be considered for future Tele-OSCE examinations. There have been other studies that sought to investigate the use of tele-medicine as an alternative teaching and examination format during the coronavirus pandemic. Harendza et al. used tele-medicine within a newly designed competence-based training, including a consultation hour, with simulated patients for final year medical students and found similar satisfaction levels with the training compared to non-pandemic years . In the present study, simulated patients or phantom models were not included due to capacity reasons since eight OSCE examinations were conducted parallel to stay within the given timeframe of two hours. This might have led to the rather weak evaluation regarding the demonstration of practical skills within the Tele-OSCE by students and could be viewed as a limitation of the study. On the other hand, our setting allowed a more genuine evaluation of the students’ acceptance with the newly established examination format. Sartori et al. developed a Tele-OSCE scenario as part of a multi-station OSCE simulating a remote encounter between a resident and a recently discharged standardized patient for internal medicine residents as well as a concordant assessment tool . Similar to the present study, they found weak areas in the examination format regarding the demonstration of a virtual physical examination, which might be due to the missing simulated patients or the missing physical encounter between examiner and simulated patient. In similar study Pante et al. described the implementation of a 6-station virtual OSCE within a German post-graduate masters program (MME). The authors also used breakout-rooms into which the participants rotated independently. They showed that a telemedical OSCE is technically feasible, but they concluded that further strategies must be developed i.e new checklists for the rating of non-verbal communication or special SP training to adapt the OSCE to the new digital format. Although, participants stated that the creation and participation was not easy to them, like in our study, they considered the implementation of digital examination formats to be important in the future . Regarding dental education, Donn et al. piloted a virtual dental OSCE (VOSCE) for undergraduate dental students and gave a comprehensive exemplary description of how to set up a VOSCE . The newly piloted VOSCE was rated favourably by undergraduate dental students and staff. In contrast to the present study, this VOSCE used multiple Zoom breakout rooms for the OSCE stations (12 minutes per station) and waiting rooms for students and examiners. This enabled students and examiners to switch stations within the VOSCE and might have led to a more balanced assessment of student performance since every student was assessed by multiple examiners. On the other hand, the stated that the use of break-out rooms was very staff- and time-intensive since the simultaneous moving of students required a lead- and host-invigilator and additional time for room switching. In the present study, we decided not to use breakout rooms, which simplified the Tele-OSCE workflow, limited the potential for failure and allowed us to save personnel which would have been necessary to allocate students and examiners to their respective rooms. 4. DiskussionDie vorliegende Studie untersuchte die Konzeption und curriculare Einbindung einer virtuellen Tele-OSCE-Prüfung in der Mund-, Kiefer- und Gesichtschirurgie als Alternative zur traditionellen OSCE-Prüfung für Studierende der Zahnmedizin an unserer Fakultät infolge von Coronavirus-Kontaktbeschränkungen. Insgesamt zeigen unsere Ergebnisse, dass die Durchführung der Tele-OSCE-Prüfung (abgesehen von kleineren technischen Problemen zu Beginn) innerhalb des vorgegebenen Zeitrahmens durchführbar war und sowohl von den Studierenden als auch von den Prüfenden gut angenommen wurde. Interessanterweise wurden bei den OSCE-Stationen „Strukturierte Gesichtsuntersuchung“ keine signifikanten Unterschiede in den Leistungen der Studierenden festgestellt, obwohl sowohl die Studierenden als auch die Prüfenden Schwierigkeiten bei der Demonstration und Bewertung einer rein praktischen Fertigkeit äußerten. Eine Erklärung für die schlechtere Leistung der Studierenden bei der OSCE-Station „Management der Unterkieferfraktur“ im Vergleich zu nicht-pandemischen Prüfungen könnte die begrenzte Bildschirmgröße der Tablets und Smartphones sein, die viele Studierende zur Teilnahme an der Prüfung nutzten. Dies könnte die Studierenden daran gehindert haben, anatomische Landmarken und Pathologien in den präsentierten CT-Scans der OSCE-Station (siehe Abbildung 2 ) korrekt zuzuordnen und sollte bei zukünftigen Tele-OSCE-Prüfungen berücksichtigt werden. Vorherige Studien untersuchten bereits den Einsatz der Telemedizin als alternatives Lehr- und Prüfungsformat während der Coronavirus-Pandemie. So setzten Harendza et al. die Telemedizin im Rahmen einer neu konzipierten kompetenzbasierten Ausbildung ein, die auch eine Sprechstunde mit Simulationspatienten für Medizinstudierende im letzten Studienjahr umfasste, und stellten fest, dass die Zufriedenheit mit der Ausbildung ähnlich hoch war wie in Jahren ohne Pandemie . In der vorliegenden Studie wurden aus Kapazitätsgründen keine Simulationspatienten oder Phantommodelle eingesetzt, da acht OSCE-Prüfungen parallel durchgeführt wurden, um den vorgegebenen Zeitrahmen von zwei Stunden einzuhalten. Dies könnte zu der eher schwachen Bewertung hinsichtlich der Demonstration praktischer Fertigkeiten im Rahmen des Tele-OSCE durch die Studierenden geführt haben und könnte als eine Einschränkung der Studie angesehen werden. Andererseits ermöglichte unser Setting eine realistischere Bewertung der Akzeptanz des neu eingeführten Prüfungsformats durch die Studierenden. Sartori et al. entwickelten ein Tele-OSCE-Szenario als Teil einer OSCE mit mehreren Stationen, das eine Fernbegegnung zwischen einem Assistenzarzt und einem kürzlich entlassenen standardisierten Patienten für Assistenzärzte der Inneren Medizin simuliert, sowie ein übereinstimmendes Bewertungsinstrument . Ähnlich wie in der vorliegenden Studie fanden sie Schwachstellen im Prüfungsformat in Bezug auf die Demonstration einer virtuellen körperlichen Untersuchung, was auf die fehlenden Simulationspatienten oder die fehlende physische Begegnung zwischen Prüfer und Simulationspatient zurückzuführen sein könnte. In einer ähnlichen Studie beschrieben Pante et al. die Implementierung einer virtuellen OSCE mit 6 Stationen in einem deutschen postgradualen Masterstudiengang (MME). Die Autoren setzten auch Breakout-Räume ein, in die die Teilnehmer unabhängig voneinander rotierten. Sie zeigten, dass ein telemedizinisches OSCE technisch machbar ist, kamen aber zu dem Schluss, dass weitere Strategien entwickelt werden müssen, z. B. neue Checklisten für die Bewertung der nonverbalen Kommunikation oder ein spezielles SP-Training zur Anpassung des OSCE an das neue digitale Format. Obwohl die Teilnehmer angaben, dass ihnen die Erstellung und Teilnahme nicht leicht fiel, wie in unserer Studie, hielten sie die Implementierung digitaler Prüfungsformate in der Zukunft für wichtig . Im Bereich der zahnmedizinischen Ausbildung haben Donn et al. eine virtuelle zahnmedizinische OSCE (VOSCE) für Studierende der Zahnmedizin erprobt und eine umfassende, beispielhafte Beschreibung des Aufbaus einer solchen OSCE gegeben . Das neu erprobte VOSCE wurde von den Studierenden und Mitarbeitern der Zahnmedizin positiv bewertet. Im Gegensatz zur vorliegenden Studie wurden bei diesem VOSCE mehrere Zoom® -Räume für die OSCE-Stationen (12 Minuten pro Station) und Warteräume für Studierende und Prüfende verwendet. Dies ermöglichte es den Studierenden und Prüfern, innerhalb des VOSCE die Stationen zu wechseln, und könnte zu einer ausgewogeneren Bewertung der studentischen Leistung geführt haben, da jeder Studierende von mehreren Prüfenden bewertet wurde. Andererseits gaben sie an, dass die Nutzung von Pausenräumen sehr personal- und zeitaufwändig war, da der gleichzeitige Wechsel von Studierenden einen leitenden und einen aufnehmenden Prüfer sowie zusätzliche Zeit für den Raumwechsel erforderte. In der vorliegenden Studie verzichteten wir auf die Nutzung von Pausenräumen, was den Tele-OSCE-Arbeitsablauf vereinfachte, das Fehlerpotenzial begrenzte und es uns ermöglichte, Personal einzusparen, das für die Zuweisung von Studierenden und Prüfenden zu ihren jeweiligen Räumen erforderlich gewesen wäre. 5. Limitations and strengthsThe small sample sizes of the study- and control group and hence low statistical power might be a limitation to the conclusions drawn from the comparison of performances between both examinations formats. On the other hand, this study was conducted in an “in vivo” examination setting with a 100 % participation rate and for the first time analysed student performance in a Tele-OSCE compared to non-pandemic years and evaluated the new examination format from a student and examiner perspective. Compared to previous OMF OSCE examinations no additional personnel-hours were necessary, since the entire OSCE was conducted simultaneously by the 8 examiners, however this required the conduction after working-hours. Another positive aspect of the 30 minutes timeframe for the completion of the three OMF stations was the possibility of individual feedback to the students, especially since prior studies have shown the importance of a structured feedback within a surgical OSCE . It remains unclear whether the different times of interventions (2019 and 2021) might have had an influence on the comparability of the study- and control-group, however both groups received the practical skills training in presence prior to the OMF OSCE participation. 5. Limitationen und Stärken der StudieDie geringe Stichprobengröße der Studien- und der Kontrollgruppe und die damit verbundene geringe statistische Aussagekraft könnten die Schlussfolgerungen aus dem Vergleich der Leistungen zwischen den beiden Prüfungsformaten einschränken. Andererseits wurde diese Studie in einem „in vivo“-Prüfungssetting mit einer 100%igen Teilnahmequote durchgeführt und analysierte erstmals die studentischen Leistungen in einem Tele-OSCE im Vergleich zu nicht-pandemischen Jahren und bewertete das neue Prüfungsformat aus Sicht der Studierenden und Prüfenden. Im Vergleich zu früheren MKG-OSCE-Prüfungen waren keine zusätzlichen Personalstunden erforderlich, da das gesamte OSCE von den acht Prüfenden gleichzeitig durchgeführt wurde; dies erforderte jedoch die Durchführung nach der Arbeitszeit. Ein weiterer positiver Aspekt des 30-minütigen Zeitrahmens für die Absolvierung der drei MKG-Stationen war die Möglichkeit eines individuellen Feedbacks an die Studierenden, zumal frühere Studien die Bedeutung eines strukturierten Feedbacks innerhalb einer chirurgischen OSCE gezeigt haben . Es bleibt unklar, ob die unterschiedlichen Zeitpunkte der Interventionen (2019 und 2021) einen Einfluss auf die Vergleichbarkeit der Studien- und Kontrollgruppe gehabt haben könnten; beide Gruppen erhielten jedoch vor der MKG-OSCE-Teilnahme das gleiche Training praktischer Fertigkeiten in Präsenz. 6. ConclusionThe curricular implementation of a Tele-OSCE in Oral- and Maxillofacial Surgery seems feasible, is overall well-accepted by students and examiners and does not lead to significant lower overall student performance. Tele-dentistry offers a safe alternative to enable students to complete their curricular training in times of contact restrictions. Moreover, the integration of virtual examination and teaching formats might be a useful and cost-effective alternative to traditional teaching formats in dentistry since this study and other studies showed that tele-dentistry is suitable for OSCE examinations and the mediation of other skills like patient communication, physical examination, professionalism and technological literacy . To further increase acceptance, virtual teaching and examination formats should be integrated early in medical and dental curricula. 6. SchlussfolgerungDie curriculare Umsetzung eines Tele-OSCE in der Mund-, Kiefer- und Gesichtschirurgie scheint machbar zu sein, wird von den Studierenden und Prüfenden insgesamt gut angenommen und führt nicht zu einer signifikanten Verschlechterung der Gesamtleistung der Studierenden. Die Telezahnmedizin bietet eine sichere Alternative, die es den Studierenden ermöglicht, ihre curriculare Ausbildung in Zeiten eingeschränkter Kontaktmöglichkeiten zu absolvieren. Darüber hinaus könnte die Integration virtueller Prüfungs- und Lehrformate eine nützliche und kosteneffiziente Alternative zu herkömmlichen Lehrformaten in der Zahnmedizin darstellen, da diese und andere Studien gezeigt haben, dass sich die Telezahnmedizin für OSCE-Prüfungen und die Vermittlung anderer Fähigkeiten wie Patientenkommunikation, körperliche Untersuchung, Professionalität und technologische Kompetenz eignet . Um die Akzeptanz weiter zu erhöhen, sollten virtuelle Lehr- und Prüfungsformate frühzeitig in die medizinischen und zahnmedizinischen Curricula integriert werden. AbbreviationsOSCE: objective structured clinical examinationOMF: oral and maxillofacial AbkürzungenOSCE: objective structured clinical examinationMKG: Mund-, Kiefer und Gesichtschirurgie Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autor*innen erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben. Tabatabai S COVID-19 impact and virtual medical education 2020 J Adv Med Educ Prof 140-143 Tabatabai S. COVID-19 impact and virtual medical education. J Adv Med Educ Prof. 2020;8(3):140-143. DOI: 10.30476/jamp.2020.86070.1213 https://doi.org/10.30476/jamp.2020.86070.1213 Peng X Xu X Li Y Cheng L Zhou X Ren B Transmission routes of 2019-nCoV and controls in dental practice 2020 Int J Oral Sci 9 Peng X, Xu X, Li Y, Cheng L, Zhou X, Ren B. Transmission routes of 2019-nCoV and controls in dental practice. Int J Oral Sci. 2020;12(1):9. DOI: 10.1038/s41368-020-0075-9 https://doi.org/10.1038/s41368-020-0075-9 Quinn B Field J Gorter R Akota I Manzanares MC Paganelli C Davies J Dixon J Gabor G Mendes RA Hahn P Vital S O'Brien J Murphy D Tubert-Jeannin S COVID-19: The immediate response of european academic dental institutions and future implications for dental education 2020 Eur J Dent Educ 811-814 Quinn B, Field J, Gorter R, Akota I, Manzanares MC, Paganelli C, Davies J, Dixon J, Gabor G, Mendes RA, Hahn P, Vital S, O'Brien J, Murphy D, Tubert-Jeannin S. COVID-19: The immediate response of european academic dental institutions and future implications for dental education. Eur J Dent Educ. 2020;24(4):811-814. DOI: 10.1111/eje.12542 https://doi.org/10.1111/eje.12542 Chavarría-Bolaños D Gómez-Fernández A Dittel-Jiménez C Montero-Aguilar M E-Learning in Dental Schools in the Times of COVID-19: A Review and Analysis of an Educational Resource in Times of the COVID-19 Pandemic 2020 Odovtos-Int J Dent Sci 69-86 Chavarría-Bolaños D, Gómez-Fernández A, Dittel-Jiménez C, Montero-Aguilar M. E-Learning in Dental Schools in the Times of COVID-19: A Review and Analysis of an Educational Resource in Times of the COVID-19 Pandemic. Odovtos-Int J Dent Sci. 2020;22(3):69-86. DOI: 10.15517/ijds.2020.41813 https://doi.org/10.15517/ijds.2020.41813 Seifert LB Socolan O Sader R Rüsseler M Sterz J Virtual patients versus small-group teaching in the training of oral and maxillofacial surgery: A randomized controlled trial 2019 BMC Med Educ 454 Seifert LB, Socolan O, Sader R, Rüsseler M, Sterz J. Virtual patients versus small-group teaching in the training of oral and maxillofacial surgery: A randomized controlled trial. BMC Med Educ. 2019;19(1):454. DOI: 10.1186/s12909-019-1887-1 https://doi.org/10.1186/s12909-019-1887-1 Iancu AM Kemp MT Alam HB Unmuting medical students' education: Utilizing telemedicine during the COVID-19 pandemic and beyond 2020 J Med Internet Res e19667 Iancu AM, Kemp MT, Alam HB. Unmuting medical students' education: Utilizing telemedicine during the COVID-19 pandemic and beyond. J Med Internet Res. 2020;22(7):e19667. DOI: 10.2196/19667 https://doi.org/10.2196/19667 Sharma R Nachum S Davidson KW Nochomovitz M It's not just FaceTime: Core competencies for the Medical Virtualist 2019 Int J Emerg Med 1-5 Sharma R, Nachum S, Davidson KW, Nochomovitz M. It's not just FaceTime: Core competencies for the Medical Virtualist. Int J Emerg Med. 2019;12(1):1-5. DOI: 10.1186/s12245-019-0226-y https://doi.org/10.1186/s12245-019-0226-y Ghai S Teledentistry during COVID-19 pandemic 2020 Diabetes Metab Syndr 933-935 Ghai S. Teledentistry during COVID-19 pandemic. Diabetes Metab Syndr. 2020;14(5):933-935. DOI: 10.1016/j.dsx.2020.06.029 https://doi.org/10.1016/j.dsx.2020.06.029 Sartori DJ Olsen S Weinshel E Zabar SR Preparing trainees for telemedicine: a virtual OSCE pilot 2019 Med Educ 517-518 Sartori DJ, Olsen S, Weinshel E, Zabar SR. Preparing trainees for telemedicine: a virtual OSCE pilot. Med Educ. 2019;53(5):517-518. DOI: 10.1111/medu.13851 https://doi.org/10.1111/medu.13851 Hopwood J Myers G Sturrock A Twelve tips for conducting a virtual OSCE 2020 Med Teach 633-636 Hopwood J, Myers G, Sturrock A. Twelve tips for conducting a virtual OSCE. Med Teach. 2020;43(6):633-636. DOI: 10.1080/0142159X.2020.1830961 https://doi.org/10.1080/0142159X.2020.1830961 Pante SV Weiler M Steinweg B Herrmann-Werner A Brünahl C Gornostayeva M Brass L Mutschler A Schaal-Ardicoglu A Wagener S Möltner A Jünger J Digitalization within the MME study program – Teaching and assessment of communicative and interprofessional skills in the Heidelberg module via video conference together with a virtual OSCE course 2020 GMS J Med Educ Doc88 Pante SV, Weiler M, Steinweg B, Herrmann-Werner A, Brünahl C, Gornostayeva M, Brass L, Mutschler A, Schaal-Ardicoglu A, Wagener S, Möltner A, Jünger J. Digitalization within the MME study program – Teaching and assessment of communicative and interprofessional skills in the Heidelberg module via video conference together with a virtual OSCE course. GMS J Med Educ. 2020;37(7):Doc88. DOI: 10.3205/zma001381 https://doi.org/10.3205/zma001381 Donn J Scott JA Binnie V Bell A A pilot of a Virtual Objective Structured Clinical Examination in dental education. A response to COVID-19 2020 Eur J Dent Educ 488-494 Donn J, Scott JA, Binnie V, Bell A. A pilot of a Virtual Objective Structured Clinical Examination in dental education. A response to COVID-19. Eur J Dent Educ. 2020;25(3):488-494. DOI: 10.1111/eje.12624 https://doi.org/10.1111/eje.12624 WMA The World Medical Association 1975 WMA Declaration of Helsinki – Ethical Principles for Medical Research involving Human Subjects 29-32 WMA The World Medical Association. WMA Declaration of Helsinki – Ethical Principles for Medical Research involving Human Subjects. Ferney-Voltaire: WMA The World Medical Association; 1975. p.29-32. Zugänglich unter/available from: https://www.wma.net/policies-post/wma-declaration-of-helsinki-ethical-principles-for-medical-research-involving-human-subjects/ https://www.wma.net/policies-post/wma-declaration-of-helsinki-ethical-principles-for-medical-research-involving-human-subjects/ Schuebel F Höfer SH Rüsseler M Walcher F Introduction of Craniomaxillofacial Surgery as a Component of Medical Student Training in General Surgery 2014 J Oral Maxillofac Surg 2318 Schuebel F, Höfer SH, Rüsseler M, Walcher F. Introduction of Craniomaxillofacial Surgery as a Component of Medical Student Training in General Surgery. J Oral Maxillofac Surg. 2014;72(11):2318.e1-6. DOI: 10.1016/j.joms.2014.05.006 https://doi.org/10.1016/j.joms.2014.05.006 Höfer SH Schuebel F Sader R Landes C Development and implementation of an objective structured clinical examination (OSCE) in CMF-surgery for dental students 2013 J Craniomaxillofac Surg 412-416 Höfer SH, Schuebel F, Sader R, Landes C. Development and implementation of an objective structured clinical examination (OSCE) in CMF-surgery for dental students. J Craniomaxillofac Surg. 2013;41(5):412-416. DOI: 10.1016/j.jcms.2012.11.007 https://doi.org/10.1016/j.jcms.2012.11.007 Hoefer SH Sterz J Bender B Stefanescu MC Theis M Walcher F Sader R Ruesseler M Conveying practical clinical skills with the help of teaching associates—a randomised trial with focus on the long term learning retention 2017 BMC Med Educ 65 Hoefer SH, Sterz J, Bender B, Stefanescu MC, Theis M, Walcher F, Sader R, Ruesseler M. Conveying practical clinical skills with the help of teaching associates—a randomised trial with focus on the long term learning retention. BMC Med Educ. 2017;17(1):65. DOI: 10.1186/s12909-017-0892-5 https://doi.org/10.1186/s12909-017-0892-5 Hoefer SH Sterz J Bender B Stefanescu C Theis M Walcher F Sader R Ruesseler M Structured evaluation and need-based restructuring of the cranio-maxillofacial surgery module within surgical clerkship 2017 J Craniomaxillofacial Surg 628-633 Hoefer SH, Sterz J, Bender B, Stefanescu C, Theis M, Walcher F, Sader R, Ruesseler M. Structured evaluation and need-based restructuring of the cranio-maxillofacial surgery module within surgical clerkship. J Craniomaxillofacial Surg. 2017;45(5):628-633. DOI: 10.1016/j.jcms.2017.01.031 https://doi.org/10.1016/j.jcms.2017.01.031 Harendza S Gärtner J Zelesniack E Prediger S Evaluation of a telemedicine-based training for final-year medical students including simulated patient consultations, documentation, and case presentation 2020 GMS J Med Educ Doc94 Harendza S, Gärtner J, Zelesniack E, Prediger S. Evaluation of a telemedicine-based training for final-year medical students including simulated patient consultations, documentation, and case presentation. GMS J Med Educ. 2020;37(7):Doc94. DOI: 10.3205/zma001387 https://doi.org/10.3205/zma001387 Sterz J Linßen S Stefanescu MC Schreckenbach T Seifert LB Ruesseler M Implementation of written structured feedback into a surgical OSCE 2021 BMC Med Educ 192 Sterz J, Linßen S, Stefanescu MC, Schreckenbach T, Seifert LB, Ruesseler M. Implementation of written structured feedback into a surgical OSCE. BMC Med Educ. 2021;21(1):192. DOI: 10.1186/s12909-021-02581-3 https://doi.org/10.1186/s12909-021-02581-3 11en1de

Table 1: Performance measurement of the study group (SG) and control group (CG) for the structural facial examination (SFE), management mandibular fracture (MMF), management of a squamous cell carcinoma (MSCC) and the final score including average, median, standard deviation (SD) and sample size (n) and significance test of student performance using the Mann-Wilcoxon-Whitney-U-Test

Tabelle 1: Leistungsmessung der Studiengruppe (SG) und der Kontrollgruppe (KG) für die strukturierte Gesichtsuntersuchung (GSU), das Management der Unterkieferfraktur (MUK), das Management eines Plattenepithelkarzinoms (MPEC) und das Endergebnis einschließlich Mittelwert, Median, Standardabweichung (SD) und Stichprobengröße (n) sowie Signifikanztest der Leistungen der Studierenden mit dem Mann-Wilcoxon-Whitney-U-Test

22en2de

Table 2: Student evaluation questionaire using a 5-point Likert-scale ((1) Strongly agree; (2) Agree; (3) Neither agree nor disagree; (4) Disagree; (5) Strongly disagree). (Av.=average, Med.=median, SD=standard deviation)

Tabelle 2: Fragebogen zur Bewertung durch die Studierenden auf einer 5-stufigen Likert-Skala ((1) stimme voll und ganz zu; (2) stimme zu; (3) stimme weder zu noch stimme ich zu; (4) stimme nicht zu; (5) stimme überhaupt nicht zu). (Av.=Durchschnitt, Med.=Median, SD=Standardabweichung)

33en3de

Table 3: Examiner evaluation questionnaire using a 5-point Likert-scale ((1) Strongly agree; (2) Agree; (3) Neither agree nor disagree; (4) Disagree; (5) Strongly disagree). (Av.=average, Med.=Median, SD=standard deviation)

Tabelle 3: Fragebogen zur Bewertung der Prüfenden anhand einer 5-stufigen Likert-Skala ((1) stimme voll und ganz zu; (2) stimme zu; (3) stimme weder zu noch stimme ich zu; (4) stimme nicht zu; (5) stimme überhaupt nicht zu). (MW=Durchschnitt, Med.=Median, SD=Standardabweichung)

3

1 1en 1de Figure 1: Study design Abbildung 1: Studiendesign

2 2en 2de Figure 2: Exemplary interaction between examiner and student in the OSCE station “management mandibular fracture” via zoom®, Power Point presentation with precise working assignment presented to students using the screen share function for one minute. Students had five minutes to complete the OSCE assignment. Each examination took 18 minutes. The remaining 12 minutes were used for feedback and evaluation of the new Tele-OSCE format.” Abbildung 2: Beispielhafte Interaktion zwischen Prüfendem und Studierendem bei der OSCE-Station "Management der Unterkieferfraktur" via Zoom®, PowerPoint-Präsentation mit präziser Arbeitsaufgabe, die den Studierenden über die Screen-Share-Funktion eine Minute lang präsentiert wurde. Die Studierenden hatten fünf Minuten Zeit, die OSCE-Station zu absolvieren. Jede Prüfung dauerte 18 Minuten. Die verbleibenden 12 Minuten wurden für das Studierenden-Feedback und die Evaluation des neuen Tele-OSCE-Formats genutzt.

2 0 1 1en 1de OSCE checklists for the three stations OSCE Checklisten der drei Prüfungstationen 1