zma001545
10.3205/zma001545
urn:nbn:de:0183-zma0015453
article
Artikel
Usability and preference of electronic vs. paper and pencil OSCE checklists by examiners and influence of checklist type on missed ratings in the Swiss Federal Licensing Exam
Usability und Präferenz von elektronischen OSCE-Checklisten im Vergleich zu papierbasierten Checklisten gemäss Prüfenden und Einfluss des Checklisten-Typs auf fehlende Bewertungen in der Eidgenössischen Prüfung
Wagner
Wagner
Felicitas L.
FL
University of Bern, Institute for Medical Education, Department for Assessment and Evaluation, Mittelstr. 43, CH-3012 Bern, SwitzerlandUniversity of Bern, Institute for Medical Education, Department for Assessment and Evaluation, Bern, Switzerland
Universität Bern, Institut für Medizinische Lehre, Abteilung für Assessment und Evaluation, Mittelstr. 43, CH-3012 Bern, SchweizUniversität Bern, Institut für Medizinische Lehre, Abteilung für Assessment und Evaluation, Bern, Schweiz
felicitas.wagner@iml.unibe.ch
author
Feller
Feller
Sabine
S
University of Bern, Institute for Medical Education, Department for Assessment and Evaluation, Bern, Switzerland
Universität Bern, Institut für Medizinische Lehre, Abteilung für Assessment und Evaluation, Bern, Schweiz
sabine.feller@iml.unibe.ch
author
Schmitz
Schmitz
Felix M.
FM
University of Bern, Institute for Medical Education, Department for Software Development, Usability Consulting and IT Infrastructure, Bern, Switzerland
Universität Bern, Institut für Medizinische Lehre, Abteilung für Software-Entwicklung, Usability-Consulting und IT-Infrastruktur, Bern, Schweiz
felix.schmitz@iml.unibe.ch
author
Zimmermann
Zimmermann
Philippe G.
PG
University of Bern, Institute for Medical Education, Department for Software Development, Usability Consulting and IT Infrastructure, Bern, Switzerland
Universität Bern, Institut für Medizinische Lehre, Abteilung für Software-Entwicklung, Usability-Consulting und IT-Infrastruktur, Bern, Schweiz
philippe.zimmermann@iml.unibe.ch
author
Krings
Krings
Rabea
R
University of Bern, Institute for Medical Education, Department for Assessment and Evaluation, Bern, Switzerland
Universität Bern, Institut für Medizinische Lehre, Abteilung für Assessment und Evaluation, Bern, Schweiz
rabea.krings@iml.unibe.ch
author
Guttormsen
Guttormsen
Sissel
S
University of Bern, Institute for Medical Education, Bern, Switzerland
Universität Bern, Institut für Medizinische Lehre, Bern, Schweiz
sissel.guttormsen@iml.unibe.ch
author
Huwendiek
Huwendiek
Sören
S
University of Bern, Institute for Medical Education, Department for Assessment and Evaluation, Bern, Switzerland
Universität Bern, Institut für Medizinische Lehre, Abteilung für Assessment und Evaluation, Bern, Schweiz
soeren.huwendiek@iml.unibe.ch
author
German Medical Science GMS Publishing House
Düsseldorf
610
OSCE
checklists
electronic
usability
evaluation
national
OSCE
Checklisten
elektronisch
Usability
Evaluation
national
OSCE
OSCE
20210113
20220128
20220209
20220414
engl
germ
This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung).
2366-5017
39
2
GMS Journal for Medical Education
GMS J Med Educ
24
University of Bern, Institute for Medical Education
Hintergrund: Nur wenige Studien mit kleinen Stichprobengrößen haben elektronische OSCE-Checklisten (Objective Structured Clinical Examination) mit traditionellen OSCE-Checklisten in Papierform verglichen. In dieser Studie wurden die von Prüfenden wahrgenommene Usability und Präferenz für den OSCE-Checklisten-Typ (elektronisch vs. papierbasiert) verglichen und der Einfluss des OSCE-Checklisten-Typs auf fehlende Bewertungen ermittelt für die Eidgenössische Clinical Skills-Prüfung Humanmedizin in der Schweiz.Methode: Die Prüfenden der Eidgenössischen Clinical Skills-Prüfung Humanmedizin wurden in zwei aufeinanderfolgenden Jahren gebeten, den OSCE-Checklisten-Typ zu bewerten, mit dem sie während der Prüfung gearbeitet hatten. Dies geschah anhand eines Fragebogens mit 14 geschlossenen Fragen (demographische Angaben, Erfahrung mit dem Checklisten-Typ, wahrgenommene Usability, Präferenz für den Checklisten-Typ). Außerdem wurde die Anzahl der fehlenden Bewertungen bei der papierbasierten Checkliste erfasst.Resultate: Die Daten derjenigen Prüfenden (n=377) mit Erfahrung mit beiden OSCE-Checklisten-Typen wurden ausgewertet. Die elektronische OSCE-Checkliste wurde bei allen Aspekten der Usability (einfache Benutzung, Kandidierendenbewertung und Fehlerkorrektur, Übersichtlichkeit, Ablenkung bei der Verwendung der Checkliste, Gesamtzufriedenheit) signifikant besser bewertet, mit Ausnahme der Geschwindigkeit des Erfassens von Kommentaren (kein signifikanter Unterschied). Die Mehrheit der Prüfenden in beiden Jahren (2014: 54.5%, n=60, 2015: 89.8%, n=230) gab an, in Zukunft lieber mit der elektronischen OSCE-Checkliste arbeiten zu wollen. Bei 14.2% der papierbasierten OSCE-Checklisten wurden fehlende Bewertungen festgestellt, welche mit elektronischen OSCE-Checklisten vermieden werden konnten.Schlussfolgerungen: Elektronische OSCE-Checklisten wurden von einer breiten nationalen Stichprobe von Prüfenden als deutlich benutzerfreundlicher eingestuft und gegenüber OSCE-Checklisten auf Papier bevorzugt, was frühere Ergebnisse von Prüfungen auf Fakultätsebene bestätigt. Außerdem wurden mit den elektronischen OSCE-Checklisten fehlende Bewertungen vermieden. Insgesamt ist die Verwendung elektronischer OSCE-Checklisten daher empfehlenswert.
Background: Only a few studies with small sample sizes have compared electronic Objective Structured Clinical Examination (OSCE) rating checklists with traditional paper-based OSCE rating checklists. In this study, the examiner-perceived usability and preference for type of OSCE checklist (electronic vs. paper based) were compared, and the influence of OSCE checklist type on missed ratings was determined, for the Swiss Federal Licensing Examination in clinical skills for human medicine.Methods: All examiners in the Swiss Federal Licensing Examination in clinical skills for human medicine were invited over two subsequent years to evaluate the OSCE checklist type they had worked with during the examination. This was based on a questionnaire with 14 closed questions (i.e., demographic, checklist-type experience, perceived usability, checklist type preference). Furthermore, the numbers of missed ratings for the paper-based checklist were recorded.Results: The data from these examiners (n=377) with experience of both OSCE checklist types were analyzed. The electronic OSCE checklist was rated significantly higher on all usability aspects (i.e., ease of use, candidate rating and error correction, clarity, distraction using the checklist, overall satisfaction), except for the speed of registering comments (no significant difference). The majority of the examiners in both years (2014: 54.5%, n=60, 2015: 89.8%, n=230) reported preference for working with the electronic OSCE checklist in the future. Missed ratings were seen for 14.2% of the paper-based OSCE checklists, which were prevented with the electronic OSCE checklists.Conclusions: Electronic OSCE checklists were rated significantly more user-friendly and were preferred over paper-based OSCE checklists by a broad national sample of examiners, supporting previous results from faculty-level examinations. Furthermore, missed ratings were prevented with the electronic OSCE checklists. Overall, the use of electronic OSCE checklists is therefore advisable.
BackgroundThe administration of Objective Structured Clinical Examinations (OSCEs) has become the standard method to reliably assess practical skills in medical education , , , . In an OSCE, the clinical and communication skills of the students are probed while they complete multiple stations, each of which requires them to work on a particular medical problem. During the OSCE, their performance is observed and rated by examiners through standardized, structured checklists.Traditionally, paper-based checklists have been used to rate the candidates during an OSCE, while more recently, with the emergence of mobile electronic devices, electronic OSCE checklists have been developed and successfully implemented , , . Electronic OSCE checklists are usually presented on “tablet” computers, as these are more flexible than laptops or desktop devices . To date, however, few studies have compared electronic vs. paper-based OSCE checklists regarding their usability and the examiner checklist type preference. As examiners are an important stakeholder group and the users of the checklists, it is important what their usability perceptions and preferences are. According to Petersen , “the underlying construct of usability is to make objects compatible” with the user. Objects can be hardware, software, or every-day tools. Their design should not hinder the completion of the tasks they were designed for. Petersen further describes usability as how easy to use an object is and underlines the importance of the quality of the generated output for which an object has been created to determine its usability. OSCEs create a high cognitive load for the examiners. Examiners have to simultaneously observe and rate the performances of the candidates, find the respective items in the OSCE checklist, decide on the amount of points the candidates receive for the different checklist items, and also handle the OSCE checklist. Paper-based OSCE checklists, e.g., can be several pages long . Furthermore, the examination times are usually long. Considering these aspects, the OSCE checklists need to be easy to use and allow the exminers to rate candidates in an efficient and effective way to not increase the cognitive load and hinder the completion of the task they were created for, that is, rating the performances of the candidates. It is therefore important that they do not distract the examiners from their observing and rating of the performances of the candidates during examinations. Finally, also the output quality is an important aspect in the context of usability . Paper-based OSCE checklists can have specific issues regarding the quality of the data. These often contain a substantial number of missed ratings, as checklist items are easily overlooked during an examination, which makes time-consuming manual data verification necessary . Furthermore, paper-based checklists usually have to be scanned to transfer the OSCE results into a digital form, as a necessary step to make the results available for analysis. The use of electronic OSCE checklists on the other hand leads to better data quality because missed ratings can be prevented. Furthermore, the data can be downloaded and stored electronically directly following the examination, making the preparation of the data for analysis less error-prone and time-consuming compared to paper-based OSCE checklists .A systematic review in 2019 mentioned three studies that investigated examiner perceptions of electronic OSCE checklists, although only two of these , investigated the perceived usability of paper-based versus electronic OSCE checklists. Along with studies by Hochlehnert et al. and Currie et al. , these two studies , suggested that the perceived usability of the respective electronic OSCE checklist tools that were used was high. However, these involved only small to medium numbers of examiners (n=10 , n=35 and 33 , n=93 , n=43 ) who were from a single faculty, thus limiting the generalizability of their results. Furthermore, as described above, one critical issue with paper-based OSCE checklists are missed ratings. However, to date little is known about the size of this problem. To our knowledge, only three studies , , have addressed this problem to date.Our research questions therefore were:How does a large group of examiners from five different faculties, experienced with paper-based and electronic OSCE checklists, rate the usability of electronic versus paper-based OSCE checklists in a national licensing skills examination?Which type of checklist (electronic vs. paper-based) is preferred by the examiners of a national licensing skills examination? How large is the amount of missed ratings in the paper-based OSCE checklists?
HintergrundDie Durchführung von objektiven, strukturierten klinischen Prüfungen (Objective Structured Clinical Examinations, OSCEs) hat sich als Standardmethode zur zuverlässigen Bewertung praktischer Fähigkeiten in der medizinischen Ausbildung etabliert , , , . Bei einem OSCE werden die klinischen und kommunikativen Fähigkeiten der Studierenden geprüft, während sie mehrere Stationen absolvieren, bei denen sie jeweils ein bestimmtes medizinisches Problem bearbeiten müssen. Während eines OSCE wird ihre Leistung von den Prüfenden anhand standardisierter, strukturierter Checklisten beobachtet und bewertet.Traditionell wurden Checklisten auf Papier verwendet, um die Kandidierenden während eines OSCE zu bewerten, während in jüngerer Zeit, mit dem Aufkommen mobiler elektronischer Geräte, elektronische OSCE-Checklisten entwickelt und erfolgreich eingesetzt wurden , , . Elektronische OSCE-Checklisten werden in der Regel auf „Tablet“-Computern präsentiert, da diese flexibler sind als Laptops oder Desktop-Geräte . Bislang gibt es jedoch nur wenige Studien, die elektronische und papierbasierte OSCE-Checklisten hinsichtlich ihrer Usability und dem von den Prüfenden bevorzugten Checklisten-Typ verglichen haben. Da die Prüfenden eine wichtige Interessengruppe und die Nutzer der Checklisten sind, ist es wichtig, wie sie die Usability wahrnehmen und welche Präferenzen sie haben. Nach Petersen besteht das zugrundeliegende Konstrukt der Usability darin, „Objekte mit dem Benutzer kompatibel zu machen“. Bei den Objekten kann es sich um Hardware, Software oder alltägliche Hilfsmittel handeln. Ihr Design sollte die Erledigung der Aufgaben, für die sie entwickelt wurden, nicht behindern. Petersen beschreibt die Usability als die Frage, wie einfach ein Objekt zu benutzen ist und unterstreicht die Bedeutung der Qualität der erzeugten Ergebnisse, für die ein Objekt geschaffen wurde, um seine Usability zu bestimmen. OSCEs stellen eine hohe kognitive Belastung für die Prüfenden dar. Die Prüfenden müssen gleichzeitig die Leistungen der Kandidierenden beobachten und bewerten, die entsprechenden Items in der OSCE-Checkliste finden, über die Anzahl der Punkte entscheiden, die die Kandidierenden für die verschiedenen Items der Checkliste erhalten und die OSCE-Checkliste handhaben. Papierbasierte OSCE-Checklisten können beispielsweise mehrere Seiten lang sein . Außerdem sind die Prüfungszeiten in der Regel lang. In Anbetracht dieser Aspekte müssen die OSCE-Checklisten einfach zu handhaben sein und den Prüfenden eine effiziente und effektive Bewertung der Kandidierenden ermöglichen, um die kognitive Belastung nicht zu erhöhen und die Erfüllung der Aufgabe, für die sie erstellt wurden, nämlich die Bewertung der Leistung der Kandidierenden, nicht zu behindern. Es ist daher wichtig, dass sie die Prüfenden nicht von der Beobachtung und Bewertung der Leistung der Kandidierenden während der Prüfung ablenken. Schließlich ist auch die Qualität des Outputs ein wichtiger Aspekt im Zusammenhang mit der Usability [9]. Papierbasierte OSCE-Checklisten können spezifische Probleme hinsichtlich der Datenqualität aufweisen. Sie enthalten oft eine beträchtliche Anzahl von fehlenden Bewertungen, da Checklistenitems während einer Prüfung leicht übersehen werden, was eine zeitaufwändige manuelle Datenüberprüfung erforderlich macht . Darüber hinaus müssen papierbasierte Checklisten in der Regel eingescannt werden, um die Ergebnisse in eine digitale Form zu übertragen, was ein notwendiger Schritt ist, um die Ergebnisse für die Analyse verfügbar zu machen. Die Verwendung elektronischer OSCE-Checklisten führt dagegen zu einer besseren Datenqualität, da fehlende Bewertungen vermieden werden können. Außerdem können die Daten direkt im Anschluss an die Prüfung elektronisch heruntergeladen und gespeichert werden, was die Aufbereitung der Daten für die Analyse im Vergleich zu papierbasierten OSCE-Checklisten weniger fehleranfällig und zeitaufwändig macht .In einer systematischen Übersichtsarbeit aus dem Jahr 2019 wurden drei Studien erwähnt, die die Wahrnehmung elektronischer OSCE-Checklisten durch die Prüfenden untersuchten, wobei jedoch nur zwei dieser Studien , die wahrgenommene Usability von papierbasierten gegenüber elektronischen OSCE-Checklisten untersuchten. Zusammen mit den Studien von Hochlehnert et al. und Currie et al. deuten diese beiden Studien , darauf hin, dass die wahrgenommene Usability der jeweils verwendeten elektronischen OSCE-Checklisten-Tools hoch war. An diesen Studien war jedoch nur eine kleine bis mittlere Anzahl von Prüfenden beteiligt (n=10 , n=35 und 33 , n=93 , n=43 ), die einer einzelnen Fakultät angehörten, wodurch die Generalisierbarkeit der Ergebnisse eingeschränkt ist. Wie oben beschrieben, sind fehlende Bewertungen ein kritisches Problem bei OSCE-Checklisten auf Papier. Bislang ist jedoch wenig über das Ausmaß dieses Problems bekannt. Unseres Wissens haben sich bisher nur drei Studien , , mit diesem Problem befasst.Unsere Forschungsfragen lauteten daher:Wie bewertet eine große Gruppe von Prüfenden aus fünf verschiedenen Fakultäten, die Erfahrung mit papierbasierten und elektronischen OSCE-Checklisten haben, die Usability von elektronischen gegenüber papierbasierten OSCE-Checklisten in einer nationalen Eignungsprüfung?Welcher Checklisten-Typ (elektronisch oder papierbasiert) wird von den Prüfenden einer nationalen Eignungsprüfung bevorzugt? Wie hoch ist die Anzahl der fehlenden Bewertungen bei papierbasierten OSCE-Checklisten?
MethodsSettingThe Swiss Federal Licensing Examination in clinical skills (which follows the principles of the OSCE examination) contained 12 different OSCE stations in both 2014 and 2015. The examination was conducted over three consecutive days at five faculties of Human Medicine in Basel, Bern, Geneva, Lausanne and Zurich. The paper-based OSCE checklists that were used for the 2014 examination were created using a teleform information capture system (Cardiff Software). These checklists had to be scanned after the examination, to make the results available for analysis (DR-6050 C image formula scanner; Canon). The paper-based OSCE checklists contained between 25 and 38 items, which was due to the different contents of the individual stations. These items were always sorted according to the same four dimensions, in the following order: history taking, physical examination, management, and communication. The paper-based OSCE checklists further contained two global ratings for overall impression. At the top of the paper-based OSCE checklists, a reminder sentence was included stating that all of the items in the checklist had to be completed.The electronic OSCE checklists in the 2015 examination were completed using identical fourth generation iPad devices (2014, Apple). The iPad app “OSCE-Eval” [https://eosce.ch/], version 2.1, was used to rate the candidates. This app includes different features to reduce potential errors and to ensure that the collected data are readily available for subsequent analyses. The users receive visual feedback to make sure that every item is completed. Every item had to be evaluated to finally submit the checklist. After the final assessment, no more changes were possible. Encrypted data were synchronized with a secure server, and the data were automatically exported to an electronic spreadsheet. Depending on the specific content of the stations, the electronic OSCE checklists contained between 21 and 42 items. The items were sorted according to the same four dimensions as in the paper-based OSCE checklist. In addition, there were two global ratings in each checklist for overall impressions (see figure 1 and figure 2 for examples of both checklist types). The electronic checklists were developed according to the usability standards at the time, and considerable effort was invested to iteratively check their acceptance during their development.In the introduction to the OSCE exam in both 2014 and 2015, the examiners were briefly instructed on how to use the checklists and how to rate the candidates. Additionally, the examiners working with the electronic OSCE checklist (in 2015) had the possibility to watch a specific, 6-min training video before the examination, to familiarize themselves with the checklist and the software. The training video was the same that was used by Schmitz et al. , who reported that the video was comprehensible and effective. SampleIn 2014, 696 examiners rated the performances of the candidates at the different stations using the paper-based OSCE checklist. In 2015, 696 examiners rated the performances of the candidates at the different stations using the electronic OSCE checklist. All examiners were invited to take part in the survey. Only data from examiners who had worked with both checklist types (paper-based and electronic) at least one time have been included to allow for comparisons between the electronic and the paper-based OSCE checklist. MaterialThe examiners evaluated the OSCE checklist type (i.e., paper-based in 2014, electronic in 2015) that they had used to rate the candidates through completion of a questionnaire (see table 1 ). The questionnaire contained a total of 14 closed questions: demographic information (three questions); experience with touch-screen devices and the two different OSCE checklist types (electronic, paper-based; three questions); subjective usability (seven questions); and future checklist type preference (one question). The replies were based on a 7-point Likert scale, from 1, as “do not agree at all”, to 7, as “fully agree”. The usability questions were informed by System Usability Scale . However, the questionnaire had only seven questions regarding usability, to reduce the efforts of the examiners, and six further questions concerning the specific requirements in an OSCE examination setting (e.g., questions regarding speed of rating the candidates, distraction from observing the candidates, speed of correcting input errors). These questions further reflect usability aspects as indicated by Petersen (ease of use, not hindring the completion of the task).The questionnaire was available in German and French. To ensure that the questions were clear, think-aloud trials with three examiners were conducted in both languages. During each think-aloud, the participants were asked to verbalize their thoughts while they were working on the questionnaire. This method thus allowed the identification of ambiguities and misconceptions, and it was used to make sure that the questions were correctly understood by the participants. The same questionnaire was used in 2014 and 2015. Finally, to determine the completeness of the data, the number of missed ratings for the paper-based checklists was recorded. ProcedureFor both years, within the first week following the examination, all of the examiners were invited to evaluate the OSCE checklist type they had worked with during the examination (i.e., paper-based in 2014, electronic in 2015). Hence, a comparison across the two OSCE checklist types was possible. In 2014, the examiners received the questionnaire in paper-based form directly after the <![CDATA[exam, in</PlainText></TextGroup> 2015 the questionnaire was implemented online <TextGroup><PlainText>using the</PlainText></TextGroup> online survey tool “Unipark” [<Hyperlink href="https://www.unipark.com/">https://www.unipark.com/</Hyperlink>] and the examiners were invited via e-mail. This type of study was regarded as exempt from formal ethical approval according to the regulations of the Ethics Committee (“Kantonale Ethikkommission” Canton of Bern) associated with the Medical Faculty of the University of Bern. Participation in the survey was voluntary and anonymous and participants have not been exposed to any conceivable risks by participating in this study. </Pgraph><SubHeadline2>Statistical analysis</SubHeadline2><Pgraph>Frequencies were analysed to report demographics of the sample. For comparisons between the paper-based and the electronic OSCE checklist, Mann-Whitney-Tests were used as the data are ordinally scaled. The alpha level was adjusted for multiple testing according to Bonferroni. The effect size is given by Pearson’s r, the magnitude of the effects was judged according to Cohen <TextLink reference="16"></TextLink>. </Pgraph></TextBlock>
<TextBlock language="de" linked="yes" name="Methode">
<MainHeadline>Methode</MainHeadline><SubHeadline2>Setting</SubHeadline2><Pgraph>Die Eidgenössische Clinical Skills-Prüfung Humanmedizin in der Schweiz (die sich an den Prinzipien einer OSCE-Prüfung orientiert) umfasste 2014 und 2015 jeweils 12 verschiedene OSCE-Stationen. Die Prüfung wurde an drei aufeinanderfolgenden Tagen an fünf Fakultäten für Humanmedizin in Basel, Bern, Genf, Lausanne und Zürich durchgeführt. </Pgraph><Pgraph>Die papierbasierten OSCE-Checklisten, die für die Prüfung 2014 verwendet wurden, wurden mit einem Teleform-Informationserfassungssystem (Cardiff Software) erstellt. Diese Checklisten mussten nach der Prüfung eingescannt werden (DR-6050 C Image Formula Scanner; Canon), um die Ergebnisse für die Analyse zur Verfügung zu stellen. Die papierbasierten OSCE-Checklisten enthielten zwischen 25 und 38 Items, was auf die unterschiedlichen Inhalte der einzelnen Stationen zurückzuführen war. Die Items waren immer nach denselben vier Dimensionen sortiert und zwar in folgender Reihenfolge: </Pgraph><Pgraph><OrderedList><ListItem level="1" levelPosition="1" numString="1.">Anamnese, </ListItem><ListItem level="1" levelPosition="2" numString="2.">Status, </ListItem><ListItem level="1" levelPosition="3" numString="3.">Management, </ListItem><ListItem level="1" levelPosition="4" numString="4.">Kommunikation. </ListItem></OrderedList></Pgraph><Pgraph>Die papierbasierten OSCE-Checklisten enthielten außerdem zwei globale Bewertungen für den Gesamteindruck. Am Anfang der papierbasierten OSCE-Checklisten befand sich zudem ein Erinnerungssatz, dass alle Punkte der Checkliste ausgefüllt werden müssen.</Pgraph><Pgraph>Die elektronischen OSCE-Checklisten wurden bei der Prüfung 2015 mit identischen iPad-Geräten der vierten Generation (2014, Apple) ausgefüllt. Für die Bewertung der Kandidierenden wurde die iPad-App „OSCE-Eval“ [<Hyperlink href="https://eosce.ch/">https://eosce.ch/</Hyperlink>], Version 2.1, verwendet. Diese App enthält verschiedene Funktionen, um potenzielle Fehler zu reduzieren und sicherzustellen, dass die gesammelten Daten für spätere Analysen leicht verfügbar sind. Die Benutzer erhalten visuelles Feedback um sicherzustellen, dass jedes Item ausgefüllt wird. Jedes Item musste bewertet werden, um die Checkliste endgültig einzureichen. Nach der abschließenden Bewertung waren keine Änderungen mehr möglich. Die verschlüsselten Daten wurden mit einem sicheren Server synchronisiert und die Daten automatisch in eine elektronische Tabelle exportiert. Je nach den spezifischen Inhalten der Stationen enthielten die elektronischen OSCE-Checklisten zwischen 21 und 42 Items. Die Items waren nach denselben vier Dimensionen geordnet wie in der papierbasierten OSCE-Checkliste. Zusätzlich gab es in jeder Checkliste zwei globale Bewertungen für den Gesamteindruck (siehe Abbildung 1 <ImgLink imgNo="1" imgType="figure"/> und Abbildung 2 <ImgLink imgNo="2" imgType="figure"/> für Beispiele beider Checklisten-Typen). Die elektronischen Checklisten wurden nach den damaligen Usability-Standards entwickelt und es wurden erhebliche Anstrengungen unternommen, um ihre Akzeptanz während der Entwicklung iterativ zu überprüfen.</Pgraph><Pgraph>Bei der Einführung in die OSCE-Prüfung wurden die Prüfenden sowohl 2014 als auch 2015 kurz in die Verwendung der Checklisten und die Bewertung der Kandidierenden eingewiesen. Zusätzlich hatten die Prüfenden, die mit der elektronischen OSCE-Checkliste arbeiteten (im Jahr 2015), die Möglichkeit, sich vor der Prüfung ein spezielles, 6-minütiges Schulungsvideo anzusehen, um sich mit der Checkliste und der Software vertraut zu machen. Dabei handelte es sich um dasselbe Schulungsvideo, das auch von Schmitz et al. <TextLink reference="6"></TextLink> verwendet wurde, welche berichteten, dass das Video verständlich und effektiv war.</Pgraph><SubHeadline2>Stichprobe</SubHeadline2><Pgraph>Im Jahr 2014 bewerteten 696 Prüfende die Leistungen der Kandidierenden an den verschiedenen Stationen anhand der papierbasierten OSCE-Checkliste. Im Jahr 2015 bewerteten 696 Prüfende die Leistungen der Kandidierenden an den verschiedenen Stationen anhand der elektronischen OSCE-Checkliste. Alle Prüfenden wurden eingeladen, an der Umfrage teilzunehmen. Es wurden nur Daten von Prüfenden berücksichtigt, die mindestens einmal mit beiden Checklisten-Typen (papierbasiert und elektronisch) gearbeitet hatten, um einen Vergleich zwischen der elektronischen und der papierbasierten OSCE-Checkliste zu ermöglichen.</Pgraph><SubHeadline2>Material</SubHeadline2><Pgraph>Die Prüfenden bewerteten den OSCE-Checklisten-Typ (d. h. papierbasiert im Jahr 2014, elektronisch im Jahr 2015), den sie zur Bewertung der Kandidierenden verwendet hatten, anhand eines Fragebogens (siehe Tabelle 1 <ImgLink imgNo="1" imgType="table"/>). Der Fragebogen enthielt insgesamt 14 geschlossene Fragen: demographische Angaben (drei Fragen), Erfahrung mit Touchscreen-Geräten und den beiden verschiedenen OSCE-Checklisten-Typen (elektronisch, papierbasiert; drei Fragen), subjektive Usability (sieben Fragen) und zukünftige Präferenz für den Checklisten-Typ (eine Frage). Die Antworten basierten auf einer 7-stufigen Likert-Skala, die von 1 (trifft gar nicht zu) bis 7 (trifft voll zu) reichte. </Pgraph><Pgraph>Die Fragen zur Usability orientierten sich an der System Usability Scale <TextLink reference="14"></TextLink>. Der Fragebogen enthielt jedoch nur sieben Fragen zur Usability, um den Aufwand für die Prüfenden zu reduzieren und sechs weitere Fragen, die sich auf die spezifischen Anforderungen in einer OSCE-Prüfungssituation beziehen (z. B. Fragen zur Geschwindigkeit der Bewertung der Kandidierenden, Ablenkung durch die Beobachtung der Kandidierenden, Geschwindigkeit der Korrektur von Eingabefehlern). Diese Fragen spiegeln zudem Usability-Aspekte im Sinne von Petersen <TextLink reference="9"></TextLink> wider (Benutzerfreundlichkeit, keine Behinderung der Aufgabenerfüllung).</Pgraph><Pgraph>Der Fragebogen lag in deutscher und französischer Sprache vor. Um die Verständlichkeit der Fragen zu gewährleisten, wurden in beiden Sprachen Think-Alouds <TextLink reference="15"></TextLink> mit drei Prüfenden durchgeführt. Bei jedem Think-Aloud wurden die Teilnehmenden gebeten, ihre Gedanken zu verbalisieren, während sie den Fragebogen bearbeiteten. Auf diese Weise konnten Unklarheiten und Missverständnisse aufgedeckt werden und es wurde sichergestellt, dass die Teilnehmenden die Fragen richtig verstanden. Der gleiche Fragebogen wurde 2014 und 2015 verwendet. </Pgraph><Pgraph>Um schließlich die Vollständigkeit der Daten zu ermitteln, wurde die Anzahl der fehlenden Bewertungen bei den papierbasierten Checklisten erfasst.</Pgraph><SubHeadline2>Vorgehen</SubHeadline2><Pgraph>In beiden Jahren wurden alle Prüfenden innerhalb der ersten Woche nach der Prüfung eingeladen, den OSCE-Checklisten-Typ zu bewerten, mit dem sie während der Prüfung gearbeitet hatten (d. h. papierbasiert im Jahr 2014, elektronisch im Jahr 2015). Somit war ein Vergleich zwischen den beiden OSCE-Checklisten-Typen möglich. Im Jahr 2014 erhielten die Prüfenden den Fragebogen in Papierform direkt nach der Prüfung, im Jahr 2015 wurde der Fragebogen online mit dem Online-Umfragetool „Unipark“ [<Hyperlink href="https://www.unipark.com/">https://www.unipark.com/</Hyperlink>] umgesetzt und die Prüfenden wurden per E-Mail eingeladen. Diese Art von Studie war gemäss den Bestimmungen der Kantonalen Ethikkommission des Kantons Bern, welche mit der Medizinischen Fakultät der Universität Bern assoziiert ist, von einer formellen ethischen Genehmigung ausgenommen. Die Teilnahme an der Umfrage war freiwillig und anonym und die Teilnehmenden wurden durch die Teilnahme an dieser Studie keinen denkbaren Risiken ausgesetzt.</Pgraph><SubHeadline2>Statistische Analyse</SubHeadline2><Pgraph>Die Häufigkeiten wurden analysiert um die demographischen Daten der Stichprobe darzustellen. Für Vergleiche zwischen der papierbasierten und der elektronischen OSCE-Checkliste wurden Mann-Whitney-Tests verwendet, da die Daten ordinalskaliert sind. Das Alpha-Niveau wurde gemäß Bonferroni für multiples Testen angepasst. Die Effektgröße wird durch Pearson's r angegeben, die Effektstärke wurde nach Cohen <TextLink reference="16"></TextLink> beurteilt.</Pgraph></TextBlock>
<TextBlock language="en" linked="yes" name="Results">
<MainHeadline>Results</MainHeadline><SubHeadline2>Participants</SubHeadline2><Pgraph>In 2014, 696 examiners rated the performances of the candidates at the different stations using the paper-based OSCE checklist. Of these, 540 (78%) completed the survey questionnaire. In 2015, 696 examiners rated the performances of the candidates at the different stations using the electronic OSCE checklist. Here, the response rate was 58%, where 406 of the 696 examiners completed the survey questionnaire. </Pgraph><Pgraph>The questionnaire datasets from 35 (4%) examiners were removed from the database due to missing data (2014: 19 datasets; 2015: 16 datasets). All datasets that were removed contained no useful information as these persons stopped filling out the questionnaire after the language selection right in the beginning of the questionnaire. Datasets from 911 (96%) examiners were taken forward for the analysis. Of these 911 examiners, 377 (41%) reported that they had worked with both checklist types (paper-based and electronic) at least once. This included examiners from both years, as examiners who worked with the paper-based OSCE checklist in 2014 might have had previous experience with electronic OSCE checklists for other examinations. Only the responses from these examiners who had experience with both checklist types were included in the quantitative analysis. Table 2 <ImgLink imgNo="2" imgType="table"/> details the experiences of the examiners for both of the checklist types. </Pgraph><SubHeadline2>Demographic questions</SubHeadline2><Pgraph>The demographics of the examiners in the final sample are presented in table 2 <ImgLink imgNo="2" imgType="table"/>. </Pgraph><SubHeadline2>Touch-screen experience</SubHeadline2><Pgraph>Most examiners from both years had vast (M<Subscript>2014</Subscript>=6.21, M<Subscript>2015</Subscript>=6.08; scale: 1, “not experienced at all”, to 7, “very experienced”) and comparable experience with the use of touch-screens (<Mark2>U</Mark2>=13933.5, <Mark2>n.s.</Mark2>). Thus, the examiner ratings and checklist type preferences (i.e., paper-based vs. electronic) are unlikely to be influenced by their prior experience with touch-screen devices. </Pgraph><SubHeadline2>Usability </SubHeadline2><Pgraph>Mann-Whitney-Tests indicated that the majority of the examiner’s usability ratings significantly differed between the electronic and the paper-based OSCE checklists (see table 3 <ImgLink imgNo="3" imgType="table"/>). The Bonferroni adjusted alpha level for the seven comparisons described in the following was .007. The electronic OSCE checklist was rated as significantly easier to use (<Mark2>U</Mark2>=9799.5, <Mark2>p</Mark2><0.007, <Mark2>r</Mark2>=.33) and clearer (<Mark2>U</Mark2>=11441.5, <Mark2>p</Mark2><0.007, <Mark2>r</Mark2>=.21) than the paper-based OSCE checklist. The electronic OSCE checklist also scored significantly higher for speed of rating of candidates (<Mark2>U</Mark2>=11408, <Mark2>p</Mark2><0.007, <Mark2>r</Mark2>=.20) and correcting input errors (<Mark2>U</Mark2>=7766.5, <Mark2>p</Mark2><0.007, <Mark2>r</Mark2>=.41). Furthermore, filling in the electronic OSCE checklist was rated as significantly less distracting than filling in the paper-based OSCE checklist (<Mark2>U</Mark2>=11673, <Mark2>p</Mark2><0.007, <Mark2>r</Mark2>=.18). The speed of writing comments was not rated differently between the two checklist types (<Mark2>U</Mark2>=12554, <Mark2>p</Mark2>=0.035, n.s., <Mark2>r</Mark2>=.11). The overall satisfaction of examiners was also significantly higher with the electronic than the paper-based OSCE checklist (<Mark2>U</Mark2>=7499, <Mark2>p</Mark2><0.007, <Mark2>r</Mark2>=.42) (see table 4 <ImgLink imgNo="4" imgType="table"/>). The effects sizes according to Cohen <TextLink reference="16"></TextLink> were either medium (between 0.3 and 0.5), or low (between 0.1 and 0.3). Taken together, the electronic OSCE checklist received higher usability ratings than the paper-based OSCE checklist.</Pgraph><SubHeadline2>Checklist type preference</SubHeadline2><Pgraph>At the end of the questionnaire, the examiners from both 2014 and 2015 who had indicated experience with both electronic and paper-based OSCE checklists were asked whether they would rather work with electronic or paper-based OSCE checklists in the future (see table 4 <ImgLink imgNo="4" imgType="table"/>). Across both years, the majority of these examiners who had had experience with both electronic and paper-based OSCE checklists preferred the electronic format. </Pgraph><SubHeadline2>Missed ratings for the paper-based OSCE checklist</SubHeadline2><Pgraph>The number of missed ratings in the paper-based checklist was recorded (see table 5 <ImgLink imgNo="5" imgType="table"/>). In 1428 (14.2%) of all of the paper-based checklists, there were missed ratings. These checklists contained between 1 and 12 missed ratings (<Mark2>M</Mark2>=1.45, <Mark2>SD</Mark2>=1.03). In the majority of these checklists, one rating was missed. </Pgraph></TextBlock>
<TextBlock language="de" linked="yes" name="Ergebnisse">
<MainHeadline>Ergebnisse</MainHeadline><SubHeadline2>Teilnehmende</SubHeadline2><Pgraph>Im Jahr 2014 bewerteten 696 Prüfende die Leistungen der Kandidierenden an den verschiedenen Stationen anhand der papierbasierten OSCE-Checkliste. Davon füllten 540 (78%) den Fragebogen aus. Im Jahr 2015 bewerteten 696 Prüfende die Leistungen der Kandidierenden an den verschiedenen Stationen anhand der elektronischen OSCE-Checkliste. Hier lag die Rücklaufquote bei 58%, wobei 406 der 696 Prüfenden den Fragebogen ausfüllten. </Pgraph><Pgraph>Die Fragebogendatensätze von 35 (4%) Prüfenden wurden aufgrund fehlender Daten aus der Datenbank entfernt (2014: 19 Datensätze; 2015: 16 Datensätze). Alle Datensätze, die entfernt wurden, enthielten keine nützlichen Informationen, da diese Personen das Ausfüllen des Fragebogens nach der Sprachauswahl gleich zu Beginn des Fragebogens abbrachen. Die Datensätze von 911 (96%) Prüfenden wurden für die Analyse übernommen. Von diesen 911 Prüfenden gaben 377 (41%) an, dass sie mindestens einmal mit beiden Checklisten-Typen (papierbasiert und elektronisch) gearbeitet hatten. Darunter befanden sich Prüfende aus beiden Jahren, da Prüfende, die 2014 mit der papierbasierten OSCE-Checkliste arbeiteten, bereits bei anderen Prüfungen Erfahrungen mit elektronischen OSCE-Checklisten gemacht haben konnten. Nur die Antworten derjenigen Prüfenden, die Erfahrung mit beiden Checklisten-Typen hatten, wurden in die quantitative Analyse einbezogen. In Tabelle 2 <ImgLink imgNo="2" imgType="table"/> sind die Erfahrungen der Prüfenden mit beiden Checklisten-Typen angegeben.</Pgraph><SubHeadline2>Demographische Fragen</SubHeadline2><Pgraph>Die demographischen Daten der Prüfenden der endgültigen Stichprobe sind in Tabelle 2 <ImgLink imgNo="2" imgType="table"/> dargestellt. </Pgraph><SubHeadline2>Touch-Screen-Erfahrung</SubHeadline2><Pgraph>Die meisten Prüfenden aus beiden Jahren hatten große (M<Subscript>2014</Subscript>=6.21, M<Subscript>2015</Subscript>=6.08; Skala: 1=„überhaupt nicht vertraut“, bis 7=„sehr vertraut“) und vergleichbare Erfahrung mit der Verwendung von Touchscreens (U=13933,5, n.s.). Daher ist es unwahrscheinlich, dass die Bewertungen der Prüfenden und die Präferenzen für den Checklisten-Typ (d. h. papierbasiert vs. elektronisch) durch ihre vorherige Erfahrung mit Touchscreen-Geräten beeinflusst wurden.</Pgraph><SubHeadline2>Usability </SubHeadline2><Pgraph>Mann-Whitney-Tests ergaben, dass sich die meisten Bewertungen der Usability durch die Prüfenden zwischen den elektronischen und den papierbasierten OSCE-Checklisten signifikant unterschieden (siehe Tabelle 3 <ImgLink imgNo="3" imgType="table"/>). Das Bonferroni-korrigierte Alpha-Niveau für die sieben im Folgenden beschriebenen Vergleiche betrug .007. Die elektronische OSCE-Checkliste wurde als signifikant einfacher zu benutzen (U=9799.5, p<0.007, r=.33) und übersichtlicher (U=11441.5, p<0.007, r=.21) als die papierbasierte OSCE-Checkliste bewertet. Die elektronische OSCE-Checkliste schnitt auch bei der Geschwindigkeit der Bewertung der Kandidierenden (U=11408, p<0.007, r=.20) und der Korrektur von Eingabefehlern (U=7766.5, p<0.007, r=.41) signifikant besser ab. Außerdem wurde das Ausfüllen der elektronischen OSCE-Checkliste als signifikant weniger ablenkend empfunden als das Ausfüllen der papierbasierten OSCE-Checkliste (U=11673, p<0.007, r=.18). Die Geschwindigkeit, mit der Kommentare geschrieben werden konnten, wurde zwischen den beiden Checklisten-Typen nicht als unterschiedlich bewertet (U=12554, p=0.035, n.s., r=.11). Auch die Gesamtzufriedenheit der Prüfenden war bei der elektronischen OSCE-Checkliste signifikant höher als bei der papierbasierten (U=7499, p<0.007, r=.42) (siehe Tabelle 4 <ImgLink imgNo="4" imgType="table"/>). Die Effektstärken nach Cohen <TextLink reference="16"></TextLink> waren entweder mittel (zwischen 0.3 und 0.5) oder gering (zwischen 0.1 und 0.3). Insgesamt erhielt die elektronische OSCE-Checkliste höhere Usability-Bewertungen als die papierbasierte OSCE-Checkliste.</Pgraph><SubHeadline2>Checklisten-Typ-Präferenz</SubHeadline2><Pgraph>Am Ende des Fragebogens wurden die Prüfenden aus den Jahren 2014 und 2015, die Erfahrungen sowohl mit elektronischen als auch mit papierbasierten OSCE-Checklisten angegeben hatten, gefragt, ob sie in Zukunft lieber mit elektronischen oder papierbasierten OSCE-Checklisten arbeiten würden (siehe Tabelle 4 <ImgLink imgNo="4" imgType="table"/>). In beiden Jahren bevorzugte die Mehrheit dieser Prüfenden, die Erfahrungen sowohl mit elektronischen als auch mit papierbasierten OSCE-Checklisten gemacht hatten, das elektronische Format. </Pgraph><SubHeadline2>Fehlende Bewertungen in der papierbasierten OSCE-Checkliste</SubHeadline2><Pgraph>Die Anzahl der fehlenden Bewertungen in den papierbasierten Checklisten wurde erfasst (siehe Tabelle 5 <ImgLink imgNo="5" imgType="table"/>). In 1428 (14.2%) aller papierbasierten Checklisten wurden Bewertungen ausgelassen. Diese Checklisten enthielten zwischen 1 und 12 fehlende Bewertungen (M=1.45, SD=1.03). In der Mehrheit dieser Checklisten wurde eine Bewertung ausgelassen. </Pgraph></TextBlock>
<TextBlock language="en" linked="yes" name="Discussion">
<MainHeadline>Discussion</MainHeadline><Pgraph>In this study that included a large sample of examiners experienced with electronic and paper-based OSCE checklists from five different faculties in the Swiss Federal licensing examination over two subsequent years, the perceived usability was significantly higher for the electronic than the paper-based OSCE checklist in all aspects except for the speed of writing comments, where no significant difference was observed. Furthermore, the vast majority of the examiners preferred to work with the electronic OSCE checklist in the future. Finally, there were missed ratings in 14.2% of all of the paper-based checklists versus none in the electronic checklist (as the electronic system required all checklist items to be completed). </Pgraph><Pgraph>We were able to show here that electronic OSCE checklists have higher perceived usability than paper-based checkists across a large dataset of examiners from five different faculties in the Swiss Federal Licensing examination. To date, the usability of electronic OSCE checklists has only been investigated in studies that have included mostly small to medium numbers of examiners <TextLink reference="6"></TextLink>, <TextLink reference="7"></TextLink>, <TextLink reference="8"></TextLink>, <TextLink reference="12"></TextLink>. Given the high cognitive load <TextLink reference="10"></TextLink> that these examiners experience during an OSCE, the usability of the OSCE checklist type to rate the candidates is essential. The examiners in this study overall were more satisfied with the electronic than with the paper-based OSCE checklist. They perceived the electronic OSCE checklist as clearer and easier to use compared to the paper-based OSCE checklist, while they also felt less distracted during the examinations. Furthermore, rating the candidates as well as correcting input errors was reported to be easier for the electronic compared to the paper-based OSCE checklist. However, there was no significant difference regarding the perceived speed of writing comments on a touch-pad (i.e., the electronic OSCE checklist) and writing comments on paper. It can be assumed that all of these factors contribute to allow the examiners to better focus their attention on the candidates and their performances during the examinations, thus keeping the cognitive load of the examiners lower in the electronic OSCE checklist.</Pgraph><Pgraph>Our analysis of missed ratings in the paper-based OSCE checklists showed that in some of the individual checklists, there were indeed a large number of missed items. However, overall, the amount of missed items was moderate, as this was seen for 14.2% of all of the paper-based OSCE checklists. In the majority of these (10.6% of all checklists containing missed items), only one missed item was found. The mean number of missed ratings in these checklists was 1.45 overall, which is a good deal lower compared to the missing ratings reported by Schmitz et al. <TextLink reference="6"></TextLink>. The number of missed ratings for such paper-based checklists therefore appears to vary greatly between different examinations and examiners. With the use of electronic OSCE checklists on the other hand, missed ratings can be prevented altogether, which represents an important advantage of the electronic OSCE checklist, as it ensures higher data quality <TextLink reference="6"></TextLink>, <TextLink reference="8"></TextLink>, <TextLink reference="12"></TextLink>. The output quality as an important aspect of usability <TextLink reference="9"></TextLink> thus is clearly higher in electronic OSCE checklists. Despite the introduction to the paper-based OSCE checklist at the beginning of the exam and a reminder sentence on top of the checklist, there were still cases where examiners missed to rate items. One possible explanation could be that because of the lower usability of the paper-based checklist, the coginitve load became too high for the examiners in some situations which may have lead to the missed ratings. </Pgraph><Pgraph>The analysis of the checklist type preferences showed a clear result. Both in 2014 (54.5%) and in 2015 (89.9%) the majority of the examiners who were experienced with both OSCE checklist types specified that they would prefer to work with electronic OSCE checklists in the future, thus confirming the results of Schmitz et al. <TextLink reference="6"></TextLink> and Currie et al. <TextLink reference="8"></TextLink>. We assume that this finding is related to the higher perceived usability of the electronic OSCE checklist. </Pgraph><Pgraph>The strengths of the present study are the large numbers of examiners involved, the high proportion of these examiners who had experience with both types of OSCE checklists (i.e., paper-based and electronic), and the multi-institutional (national) setting that included examiners from five different faculties from two language regions. </Pgraph><Pgraph>A limitation of this study is that except for the missed ratings, these data are based on the subjective impressions of the examiners with regard to the use of these checklists, rather than providing an objective measure of usability.</Pgraph></TextBlock>
<TextBlock language="de" linked="yes" name="Diskussion">
<MainHeadline>Diskussion</MainHeadline><Pgraph>In dieser Studie, die eine große Stichprobe von Prüfenden mit Erfahrung mit elektronischen und papierbasierten OSCE-Checklisten aus fünf verschiedenen Fakultäten im Rahmen der Eidgenössische Clinical Skills-Prüfung Humanmedizin in der Schweiz über zwei aufeinanderfolgende Jahre umfasste, war die wahrgenommene Usability bei der elektronischen OSCE-Checkliste in allen Aspekten signifikant höher als bei der papierbasierten, mit Ausnahme der Geschwindigkeit beim Verfassen von Kommentaren, bei welcher kein signifikanter Unterschied festgestellt wurde. Außerdem bevorzugte es die überwiegende Mehrheit der Prüfenden, in Zukunft mit der elektronischen OSCE-Checkliste zu arbeiten. Schließlich gab es in 14.2% aller papierbasierten Checklisten fehlende Bewertungen, während es in den elektronischen Checklisten keine gab (in der elektronischen Checkliste mussten alle Items ausgefüllt werden). </Pgraph><Pgraph>Wir konnten in dieser Studie in einem großen Datensatz von Prüfenden aus fünf verschiedenen Fakultäten der Eidgenössischen Clinical Skills-Prüfung zeigen, dass elektronische OSCE-Checklisten eine höhere wahrgenommene Usability aufweisen, als papierbasierte Checklisten. Bislang wurde die Usability elektronischer OSCE-Checklisten nur in Studien mit einer meist kleinen bis mittleren Anzahl von Prüfenden untersucht <TextLink reference="6"></TextLink>, <TextLink reference="7"></TextLink>, <TextLink reference="8"></TextLink>, <TextLink reference="12"></TextLink>. Angesichts der hohen kognitiven Belastung <TextLink reference="10"></TextLink>, der die Prüfenden während eines OSCE ausgesetzt sind, ist die Usability des OSCE-Checklisten-Typs zur Bewertung der Kandidierenden von wesentlicher Bedeutung. Die Prüfenden in dieser Studie waren insgesamt zufriedener mit der elektronischen OSCE-Checkliste als mit der papierbasierten. Sie empfanden die elektronische OSCE-Checkliste im Vergleich zur papierbasierten OSCE-Checkliste als übersichtlicher und einfacher zu benutzen und fühlten sich während der Prüfung auch weniger abgelenkt. Darüber hinaus wurde die Bewertung der Kandidierenden sowie die Korrektur von Eingabefehlern bei der elektronischen OSCE-Checkliste als einfacher empfunden als bei der papierbasierten OSCE-Checkliste. Es gab jedoch keinen signifikanten Unterschied hinsichtlich der wahrgenommenen Geschwindigkeit beim Schreiben von Kommentaren auf einem Touch-Pad (d. h. der elektronischen OSCE-Checkliste) und beim Schreiben von Kommentaren auf Papier. Es ist davon auszugehen, dass all diese Faktoren dazu beitragen, dass die Prüfenden ihre Aufmerksamkeit besser auf die Kandidierenden und ihre Leistungen richten können während der Prüfung, wodurch die kognitive Belastung der Prüfenden bei der elektronischen OSCE-Checkliste geringer bleibt.</Pgraph><Pgraph>Unsere Analyse der fehlenden Bewertungen in den papierbasierten OSCE-Checklisten ergab, dass in einigen der einzelnen Checklisten tatsächlich eine größere Anzahl von Items fehlte. Insgesamt war die Anzahl der ausgelassenen Items jedoch moderat, da dies nur bei 14.2% aller papierbasierten OSCE-Checklisten der Fall war. In der Mehrzahl dieser Checklisten (10.6% aller Checklisten mit fehlenden Items) wurde nur ein fehlendes Item gefunden. Die durchschnittliche Anzahl der fehlenden Bewertungen in diesen Checklisten betrug insgesamt 1.45, was im Vergleich zu den von Schmitz et al. <TextLink reference="6"></TextLink> gemeldeten fehlenden Bewertungen viel geringer ist. Die Anzahl der fehlenden Bewertungen bei papierbasierten OSCE-Checklisten scheint also zwischen verschiedenen Prüfungen und Prüfenden stark zu variieren. Bei der Verwendung elektronischer OSCE-Checklisten hingegen können fehlende Bewertungen gänzlich vermieden werden, was einen wichtigen Vorteil der elektronischen OSCE-Checkliste darstellt, da sie dadurch eine höhere Datenqualität gewährleistet <TextLink reference="6"></TextLink>, <TextLink reference="8"></TextLink>, <TextLink reference="12"></TextLink>. Die Qualität des Outputs als wichtiger Aspekt der Usability <TextLink reference="9"></TextLink> ist somit bei elektronischen OSCE-Checklisten deutlich höher. Trotz der Einführung in die papierbasierte OSCE-Checkliste zu Beginn der Prüfung und eines Erinnerungssatzes oben auf der Checkliste gab es immer noch Fälle, in denen Prüfende es versäumten, Items zu bewerten. Eine mögliche Erklärung dafür könnte sein, dass aufgrund der geringeren Usability der papierbasierten Checkliste die kognitive Belastung für die Prüfenden in einigen Situationen zu hoch wurde, was zu den versäumten Bewertungen geführt haben könnte. </Pgraph><Pgraph>Die Analyse der Präferenzen für den jeweiligen Checklisten-Typ zeigte ein klares Ergebnis. Sowohl 2014 (54.5%) als auch 2015 (89.9%) gab die Mehrheit der mit beiden OSCE-Checklisten-Typen erfahrenen Prüfenden an, dass sie in Zukunft lieber mit elektronischen OSCE-Checklisten arbeiten würde, was die Ergebnisse von Schmitz et al. <TextLink reference="6"></TextLink> und Currie et al. <TextLink reference="8"></TextLink> bestätigt. Wir gehen davon aus, dass dieses Ergebnis mit der höheren wahrgenommenen Usability der elektronischen OSCE-Checkliste zusammenhängt. </Pgraph><Pgraph>Die Stärken der vorliegenden Studie sind die große Anzahl der beteiligten Prüfenden, der hohe Anteil dieser Prüfenden, der mit beiden Arten von OSCE-Checklisten (d. h. papierbasiert und elektronisch) Erfahrung hatte und der multi-institutionelle (nationale) Rahmen, der Prüfende aus fünf verschiedenen Fakultäten aus zwei Sprachregionen umfasste. </Pgraph><Pgraph>Eine Einschränkung dieser Studie besteht darin, dass die Daten – abgesehen von den fehlenden Bewertungen – auf den subjektiven Eindrücken der Prüfenden in Bezug auf die Verwendung der Checklisten beruhen und kein objektives Maß für die Usability darstellen.</Pgraph></TextBlock>
<TextBlock language="en" linked="yes" name="Conclusions">
<MainHeadline>Conclusions</MainHeadline><Pgraph>The results of the present study show that the perceived usability of electronic OSCE checklists compared to traditional paper-based checklists was significantly higher, except for the speed of writing comments, where there was no statistically significant difference. The majority of the examiners experienced with both electronic and paper-based OSCE checklists preferred to work with the electronic OSCE checklists in the future. Importantly, while missed ratings are a common issue in paper-based checklists, they can be completely prevented when electronic OSCE checklists are used, which ensures high data quality. Overall, the results of the present study with a large number of examiners across different faculties show that if developed with a focus on usability, electronic OSCE checklists have advantages that go beyond technical factors, and so they can be considered as an advisable alternative to paper-based OSCE checklists. </Pgraph></TextBlock>
<TextBlock language="de" linked="yes" name="Schlussfolgerungen">
<MainHeadline>Schlussfolgerungen</MainHeadline><Pgraph>Die Ergebnisse der vorliegenden Studie zeigen, dass die wahrgenommene Usability elektronischer OSCE-Checklisten im Vergleich zu traditionellen papierbasierten Checklisten signifikant höher war, mit Ausnahme der Geschwindigkeit beim Verfassen von Kommentaren, bei der es keinen statistisch signifikanten Unterschied gab. Die Mehrheit der Prüfenden, die sowohl mit elektronischen als auch mit papierbasierten OSCE-Checklisten Erfahrung hatten, zog es vor, in Zukunft mit den elektronischen OSCE-Checklisten zu arbeiten. Wichtig ist, dass fehlende Bewertungen bei papierbasierten Checklisten ein häufiges Problem sind, während sie bei der Verwendung elektronischer OSCE-Checklisten vollständig vermieden werden können, was eine hohe Datenqualität gewährleistet. Insgesamt zeigen die Ergebnisse der vorliegenden Studie mit einer großen Zahl von Prüfenden aus verschiedenen Fakultäten, dass elektronische OSCE-Checklisten, wenn sie mit Schwerpunkt auf Usability entwickelt werden, Vorteile haben, die über technische Faktoren hinausgehen und daher als empfehlenswerte Alternative zu papierbasierten OSCE-Checklisten betrachtet werden können.</Pgraph></TextBlock>
<TextBlock language="en" linked="yes" name="Declarations">
<MainHeadline>Declarations</MainHeadline><SubHeadline2>Ethics approval and consent to participate</SubHeadline2><Pgraph>This type of study was regarded as exempt from formal ethical approval according to the regulations of the Ethics Committee (‘Kantonale Ethikkommission’ Canton of Bern) associated with the Medical Faculty of the University of Bern. Nevertheless, we confirm that this study was conducted according to the Declaration of Helsinki where applicable for this type of study, and that participants took part on a voluntary basis, they cannot be identified by the material presented, and they have not been exposed to any conceivable risks by participating in this study.</Pgraph><SubHeadline2>Consent for publication</SubHeadline2><Pgraph>Not applicable. The images provided in this manuscript show a fictitious example created specifically for this publication to illustrate the electronic and paper-based OSCE checklists.</Pgraph><SubHeadline2>Availability of data and materials</SubHeadline2><Pgraph>The datasets analysed during the current study are available from the corresponding author on reasonable request. More information about the OSCE-Eval application can be found at the website [<Hyperlink href="https://eosce.ch/">https://eosce.ch/</Hyperlink>].</Pgraph></TextBlock>
<TextBlock language="de" linked="yes" name="Deklarationen">
<MainHeadline>Deklarationen</MainHeadline><SubHeadline2>Ethische Genehmigung und Zustimmung zur Teilnahme</SubHeadline2><Pgraph>Diese Art von Studie wurde gemäss den Bestimmungen der Kantonalen Ethikkommission der Medizinischen Fakultät der Universität Bern als von einer formellen ethischen Genehmigung ausgenommen betrachtet. Dennoch bestätigen wir, dass diese Studie in Übereinstimmung mit der Deklaration von Helsinki durchgeführt wurde, soweit sie für diese Art von Studie anwendbar ist und dass die Teilnehmer auf freiwilliger Basis teilgenommen haben, dass sie durch das präsentierte Material nicht identifiziert werden können und dass sie durch die Teilnahme an dieser Studie keinen denkbaren Risiken ausgesetzt wurden.</Pgraph><SubHeadline2>Einverständnis zur Veröffentlichung</SubHeadline2><Pgraph>Nicht anwendbar. Die Abbildungen in diesem Manuskript zeigen ein fiktives Beispiel, das speziell für diese Veröffentlichung erstellt wurde, um die elektronischen und papierbasierten OSCE-Checklisten zu veranschaulichen.</Pgraph><SubHeadline2>Verfügbarkeit von Daten und Materialien</SubHeadline2><Pgraph>Die im Rahmen der aktuellen Studie analysierten Datensätze sind auf begründete Anfrage bei der entsprechenden Autorin erhältlich. Weitere Informationen über die OSCE-Eval-Anwendung finden Sie auf der Website [<Hyperlink href="https://eosce.ch/">https://eosce.ch/</Hyperlink>].</Pgraph></TextBlock>
<TextBlock language="en" linked="yes" name="Funding">
<MainHeadline>Funding</MainHeadline><Pgraph>This study was funded by the Institute for Medical Education, University of Bern, Switzerland.</Pgraph></TextBlock>
<TextBlock language="de" linked="yes" name="Förderung">
<MainHeadline>Förderung</MainHeadline><Pgraph>Diese Studie wurde vom Institut für Medizinische Lehre der Universität Bern, Schweiz, finanziert.</Pgraph></TextBlock>
<TextBlock language="en" linked="yes" name="Authors’ contributions">
<MainHeadline>Authors’ contributions</MainHeadline><Pgraph>F.W. analyzed and interpreted the data and wrote the manuscript with support from S.H. R.K. helped in the analysis of the data. S.H., S.F., F.S. and P.Z. constructed the questionnaire for the survey. S.G., S.F., R.K., F.S., P.Z. and S.H. critically revised the manuscript. All authors have read and approved the final manuscript.</Pgraph></TextBlock>
<TextBlock language="de" linked="yes" name="Beiträge der Autoren">
<MainHeadline>Beiträge der Autoren</MainHeadline><Pgraph>F.W. analysierte und interpretierte die Daten und schrieb das Manuskript mit Unterstützung von S.H.. R.K. half bei der Analyse der Daten. S.H., S.F., F.S. und P.Z. erstellten den Fragebogen für die Umfrage. S.G., S.F., R.K., F.S., P.Z. und S.H. haben das Manuskript kritisch überarbeitet. Alle Autoren haben das endgültige Manuskript gelesen und genehmigt.</Pgraph></TextBlock>
<TextBlock language="en" linked="yes" name="Acknowledgements">
<MainHeadline>Acknowledgements</MainHeadline><Pgraph>We would like to thank: the examiners for participating in the survey; the site responsibles, Monica Escher, Felix Eymann, Claudia Glauser, David Gachoud and Roger Kropf; the members of the clinical skills working group, Gianmarco Balestra, Christoph Berendonk, Sylvie Félix, Sabine Feller, Philippe Huber, Matteo Monti, Kai Schnabel, and Ernst Jünger; and the IT support team of the Swiss Federal Licensing Examination at the faculties of Basel, Bern, Geneva, Lausanne and Zurich. Furthermore, we thank Daniel Stricker for his advice on the analysis of the missed items. Finally, we would like to thank the Federal Office of Public Health and the Examinations Commission for supporting this examination. </Pgraph></TextBlock>
<TextBlock language="de" linked="yes" name="Danksagung">
<MainHeadline>Danksagung</MainHeadline><Pgraph>Wir danken: den Prüfenden für die Teilnahme an der Umfrage; den Verantwortlichen vor Ort, Monica Escher, Felix Eymann, Claudia Glauser, David Gachoud und Roger Kropf; den Mitgliedern der Arbeitsgruppe für klinische Fähigkeiten, Gianmarco Balestra, Christoph Berendonk, Sylvie Félix, Sabine Feller, Philippe Huber, Matteo Monti, Kai Schnabel und Ernst Jünger; und dem IT-Support-Team der Eidgenössischen Zulassungsprüfung an den Fakultäten Basel, Bern, Genf, Lausanne und Zürich. Ferner danken wir Daniel Stricker für seine Beratung bei der Analyse der fehlenden Items. Schliesslich möchten wir dem Bundesamt für Gesundheit und der Prüfungskommission für die Unterstützung dieser Prüfung danken.</Pgraph></TextBlock>
<TextBlock language="en" linked="yes" name="Competing interests">
<MainHeadline>Competing interests</MainHeadline><Pgraph>The authors declare that they have no competing interests. </Pgraph><Pgraph>The OSCE-Eval application that was used to implement the electronic OSCE checklist was designed and developed by the Department for Software Development, Usability Consulting and IT Infrastructure (ASCII), at the Institute for Medical Education. More information about the application can be accessed through the website [<Hyperlink href="https://eosce.ch/">https://eosce.ch/</Hyperlink>].</Pgraph></TextBlock>
<TextBlock language="de" linked="yes" name="Interessenkonflikt">
<MainHeadline>Interessenkonflikt</MainHeadline><Pgraph>Die Autor*innen erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben.</Pgraph><Pgraph>Die OSCE-Eval-Anwendung, mit der die elektronische OSCE-Checkliste implementiert wurde, wurde von der Abteilung für Softwareentwicklung, Usability-Beratung und IT-Infrastruktur (ASCII) am Institut für Medizinische Ausbildung konzipiert und entwickelt. Weitere Informationen über die Anwendung können über die Website [<Hyperlink href="https://eosce.ch/">https://eosce.ch/</Hyperlink>] abgerufen werden.</Pgraph></TextBlock>
<References linked="yes">
<Reference refNo="1">
<RefAuthor>Harden RM</RefAuthor>
<RefAuthor>Stevenson M</RefAuthor>
<RefAuthor>Downie WW</RefAuthor>
<RefAuthor>Wilson GM</RefAuthor>
<RefTitle>Assessment of clinical competence using objective structured examination</RefTitle>
<RefYear>1975</RefYear>
<RefJournal>Br Med J</RefJournal>
<RefPage>447-451</RefPage>
<RefTotal>Harden RM, Stevenson M, Downie WW, Wilson GM. Assessment of clinical competence using objective structured examination. Br Med J. 1975;1(5955):447-451. DOI: 10.1136/bmj.1.5955.447</RefTotal>
<RefLink>https://doi.org/10.1136/bmj.1.5955.447</RefLink>
</Reference>
<Reference refNo="2">
<RefAuthor>Barman A</RefAuthor>
<RefTitle>Critiques on the objective structured clinical examination</RefTitle>
<RefYear>2005</RefYear>
<RefJournal>Ann Acad Med Singap</RefJournal>
<RefPage>478-482</RefPage>
<RefTotal>Barman A. Critiques on the objective structured clinical examination. Ann Acad Med Singap. 2005;34(8):478-482.</RefTotal>
</Reference>
<Reference refNo="3">
<RefAuthor>Reznick RK</RefAuthor>
<RefAuthor>Smee S</RefAuthor>
<RefAuthor>Baumber JS</RefAuthor>
<RefAuthor>Cohen R</RefAuthor>
<RefAuthor>Rothman A</RefAuthor>
<RefAuthor>Blackmore D</RefAuthor>
<RefAuthor>Berard M</RefAuthor>
<RefTitle>Guidelines for estimating the real cost of an objective structured clinical examination</RefTitle>
<RefYear>1993</RefYear>
<RefJournal>Acad Med</RefJournal>
<RefPage>513-517</RefPage>
<RefTotal>Reznick RK, Smee S, Baumber JS, Cohen R, Rothman A, Blackmore D, Berard M. Guidelines for estimating the real cost of an objective structured clinical examination. Acad Med. 1993;68(7):513-517. DOI: 10.1097/00001888-199307000-00001</RefTotal>
<RefLink>https://doi.org/10.1097/00001888-199307000-00001</RefLink>
</Reference>
<Reference refNo="4">
<RefAuthor>Smee S</RefAuthor>
<RefTitle>Skill based assessment</RefTitle>
<RefYear>2003</RefYear>
<RefJournal>Br Med J</RefJournal>
<RefPage>703-706</RefPage>
<RefTotal>Smee S. Skill based assessment. Br Med J. 2003;326(7391):703-706. DOI: 10.1136/bmj.326.7391.703</RefTotal>
<RefLink>https://doi.org/10.1136/bmj.326.7391.703</RefLink>
</Reference>
<Reference refNo="5">
<RefAuthor>Zayyan M</RefAuthor>
<RefTitle>Objective Structured Clinical Examination: The Assessment of Choice</RefTitle>
<RefYear>2011</RefYear>
<RefJournal>Oman Med J</RefJournal>
<RefPage>219-222</RefPage>
<RefTotal>Zayyan M. Objective Structured Clinical Examination: The Assessment of Choice. Oman Med J. 2011;26(4):219-222. DOI: 10.5001/omj.2011.55</RefTotal>
<RefLink>https://doi.org/10.5001/omj.2011.55</RefLink>
</Reference>
<Reference refNo="6">
<RefAuthor>Schmitz FM</RefAuthor>
<RefAuthor>Zimmermann PG</RefAuthor>
<RefAuthor>Gaunt K</RefAuthor>
<RefAuthor>Stolze M</RefAuthor>
<RefAuthor>Guttormsen Schär S</RefAuthor>
<RefTitle>Electronic Rating of Objective Structured Clinical Examinations: Mobile Digital Forms Beat Paper and Pencil Checklists in a Comparative Study</RefTitle>
<RefYear>2011</RefYear>
<RefBookTitle>Information Quality in eHealth</RefBookTitle>
<RefPage>501-512</RefPage>
<RefTotal>Schmitz FM, Zimmermann PG, Gaunt K, Stolze M, Guttormsen Schär S. Electronic Rating of Objective Structured Clinical Examinations: Mobile Digital Forms Beat Paper and Pencil Checklists in a Comparative Study. In: Holzinger A, Simonic KM, editors. Information Quality in eHealth. Berlin: Springer; 2011. p.501-512. DOI: 10.1007/978-3-642-25364-5_35</RefTotal>
<RefLink>https://doi.org/10.1007/978-3-642-25364-5_35</RefLink>
</Reference>
<Reference refNo="7">
<RefAuthor>Hochlehnert A</RefAuthor>
<RefAuthor>Schultz JH</RefAuthor>
<RefAuthor>Möltner A</RefAuthor>
<RefAuthor>Timbil S</RefAuthor>
<RefAuthor>Brass K</RefAuthor>
<RefAuthor>Jünger J</RefAuthor>
<RefTitle>Electronic acquisition of OSCE performance using tablets</RefTitle>
<RefYear>2015</RefYear>
<RefJournal>GMS Z Med Ausbild</RefJournal>
<RefPage>Doc41</RefPage>
<RefTotal>Hochlehnert A, Schultz JH, Möltner A, Timbil S, Brass K, Jünger J. Electronic acquisition of OSCE performance using tablets. GMS Z Med Ausbild. 2015;32(4):Doc41. DOI: 10.3205/zma000983</RefTotal>
<RefLink>https://doi.org/10.3205/zma000983</RefLink>
</Reference>
<Reference refNo="8">
<RefAuthor>Currie GP</RefAuthor>
<RefAuthor>Sinha S</RefAuthor>
<RefAuthor>Thomson F</RefAuthor>
<RefAuthor>Cleland J</RefAuthor>
<RefAuthor>Denison AR</RefAuthor>
<RefTitle>Tablet computers in assessing performance in a high stakes exam: opinion matters</RefTitle>
<RefYear>2017</RefYear>
<RefJournal>J R Coll Physicians Edinb</RefJournal>
<RefPage>164-167</RefPage>
<RefTotal>Currie GP, Sinha S, Thomson F, Cleland J, Denison AR. Tablet computers in assessing performance in a high stakes exam: opinion matters. J R Coll Physicians Edinb. 2017;47(2):164-167. DOI: 10.4997/JRCPE.2017.215</RefTotal>
<RefLink>https://doi.org/10.4997/JRCPE.2017.215</RefLink>
</Reference>
<Reference refNo="9">
<RefAuthor>Petersen D</RefAuthor>
<RefTitle>Usability theory, practice and evaluation for learning objects</RefTitle>
<RefYear>2007</RefYear>
<RefBookTitle>Learning objects: Applications, implications, & future directions</RefBookTitle>
<RefPage>337-370</RefPage>
<RefTotal>Petersen D. Usability theory, practice and evaluation for learning objects. In: Koohang A, Harman K, editors. Learning objects: Applications, implications, & future directions. Informing Science; 2007. p.337-370.</RefTotal>
</Reference>
<Reference refNo="10">
<RefAuthor>Young JQ</RefAuthor>
<RefAuthor>Van Merrienboer J</RefAuthor>
<RefAuthor>During S</RefAuthor>
<RefAuthor>Ten Cate O</RefAuthor>
<RefTitle>Cognitive load theory: implications for medical education: AMEE Guide No. 86</RefTitle>
<RefYear>2014</RefYear>
<RefJournal>Med Teach</RefJournal>
<RefPage>371-384</RefPage>
<RefTotal>Young JQ, Van Merrienboer J, During S, Ten Cate O. Cognitive load theory: implications for medical education: AMEE Guide No. 86. Med Teach. 2014;36(5):371-384. DOI: 10.3109/0142159X.2014.889290</RefTotal>
<RefLink>https://doi.org/10.3109/0142159X.2014.889290</RefLink>
</Reference>
<Reference refNo="11">
<RefAuthor>Philips A</RefAuthor>
<RefAuthor>Fordyce Mackintosh S</RefAuthor>
<RefAuthor>Gibbs C</RefAuthor>
<RefAuthor>Ng L</RefAuthor>
<RefAuthor>Fryer CE</RefAuthor>
<RefTitle>A comparison of electronic and paper-based clinical skills assessment: Systematic review</RefTitle>
<RefYear>2019</RefYear>
<RefJournal>Med Teach</RefJournal>
<RefPage>1151-1159</RefPage>
<RefTotal>Philips A, Fordyce Mackintosh S, Gibbs C, Ng L, Fryer CE. A comparison of electronic and paper-based clinical skills assessment: Systematic review. Med Teach. 2019;41(10):1151-1159. DOI: 10.1080/0142159X.2019.1623387</RefTotal>
<RefLink>https://doi.org/10.1080/0142159X.2019.1623387</RefLink>
</Reference>
<Reference refNo="12">
<RefAuthor>Treadwell I</RefAuthor>
<RefTitle>The usability of personal digital assistants (PDAs) for assessment of practical performance</RefTitle>
<RefYear>2006</RefYear>
<RefJournal>Med Educ</RefJournal>
<RefPage>855-861</RefPage>
<RefTotal>Treadwell I. The usability of personal digital assistants (PDAs) for assessment of practical performance. Med Educ. 2006;40(9):855-861. DOI: 10.1111/j.1365-2929.2006.02543.x</RefTotal>
<RefLink>https://doi.org/10.1111/j.1365-2929.2006.02543.x</RefLink>
</Reference>
<Reference refNo="13">
<RefAuthor>Denison A</RefAuthor>
<RefAuthor>Bate E</RefAuthor>
<RefAuthor>Thompson J</RefAuthor>
<RefTitle>Tablet versus paper marking in assessment: feedback matters</RefTitle>
<RefYear>2016</RefYear>
<RefJournal>Perspect Med Educ</RefJournal>
<RefPage>108-113</RefPage>
<RefTotal>Denison A, Bate E, Thompson J. Tablet versus paper marking in assessment: feedback matters. Perspect Med Educ. 2016;5(2):108-113. DOI: 10.1007/s40037-016-0262-8</RefTotal>
<RefLink>https://doi.org/10.1007/s40037-016-0262-8</RefLink>
</Reference>
<Reference refNo="14">
<RefAuthor>Brooke J</RefAuthor>
<RefTitle>SUS-A quick and dirty usability scale</RefTitle>
<RefYear>1996</RefYear>
<RefBookTitle>Usability evaluation in industry</RefBookTitle>
<RefPage>4-7</RefPage>
<RefTotal>Brooke J. SUS-A quick and dirty usability scale. In: Jordan PJ, Thomas B, Weerdmeester BA, McClelland IL, editors. Usability evaluation in industry. London: Taylor & Francis; 1996. p.4-7.</RefTotal>
</Reference>
<Reference refNo="15">
<RefAuthor>Collins D</RefAuthor>
<RefTitle>Pretesting survey instruments: An overview of cognitive methods</RefTitle>
<RefYear>2003</RefYear>
<RefJournal>Qual Life Res</RefJournal>
<RefPage>229-238</RefPage>
<RefTotal>Collins D. Pretesting survey instruments: An overview of cognitive methods. Qual Life Res. 2003;12(3):229-238. DOI: 10.1023/A:1023254226592</RefTotal>
<RefLink>https://doi.org/10.1023/A:1023254226592</RefLink>
</Reference>
<Reference refNo="16">
<RefAuthor>Cohen J</RefAuthor>
<RefTitle></RefTitle>
<RefYear>1988</RefYear>
<RefBookTitle>Statistical power analysis for the behavioral sciences</RefBookTitle>
<RefPage></RefPage>
<RefTotal>Cohen J. Statistical power analysis for the behavioral sciences. 2nd ed. Hillsdale, NJ: Erlbaum; 1988.</RefTotal>
</Reference>
</References>
<Media>
<Tables>
<Table format="png">
<MediaNo>1</MediaNo>
<MediaID language="en">1en</MediaID>
<MediaID language="de">1de</MediaID>
<Caption language="en"><Pgraph><Mark1>Table 1: Evaluation questionnaire. The questions have been translated from German and French to English for clarity here.</Mark1></Pgraph></Caption>
<Caption language="de"><Pgraph><Mark1>Tabelle 1: Evaluationsfragebogen</Mark1></Pgraph></Caption>
</Table>
<Table format="png">
<MediaNo>2</MediaNo>
<MediaID language="en">2en</MediaID>
<MediaID language="de">2de</MediaID>
<Caption language="en"><Pgraph><Mark1>Table 2: Demographics of the final study sample (examiners experienced with both the electronic and the paper-based OSCE checklist types)</Mark1></Pgraph></Caption>
<Caption language="de"><Pgraph><Mark1>Tabelle 2: Demographische Angaben der endgültigen Stichprobe (Prüfende mit Erfahrung sowohl mit der elektronischen als auch mit der papierbasierten OSCE-Checkliste)</Mark1></Pgraph></Caption>
</Table>
<Table format="png">
<MediaNo>3</MediaNo>
<MediaID language="en">3en</MediaID>
<MediaID language="de">3de</MediaID>
<Caption language="en"><Pgraph><Mark1>Table 3: Usability ratings of the electronic and paper-based OSCE checklists</Mark1></Pgraph></Caption>
<Caption language="de"><Pgraph><Mark1>Tabelle 3: Usability-Bewertungen der elektronischen und der papierbasierten OSCE-Checkliste</Mark1></Pgraph></Caption>
</Table>
<Table format="png">
<MediaNo>4</MediaNo>
<MediaID language="en">4en</MediaID>
<MediaID language="de">4de</MediaID>
<Caption language="en"><Pgraph><Mark1>Table 4: Future preference for use of the OSCE checklist type</Mark1></Pgraph></Caption>
<Caption language="de"><Pgraph><Mark1>Tabelle 4: Zukünftige Präferenz für die Verwendung des OSCE-Checklisten-Typs</Mark1></Pgraph></Caption>
</Table>
<Table format="png">
<MediaNo>5</MediaNo>
<MediaID language="en">5en</MediaID>
<MediaID language="de">5de</MediaID>
<Caption language="en"><Pgraph><Mark1>Table 5: Number of missings entries for the paper-based OSCE checklists</Mark1></Pgraph></Caption>
<Caption language="de"><Pgraph><Mark1>Tabelle 5: Anzahl der fehlenden Bewertungen bei den papierbasierten OSCE-Checklisten</Mark1></Pgraph></Caption>
</Table>
<NoOfTables>5</NoOfTables>
</Tables>
<Figures>
<Figure format="png" height="462" width="881">
<MediaNo>1</MediaNo>
<MediaID language="en">1en</MediaID>
<MediaID language="de">1de</MediaID>
<Caption language="en"><Pgraph><Mark1>Figure 1: Example image of part of the paper-based OSCE checklist (fictitious candidate)</Mark1></Pgraph></Caption>
<Caption language="de"><Pgraph><Mark1>Abbildung 1: Beispielbild eines Ausschnitts der papierbasierten OSCE-Checkliste (fiktiver Kandidat)</Mark1></Pgraph></Caption>
</Figure>
<Figure format="png" height="739" width="554">
<MediaNo>2</MediaNo>
<MediaID language="en">2en</MediaID>
<MediaID language="de">2de</MediaID>
<Caption language="en"><Pgraph><Mark1>Figure 2: Example image of part of the electronic OSCE checklist (fictitious candidate)</Mark1></Pgraph></Caption>
<Caption language="de"><Pgraph><Mark1>Abbildung 2: Beispielbild eines Ausschnitts der elektronischen OSCE-Checkliste (fiktiver Kandidat)</Mark1></Pgraph></Caption>
</Figure>
<NoOfPictures>2</NoOfPictures>
</Figures>
<InlineFigures>
<NoOfPictures>0</NoOfPictures>
</InlineFigures>
<Attachments>
<NoOfAttachments>0</NoOfAttachments>
</Attachments>
</Media>
</OrigData>
</GmsArticle>]]></plaintext></textgroup></pgraph></textblock></origdata></gmsarticle>