zma000528 Poster Identification of Fraud in Paper-Based MC Exams Holzer Holzer Matthias M

LMU München, Med. Klinik Innenstadt, Ziemssenstr. 1, 80336 München, DeutschlandLMU München, Med. Klinik Innenstadt, München, Deutschland

Matthias.Holzer@lrz.uni-muenchen.de author Bauer Bauer Daniel D

LMU München, Med. Klinik Innenstadt, München, Deutschland

Daniel_Bauer@med.uni-muenchen.de author Fischer Fischer Martin R. MR

LMU München, Med. Klinik Innenstadt, München, Deutschland

fischer.martin@med.uni-muenchen.de author German Medical Science GMS Publishing House

Düsseldorf

610 Humanmedizin 20071102 20071106 20071114 20080215 germ 1860-3572 25 1 GMS Zeitschrift für Medizinische Ausbildung GMS Z Med Ausbild 44 TextProblemstellung: In schriftlichen MC-Prüfungen kann durch das Abschreiben vom Nachbarn die Aussagekräftigkeit der Ergebnisse negativ beeinflusst werden. Im Folgenden werden Methoden vorgestellt um diese Art von Täuschungsversuchen bei der Auswertung der Ergebnisse zu erkennen. Daraus lässt sich ableiten, ob das Prüfungssetting (Abstand der Teilnehmer, Anzahl der Versionen, Modus der Platzwahl etc.) in Ordnung ist oder eventuell modifiziert werden muss.Methoden: In Ercole wurde ein Ansatz vorgestellt, der auf die Erkennung von Abschreiben in Prüfungen mit drei Antworten je Frage (Aussage ist richtig/falsch/weiß nicht) mit Hilfe des Satzes von Bayes spezialisiert ist. Dieser Ansatz ist nicht direkt auf Fragen mit heterogenen Antwortmöglichkeiten und mehr als einer erwarteten Antwort je Frage zu übertragen. Daher wurde der Ansatz für die vorliegende Studie erweitert. Der Likelihoodwert, der bei Ercole das korrekte Wissen des Prüflings und seine Risikoaversion (weiß-nicht-Antworten) beschreibt, wurde eliminiert. Im Wesentlichen wird ein Wert für die Ähnlichkeit von jeweils zwei Bögen berechnet, wobei die Identität von Antworten anhand von deren A-priori-Wahrscheinlichkeit gewichtet wird. In Mehrfachantworten wurde einmal jede Antwort wie eine Extra-Frage gezählt (Algorithmus 1). Zum anderen wurde ein weiterer Algorithmus getestet, der nur die Gleichheit aller Antworten einer Mehrfachantwortfrage berücksichtigt (Algorithmus 2).Die Prüfungspopulation bestand aus dem Studentenjahrgang des Wintersemesters 2006/2007 in der Prüfung der Inneren Medizin im 6. und 7. Semester an der Ludwig-Maximilians-Universität München. Insgesamt haben 203 Studierende in drei Hörsälen an der Prüfung teilgenommen. Die Prüfung bestand aus 30 MC-Fragen mit einer oder mehreren richtigen Antworten und es standen 45 Minuten zur Bearbeitung zur Verfügung. Um das Abschreiben zu erschweren, wurden die Prüfungshefte in zwei Versionen mit unterschiedlicher Fragenreihenfolge ausgegeben. Zwischen zwei Prüflingen lag jeweils ein leerer Platz bzw. eine leere Reihe. Zur Auswertung der Ergebnisse wurde die Position der Prüflinge im Hörsaal aufgezeichnet.Ergebnisse: Die Verteilung der Übereinstimmungswerte wies eine glatte, glockenförmige Verteilung auf, im Fall von Algorithmus 1 ohne Auffälligkeiten am oberen Rand, im Fall von Algorithmus 2 mit einem Paar mit besonders hoher Ähnlichkeit. Es war nachzuvollziehen, dass hohe Übereinstimmungen immer mit sehr guten Prüfungsleistungen korreliert und somit aller Wahrscheinlichkeit nach zufällig zustande gekommen waren. Im Fall des laut Algorithmus 2 besonders ähnlichen Paares hatten die Studierenden 28,5 und 29,5 von 30 Punkten erreicht und saßen in unterschiedlichen Hörsälen. Auch für die nächsten 7 Paare mit der höchsten Übereinstimmung zeigte sich, dass die jeweiligen Prüflinge aufgrund ihrer Position im Hörsaal nicht voneinander abgeschrieben haben konnten.Diskussion: Das verwendete Verfahren arbeitet naturgemäß umso besser, je mehr Aufgaben vom Nachbarn kopiert wurden. Wenn ein Prüfling also nur wenige Fragen kopiert hat, wird dies also in der Regel nicht nachgewiesen werden können. Auch andere Täuschungsarten wie Spickzettel lassen sich so nicht nachweisen.Dennoch lässt sich für die untersuchte Prüfung sagen, dass ausreichende Maßnahmen gegen das Abschreiben in Form von genug leerem Platz zwischen den Prüfungsteilnehmern und der Versionierung der Testhefte getroffen wurden.Ausblick: Zur Verifikation der Sensitivität des Verfahrens soll zum Ende des Sommersemesters 2007 noch eine weitere Prüfung untersucht werden, in der aus logistischen Gründen mit einem höheren Anteil von Täuschungsversuchen gerechnet werden muss. Ercole A Whittlestone KD Melvin DG Rashbass J Collusion detection in multiple choice examinations 2002 Med Educ 36(2);166-172 Ercole A, Whittlestone KD, Melvin DG, Rashbass J. Collusion detection in multiple choice examinations. Med Educ. 2002:36(2);166-172. 0 0 0 0