zma000878 10.3205/zma000878 urn:nbn:de:0183-zma0008787 Forschungsarbeit research article Use of elaborate feedback and an audience-response-system in dental education Rahman Rahman Alexander A Dr.

Medizinische Hochschule Hannover (MHH), Klinik für Zahnerhaltung, Parodontologie und Präventive Zahnheilkunde, Carl-Neuberg-Straße 1, 30625 Hannover, Deutschland, Tel.: +49 (0)511/532-4833, Fax: +49 (0)511/532-4811Medizinische Hochschule Hannover (MHH), Klinik für Zahnerhaltung, Parodontologie und Präventive Zahnheilkunde, Hannover, Deutschland

rahman.alexander@mh-hannover.de author Jacker-Guhr Jacker-Guhr Silke S

Medizinische Hochschule Hannover (MHH), Klinik für Zahnerhaltung, Parodontologie und Präventive Zahnheilkunde, Hannover, Deutschland

jacker-guhr.silke@mh-hannover.de author Staufenbiel Staufenbiel Ingmar I

Medizinische Hochschule Hannover (MHH), Klinik für Zahnerhaltung, Parodontologie und Präventive Zahnheilkunde, Hannover, Deutschland

staufenbiel.ingmar@mh-hannover.de author Meyer Meyer Karen K

Medizinische Hochschule Hannover (MHH), Klinik für Zahnerhaltung, Parodontologie und Präventive Zahnheilkunde, Hannover, Deutschland

meyer.karen@mh-hannover.de author Zupanic Zupanic Michaela M

Universität Witten/Herdecke, Fakultät für Gesundheit, Department für Medizin, Institut für Gesundheitssystemforschung, Witten, Deutschland

michaela.zupanic@uni-wh.de author Hahnemann Hahnemann Merle M

Medizinische Hochschule Hannover (MHH), Klinik für Zahnerhaltung, Parodontologie und Präventive Zahnheilkunde, Hannover, Deutschland

mhahnemann@hotmail.com author Lührs Lührs Anne-Katrin AK

Medizinische Hochschule Hannover (MHH), Klinik für Zahnerhaltung, Parodontologie und Präventive Zahnheilkunde, Hannover, Deutschland

luehrs.anne-katrin@mh-hannover.de author Eberhard Eberhard Jörg J

Medizinische Hochschule Hannover (MHH), Klinik für Zahnärztliche Prothetik und Biomedizinische Werkstoffkunde, Hannover, Deutschland

eberhard.joerg@mh-hannover.de author German Medical Science GMS Publishing House

Düsseldorf

610 feedback audience-response-system learning environment Feedback Audience-Response-System Lernatmosphäre dentistry Zahnmedizin 20121105 20130328 20130407 20130815 germ engl 1860-3572 30 3 GMS Zeitschrift für Medizinische Ausbildung GMS Z Med Ausbild 35 Einleitung: Die Studie soll die Frage klären, ob sich durch Anwendung von elaboriertem Feedback und einem Audience-Response-Systems (ARS) der Lernerfolg im Studienfach Zahnerhaltung signifikant verbessert. Methodik: Die Studierenden des 1. klinischen Semesters wurden in eine Studien- und eine Kontrollgruppe randomisiert eingeteilt. Die Randomisierung erfolgte unter Berücksichtigung der Faktoren Alter, Geschlecht und Note im Physikum. Im Verlauf von 10 Vorlesungen wurden pro Vorlesung 5 Multiple-Choice-Fragen zu den formulierten Lernzielen gestellt. Diese wurden unter Anwendung eines ARS von den Studierenden beantwortet. Nur die Studiengruppe erhielt sofort ein elaboriertes Feedback zu den Ergebnissen. Die am Ende durchgeführte Abschlussklausur und Evaluation sollten ermitteln, ob das elaborierte Feedback zu einem Lernerfolg führt und welchen Effekt das ARS auf die Vorlesungsatmosphäre hat. Ergebnisse: Die Ergebnisse der Abschlussklausuren ergaben keinen signifikanten Unterschied zwischen dem Lernerfolg der Studien- und der Kontrollgruppe. Schlussfolgerung: Durch das elaborierte Feedback zeigte sich in dieser Untersuchung kein Unterschied im Lernerfolg. Mit dem ARS ließ sich jedoch eine interaktivere, positivere Lernatmosphäre schaffen. Introduction: The aim of the study was to examine the effect of an elaborate feedback and an audience response system (ARS) on learning success. Methods: Students of the 1st clinical semester were randomly assigned to a study and a control group. The randomization was carried out considering the factors of age, gender and power spectrum during preliminary dental examination. Within 10 lectures 5 multiple-choice questions were asked about the learning objectives and answered by the students using an ARS. Only the study group received an immediate comprehensive feedback on the results. A final exam at the end was carried out in order to evaluate whether the elaborate feedback leads to a successful learning. Furthermore the effect of the ARS on the lecture atmosphere was investigated. Result: The results of the final exams showed no significant difference between the study and the control group regarding the learning success. Conclusion: Although no significant effect on learning success was found, the ARS creates a more interactive, positive learning environment. EinleitungInteraktivität und Erfolgskontrolle sind wichtige Säulen einer qualitativ hochwertigen Lehre und sowohl für Studierende, als auch für Lehrende von großer Bedeutung. Zwischengeschaltete Testfragen am Ende von inhaltlichen Abschnitten stellen in Vorlesungen ein probates Mittel nicht nur zur Steigerung von Interaktivität und Aufmerksamkeit der Studierenden dar, sondern auch zum Nachvollzug des Lernerfolges . In praxi beteiligt sich an Dialogen mit dem Dozenten während der Lehrveranstaltung häufig nur ein geringer Teil der Studierenden. Dies wurde bereits in der Studie von Preszler et al. beschrieben. Trotzdem ist das Feedback der Studierenden für sie selbst, für den unterrichtenden Dozenten sowie generell für die Qualität der Lehre ein unverzichtbarer Faktor , , . Durch effektives Feedback können Studierende und Lehrende erkennen, ob ihr Lehr-/Lernverhalten erfolgreich oder nicht erfolgreich ist und wo ihre Leistungen verbesserungswürdig sind . Seit etwa 20 Jahren ist bekannt, dass sich Feedback in der medizinischen Ausbildung positiv auf den Lernprozess auswirkt und einer der Hauptfaktoren ist, um eine Leistungsverbesserung zu erzielen , . Van Houten und van Houten zeigten in ihrer Untersuchung, dass bei einem Frontalunterricht unmittelbares Feedback noch während des Unterrichts einer zeitlich verzögerten Rückmeldung in Form von korrigierten Arbeiten überlegen ist. Wird Feedback nach einer falschen Antwort gegeben, sollte darauf geachtet werden, dass eine anschließende Diskussion nicht erläutert, warum ein Fehler gemacht wurde, sondern sich mit der relevanten Information beschäftigt, die zur richtigen Antwort führt, sogenanntes „Zielgerichtetes Feedback“ . Auch Musch weist darauf hin, dass in kontrollierten, empirischen Studien Formen des elaborierten Feedbacks zu besseren Lernerfolgen führten, als eine reine Information über die Richtigkeit der gegebenen Antwort. Durch die ausführlichere Besprechung des Themenkomplexes der gestellten Frage erhält der Lernende eine erneute Information über die richtige Antwort, wodurch er in seinem Lernprozess unterstützt wird. Das elaborierte, informative Feedback ist somit vor allem nach falschen Antworten sinnvoll , , .Der Vorteil einer anonymen, elektronischen Befragung liegt im sogenannten „blamagefreien Lernen“. Auch schwächere Studierende können sich so selbst evaluieren und nachvollziehen, was sie in der vorausgehenden Unterrichtseinheit gelernt haben, bzw. wo sich ihre eigenen Lerndefizite verbergen. Das ARS ermöglicht es mittels einer Projektion (siehe Abbildung 1 ), Multiple-Choice-Fragen (MC-Fragen) unmittelbar an das Auditorium zu stellen. Die Projektion der Ergebnisse gibt dem Dozenten nicht nur Aufschluss darüber, welche Punkte noch eingehender bearbeitet werden müssen, es zeigt auch Schwachstellen seiner Präsentation oder mangelnde Vorkenntnisse der Studierenden auf. In der Studie von Rubio et al. erzielte die Studiengruppe die in ihren Vorlesungen im Fach Radiologie das ARS angewandt hatte, in einem Test drei Monate nach den Vorlesungen deutlich bessere Ergebnisse, als die Kontrollgruppe, die nicht an interaktiven Vorlesungen mit ARS teilgenommen hatte. In Studien im Bereich der Zahnmedizin schnitten Studierende, die ein ARS in Vorlesungen sehr häufig verwendet hatten, in Prüfungen deutlich besser ab, als Studierende, die das ARS weniger oder nicht angewendet hatten , , , , . Basierend darauf, dass es noch zu wenig empirische Befunde dazu gibt, ergibt sich die folgende Fragestellung. IntroductionInteractivity and tests as measurement of learning success are critical aspects of high-grade teaching and of great importance not only to students, but also to teachers. Posing in-class test questions at the end of curricular units presents an effective tool not only for increasing student interactivity and attentiveness, but also for confirming successful learning . Preszler et al. documented that in practice often only a small percentage of students participate in dialogues with the teacher during class . Despite this, student feedback is an essential factor for the students themselves, the teachers, and overall for the quality of teaching , , . Through effective feedback, students and teachers can recognize if their learning behaviors and teaching methods are successful or not and where improvements in performance are needed . For about 20 years now, it has been known that feedback in medical education has a positive effect on the learning process and is a main factor for improved performance in exams , . Van Houten and van Houten demonstrated in their study that in the conventional lecture setting immediate feedback during class is superior to delayed response by corrected papers. If feedback is given following an incorrect answer, care should be taken that any resulting discussion does not address why a mistake was made, but rather focus on the relevant information that leads to the correct answer, so-called “targeted feedback” . Musch also points out that in controlled, empirical studies, an elaborate feedback leads to better performance than basic information about the accuracy of the given answer. By detailed discussion of the issues surrounding the questions asked, the student receives renewed information about the correct response which promotes the learning process. Thus, the elaborative, informative feedback is primarily suitable following incorrect responses , , .The advantage of anonymous computerized quizzes lies in the opportunity to “learn without embarrassment”. Even weaker students can evaluate themselves and realize what they have learned in the preceding class session or where learning deficiencies exist. The audience response system (ARS) allows to ask multiple choice questions directly to the auditorium using a projector (see Figure 1 ). The projection of the results indicates for the instructor not only which aspects need to be addressed more detailed, but also shows weaknesses in the content, along with any deficiencies concerning prior knowledge of the students. Rubio et al. reported , that a study group which used ARS during lectures on Radiology scored substantially higher in a test three months afterwards than the control group which did not participate in interactive lectures with ARS. In dental medicine, students who very frequently experienced ARS in lectures, performed significantly better than students who used ARS less often or not at all , , , , . Based on the fact that there are still too few empirical findings on this topic, the following research question was addressed. FragestellungZeigt eine Lernveranstaltung unter Verwendung eines Audience-Response-Systems (ARS) mit elaboriertem Feedback im Vergleich zu einer Vorlesung mit ARS ohne elaboriertes Feedback bei den Studierenden einen höheren Lernerfolg? Issue under investigationDoes a course which uses an audience response system (ARS) with elaborate feedback result in a higher level of education among students than a lecture without the elaborate feedback? MethodenNach Genehmigung des Studienvorhabens durch die Ethikkommission der Medizinischen Hochschule Hannover (Studien-Nr.: 1006-2011) wurden die Studierenden (n=74) des 1. klinischen Semesters im Sommersemester 2011 randomisiert einer Studien- und einer Kontrollgruppe zugeordnet. Die Randomisierung erfolgte durch das Institut für Biometrie der Medizinischen Hochschule Hannover unter Berücksichtigung der Faktoren Alter, Geschlecht und Note im Physikum. Die Vorlesungen der Studien- und Kontrollgruppe waren in Bezug auf den Inhalt des Vortrags gleich aufgebaut mit identischen Präsentationsfolien. Beide Gruppen erhielten im Studienfach Zahnerhaltung die jeweiligen Vorlesungsinhalte in den verschiedenen Teildisziplinen (Kariologie, Parodontologie, Endodontologie, Kinderzahnheilkunde) von demselben (Fach)-Dozenten. Im Verlauf der Vorlesung wurden jeweils fünf MC-Fragen (siehe Abbildung 1 ) zu den formulierten Lernzielen gestellt und unter Anwendung eines ARS von den Studierenden beantwortet. Die empfohlene Anzahl für Fragen innerhalb einer 50-minütigen Vorlesung liegt zwischen zwei bis vier und zwei bis fünf . Für die Qualitätssicherung wurden alle MC-Fragen einem prä- und post-Review-Prozess unterzogen . Mitarbeiter der Abteilung führten eine Prüfung auf Verständlichkeit, Logik und Lösungshinweise durch. Parallel zur Vorlesung wurde fünfmal pro Woche am Nachmittag der praktische Phantomkursus der Zahnerhaltung abgehalten, in dem die Studierenden sich die nötigen praktischen Fähigkeiten für das Fach der Zahnerhaltung aneignen sollen (siehe Tabelle 1 ).Die beteiligten Dozenten erhielten vom Projektleiter in einem Seminar eine Einführung über die Anwendung von Feedback und Feedbackregeln. In dieser Studie wurde das elaborierte, informative Feedback angewandt, welches unmittelbar in mündlicher Form gegeben wird. Nach Bekanntgabe der richtigen Antwort erhielten die Studierenden der Studiengruppe das elaborierte Feedback vom Dozenten. Dies erfolgte unabhängig davon, ob die Mehrheit die Frage richtig oder falsch beantwortet hatte. Das elaborierte Feedback beinhaltete eine kurze Zusammenfassung der Gründe, warum eine bestimmte Antwort richtig war und gegebenenfalls, warum die anderen Antwortmöglichkeiten nicht zutreffend waren. Der Kontrollgruppe wurde nur die richtige Antwort angezeigt. Im Anschluss daran wurde die Vorlesung weitergeführt, ohne Frage und Antwort genauer zu besprechen. Die jeweiligen Vorlesungseinheiten betrugen in beiden Gruppen mit und ohne Feedback 45 Minuten. Zum Abschluss der Vorlesungsreihe wurden eine Evaluation mit 18 geschlossenen Fragen nach dem Prinzip einer 6-stufigen Likertskala und eine elektronische MC-Abschlussklausur durchgeführt. Die Auswertung der Daten erfolgte mit SAS 9.2 und in Zusammenarbeit mit dem Institut für Biometrie. Die Klausurergebnisse wurden mittels einer primären und einer sekundären Analyse untersucht. In der primären Analyse wurde eine Kovarianzanalyse (ANCOVA) zum Vergleich der Lernergebnisse in beiden Gruppen unter Berücksichtigung des Stratifizierungsmerkmals, der Vorleistungen im Physikum, ermittelt. In der sekundären Analyse wurde zur Bestätigung der primären Analyse ein Zweistichproben-t-Test zum Vergleich der Lernergebnisse in beiden Gruppen durchgeführt. MethodsThe following study was approved by the ethical commission of Hannover Medical School (study no.: 1006-2011). The students (n=74) during their first clinical semester (summer semester 2011) were randomly assigned to a study or a control group. The randomization was done by the Institute of Biometry at Hannover Medical School considering the factors age, sex, and performance during the preliminary medical examination (“Physikum”). In terms of the content, the lectures for the study and control group had the same structure and used the same presentation slides. In the course on conservative dentistry, both groups received the same lecture content on various sub-disciplines (cariology, periodontology, endodontology, pediatric dentistry) from the same instructor. During each lecture, students answered five multiple-choice questions (see Figure 1 ) on the stated learning objectives using an ARS. This number of questions was chosen because the recommended number of questions within a 50-minute class session is between two to four and two to five . To assure quality, all multiple-choice questions were subjected to a pre- and post review process . Department employees conducted a test for comprehension, logic, and hints about the correct answer. Parallel to the lecture, five times per week in the afternoon, the practical preclinical course in conservative dentistry was held, during which students acquired the necessary practical skills in the field of conservative dentistry for the subsequent clinical courses (see Table 1 ).In a seminar, the participating instructors attended an introduction to the use of feedback and feedback rules by the principal investigator. In this study, elaborate, informative feedback that is given directly in spoken form was applied. After announcing the correct answer, the students in the study group received a detailed feedback from the instructors, regardless of whether the majority had responded correctly or incorrectly. The elaborate feedback covered a brief summary of the reasons why a certain answer was correct and, if needed, why the other possible answers were not applicable. For the control group, only the correct answer was displayed and the lecture was then resumed without discussing the question or answer in further depth. For both groups, the particular lecture sessions lasted 45 minutes, with or without feedback. At the completion of the lecture series, an evaluation survey with 18 questions based on a 6-point Likert scale and a computerized multiple-choice final exam (20 items) was performed. Data were analyzed in cooperation with the Institute for Biometry using SAS 9.2. The results of the final exam were evaluated using a primary and secondary analysis. For the primary analysis, a covariance analysis (ANCOVA) was calculated to compare the results in both groups taking into account the stratification defined by performance on the preliminary medical examination. To confirm the primary analysis, a two-sample T-test was used as a secondary analysis in order to compare the performance results in both groups. ErgebnisseDie Auswertung der Klausuren ergab keinen signifikanten Unterschied zwischen den Ergebnissen der Studien- und der Kontrollgruppe. Die 37 Teilnehmer der Studiengruppe erzielten eine durchschnittliche Punktzahl von 14,49, und die 36 Teilnehmer der Kontrollgruppe lagen mit einer durchschnittlichen Punktzahl von 14,42 nur geringfügig mit 0,07 Punkten darunter. Die Ergebnisse der Abschlussklausur zeigen auch unter Verwendung einer Kovarianzanalyse und der Berücksichtigung der Co-Variablen „Note im Physikum“ keinen signifikanten Unterschied zwischen der Studien- und Kontrollgruppe (p=0,362). Bei der Überprüfung der primären Analyse durch den t-Test zeigte sich ebenfalls kein signifikanter Unterschied (p=0,873) zwischen den beiden Gruppen.Es konnten 73 von 74 Evaluationsbögen der Studierenden ausgewertet werden. 85 % der Studierenden hielten die Anwendung des ARS für sinnvoll. Der Aussage, dass eine Lehrveranstaltung mit einem ARS motivierender ist, stimmen 90 % der Befragten zu (siehe Abbildung 2 ). 81 % bestätigen, dass sie aufgrund des ARS aktiver an der Vorlesung teilnahmen. Die Auswertung zeigte, dass die Studierenden die Nutzung eines ARS sehr positiv bewerten und der Wunsch besteht, das System in weitere Vorlesungsveranstaltungen zu integrieren. ResultsThe evaluation of the exams showed no significant difference between the results of the study and the control group. The 37 participants in the study group earned an average of 14.49 points, and the 36 participants in the control group scored only slightly lower with an average of 14.42 points (-0.07 points). The results of the final exam showed no significant difference between the study and control group (p=0,362) even with the application of a covariance analysis and taking the co-variable “score on the preliminary medical examination” into consideration. Likewise, when verifying the primary analysis with the T-test, no significant difference (p=0,873) was detected between the two groups.73 of 74 student surveys could be analyzed. Eighty-five percent of the students rated the use of ARS to be useful. Ninety percent of the surveyed students agreed on the statement that a class with ARS is more motivating (see Figure 2 ). 81% of the students indicated that they participated more actively in the lecture due to the ARS. The evaluation showed that the students rated the use of ARS very positive and would like the system to be integrated into other lectures. DiskussionDas Ziel der Studie war es, durch ein gezielt eingesetztes elaboriertes Feedback und ein Audience-Response-System mehr Interaktivität in eine Lehrveranstaltung zu transportieren und den Lernerfolg der Studierenden zu fördern. Die Ergebnisse der elektronischen Abschlussklausur zeigten keinen signifikanten Unterschied zwischen der Studien- und der Kontrollgruppe. Das elaborierte Feedback ist damit keine Größe, die den Lernerfolg unter Anwendung eines ARS in dieser Untersuchung positiv beeinflusst. Ein Kriterium, das die Ergebnisse beeinflusst haben könnte, war die Tatsache, dass parallel zur Vorlesungsreihe der praktische Phantomkursus der Zahnerhaltung stattfand. Dieser wurde von den gleichen Dozenten betreut, die auch die Vorlesung hielten. Während des Praktikums hatten alle Studierenden die Möglichkeit, die betreuenden Dozenten anzusprechen und Fragen zu stellen, Missverständnisse zu klären und mehr über ein Themengebiet zu erfahren. Zudem gab es während des praktischen Kurses für beide Gruppen mehrere Demonstrationen über die Durchführung der verschiedenen Behandlungsvorgänge, in denen vereinzelt auf den theoretischen Hintergrund der praktischen Arbeit eingegangen wurde. Somit konnten auch die Studierenden der Kontrollgruppe ein Feedback außerhalb der Vorlesung erhalten, insbesondere wenn sie sich im Zuge der Klausurvorbereitung intensiver mit den Themengebieten auseinandergesetzt hatten und Klärungsbedarf bestand, der im Praktikum durch Nachfragen beseitigt wurde. Der Kontrollgruppe während der Vorlesung und des praktischen Kurses Fragen nicht zu gewähren, wäre zwar eine Möglichkeit gewesen, den Einfluss äußerer Faktoren einzugrenzen, dies ist jedoch in der Praxis ethisch nicht zu vertreten.Ein weiterer Faktor, der alle Studierenden beeinflusst haben könnte, ist die Auseinandersetzung mit MC-Fragen während der Vorlesung. Die Teilnehmer beider Gruppen haben sich dadurch automatisch mehr mit dem Themenkomplex beschäftigt, als es in einer „Frontalvorlesung“ der Fall gewesen wäre. Durch die Übung bei der Beantwortung von MC-Fragen könnte der Effekt eines elaborierten Feedbacks überdeckt worden sein, wie es schon Gauci et al. geäußert haben. Für viele Studierende stellen MC-Fragen eine Herausforderung dar, wenn sie nicht in deren Bearbeitung geübt sind. Da in jeder der zehn Vorlesungseinheiten fünf MC-Fragen gestellt wurden, konnte sich bis zur Klausur durchaus ein Übungseffekt entwickeln, der es den Studierenden leichter machte, die MC-Fragen der Klausur zu beantworten. Stoddard und Piquette stellten in ihrer Studie die Vermutung auf, dass die verstärkte Auseinandersetzung mit dem Lernstoff ein zusätzliches Feedback überflüssig macht .Eine weitere Limitation der Studie könnte die niedrige Probandenzahl (74 Studierende) gewesen sein. Diese ist kapazitätsbedingt begrenzt durch die Anzahl der Studierenden im 1. Klinischen Semester. Eine Multicenter-Studie mit einer weit höheren Probandenzahl (>11.000, bei einer Power von 80%) könnte ein signifikantes Ergebnis zeigen.Ein ARS erzeugt eine positive Lernatmosphäre. Das bestätigen nicht nur die Evaluationen und Beobachtungen anderer Studien , , , , , , , sondern auch die Ergebnisse der aktuellen Evaluation. Die Mehrheit der Studierenden dieser Studien bestätigten, dass eine Lehrveranstaltung mit dem ARS motivierender ist, als eine reine Frontalvorlesung, da es zu einer aktiveren Mitarbeit führt sowie die Lehrinhalte besser vermittelt. Auch in früheren Studien wird nicht das ARS an sich für die erhöhte Aufmerksamkeit und Mitarbeit und vereinzelt sogar für bessere Prüfungsergebnisse verantwortlich gemacht, sondern die Interaktivität, die sich aus der Anwendung eines ARS ergibt , , . DiscussionThe aim of the present study was to bring more interaction into the student lectures by using a specifically applied elaborate feedback and an audience response system and by facilitating successful studying among students. The results of the computerized final exam demonstrated no significant difference between the study and the control group. Thus in this study, the elaborate feedback is not a factor that, together with an ARS, positively influenced learning.A criterion which could have influenced these results was the fact that the practical preclinial course in conservative dentistry took place parallel to the lectures. It was taught by the same instructors who also gave the lectures. During the practical course, all students had the opportunity to talk to the teachers and ask questions, inorder to clarify misunderstandings, and learn more about a specific topic. In addition, there were multiple practical demonstrations for both groups on performance of the various techniques, during which, at least from time to time, the theoretical context of the practical work was addressed. As a result, the students in the control group could have received a feedback outside of the lectures. This might have been especially important when they addressed the topics more intensively while preparing for the final exam. If they felt the need for clarification, they were able to ask questions about the requested topic during the practical course. Not allowing the control group to ask questions during the lecture or the practical course would have been one possibility for limiting the influence of external factors, but this is ethically not justifiable in practice.Another factor which could have influenced the students is the challenge of answering multiple-choice questions during the lectures. The participants in both groups automatically were dealing with the topics in more depth than they would have done during the more traditional lecture setting. As a result of these multiple-choice exercises, the effect of the elaborate feedback may have been obscured, as already described by Gauci et al. . For many students, multiple-choice questions pose a challenge if they are not trained in processing them. Since in each of the ten lectures, five multiple-choice questions were asked, a certain amount of practice may have been developed over the time and made it easier for the students to respond to the multiple-choice questions during the final exam. Stoddard and Piquette assumed in their study that the intensified focus on the curricular content makes additional feedback superfluous .A further limitation concerning this study could have been the low number of test subjects (73 students). For reasons directly related to capacity, the participants of our study were limited to the students in their first clinical semester. A multi-center study with a much higher number of test subjects (>11.000) might demonstrate significant findings, but poses questions regarding the practicability.Nevertheless, an ARS creates a positive learning atmosphere. This is confirmed not only by the evaluations and observations of other studies , , , , , , , but also by the results of the present investigation. The majority of students in this study affirmed that a course with the ARS approach is more motivating than a purely traditional lecture setting because it leads to active participation and better imparting of the curricular content.Also in previous studies, it was not the ARS itself which was considered of being responsible for the increased levels of attention and participation, in some cases even for better exam results, but rather the interactivity that results from the application of an ARS , , . SchlussfolgerungDie positiven Evaluationsergebnisse dieser Studie zeigen, dass ein Audience-Response-System eine Hilfestellung gibt, eine interaktive Lernatmosphäre zwischen Dozenten und Studierenden aufzubauen. ConclusionThough no significant difference in the final exams of the study and the control group were found, the positive evaluation results of this study show that an audience response system helps to create a positive and interactive learning atmosphere between instructors and students. Therefore, the use of the ARS can be strongly recommended during lectures. DanksagungDer Deutschen Gesellschaft für Mund-, Kiefer und Zahnheilkunde (DGZMK) danken wir für die finanzielle Unterstützung dieser Studie. AcknowledgementsOur special thanks are due to the Deutsche Gesellschaft für Mund-, Kiefer und Zahnheilkunde (DGZMK) for the financial support of this study. InteressenkonfliktDie Autoren erklären dass, sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben. Competing interestsThe authors declare that they have no competing interests. Alexander CJ Crescini WM Juskewitch JE Lachman N Pawlina W Assessing the integration of audience response system technology in teaching of anatomical sciences 2009 Anat Sci Educ 160-166 Alexander CJ, Crescini WM, Juskewitch JE, Lachman N, Pawlina W. Assessing the integration of audience response system technology in teaching of anatomical sciences. Anat Sci Educ. 2009;2(4):160-166. DOI: 10.1002/ase.99 http://dx.doi.org/10.1002/ase.99 Allan D Tanner K Infusing active learning into the large-enrollment biology class: seven strategies, from the simple to complex 2005 Cell Biol Edu 262-268 Allan D, Tanner K. Infusing active learning into the large-enrollment biology class: seven strategies, from the simple to complex. Cell Biol Edu. 2005;4(4):262-268. DOI: 10.1187/cbe.05-08-0113 http://dx.doi.org/10.1187/cbe.05-08-0113 Beatty I Transforming students learning with classroom communication system 2004 EDUCASE Center Appl Res (ECAR) Res Bull 1-13 Beatty I. Transforming students learning with classroom communication system. EDUCASE Center Appl Res (ECAR) Res Bull. 2004;3:1-13. Bienstock JL Katz NT Cox SM Hueppchen N Erickson S Puscheck EE Association of Professors of Gynecology and Obstetrics Undergraduate Medical Education Committee To the point: medical education reviews--providing feedback 2007 Am J Obstet Gynecol 508-513 Bienstock JL, Katz NT, Cox SM, Hueppchen N, Erickson S, Puscheck EE; Association of Professors of Gynecology and Obstetrics Undergraduate Medical Education Committee. To the point: medical education reviews--providing feedback. Am J Obstet Gynecol. 2007;196(6):508-513. DOI: 10.1016/j.ajog.2006.08.021 http://dx.doi.org/10.1016/j.ajog.2006.08.021 Boehler ML Rogers DA Schwind CJ Mayforth R Quin J Williams RG An investigation of medical student reactions to feedback: a randomised controlled trial 2006 Med Educ 746-749 Boehler ML, Rogers DA, Schwind CJ, Mayforth R, Quin J, Williams RG, et al. An investigation of medical student reactions to feedback: a randomised controlled trial. Med Educ. 2006;40(8):746-749. DOI: 10.1111/j.1365-2929.2006.02503.x http://dx.doi.org/10.1111/j.1365-2929.2006.02503.x Cain J Black EP Rohr J An audience response system strategy to improve student motivation, attention, and feedback 2009 Am J Pharm Educ 21 Cain J, Black EP, Rohr J. An audience response system strategy to improve student motivation, attention, and feedback. Am J Pharm Educ. 2009;73(2):21. DOI: 10.5688/aj730221 http://dx.doi.org/10.5688/aj730221 Cain J Robinson E A primer on audience response systems: current applications and future considerations 2008 Am J Pharm Educ 77 Cain J, Robinson E. A primer on audience response systems: current applications and future considerations. Am J Pharm Educ. 2008;72(4):77. DOI: 10.5688/aj720477 http://dx.doi.org/10.5688/aj720477 Elashvili A Denehy GE Dawson DV Cunningham MA Evaluation of an audience response system in a preclinical operative dentistry course 2008 J Dent Edu 1296-1303 Elashvili A, Denehy GE, Dawson DV, Cunningham MA. Evaluation of an audience response system in a preclinical operative dentistry course. J Dent Edu.2008;72(11):1296-1303. Fabry G Unterrichtmethoden: Welches Mittel zu welchem Zweck? 2008 Medizindidaktik 119-129 Fabry G. Unterrichtmethoden: Welches Mittel zu welchem Zweck? In: Fabry G. Medizindidaktik. Bern: Verlag Huber; 2008. S.119-129. Fies C Marshall J Classroom response systems: A review of the literature 2006 J Sci Educ Technol 101-109 Fies C, Marshall J. Classroom response systems: A review of the literature. J Sci Educ Technol. 2006;1:101-109. DOI: 10.1007/s10956-006-0360-1 http://dx.doi.org/10.1007/s10956-006-0360-1 Fischer PM Mandel H Improvement of acquisition of knowledge by information feedback 1988 Learning issues for intelligent tutoring systems 187-241 Fischer PM, Mandel H. Improvement of acquisition of knowledge by information feedback. In: Mandl H, Lesgoold A (Hrsg). Learning issues for intelligent tutoring systems. New York: Springer; 1988. S. 187-241. DOI: 10.1007/978-1-4684-6350-7_9 http://dx.doi.org/10.1007/978-1-4684-6350-7_9http://dx.doi.org/10.1007/978-1-4684-6350-7_9 Gauci SA Dantas AM Williams DA Kemm RE Promoting student-centered active learning in lectures with a personal response system 2009 Adv Physiol Educ 60-71 Gauci SA, Dantas AM, Williams DA, Kemm RE. Promoting student-centered active learning in lectures with a personal response system. Adv Physiol Educ. 2009;33(1):60-71. DOI: 10.1152/advan.00109.2007 http://dx.doi.org/10.1152/advan.00109.2007 Hattie J Timperley H The power of feedback. Review 2007 Educ Res 81-112 Hattie J, Timperley H. The power of feedback. Review. Educ Res. 2007;1:81-112. DOI: 10.3102/003465430298487 http://dx.doi.org/10.3102/003465430298487 Huang C Changing learning with new interactive and media-rich instruction environments: virtual labs case study report 2003 Comput Med Imaging Graph 157-164 Huang C. Changing learning with new interactive and media-rich instruction environments: virtual labs case study report. Comput Med Imaging Graph. 2003;27(2-3):157-164. DOI: 10.1016/S0895-6111(02)00089-7 http://dx.doi.org/10.1016/S0895-6111(02)00089-7 Kamin C Deterding R Lowery M Students perceptions of a virtual PBL experience 2002 Acad Med 1161-1162 Kamin C, Deterding R, Lowery M. Students perceptions of a virtual PBL experience. Acad Med. 2002;77(11):1161-1162. DOI: 10.1097/00001888-200211000-00028 http://dx.doi.org/10.1097/00001888-200211000-00028 Kulhavy RW Stock WA Feedback in written instruction: The place of response certitude 1989 Educ Psychol Rev 279-308 Kulhavy RW, Stock WA. Feedback in written instruction: The place of response certitude. Educ Psychol Rev. 1989;4:279-308. DOI: 10.1007/BF01320096 http://dx.doi.org/10.1007/BF01320096 MacGeorge EL Homan SR Dunning Jr JB, Elmore D, Bodie GD, Evans E, Khichadia S, Lichti SM, Feng B, Geddes B. Student evaluation of audience response technology in large lecture classes 2008 Educ Technol Res Develop 125-145 MacGeorge EL, Homan SR, Dunning Jr. JB, Elmore D, Bodie GD, Evans E, Khichadia S, Lichti SM, Feng B, Geddes B. Student evaluation of audience response technology in large lecture classes. Educ Technol Res Develop. 2008;56(2):125-145. DOI: 10.1007/s11423-007-9053-6 http://dx.doi.org/10.1007/s11423-007-9053-6 McKendree J Effective feedback content for tutoring complex skills 1990 Human-Comp Interact 381-413 McKendree J. Effective feedback content for tutoring complex skills. Human-Comp Interact. 1990;5(4):381-413. DOI: 10.1207/s15327051hci0504_2 http://dx.doi.org/10.1207/s15327051hci0504_2 Miller RG Ashar BH Getz KJ Evaluation of an audience response system for the continuing education of health professionals 2003 J Contin Educ Health Prof 109-115 Miller RG, Ashar BH, Getz KJ. Evaluation of an audience response system for the continuing education of health professionals. J Contin Educ Health Prof. 2003;Spring(2):109-115. Musch J The Design of Feedback in Computer Based Trainings: Models and Findings 1999 Z Padagog Psychol 148-160 Musch J. The Design of Feedback in Computer Based Trainings: Models and Findings. Z Padagog Psychol. 1999;13(3):148-160. DOI: 10.1024//1010-0652.13.3.148 http://dx.doi.org/10.1024//1010-0652.13.3.148 Patry M Clickers in Large Classes: From Student Perceptions Towards an Understanding of Best Practices 2009 Int J Scholar Teach Learn Patry M. Clickers in Large Classes: From Student Perceptions Towards an Understanding of Best Practices. Int J Scholar Teach Learn. 2009;3(2). Pileggi R O'Neil PN Team-based learning using an audience response system: an innovative method of teaching diagnosis to undergraduate dental students 2008 J Dent Educ 1182-1188 Pileggi R, O'Neil PN. Team-based learning using an audience response system: an innovative method of teaching diagnosis to undergraduate dental students. J Dent Educ. 2008;72(10):1182-1188. Pradhan A Sparano D Ananth CV The influence of an audience response system on knowledge retention: an application to resident education 2005 Am J Obstet Gynecol 1827-1830 Pradhan A, Sparano D, Ananth CV. The influence of an audience response system on knowledge retention: an application to resident education. Am J Obstet Gynecol. 2005;(5):1827-1830. DOI: 10.1016/j.ajog.2005.07.075 http://dx.doi.org/10.1016/j.ajog.2005.07.075 Preszler RW Dawe A Shuster CB Shuster M Assessment of the effects of student response systems on student learning and attitudes over a broad range of biology courses 2007 CBE Life Sci Educ 29-41 Preszler RW, Dawe A, Shuster CB, Shuster M. Assessment of the effects of student response systems on student learning and attitudes over a broad range of biology courses. CBE Life Sci Educ. 2007;(1):29-41. DOI: 10.1187/cbe.06-09-0190 http://dx.doi.org/10.1187/cbe.06-09-0190 Rubio EI Bassignani MJ White MA Brant WE Effect of an audience response system on resident learning and retention of lecture material 2008 AJR Am J Roentgenol 319-322 Rubio EI, Bassignani MJ, White MA, Brant WE. Effect of an audience response system on resident learning and retention of lecture material. AJR Am J Roentgenol. 2008;(6):319-322. DOI: 10.2214/AJR.07.3038 http://dx.doi.org/10.2214/AJR.07.3038 Smolle J 2010 Klinische MC-Fragen rasch und einfach erstellen: ein Praxisleitfaden für Lehrende I-IV Smolle J. Klinische MC-Fragen rasch und einfach erstellen: ein Praxisleitfaden für Lehrende. 2., [veränd.] Aufl. Berlin, New York, NY: De Gruyter; 2010. S. I-IV Stoddard HA Piquette CA A controlled study of improvements in student exam performance with the use of an audience response system during medical school lectures 2010 Acad Med 37-40 Stoddard HA, Piquette CA. A controlled study of improvements in student exam performance with the use of an audience response system during medical school lectures. Acad Med. 2010;85(10 Suppl):37-40. DOI: 10.1097/ACM.0b013e3181ed3b40 http://dx.doi.org/10.1097/ACM.0b013e3181ed3b40 Van Dijk LA van den Ber GC van Keulen H Interactive Lectures in Engineering Education 2001 Eur J Eng Educ 15-28 Van Dijk LA, van den Ber GC, van Keulen H. Interactive Lectures in Engineering Education. Eur J Eng Educ. 2001;26(1):15-28. DOI: 10.1080/03043790123124 http://dx.doi.org/10.1080/03043790123124 Van Houten R Van Houten J The performance feedback system in the special education classroom: An analysis of public posting and peer comments 1977 Behav Ther 366-376 Van Houten R, Van Houten J. The performance feedback system in the special education classroom: An analysis of public posting and peer comments. Behav Ther. 1977;8(3):366-376. DOI: 10.1016/S0005-7894(77)80071-3 http://dx.doi.org/10.1016/S0005-7894(77)80071-3 11de1en

Tabelle 1: Stundenplan des 1. klinischen Semesters. VL=Vorlesung, K=Kurs

Table 1: Timetable 1.clinical semester. VL=lecture, C=course

1

1 1de 1en Abbildung 1: Frage- und Antwortbeispiel einer Abstimmfolie Figure 1: Example for an ARS-silde

2 2de 2en Abbildung 2: Ich empfand die Lehrveranstaltung mit dem ARS motivierender, als eine reine Frontalvorlesung Figure 2: “I found the course with ARS to be more motivating than a purely traditional lecture.”

2 0 0