zma00089710.3205/zma000897urn:nbn:de:0183-zma0008978projectProjektOnlineTED.com − a novel web-based audience response system for higher education. A pilot study to evaluate user acceptanceOnlineTED.de − ein webbasiertes Abstimmungssystem für die Lehre. Eine Pilotstudie zur NutzerakzeptanzmessungKühbeckKühbeckFelizianFTechnische Universität München (TUM), Institute of Pharmacology and Toxicology, Munich, GermanyTechnische Universität München (TUM), Institut für Pharmakologie und Toxikologie, München, DeutschlandauthorEngelhardtEngelhardtStefanSTechnische Universität München (TUM), Institute of Pharmacology and Toxicology, Munich, GermanyTechnische Universität München (TUM), Institut für Pharmakologie und Toxikologie, München, DeutschlandauthorSarikasSarikasAntonioADr. med.
Technische Universität München (TUM), Institute of Pharmacology and Toxicology, Biedersteiner Str. 29, 80802 Munich, Germany, Phone: +49 (0)89/4140-3298, Fax: +49 (0)89/4140-3261Technische Universität München (TUM), Institute of Pharmacology and Toxicology, Munich, Germany
Technische Universität München (TUM), Institut für Pharmakologie und Toxikologie, Biedersteiner Str. 29, 80802 München, Deutschland, Tel.: +49 (0)89/4140-3298, Fax: +49 (0)89/4140-3261Technische Universität München (TUM), Institut für Pharmakologie und Toxikologie, München, Deutschlandsarikas@ipt.med.tum.deauthorGerman Medical Science GMS Publishing House
Düsseldorf
610audience response systeminteractive teachingTEDAbstimmungssysteminteraktive LehremedicineHumanmedizin20130702201310152013112020140217englgerm1860-3572311GMS Zeitschrift für Medizinische AusbildungGMS Z Med Ausbild5Hintergrund und Ziel: TED-Abstimmungssysteme werden zunehmend in der medizinischen Ausbildung an Hochschulen eingesetzt. Jedoch limitieren hohe Kosten und Komplexität herkömmlicher TED-Systeme häufig deren Anwendung. In diesem Projektartikel stellen wir ein neues webbasiertes TED-System vor, das keine Hardware-Klicker oder Installation zusätzlicher Software erfordert und mit allen Betriebssystemen kompatibel ist.Methoden und Ergebnisse: “OnlineTED” wurde an der Technischen Universität München (TUM) entwickelt und basiert auf Hypertext Preprocessor (PHP) mit My Structured Query Language (MySQL)-Datenbank als serverseitige und Javascript als nutzerseitige Programmiersprachen. “OnlineTED” ermöglicht es Dozenten, Fragensammlungen online zu erstellen, verwalten und in der Lehrveranstaltung mit einem Webbrowser anzuzeigen. Studierende können mit jedem internetfähigen Endgerät (Smartphone, Tablet-PC oder Laptop) an der Abstimmung teilnehmen. Eine Datenerhebung mit Hilfe eines Fragebogens, der Studierenden und Dozenten der TUM ausgehändigt wurde, enthielt Fragen zum Besitz von internetfähigen Endgeräten, der Akzeptanzmessung von "OnlineTED" sowie dem Vergleich von "OnlineTED" mit einem kommerziellen TED-System mit Klickern. Die Nutzerevaluationen von Studierenden und Dozenten ergab eine überdurchschnittlich positive Beurteilung von “OnlineTED” im Vergleich zum kommerziellen TED-System mit Klickern. Die Mehrheit (80%) der befragten Studierenden gab an, ein internetfähiges Endgerät zu besitzen.Zusammenfassung und Schlussfolgerungen: “OnlineTED” ist ein neues, webbasiertes und plattformunabhängiges TED-Abstimmungssystem für Hochschulen, das von Studenten und Dozenten überdurchschnittlich positiv evaluiert wurde. Als nicht-kommerzielle Alternative zu herkömmlichen TED-Systemen unterstützt es die interaktive Ausbildung von Studierenden, insbesondere bei großen Teilnehmerzahlen.Background and aim: Audience response (AR) systems are increasingly used in undergraduate medical education. However, high costs and complexity of conventional AR systems often limit their use. Here we present a novel AR system that is platform independent and does not require hardware clickers or additional software to be installed.Methods and results: “OnlineTED” was developed at Technische Universität München (TUM) based on Hypertext Preprocessor (PHP) with a My Structured Query Language (MySQL)-database as server- and Javascript as client-side programming languages. “OnlineTED” enables lecturers to create and manage question sets online and start polls in-class via a web-browser. Students can participate in the polls with any internet-enabled device (smartphones, tablet-PCs or laptops). A paper-based survey was conducted with undergraduate medical students and lecturers at TUM to compare "OnlineTED" with conventional AR systems using clickers. "OnlineTED" received above-average evaluation results by both students and lecturers at TUM and was seen on par or superior to conventional AR systems. The survey results indicated that up to 80% of students at TUM own an internet-enabled device (smartphone or tablet-PC) for participation in web-based AR technologies.Summary and Conclusion: “OnlineTED” is a novel web-based and platform-independent AR system for higher education that was well received by students and lecturers. As a non-commercial alternative to conventional AR systems it may foster interactive teaching in undergraduate education, in particular with large audiences.IntroductionThere is an increasing shift in higher education from teacher-centered to more interactive, student-centered teaching concepts. This is in part due to the known limitations of traditional lectures, such as low student attention or inefficient knowledge acquisition and translation . To foster interactive learning and student engagement, in particular with large student numbers, audience response (AR) systems are increasingly used at educational institutions worldwide . AR systems typically consist of an hardware transmitter (“clicker”) that is controlled by the student, a radio-frequency receiver and a computer with software to display voting results during the presentation by the instructor, e.g. as histogram of responses . AR systems are used in a variety of ways: to increase student interaction and attention, to promote in-class discussions, to evaluate student knowledge or as formative assessments for the lecturer to adjust teaching pace and didactics . Recent meta-analyses in health profession education showed that AR systems are favored by the vast majority of students and likely result in improved short-term and long-term knowledge outcomes . However, many instructors only reluctantly use AR systems in teaching. Frequently cited reasons are high acquisition and maintenance costs, logistic efforts or technical difficulties to operate AR system with different operating systems and presenter software . To overcome these limitations we sought to develop a novel web-based AR system that is specifically adapted to the didactic needs and economic requirements of higher education. Here we present "OnlineTED", a novel smartphone- and web-based AR system that is free-to-use, platform independent and does not require hardware clicker or additional software. Based on user evaluation data, we analyzed the strengths and limitations of “OnlineTED” in comparison with a conventional AR system that is used at TUM and discuss the potential of web-based AR systems for undergraduate medical education.EinleitungDie Ausbildung an Hochschulen unterliegt einem zunehmenden Wandel von einer dozentenzentrierten zu einer verstärkt studentenfokussierten, interaktiven Lehre. Ursachen für diese Entwicklung sind unter anderem bekannte Limitationen der klassischen Vorlesung, wie z. B. die hohe Passivität der Studierenden oder ein oft wenig effizienter Wissenserwerb und -transfer . Um die studentische Mitarbeit und Interaktivität der Lehre zu verbessern, insbesondere bei Lehrveranstaltungen mit hohen Teilnehmerzahlen, werden weltweit an Bildungseinrichtungen zunehmend elektronische Abstimmungssysteme (Synonym: Tele-Dialog, TED) im Unterricht eingesetzt . TED-Systeme bestehen typischerweise aus einem Funksender ("Klicker"), der von den Studierenden bedient wird, einem Funkempfänger, sowie spezieller Software, um die Abstimmungsergebnisse in der Präsentation des Dozenten* anzuzeigen, z.B. in Form von Histogrammen .TED-Systeme werden in der Lehre auf vielfältige Weise eingesetzt: zur Förderung der studentischen Mitarbeit und Aufmerksamkeit während der Lehrveranstaltung, als Diskussionsgrundlage mit dem Auditorium, oder zur Überprüfung des Wissens- und Verständisstands der Studierenden. Ein weiterer Anwendungsbereich ist die formative Evaluation (formative assessment), durch die der Dozent mit Hilfe des TED-Systems eine sofortige Rückmeldung von den Studierenden erhält, um Lehrstil und -tempo bedarfsgerecht anzupassen . Aktuelle Metaanalysen der medizinischen Ausbildungsforschung haben gezeigt, dass TED-Systeme von der Mehrheit der Studierenden gut angenommen werden und ihr Einsatz mit einem erhöhten kurz- und langfristigen Lernerfolg verbunden sein kann . Dennoch werden TED-Systeme von vielen Dozenten nicht oder nur zögerlich in der Lehre eingesetzt. Häufig genannte Gründe sind die hohen Anschaffungs- und Wartungskosten konventioneller TED-Systeme, der logistische Aufwand für die Durchführung von Abstimmungen, sowie technische Schwierigkeiten wie zum Beispiel die Inkompatibilität der Software mit unterschiedlichen Betriebssystemen .Unser Ziel war diesen Limitationen mit der Entwicklung eines neuen TED-Systems zu begegnen, das speziell an die didaktischen Anforderungen und wirtschaftlichen Möglichkeiten von Bildungseinrichtungen angepasst ist. In diesem Projektartikel stellen wir mit "OnlineTED" ein neues webbasiertes Abstimmungssystem vor, das keine zusätzliche Hard- oder Software erfordert, plattformunabhängig ist und kostenfrei genutzt werden kann. Auf der Grundlage von Evaluationsergebnissen diskutieren wir die Vor- und Nachteile von "OnlineTED" im Vergleich zu einem an der TUM eingesetzten konventionellen Abstimmungssystem und erörtern das Potenzial von webbasierten TED-Systemen für die Hochschullehre.MethodsProgramming and online database“OnlineTED” was developed and programmed by students and lecturers at TUM. Hypertext Preprocessor (PHP) as server-side programming language was used to build a web-based AR system that is compatible with different operating systems. The user interface was linked to a My Structured Query Language (MySQL) database for storage and management of user accounts and data. JavaScript was used as client-side programming language for animated features, e.g. a poll countdown function. Hypertext Transfer Protocol Secure (HTTPS) was implemented to ensure secure internet communication for the user. Structure and features The AR system “OnlineTED” can be accessed via the open-access website http://www.OnlineTED.com (German version: http://www.OnlineTED.de). After log-on, the main page conveys information for the auditorium to participate in a poll (e.g. website URL for login, session token, quick response (QR) code). For the lecturer, the main page is the starting point to create, manage or commence polls. Flags link to the sub-pages "poll viewer" to start of a polling session, "quick poll" for spontaneous polls and "poll editor" to create or manage question sets (see Figure 1 ). In the latter, new poll sets and questions in multiple-choice format can be created and saved via an online form (see Figure 2 ). In addition, image (gif, jpg or png), movie (mov, avi or mpeg) or sound files (mp3, aac or wav) can be uploaded and saved with each question. Other media sources of the internet (e.g. http://www.youtube.com/) can be directly embedded. In addition to prepared and saved questions sets, the lecturer can conduct spontaneous polls by choosing different rating scales (yes / no / undecided; very low - very high; excellent - insufficient; strongly agree - strongly disagree) from the "quick poll" options.Students can participate in the poll after log-on to the website with any internet-enabled device (smartphone, tablet-PC, laptop). A poll is joined by entering a four-digit access code (session token) that is automatically generated and displayed for each session. Alternatively, students can scan a QR code with their mobile device. Upon session log-on, answer options are automatically displayed on the student devices (see Figure 3A ). After voting, the results are dynamically displayed in the presentation by the lecturer as growing histograms depicting the number and percentage of votes for each answer (see Figure 3B ).Each poll question requires a bidirectional data transfer of approximately 0.03 Mbit. Based on the average connections speed of wireless Local Area Network (LAN) (54 MBits/s) or cellular mobile networks such as Universal Mobile Telecommunications System (UMTS) (7.2 Mbit/s) , “OnlineTED” enables polls with large audiences in a typical lecture hall setting. The AR system was programmed in PHP as a server-sided programming language to be compatible with all operating systems without the requirement to install additional software. Study design and user evaluationTo evaluate the use of “OnlineTED” in higher education, the tool was tested with undergraduate medical students and instructors in lectures (average number of participants: 200±50) and seminars (average number of participants: 22±3) of pharmacology at TUM in the winter term of 2012/13. A conventional AR system using hardware clickers (Interwrite Cricket , Scotsdale, USA) that is routinely used for teaching at TUM served as a comparison. Information on usability and user perception of the two different AR systems was solicited through a paper survey at the end of the term. A 1-to-6 rating scale was used to assess the overall rating of "OnlineTED". The answer options were 1 "excellent", 2 "very good", 3 "good", 4 "fair", 5 "poor" and 6 "inadequat". For the comparison of "OnlineTED" and the conventional AR systems, survey participants were asked to select the option "superior", "equal" or "inferior" for each of the categories, respectively.Study participation was voluntary and both informed consent by the participants and approval by the ethics committee of TUM were obtained. Website statistics were tracked by Google Analytics (Google, Mountain View, CA).MethodenProgrammierung und Onlinedatenbank"OnlineTED" wurde von Studenten und Dozenten an der TUM entwickelt und programmiert. Hypertext Preprocessor (PHP) wurde als serverseitige Programmiersprache verwendet, um ein Betriebssystem-unabhängiges TED-System zu konzipieren. Eine My Structured Query Language (MySQL)-Datenbank diente der Speicherung und Verwaltung von Benutzerdaten im Internet. JavaScript diente als clientseitige Programmiersprache für dynamische Inhalte, wie z. B. einer Countdown-Funktion während der Abstimmung. Ein Hypertext Transfer Protocol Secure (HTTPS) wurde implementiert, um eine sichere Internet-Kommunikation für die Nutzer zu gewährleisten.Aufbau und FunktionsumfangDas Abstimmungssystem "OnlineTED" kann über die Internetseite http://www.OnlineTED.de (http://www.OnlineTED.com, englischsprachige Version) aufgerufen werden. Nach dem Login werden auf der Startseite Informationen für die Teilnahme an einer Abstimmung angezeigt (z.B. den Uniform Resource Locator (URL) der Webseite mit einem aktuellen Zugangscode (Freischaltcode), sowie ein Quick Response (QR) Code) (siehe Abbildung 1 ). Für Dozenten ist die Startseite Ausgangspunkt für das Starten, Verwalten oder Verfassen von TED-Fragen. Verschiedene Reiter ermöglichen den Zugriff auf die jeweiligen Bereiche: durch Anklicken des Reiters “Übersicht” kann eine bereits erstellte TED-Fragesammlung ausgewählt und gestartet werden. Der Reiter "Spontanumfrage" verweist auf eine Sammlung von voreingestellten allgemeinen Kurzumfragen und -abstimmungen ("ja" / "nein" / "unentschlossen", "sehr gering" bis "sehr hoch", "ausgezeichnet" bis "unzureichend", "trifft zu" bis "trifft nicht zu") für den spontanen Einsatz in Lehrveranstaltungen. Im Bereich "Fragenverwaltung" können bereits bestehende TED-Fragen modifiziert oder neue Fragensets im Multiple Choice (MC)-Format mit Hilfe einer Eingabemaske erstellt werden (siehe Abbildung 2 ). Das System ermöglicht die direkte Einbindung von Bild- (gif, jpg oder png), Film- (mov, avi oder mpeg) oder Audiodateien (mp3, aac oder wav) in TED-Fragen. Alternativ können Hyperlinks zu Lehrmedien (z.B. Filmclips in http://youtube.com) in TED-Fragen eingefügt werden. Studierende können sich mit jedem internetfähigen Endgerät (Smartphone, Tablet-PC oder Laptop) bei "OnlineTED" anmelden und an einer Abstimmung teilnehmen. Die Anmeldung erfolgt durch die manuelle Eingabe des vierstelligen Zugangscodes, der automatisch für jede TED-Sitzung generiert und angezeigt wird. Alternativ ist die Anmeldung durch Einscannen des QR-Codes möglich. Die Antwortoptionen der vom Dozenten gestarteten TED-Frage werden automatisch auf den mobilen Endgeräten der Teilnehmer angezeigt (siehe Abbildung 3A ). Die Antwortauswahl erfolgt durch Antippen oder Anklicken des jeweiligen Antwortfelds im Display. Die Abstimmungsergebnisse werden anschließend in der Präsentation des Dozenten als wachsende Histogramme mit Prozentangabe angezeigt (siehe Abbildung 3B ).Jede TED-Frage erfordert eine bidirektionale Datenübertragung von ca. 0,03 Megabit (MBit). Auf Basis einer durchschnittlichen Datenübertragungsgeschwindigkeit von 54 MBit/s in Wireless Local Area Network (WLAN) Funknetzen und 7,2 Mbit/s in Universal Mobile Telecommunications System (UMTS) Mobilfunknetzen , kann “OnlineTED" auch in Lehrveranstaltungen mit hohen Teilnehmerzahlen eingesetzt werden.Durch die Verwendung von PHP als serverseitige Programmiersprache ist "OnlineTED" mit allen gängigen Betriebssystemen kompatibel. Eine Installation von zusätzlicher Software auf dem Computer des Dozenten oder den mobilen Endgeräten der Studierenden ist nicht erforderlich. Evaluation und Studiendesign Um die Funktionalität und Benutzerfreundlichkeit von "OnlineTED" in der Hochschullehre zu testen, wurde das Abstimmungssystem im Wintersemester 2012/13 in Vorlesungen (durchschnittliche Teilnehmerzahl: 200±50) und Seminaren (durchschnittliche Teilnehmerzahl: 22±3) der TUM eingesetzt. Ein konventionelles Abstimmungssystem mit Hardware-Klickern (Interwrite Cricket, Scottsdale, USA), das an der TUM für die Lehre eingesetzt wird, diente als Vergleich.Die Datenerhebung erfolgte mit Hilfe eines Papierfragebogens, der Studierenden und Dozenten der TUM in den Lehrveranstaltungen des Fachs Pharmakologie am Ende des Semesters ausgehändigt wurde. Eine Ratingskala mit den Antwortoptionen 1 "exzellent", 2 "sehr gut", 3 "gut", 4 "ausreichend", 5 "mangelhaft" und 6 "ungenügend" wurde für die Bestimmung der Gesamtnote von "OnlineTED" verwendet. Für den Vergleich zwischen "OnlineTED" und dem konventionellen Abstimmungssystem konnte aus den Antwortoptionen "besser", "gleich" oder "schlechter" ausgewählt werden. Die Teilnahme an der Umfrage war anonym, freiwillig und erfolgte mit Zustimmung der Ethikkommission der TUM. Der Webseitenzugriff auf "OnlineTED" wurden mit Google Analytics (Google, Mountain View, CA) erfasst.ResultsComparison “OnlineTED” vs. conventional AR systemA conventional AR system using hardware clickers (Interwrite Cricket , Scotsdale, USA) that is routinely used for teaching at TUM served as a comparison. Interwrite Cricket consists of 2.4 Ghz band radio receiver and radio transmitters (clicker). The system can manage up to 2047 clickers per receiver. The keypad of the clicker consists of six numeric and additional true and false buttons. The clickers are powered by two AAA batteries each that last approximately 20 weeks based on typical usage. The operative range of the clickers is up to 150 feet (45.7 m) from the receivers (in free space). Interwrite Cricket software runs on Windows, Mac and Linux and supports the generation of multiple-choice and true/false questions with a authoring software that requires installation on the computer of the presenter (http://www.banxia.com/prs/hardware/cricket). In contrast, "OnlineTED" is a web-based AR system that utilizes internet-enabled end devices of the audience as handsets. "OnlineTED" does not require the installation of software, is fully web-based and thus can be used on any operating system. Each poll question requires a bi-directional data transfer of approximately 0.03 Mbit, which enables the participation of large audiences even with low data bandwidth. The operative range of "OnlineTED" is not spatially limited and thus can be used for distance teaching, e.g. webinars. Sets of multiple-choice questions can be created and manage in "OnlineTED", and spontaneous polls with different rating scales (yes / no / undecided; very low - very high; excellent - insufficient; strongly agree - strongly disagree) conducted as "quick polls" options. Survey participation To evaluate "OnlineTED" and compare its user acceptance with conventional AR systems, a paper-based survey was conducted with students and lecturers at TUM. 361 of 709 (51%) students participated in the survey. Of these, 203 students were in their first clinical year (third year of study) at TUM and enrolled in the course "basic pharmacology" consisting of lectures and seminars. 158 students were in the third clinical year (sixth year of study) at TUM and enrolled in the course "clinical pharmacology" that consisted of lectures only. The average age of the students enrolled was 23.4 (SD 3.5) years in the course "basic pharmacology" and 25.3 (SD 3.3) years in the course "clinical pharmacology". Of the lecturers, nine of ten participated in the survey. Their average age was 40.1 (SD 10.0) years. Web statistics and evaluation dataThe beta-version of "OnlineTED" was made available on November 1st, 2012 at http://www.OnlineTED.com (German version: http://www.OnlineTED.de). As of February 28th, 2013, the website has been accessed by 2,997 visitors with 37,696 page hits (approximately 750 visitors and 9,424 page hits per month). The overall rating of “OnlineTED” by lecturers was "very good" (5 out of 10) or "excellent" (4 out of 10). The didactic benefit of “OnlineTED” for teaching was considered "excellent" by 6 out of 10 and "very good" by 3 out of 10 lecturers. Free text comments by the lecturers indicated that “OnlineTED” provided a "helpful basis for in-class discussions between students and lecturer”. In addition, "playful discussion of topics and clinical problems", e.g. by presenting clinical cases and questions on pharmacotherapy, drug choice and clinical management were considered a key didactic benefit of AR systems. A specific advantage of "OnlineTED" was seen in the possibility to "spontaneously assess the learning and knowledge state" of the students by using the instant poll option.When asked to compare “OnlineTED” with conventional AR systems using hardware clickers, the lecturers rated “OnlineTED” superior in seven out of nine categories (see Figure 4A ). The areas with the highest advantage for lecturers were seen in time required to use the TED system for the first time, well as its flexibility (10 out of 10 and 9 out of 10, respectively). Approximately 80% (289 of 361) of the undergraduate medical students in the studied cohort at TUM indicated to own a mobile internet-enabled device (smartphone, tablet-PC or iPad). Of these, the majority (92%, n=265) could access the polling session without difficulty using either wireless LAN or cellular data network during lectures or seminars. The vast majority of students (94%, n= 274) gave an overall rating for “OnlineTED” of "excellent" or "very good". “OnlineTED” was seen on par or superior in all categories when compared to conventional AR systems using hardware clickers (see Figure 4B ).ErgebnisseVergleich "OnlineTED" vs. konventionelles AbstimmungssystemEin konventionelles kommerzielles Abstimmungssystem (Interwrite Cricket, Scottsdale, USA; http://www.banxia.com/prs/hardware/cricket), das routinemäßig im Unterricht an der TUM eingesetzt wird, diente als Vergleich. Das System besteht aus einem 2,4 Gigahertz Funkempfänger und Funksender (Klicker). Laut Angaben des Herstellers können bis zu 2047 Klicker mit einem Funkempfänger verbunden werden. Der Klicker besteht aus einer Tastatur mit sechs Schaltflächen für numerische Eingaben, sowie zwei Eingabeflächen „F“ und „T“ für Falsch/Richtig-Abstimmungen. Die Klicker enthalten zwei AAA-Batterien, die eine Nutzung von bis zu 20 Wochen bei normalen Einsatz ermöglichen. Die Reichweite des Systems beträgt maximal 45,7 m. Für die Erstellung von TED-Fragen (MC- und Richtig/Falsch-Fragen) sowie der Durchführung einer Abstimmung ist eine spezielle Software erforderlich, die auf dem Rechner des Dozenten installiert wird. Im Gegensatz dazu ist "OnlineTED" ein vollständig webbasiertes Abstimmungssystem, das die internetfähigen Endgeräte der Teilnehmer als Klicker nutzt. "OnlineTED" erfordert keine Installation von zusätzlicher Software auf den Endgeräten der Dozenten oder Studierenden und ist mit allen gängigen Betriebssystemen kompatibel. Durch den geringen Datentransfer (0,03 Mbit pro TED-Frage) sind auch Abstimmungen mit großen Teilnehmerzahlen und/oder geringer Bandbreite der Internetverbindung möglich. Da "OnlineTED" vollständig webbasiert ist, können Abstimmungen auch mit Teilnehmern durchgeführt werden, die sich an unterschiedlichen Orten befinden (z.B. im Rahmen von Webinaren). In Gegensatz zu dem konventionellen Vergleichssystem erfolgt die Erstellung und Verwaltung der TED-Fragen bei „OnlineTED“ ausschließlich online. Zusätzlich bietet „OnlineTED“ die Möglichkeit, Spontanumfragen durchzuführen. Hierfür stehen allgemeine Fragensets mit verschiedenen Rating-Skalen ("ja" / "nein" / "unentschlossen", "sehr gering" bis "sehr hoch", "ausgezeichnet" bis "unzureichend", "trifft zu" bis "trifft nicht zu") zur Verfügung.An der Fragebogen-basierten Datenerhebung zur Bewertung der Funktionalität und Benutzerfreundlichkeit von "OnlineTED" im Vergleich zu konventionellen Klicker-basierten TED-Systemen nahmen 361 von 709 (51 %) Studenten der TUM teil. Von diesen besuchten 203 Studenten die aus Vorlesungen und Seminaren bestehende Lehrveranstaltung "Allgemeine Pharmakologie" im ersten klinischen Studienjahr. 158 Studenten besuchten die Lehrveranstaltung "Klinische Pharmakologie" im dritten klinischen Studienjahr, die nur aus Vorlesungen besteht. Das Durchschnittsalter der Studenten war 23,4 (SD 3,5) Jahre in der Lehrveranstaltung "Allgemeine Pharmakologie" und 25,3 (SD 3,3) in der Lehrveranstaltung "Klinische Pharmakologie". Neun von zehn Dozenten beteiligten sich an der Umfrage, das Durchschnittsalter war 40,1 (SD 10,0) Jahre.Webstatistik und EvaluationsergebnisseDie Beta-Version von "OnlineTED" wurde am 1. November 2012 auf http://wwwOnlineTED.de (englischsprachige Version: http://wwwOnlineTED.com) bereitgestellt. In den ersten vier Monaten (bis 28. Februar 2013) verzeichnete die Webseite 2.997 Besucher und 37.696 Seitenzugriffe (ca. 750 Besucher und 9.424 Seitenzugriffe pro Monat).Die Gesamtbewertung von „OnlineTED“ durch die Dozenten war "sehr gut" (fünf von zehn Dozenten) und "exzellent" (vier von zehn Dozenten). Der didaktische Nutzen von "OnlineTED" für den Unterricht wurde von sechs Dozenten mit "exzellent" und von drei Dozenten mit "sehr gut" bewertet. In den Freitextkommentaren wurde von den Dozenten angeführt, dass "OnlineTED" eine "hilfreiche Grundlage für Diskussionen zwischen Studenten und Dozenten während der Lehrveranstaltung" ist. Weiterhin wurde die Möglichkeit der „spielerischen Diskussion von Themen und klinischen Problemstellungen“ als Vorteil gesehen, z.B. durch die Präsentation von klinischen Fallbeispielen mit Abstimmung der geeigneten Pharmakotherapie durch das Auditorium. Als spezifischer Vorteil von „OnlineTED“ wurde angegeben, „spontan den Wissenstand und -fortschritt“ der Studenten durch die Spontanumfragefunktion zu ermitteln. Im Vergleich zu konventionellen TED-Systemen mit Hardware-Klickern wurde "OnlineTED" von den Dozenten in insgesamt sieben von neun Kategorien als überlegen bewertet (siehe Abbildung 4A ). Als wichtigste Vorteile wurde von den Dozenten die kurze Einarbeitungszeit in das System, sowie die hohe Flexibilität von „OnlineTED“ angesehen (zehn von zehn, und neun von zehn Dozenten).Etwa 80% (289 von 361) der an der Umfrage beteiligten Studenten der TUM gaben an, ein mobiles internetfähiges Endgerät (Smartphone, Tablet-PC oder iPad) zu besitzen. Von diesen konnten die Mehrheit (92%, n=265) problemlos über WLAN oder eine Mobilfunkverbindung an den TED-Abstimmung während der Lehrveranstaltung teilnehmen. Die Mehrzahl der Studierenden (94%, n=274) vergab für "OnlineTED" die Gesamtnote "exzellent” oder "sehr gut". Im Vergleich zu konventionellen Abstimmungssystemen mit Hardware-Clicker wurde "OnlineTED" von den Studierenden in allen Kategorien als gleichwertig oder überlegen eingestuft (siehe Abbildung 4B ).DiscussionIn this article we present “OnlineTED”, a novel web-based audience response system that is free-to-use, platform-independent and does not require hardware clickers. Our aim was to develop an AR system for higher education that is on par with commercial systems with respect to functionality and usability. Surprisingly, “OnlineTED” was evaluated superior in a number of categories by both students and lecturers (see Figure 4 ). In particular, its usability and flexibility with regard to handling, question management and in-class performance were seen as key advantages of "OnlineTED" in comparison to conventional AR systems. Finally, "OnlineTED" is a non-commerical AR system that is freely available to educators and students worldwide. A potential limitation of "OnlineTED" is its dependency on internet availability that may be limited or restricted at some university campuses due to poor WLAN coverage or cellular network reception. Another important issue is the safety of data on the internet. To address these concerns, “OnlineTED” has implemented HTTPS, a communications protocol for secure communication over a computer network that is used for sensitive data transfer e.g. electronic banking. HTTPS provides bi-directional encryption of data transfer between a client and server and authentication of the web site and associated web server . As an additional safety measure, “OnlineTED” does not permit users to identify the IP address of devices used in a poll, thus assuring the anonymity of poll participants. Nevertheless, further studies are needed to investigate the concerns and attitudes of students and lecturers to web-based technology and its impact for higher education. Extensive research on AR systems in higher education has indicated their effectiveness on different learning outcomes, such as knowledge gain, student self-confidence and positive learner reactions (reviewed by , , ). The most commonly cited benefit of AR systems are the increased student engagement through active participation. However, while AR systems provide a convenient way to improve student interactivity, it is in the end pedagogy and didactic implementation that matters. In a recent study by Smith et al. , students were encouraged to discuss TED clicker questions with their classmates prior to voting. The authors demonstrated that peer discussions are effective means of active learning that resulted in significantly improved conceptual understanding when used with AR systems. In this regard, the frequently cited limitation of AR systems that not all students may be able to participate in a poll due to limited numbers of clickers or internet-enabled devices may offer the opportunity for collaborative voting and peer discussions in class. Another pedagogical aspect of AR systems, which is often overlooked, is its use in formative assessment and feedback. A recent report by Alexander et al. showed that AR systems can be successfully used to monitor the progress of students in the curriculum and allow students to compare their learning progress with other classmates .The omnipresence of the internet and availability of computer-based technologies open up new opportunities to actively engage students in teaching. Our survey revealed that up to 80% of undergraduate medical students at TUM posses an internet-enabled device (smartphone, tablet or iPad). This results is in accordance with recent studies that 60 to 80% of UK medical students own a smartphone , . Web-based AR systems such as “OnlineTED” may thus provide a feasible alternative to conventional, hardware-based AR technology in teaching and become a suitable tool to foster interactive learning and student engagement in undergraduate medical education, in particular with large audiences.DiskussionIn diesem Artikel stellen wir mit "OnlineTED" ein neues webbasiertes Abstimmungssystem vor, das plattformunabhängig ist, keine Hardware-Klicker benötigt und kostenfrei genutzt werden kann. Ziel dieses Projekts war es, ein TED-System zu entwickeln, das speziell auf die Bedürfnisse und Anforderungen der Hochschullehre ausgerichtet ist und hinsichtlich Funktionalität und Benutzerfreundlichkeit mit kommerziellen Systemen vergleichbar ist. Zu unserer Überraschung wurde "OnlineTED" sowohl von Studierenden als auch Dozenten in mehreren Kategorien als ein den kommerziellen Produkten überlegenes System bewertet (siehe Abbildung 4 ). Insbesondere die hohe Benutzerfreundlichkeit und Flexibilität von "OnlineTED" bei der Fragenerstellung und -verwaltung sowie der praktische Einsatz bei Lehrveranstaltungen wurden als Vorzüge im Vergleich zu konventionellen Abstimmungssystemen angeführt. Ferner kann "OnlineTED" als ein nicht-kommerzielles Abstimmungssystem von Dozenten und Studenten weltweit kostenfrei genutzt werden.Eine potentielle Limitation für den Einsatz von webbasierten TED-Systemen ist die Notwendigkeit einer Internetverbindung. Diese kann an einigen Universitäten aufgrund von Sicherheitsbestimmungen oder durch lokale bauliche Gegebenheiten mit schlechter WLAN-Abdeckung oder Mobilfunkempfang nicht oder nur eingeschränkt gegeben sein. Ein weiterer potentieller Unsicherheitsfaktor ist die Datensicherheit im Internet. Um einen sichere Datenübertragung zu gewährleisten wurde bei „OnlineTED“ das Kommunikationsprotokoll HTTPS implementiert, das z.B. beim Internetbanking für die Übertragung vertraulicher Daten Verwendung findet. HTTPS ermöglicht eine bidirektionale verschlüsselte Datenübermittlung zwischen Client und Server mit Authentifizierung von Webseite und Webserver . Als weitere Sicherheitsmaßnahme speichert "OnlineTED" keine Internetprotokoll (IP) Adressen der Endgeräte, wodurch die Anonymität der Teilnehmer gewährleistet ist. In welchen Umfang bei Studierenden und Dozenten Bedenken gegenüber webbasierten Lehrtechnologien bestehen, ist noch wenig untersucht. Hingegen deuten umfangreiche Studien über den Einsatz von TED-Systemen in der Hochschullehre auf deren Effektivität, z.B. in Hinblick auf Wissenserwerb, Meinungsbildung und Zufriedenheit der Studierenden im Unterricht (Übersicht in , , ). Der am häufigsten angeführte Vorteil von TED-Systemen ist die intensivierte studentische Mitarbeit und Interaktion in Lehrveranstaltungen. Hier stellen TED-Systeme eine bequeme Möglichkeit dar, studentische Mitarbeit zu fördern. Allerdings ist für den Lernerfolg letztlich die pädagogisch und didaktische Fähigkeit eines Dozenten entscheidend, und damit die Art der Einbindung von technischen Innovationen wie TED-Systemen in den Unterricht. Beispielsweise wurden in einer Studie von Smith et al. Studenten aufgefordert, TED-Fragen zunächst mit dem Platznachbarn zu diskutieren und erst nach gemeinsamer Konsensfindung abzustimmen. Die Autoren konnten zeigen, dass kollaboratives Diskutieren und Abstimmen mit TED-Systemen eine effektive Methode ist, aktives Lernen zu fördern und mit einem signifikant verbesserten konzeptionellen Verständnis verbunden ist. Diese Ergebnisse relativieren Bedenken, dass durch eine limitierte Zahl von Abstimmungsgeräten nur ein Teil der Studenten aktiv am Unterricht teilnehmen können. Vielmehr könnte diese Situation auch die Möglichkeit zu dem vom Smith et al. dargestellten didaktisch wertvolleren TED-Einsatz durch kooperatives Abstimmen eröffnen. Ein weiterer pädagogischer Aspekt von TED-Systemen ist deren Einsatz in der formativen Evaluation (formative assessment). Alexander und Kollegen konnten zeigen, dass studentisches Feedback mit TED-Systemen erfolgreich für die bedarfsgerechte Anpassung der Lehre durch Dozenten genutzt werden kann. Für Studierende bietet sich die Möglichkeit, ihren persönlichen Lernfortschritt mit dem ihrer Kommilitonen zu vergleichen.Die Omnipräsenz des Internets und die weite Verbreitung computerbasierter Technologien eröffnen neue Möglichkeiten, Studenten aktiv in der Lehre einzubeziehen. Unsere Datenerhebung ergab, dass bis zu 80% der Medizinstudenten an der TUM ein internetfähiges Endgerät (Smartphone, Tablet oder iPad) besitzen. Diese Ergebnisse stehen in Einklang mit aktuellen Studien aus Großbritannien, die den Besitz von Smartphones bei Medizinstudierenden mit 60 bis 80 % angeben , . Webbasierte Abstimmungssysteme wie "OnlineTED" könnten somit eine gute Alternative zu konventionellen TED-Systemen darstellen, um interaktives Lernen und studentische Mitarbeit zu fördern, insbesondere bei Lehrveranstaltungen mit hohen Teilnehmerzahlen. AcknowledgementsWe thank Leszek Wojnowski for critical reading of the manuscript. We are grateful to Pascal Berberat and co-workers for providing statistical data on the age distribution of the survey cohort. DanksagungWir danken Leszek Wojnowski für die kritische Durchsicht des Manuskripts. Pascal Berberat und den Mitarbeitern des Medizindidaktischen Zentrums der TUM möchten wir für die Bereitstellung von statistischen Daten zur Altersverteilung der Studienkohorte danken. AnmerkungIm Interesse der erleichterten Lesbarkeit und damit der Verständlichkeit wird nur die verallgemeinerte männliche Sprachform gewählt. Hierbei sind aber immer ausdrücklich beide Geschlechter angesprochen. Competing interestsThe authors declare that they have no competing interests.InteressenkonfliktDie Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben.Biggs JTang C2011Teaching for quality learning at universityBiggs J, Tang C. Teaching for quality learning at university. Maidenhead (Berkshire): Open University Press; 2011.Kay RHLeSage AA strategic assessment of audience response systems used in higher education2009Aus J Educ Technol235-249Kay RH, LeSage A. A strategic assessment of audience response systems used in higher education. Aus J Educ Technol. 2009;25(2):235-249.Barber MNjus DClicker evolution: seeking intelligent design2007Cell Biol Educ1–8Barber M, Njus D. Clicker evolution: seeking intelligent design. Cell Biol Educ. 2007;6(1):1–8. DOI: 10.1187/cbe.06-12-0206http://dx.doi.org/10.1187/cbe.06-12-0206Cate Ten ODurning SPeer teaching in medical education: twelve reasons to move from theory to practice2007Med Teach591–599Cate Ten O, Durning S. Peer teaching in medical education: twelve reasons to move from theory to practice. Med Teach. 2007;29(6):591–599. DOI: 10.1080/01421590701606799http://dx.doi.org/10.1080/01421590701606799Caldwell JEClickers in the Large Classroom: Current Research and Best-Practice Tips2007Cell Biol Educ9–20Caldwell JE. Clickers in the Large Classroom: Current Research and Best-Practice Tips. Cell Biol Educ. 2007;6(1):9–20. DOI: 10.1187/cbe.06-12-0205http://dx.doi.org/10.1187/cbe.06-12-0205Schüring M2011Mobile cloud computing–open issues and solutionsSchüring M. Mobile cloud computing–open issues and solutions. Enschede: University of Twente; 2011. Zugänglich unter/available from: http://referaat.cs.utwente.nl/conference/15/paper/7247/mobile-cloud-computing-open-issues-and-solutions.pdfhttp://referaat.cs.utwente.nl/conference/15/paper/7247/mobile-cloud-computing-open-issues-and-solutions.pdfCallegati FCerroni WRamilli M2009Man-in-the-Middle Attack to the HTTPS ProtocolCallegati F, Cerroni W, Ramilli M. Man-in-the-Middle Attack to the HTTPS Protocol. IEEE Security & Privacy. 2009.Boscardin CPenuel WExploring benefits of audience-response systems on learning: a review of the literature2012Acad Psych401–407Boscardin C, Penuel W. Exploring benefits of audience-response systems on learning: a review of the literature. Acad Psych. 2012;36(5):401–407. DOI: 10.1176/appi.ap.10080110http://dx.doi.org/10.1176/appi.ap.10080110Nelson CHartling LCampbell SOswald AEThe effects of audience response systems on learning outcomes in health professions education. A BEME systematic review: BEME Guide No. 212012Med Teache386–405Nelson C, Hartling L, Campbell S, Oswald AE. The effects of audience response systems on learning outcomes in health professions education. A BEME systematic review: BEME Guide No. 21. Med Teach. 2012;34(6):e386–405. DOI: 10.3109/0142159X.2012.680938http://dx.doi.org/10.3109/0142159X.2012.680938Smith MKWood WBAdams WKWieman CKnight JKGuild NWhy peer discussion improves student performance on in-class concept questions2009Science122–124Smith MK, Wood WB, Adams WK, Wieman C, Knight JK, Guild N, et al. Why peer discussion improves student performance on in-class concept questions. Science. 2009;323(5910):122–124. DOI: 10.1126/science.1165919http://dx.doi.org/10.1126/science.1165919Alexander CJCrescini WMJuskewitch JELachman NPawlina WAssessing the integration of audience response system technology in teaching of anatomical sciences2009Anat Sci Educ160–166Alexander CJ, Crescini WM, Juskewitch JE, Lachman N, Pawlina W. Assessing the integration of audience response system technology in teaching of anatomical sciences. Anat Sci Educ. 2009;2(4):160–166. DOI: 10.1002/ase.99http://dx.doi.org/10.1002/ase.99Robinson TCronin TIbrahim HJinks MMolitor TNewman JShapiro JSmartphone use and acceptability among clinical medical students: a questionnaire-based study2013J Med Syst9936Robinson T, Cronin T, Ibrahim H, Jinks M, Molitor T, Newman J, Shapiro J. Smartphone use and acceptability among clinical medical students: a questionnaire-based study. J Med Syst. 2013;37(3):9936. DOI: 10.1007/s10916-013-9936-5http://dx.doi.org/10.1007/s10916-013-9936-5Payne KFBWharrad HWatts KSmartphone and medical related App use among medical students and junior doctors in the United Kingdom (UK): a regional survey2012BMC Med Inform Decis Mak121Payne KFB, Wharrad H, Watts K. Smartphone and medical related App use among medical students and junior doctors in the United Kingdom (UK): a regional survey. BMC Med Inform Decis Mak. 2012;12:121. DOI: 10.1186/1472-6947-12-121http://dx.doi.org/10.1186/1472-6947-12-121011en1de
Figure 1: Structure and features of the main page in "OnlineTED". After log-on, the main page conveys information for poll participation such as website URL for login, session token or quick response code. Flags link to the sub-pages "poll viewer" to start a polling session, "quick poll" for spontaneous polls and "poll editor" to create or manage question sets.
Abbildung 1: Aufbau und Funktionsumfang der Startseite von "OnlineTED". Nach dem Login werden auf der Startseite Informationen für die Teilnahme an einer Abstimmung angezeigt (Webseiten-URL, Zugangscode sowie QR-Code). Reiter ermöglichen den einfachen Zugriff auf die Bereiche “Übersicht” (für die Auswahl und Start bereits erstellter TED-Fragen), "Spontanumfrage" (für die Durchführung von allgemeinen Kurzumfragen), sowie "Fragenverwaltung" (für die Neuerstellung oder Bearbeitung von TED-Fragen).
22en2de
Figure 2: Structure and features of the poll editor in "OnlineTED". For lecturers, the poll editor is the starting point to manage and create poll sets and questions in multiple-choice format.
Abbildung 2: Aufbau und Funktionen der Fragenverwaltung. In der Fragenverwaltung können TED-Fragen verwaltet, überarbeitet oder mit einem Eingabefenster neu erstellt werden. Zusätzlich können statistische Daten zu TED-Abstimmungen abgerufen werden, oder TED-Fragen exportiert oder ausgedruckt werden.
33en3de
Figure 3: Display of voting options and results. A. Display of answer options on a mobile device of the student. B. Display of voting results in the presentation of the lecturer.
Abbildung 3: Darstellung der Antwortoptionen und Abstimmungsergebnissen. A. Darstellung der Antwortoptionen auf dem Display eines mobilen Endgeräts. Die Abstimmung erfolgt durch Antippen des jeweiligen Antwortfelds. B. Darstellung der Abstimmungsergebnisse als Histogramme in der Präsentation des Dozenten.
44en4de
Figure 4: Comparison of “OnlineTED” with a conventional AR system using clickers. A. Evaluation results by lecturers. B. Evaluation results by undergraduate medical students at TUM. The response rate was 8 of 10 and 361 of 709 (51%), respectively. The stacked bars depict the relationship of individual items to the whole in percent.
Abbildung 4: Beurteilung der Funktionalität und Benutzerfreundlichkeit von “OnlineTED” im Vergleich zu einem konventionellen Abstimmungssystem. A. Evaluationsergebnisse der Dozenten. B. Evaluationsergebnisse der Studierenden. An der Umfragen haben sich 8 von 10 Dozenten und 361 von 709 (51%) einer Kohorte von Medizinstudenten an TUM beteiligt. Die gestapelten Säulendiagramme stellen die anteilige Verteilung der Antworten in Prozent dar.