zma000696 10.3205/zma000696 urn:nbn:de:0183-zma0006962 Projekt/project Use of formative e-assessment in lectures Ehlers Ehlers Jan P. JP Dr. med. vet. M.A.

Stiftung Tierärztliche Hochschule Hannover, eLarning-Berater, Bünteweg 2, 30559 Hannover, Deutschland, Tel.: 0511/953-8054Stiftung Tierärztliche Hochschule Hannover, eLarning-Berater, Hannover, Deutschland

jan.ehlers@tiho-hannover.de author Möbs Möbs Daniel D

Codiplan GmbH, Bergisch-Gladbach, Deutschland

author vor dem Esche vor dem Esche J. J

TU München, Zentrum für Prävention und Sportmedizin, München, Deutschland

author Blume Blume K. K

TU München, Zentrum für Prävention und Sportmedizin, München, Deutschland

author Bollwein Bollwein H. H

Stiftung Tierärztliche Hochschule Hannover, Klinik für Rinder, Hannover, Deutschland

author Halle Halle M. M

TU München, Zentrum für Prävention und Sportmedizin, München, Deutschland

author German Medical Science GMS Publishing House

Düsseldorf

610 formative assessment feedback e-assessment voting evaluation formatives Prüfen Feedback-Systeme slektronische Prüfungen Abstimmung Evaluation Humanmedizin 20090914 20100503 20100702 2010081620100929 germ 1860-3572 27 4 GMS Zeitschrift für Medizinische Ausbildung GMS Z Med Ausbild 59 20100929Zeitschriftentitel korrigiert Einleitung/Zielsetzung: Elektronische Prüfungssysteme können diagnostisch, formativ oder summativ eingesetzt werden. In dieser Studie sollte untersucht werden, ob elektronische Prüfungssysteme auch in Präsenzveranstaltungen eingesetzt werden können, um sowohl den Studierenden als auch den Dozierenden Feedback über den Lernstand zu geben.Methodik: In tiermedizinischen und medizinischen Unterrichts- und Fortbildungsveranstaltungen wurden zwei verschiedene Systeme in drei unterschiedlichen Szenarien eingesetzt: Einsatz von PowerVote-Abstimmgeräten in tiermedizinischen Vorlesungen. Interaktive Vorlesungen mit Q[kju:]-Tablet-PCs in der Sportmedizin. Interaktive Präsenzfortbildungen mit Q[kju:]-Patientenakten in der tiermedizinischen Neurologie und medizinischen Pharmazie. Hierbei wurden sowohl Lernenden quantitativ (1: n= 472, 2: n=82, 3: 1278) als auch Lehrenden im ersten Szenario (n=8) qualitativ befragt.Ergebnisse: Es konnten eine breite Akzeptanz der Methode und positive Auswirkungen auf den Unterricht festgestellt werden. Die Motivation aller beteiligten Gruppen und die Interaktion wurden gesteigert, fallbasiertes Lernen wurde auch in Großveranstaltungen ermöglicht und die Auseinandersetzung mit dem Thema gefördert. Schlussfolgerungen: Die Ergebnisse dieser Untersuchung deuten darauf hin, dass der Einsatz formativer, elektronischer Prüfungssysteme die Qualität der Lehre verbessert kann und somit ein umfangreicher Einsatz gerechtfertigt ist. Introduction/Objective: E-assessment can be used in a diagnostic, formative, or summative way. The purpose of this study was to evaluate whether e-assessment can be used in lectures to enhance the learning effect through providing feedback to students and teachers.Methods: In lectures and continuing education courses of veterinary medicine and medicine, two different systems in three scenarios were tested: Use of PowerVote transponders in veterinary lectures. Interactive lectures with Q[kju:] tablet PCs in sports medicine. Interactive continuing education with Q[kju:] patient records in veterinary neurology and medical pharmacology. Students were evaluated quantitatively (1: n = 472, 2: n = 82, 3: 1278) and teachers were interviewed in the first scenario qualitatively (n = 8). Results: A broad acceptance of the method and a positive impact on the lecture could be proven. Motivation of all participating groups and interaction were improved. It was possible to realize case-based training with a large group, and the participants were actively involved with the different subjects. Conclusions: The results of this study indicate that by using formative e-assessment the quality of teaching can be enhanced to such an extent as to justify a comprehensive use of the systems. EinleitungAn den tiermedizinischen und medizinischen Bildungsstätten werden seit einigen Jahren eLearning-Applikationen zum Selbstlernen oder kollaborativen Lernen angeboten , . Dabei werden freiwillige Nutzungsraten von über 60% erreicht . Als große Vorteile des eLearnings werden neben der Orts- und Zeitunabhängigkeit vor allem die Interaktivität und Möglichkeiten des Feedbacks angesehen.Auch in der Präsenzlehre werden oft neue Wege, wie z.B. Problem-basiertes Lernen in Kleingruppen , oder Peer-to-Peer-Learning gewählt. Trotzdem findet v. a. in der Tiermedizin weiterhin ein Großteil der Veranstaltungen als Vorlesungen vor großem Auditorium statt, da diese als die ökonomischste Lehrform gelten. Über die Effektivität solcher Veranstaltungen wird in der Literatur viel diskutiert . Als Nachteile von Vorlesungen werden unter anderem die Stofffülle , mangelnde Selbsteinschätzung des Lernerfolges bei Studierenden, fehlende Interaktion zwischen Lehrenden und Lernenden , Passivität der Lernenden und das fehlende beidseitige Feedback angesprochen.Damit in Lehrveranstaltung nicht nur Verständnis, sondern tatsächlich Lernen gefördert wird, beschrieb Döring den Prozess des „Einatmens“ (Rezeptive Phase) und „Ausatmens“ (Expressive Phase) . Um diese Expression in Großveranstaltungen leicht zu fördern können elektronische Testverfahren eingesetzt werden . Dabei werden folgende Formen des elektronischen Prüfens unterschieden :Diagnostisch (Eingangstests zur Auswahl von Teilnehmenden)Formativ (Überprüfung des Lernerfolgs zur Erteilung von Feedback an die Lernenden)Summativ (Abschlussprüfung zur Erreichung eines Zertifikates)Um die Interaktion in der Vorlesung zu steigern und den Lernenden ein direktes Feedback zu ermöglichen können formative Tests eingesetzt werden. Dabei werden vier Generationen elektronischen Prüfens unterschieden : 1. Generation: Computerized testing 2. Generation: Computerized adaptive testing 3. Generation: Continuous measurement 4. Generation: Intelligent measurement Durch den Einsatz eines anonymen Feedbacksystems wird einerseits den Lernenden die individuelle Leistungsmessung ermöglicht und andererseits den Dozierenden die Einsicht in den Leistungsstand des gesamten Auditoriums gestattet. Hierfür können Testsysteme der ersten Generation eingesetzt werden, da bekannte Szenarien in organisatorisch-ökonomischer Hinsicht in Großgruppen anzuwenden sind .Die gesteigerte Interaktion, das Gefühl, den Unterricht selbst mitzugestalten, und die Möglichkeit, Feedback auf den eigenen Lernerfolg zu bekommen, steigert die Motivation bei den Lernenden . Durch die Integration der Lernenden findet ein Übergang von einem gegenstandszentrierten in einen lernerzentrierten Unterricht statt. Bransford et al. beschreiben für problemorientierten Unterricht vier Prinzipien der integrativen Funktion (learner-, community-, knowledge- und assessment-centered), die unter Umständen auch mit dem Einsatz von Feedbacksystemen erreicht werden könne . Die Abkehr von der reinen Instruktion kann hierbei dem Aufbau „trägem Wissen“ vorbeugen und die gelernten Lerninhalte durch die Mitarbeit vertiefen.Ziel dieser Studie war es, den Einsatz von Feedbacksystemen in der Präsenzlehre und –fortbildung zu testen. Dabei sollte die Frage beantwortet werden, ob elektronische Systeme in Großveranstaltungen eingesetzt werden können, um Feedback zu ermöglichen, und ob damit eine Akzeptanz bei den Nutzenden zu erreichen ist. MethodikUm Präsenzveranstaltungen interaktiv zu gestalten, werden Fragen direkt an das Auditorium gestellt, die anonym beantwortet werden können. Die Antworten werden daraufhin sofort in der Präsentation dargestellt, sodass die Zuhörer ihr Wissen testen können und die Vortragenden direkt auf die Ergebnisse eingehen können, um ein entsprechendes „Feedback“ zu geben. Dazu wurden in dieser Studie über den Einsatz von elektronischen Testsystemen in der Lehre zwei verschiedene Systeme eingesetzt: 1. In Vorlesungen und für formative Testate wurden in der Tiermedizin seit 2005 Abstimmgeräte (PowerVote) mit direktem PowerPoint Plug-in verwendet (siehe Abbildung 1 ). Teilweise (in 20% Prozent der Studie) hatte nicht jeder Zuhörer ein eigenes Gerät, sondern Gruppen mit bis zu vier Teilnehmern konnten gemeinsam die Frage erarbeiten. Die Multiple-Choice-Fragen wurden per Beamer projiziert und die Antworten des Auditoriums in der folgenden Folie präsentiert. Als Fragetypen wurden TypA und PickN verwendet. Die Fragen konnten zu Beginn eines Themas zur Aktivierung des Vorwissens oder abschließend als Lernerfolgskontrolle gestellt werden. Teilweise wurden in diesem Szenario auch CASUS-Fälle präsentiert, die dann mit dem Feedback-System kollaborativ bearbeitet werden sollten.Die Akzeptanz dieses Systems wurde mit einem Fragebogen (Likert-Werte 1-6, vergleichbar mit Schulnoten) direkt nach 13 Veranstaltungen bei insgesamt 472 Studierenden erhoben. Wertungen von 1-3 wurden als Zustimmung und Wertungen von 4-6 als Ablehnung zusammengefasst. Um auch die Meinung der Dozierenden darstellen zu können, wurden acht Dozierende qualitativ im Rahmen von einzelnen Experteninterviews befragt. 2. In der Sportmedizin wurden 2008 mit vernetzten Tablet-PCs (Q[kju:]) interaktive Vorlesungen (http://www.youtube.com/watch?v=p0wbddk1pYE) durchgeführt (siehe Abbildung 2 ). Die 82 Studierenden wurden in 20 Gruppen eingeteilt und bekamen die komplette Patientenakte auf jeweils ein Tablet gespeist. So konnten sie in Gruppen parallel zur Präsentation die Fälle kollaborativ studieren. Zwischen den Ausführungen des Dozenten müssten die Studierendengruppen regelmäßig Aufgaben in der Patientenakte bearbeiten (Freitext, TypA, Bildanalyse), deren Ergebnisse dann dem ganzen Auditorium anonym präsentiert wurden. Die Patientendiskussion konnte so mit allen Teilnehmern erfolgen.Dem Dozierenden stand bei dieser Methode immer eine Hilfsperson zur Seite, die sich um die Technik kümmerte und den Transfer der Daten zwischen Server, Präsentationslaptop und Tablets regelte.Die Evaluierung der 82 Teilnehmer erfolgte in 20 Gruppen direkt anschließend an die Vorlesung mit einem elektronischen Fragebogen (Likert-Werte 1-6, vergleichbar mit Schulnoten) auf den Tablets. 3. Diese Technologie der interaktiven Patientenakten wird seit 2000 auch für interaktive Präsenzfortbildungen in der tiermedizinischen Neurologie und medizinischen Pharmazie eingesetzt. Die Teilnehmer können während der Fortbildung mit den interaktiven Patientenakten arbeiten und kollaborativ über die Fragen gemeinsam mit den Dozierenden z.B. Diagnosen entwickeln.Dieser Studie wurde eine Auswertung über 37 Fortbildungen der pharmazeutischen Industrie mit 1278 Teilnehmern im Zeitraum 2005 bis 2008 zugrunde gelegt. Die Evaluation der Fortbildung per elektronischem Fragebogen (Likert-Werte 1-5, 1=ja, sehr bis 5= nein, gar nicht; Werte von 1-2 wurden als Zustimmung, Werte von 4-5 als Ablehnung gewertet) wurde direkt auf dem Tablet durchgeführt und enthielt neben fachlichen Fragen und Einzelbewertungen der Dozierenden auch eine Frage zur Akzeptanz der Methode der interaktiven Fortbildung. ErgebnisseDer Einsatz der Feedbacksysteme funktionierte in allen drei Settings (Abstimmgeräte und Tablet PCs) technisch sehr gut und die Vorlesungen konnten problemlos gehalten werden. Der Einsatz der Systeme erzeugte keinen deutlichen Mehraufwand. Gerade im ersten Szenario konnten auch kurzfristig Entscheidungen für den Einsatz getroffen werden. Der technische Aufwand tritt hierbei deutlich hinter dem didaktischen zurück. Wichtig waren die Entscheidungen was gefragt werden sollte und wie dies am besten erfolgt.Bei der Befragung der Studierenden der Tiermedizin (siehe Abbildung 3 ) wurde deutlich, dass sich 43,2% in herkömmlichen Vorlesungen eher nicht melden, wenn sie etwas nicht verstanden haben. Auch die Möglichkeit zur Diskussion wurde in solchen Veranstaltungen von 57,2% der Befragten nicht genutzt. An den hier durchgeführten Vorlesungen beteiligten sich allerdings alle Studierenden durch das anonyme Feedback-System.Den Vorlesungen mit Feedbacksystem wurde von den Studierenden ein höherer subjektiver Lernerfolg (2,4) als den normalen Vorlesungen (3,1) attestiert. Auch die Sportmediziner (siehe Abbildung 4 ) gaben an, sich durch den Einsatz der Tablets besser in die Veranstaltung einbringen zu können (2,9). Einen tatsächlichen Gewinn durch die Geräte konnten dabei 60% der Sportstudierenden bei sich feststellen.Die Teilnehmer aus allen drei Gruppen haben den Einsatz der elektronischen Hilfsmittel begrüßt (Tiermedizin: 1,5; Sportmedizin: 1,8; Fortbildung: 1,4, siehe Abbildung 5 ). Der Einsatz der Geräte wurde dabei von 98,5% der Studierenden der Tiermedizin und von 95% der Sportmediziner als technisch problemlos empfunden.Die Studierenden der Tiermedizin wünschten sich einen häufigeren Einsatz der Feedback-Technik (1,9) allerdings nicht in jeder Vorlesung (3,7). Dabei bevorzugten Sie den Einsatz für Evaluationen (2,1) und formative Tests (2,0) gegenüber einer möglichen Anwendung in summativen Prüfungen (3,6). Auch bei den Studierenden der Sportmedizin wünschten sich 60% einen weiteren Einsatz dieser Methode in den Vorlesungen.Die Befragung der Dozierenden der Tiermedizin zeigte, dass alle das Feedbacksystem gerne im Unterricht eingesetzt haben und dass es komplikationslos in die Vorlesung integriert werden konnte. Einige Dozierende nahmen hier die Hilfe der eLearning-Beratung an. Durch die Arbeitsteilung konnten sie sich ganz auf die Vorlesung und die Diskussion konzentrieren. Als Hauptvorteil wurde genannt, dass es durch das Feedbacksystem ermöglicht wurde, den Studierenden Feedback auf ihr Wissen und Verständnis zu geben und einige Themen genauer zu erläutern, wenn Verständnisschwierigkeiten auftraten. Weiterhin bekamen auch die Dozierenden ein Feedback zu ihrem Unterricht und konnten sich besser auf das Auditorium einstimmen. Es wurde nicht als Nachteil gesehen, wenn mehrere Studierende als Gruppe die Frage mit einem Gerät beantworteten, da so eine Diskussion über den Lernstoff aufkam. Durch das Durchbrechen des typischen Frontalunterrichtes wurde allgemein die Diskussion verstärkt und es wurden auch mehr Fragen aus dem Auditorium gestellt als bei herkömmlichen Vorlesungen. Die Dozierenden konnten eine deutliche Motivationssteigerung der Studierenden feststellen. Aber auch den Vorlesenden machte diese interaktive Form des Unterrichtes mehr Spaß. Weiterhin wurde angemerkt, dass der Einsatz des Systems auch sinnvoll sein, um hohe Beteiligungen an Unterrichtsevaluationen zu gewährleisten.Als Nachteile wurden der erhöhte technische und zeitliche Aufwand genannt. Während die Technik schnell beherrscht werden konnte, kann in Vorlesungen mit Feedback-System durch die Interaktion nicht so viel vermittelt werden wie in reinem Frontalunterricht. Hierdurch ergab sich die Meinung der Dozierenden, dass der Einsatz des Systems genau geplant und auf den Themenkomplex abgestimmt werden muss. So hätte es weniger Sinn, es für die Vorstellung einer Systematik einzusetzen und deutlich mehr Anwendungsmöglichkeiten bei der Abfrage der Lernziele am Ende eines Themenkomplexes. Da an der TiHo Hannover zur Zeit nur ein Feedback-System und nur wenige Lizenzen für die Software vorrätig sind, ist ein gewisser organisatorischer Aufwand und eine Absprache mit den verschiedenen Kliniken und Instituten vor dem Einsatz notwendig.Als Ausblick wurde beschrieben, dass der Einsatz des Feedbacksystems für formatives Prüfen und zur Evaluation intensiviert werden soll. Dabei wäre es gut, wenn jeder Dozent mit seinem eigenen Rechner interaktive Präsentationen erstellen könnte und ausreichend Transponder zur Verfügung ständen. An der TiHo zeigte sich bereits, dass das System auch für Fortbildungen und studentische Referate eingesetzt wird. Auch für summatives Prüfen bei Multiple-Choice-Klausuren sei die Nutzung eines analogen Systems denkbar. Eine weitere Schulung der Dozierenden für den technischen und didaktischen Einsatz (z.B. Gestaltung der Fragen) sei dabei wünschenswert. Eine Befragung der Dozierenden in den Fortbildungen mit interaktiven Patientenakten zeigte ein gleiches Bild. Auch hier wurde die Möglichkeit der Interaktivität und gemeinsamen Diskussion als Bereicherung angesehen. Die Möglichkeit, die Teilnehmer einzubeziehen und ihnen Feedback zu geben, erhöhe die Qualität der Fortbildung sehr. Durch den externen Betreuer hält sich der technische Aufwand in Grenzen. Allerdings zeigt sich auch hier ein organisatorischer Mehraufwand, da umfangreicheres Material notwendig ist und die Vorträge frühzeitig aufbereitet werden müssen und nicht erst kurz vor der Veranstaltung erstellt werden können. DiskussionAnhand der Untersuchung konnte nachgewiesen werden, dass der Einsatz elektronischer, formativer Tests auch in Großveranstaltungen möglich ist und dass eine hohe Akzeptanz bei Lernenden und Lehrenden erreicht wird, wie es auch in anderen Fachdisziplinen beschrieben wurde , , , , . Es konnte nicht als Nachteil angesehen werden, wenn teilweise mehrere Teilnehmer zusammen ein Abstimmgerät bedienten. Während es bei den einzelnen Teilnehmern um rein formatives Testen ging, wurde bei Gruppenabstimmungen ein kollaboratives Lernen und Arbeiten im Sinne des problemorientierten Unterrichtes beobachtet . Dies konnte durch den Einsatz von CASUS-Lernfällen in der Präsenzlehre und die Verknüpfung mit dem Feedback-System noch verstärkt werden. Dieses gemeinsame Bearbeiten praxisnaher Fälle führte zu einem wichtigen Theorie-Praxis-Bezug und kann daher dem Pragmatismus zugeordnet werden . Fallbasiertes Lernen wurde in Großveranstaltungen mit dieser Technik ermöglicht. Hierbei geht es in der Medizin weniger um das freie Suchen nach Wissen als viel mehr um die interdisziplinäre Anwendung einer Hypothese und das Zurückgreifen auf einen Bestand vorhandenen Wissens .Sehr deutlich wurde in dieser Untersuchung, dass die Kommunikation und Integration der Lernenden in die Vorlesung durch den Einsatz der Feedback-Systeme gesteigert werden konnten. Dies kann gerade in Fachbereichen mit abschließenden mündlichen Prüfungen durch dieselben Dozierenden an der Möglichkeit der anonymen Teilnahme liegen. Doch auch über die vorbereiteten Fragen hinaus sorgte die neue Methode für eine vermehrte Diskussion und gab den Studierenden Anreiz, selbst Verständnisfragen zu äußern. Durch den erhöhten subjektiven Lernerfolg und der verstärkten Auseinandersetzung mit dem Thema konnte die intrinsische Motivation der Studierenden erhöht werden, sodass sie sich stärker in den Unterricht integrierten. In herkömmlichen Vorlesungen dominiert oft die extrinsische Motivation mit dem Ziel, die nachfolgenden Examina zu bestehen . Dieser Motivationsanstieg wird durch den Wechsel von gegenstands- zum lernerzentrierten Unterricht erreicht. Auch für die Lehrenden bedeutete dies einen Anstieg der Motivation, da sie es mit aktiveren und begeisterteren Studierenden zu tun hatten. Die unterschiedliche Ausprägung in den einzelnen Gruppen wird auch auf das Vertrauen und den gewohnten Umgang mit der Technik zurückgeführt. Während die Technik in der Tiermedizin schon länger eingesetzt wurde, fand in der Sportmedizin ein Erstversuch statt. Bei der Befragung der Dozierenden zeigte sich ebenso eine anfängliche Ungewissheit beim Umgang mit der neuen Methode, die durch Unterstützung und Schulungen abgebaut werden konnte. Außerdem musste der Unterricht deutlich flexibler gestaltet werden, da er vermehrt einer Diskussion denn einem Monolog glich. Hier zeigt sich, wie wichtig auch bei dem Lehrpersonal eine didaktische Fortbildung ist , die auch in naturwissenschaftlichen und medizinischen Fächern den Wert guter Lehre unterstreicht. Erste Ansätze dazu schaffen zum Beispiel das Programm „Master of Medical Education“ oder der Kurs „Professionelle Lehre“ an der TiHo Hannover . Die Studierenden wünschten sich in der Evaluation einen vermehrten Einsatz des formativen Testsystems. Dabei konnten sie sich auch eine Nutzung für die Evaluierung der Lehrveranstaltungen vorstellen. Ein Vorteil dieser Nutzungserweiterung wäre die stärkere Teilnahme an Evaluationen, die bisher rein online erfolgen . Weder die Studierenden noch die Dozierenden konnten sich vorstellen, dass System in jeder Vorlesung einzusetzen, da der Aufwand deutlich erhöht ist. Hier ist auch abzugrenzen, zwischen Vorlesungen, die nur eine Systematik vorstellen und das Verstehen erfordern, und Vorlesungen, in denen tiefergehend gelernt werden soll . Während bei den Studierenden der Einsatz elektronischer Systeme für summative Prüfungen eher abgelehnt wurde, bedeutete dieser sowohl für die Lehrenden als auch die Hochschulleitungen eine Zeitersparnis und bessere Berücksichtigung der Qualitätskriterien (Objektivität, Validität, Reliabilität) gegenüber den bestehenden mündlichen Prüfungen. Daher wurden mittlerweile auch summative elektronische Prüfungen in den Examina eingeführt, die auch von den Studierenden nach einer Eingewöhnungsphase gut akzeptiert werden .Durch die guten Ergebnisse der Studie sollen elektronische Testsysteme an den beteiligten Institutionen verstärkt eingesetzt werden. Dabei soll neben der individuellen Leistungsmessung und dem Feedback für die Studierenden auch die Gruppenleistung als Feedback für die Dozierenden helfen, die Qualität der Lehre zu verbessern. Die Stiftung Tierärztliche Hochschule setzt mittlerweile alle drei Formen elektronischen Prüfens ein. Diagnostisch wird das Auswahlverfahren der Hochschulbewerber durchgeführt, formativ die Lernerfolgskontrollen und interaktive Vorlesungen sowie summativ Abschlussprüfungen und Staatsexamina. Für die formativen Tests wird überlegt, dem Beispiel der Medizinischen Fakultät der Universität Münster (https://medicampus.uni-muenster.de/mars.html) zu folgen und jedem Studierenden einen Transponder für die Studiendauer zur Verfügung zu stellen.Zusammenfassend lässt sich sagen, dass die Ergebnisse dieser Untersuchung darauf hin deuten, dass sich durch den Einsatz elektronischer Feedback-Systeme eine Qualitätsverbesserung der Lehre erreichen lässt, die auf die Lernerzentrierung des Unterrichts und die erhöhte Motivation aller Teilnehmergruppen zurückzuführen ist. Björnsson JK Changing Islandic National Testing from Traditional Paper and Pencil Based Tests to Computer Based Testing: Some Background, Challenges and Problems to Overcome 2008 JRC Scientific and Technical Reports 10-14 Björnsson JK. Changing Islandic National Testing from Traditional Paper and Pencil Based Tests to Computer Based Testing: Some Background, Challenges and Problems to Overcome. In: Scheuermann F, Pereira AG (Hrsg). JRC Scientific and Technical Reports. Towards a Research Agenda on Computer-Based Assessment. Challenges and needs for European Educational Measurement. Ispra (It): European Commission; 2008.S10-14. Brandford JD Brown AL Cocking RR 1999 How people learn: Brain, mind, experience, and school Brandford JD, Brown AL, Cocking RR. How people learn: Brain, mind, experience, and school. Wahsington: National Academic Press; 1999. Butler JA Use of teaching methods within the lecture format 1992 Med Teach 11-25 Butler JA. Use of teaching methods within the lecture format. Med Teach. 1992;14(1):11-25. DOI: 10.3109/01421599209044010 http://dx.doi.org/10.3109/01421599209044010 Carl T TiHoStudIS/TiHoDozIS: Online-Portale an der Tierärztlichen Hochschule Hannover 2006 Carl T. TiHoStudIS/TiHoDozIS: Online-Portale an der Tierärztlichen Hochschule Hannover. Jahrestagung der Gesellschaft für Medizinische Ausbildung - GMA. Köln, 10.-12.11.2006. Düsseldorf, Köln: German Medical Science; 2006. Doc06gma175. Deci EL Ryan RM Die Selbstbestimmungstheorie der Motivation und ihre Beduetung für die Pädagogik 1993 Z f Päd 23-238 Deci EL, Ryan RM . Die Selbstbestimmungstheorie der Motivation und ihre Beduetung für die Pädagogik. Z f Päd. 1993;39(2):23-238. Döring KW Professionelle Kriterien qualitätsorientierten Lehrens und Lernens 2003 Didaktik und Methodik der Pflegepädagogik 217-251 Döring KW. Professionelle Kriterien qualitätsorientierten Lehrens und Lernens. In: Falk J, Kerres A (Hrsg). Didaktik und Methodik der Pflegepädagogik. Handbuch für innovatives Lehren im Gesundheits- und Sozialbereich. Weinheim: Dt. Studienverlag; 2003. S.217-251. Ehlers JP Friker J Liebich HG Stolla R PC-Ausstattung und –nutzung von Studierenden der Tiermedizin im Vergleich zu Schülern der 12. Klasse 2002 Med Ausbild 124-126 Ehlers JP, Friker J, Liebich HG, Stolla R. PC-Ausstattung und –nutzung von Studierenden der Tiermedizin im Vergleich zu Schülern der 12. Klasse. Med Ausbild. 2002;19:124-126. Ehlers JP Friker J Fischer MR Mayer R Stolla R Leidl W CASUS in der Tiermedizin – Ein andrologisches Fallbeispiel 2003 Med Ausbild 123-127 Ehlers JP, Friker J, Fischer MR, Mayer R, Stolla R, Leidl W. CASUS in der Tiermedizin – Ein andrologisches Fallbeispiel. Med Ausbild. 2003;20:123-127. Ehlers J 2009 Peer-to-Peer-Learning in der tiermedizinischen Lehre am Beispiel von CASUS-Fällen Ehlers J. Peer-to-Peer-Learning in der tiermedizinischen Lehre am Beispiel von CASUS-Fällen. Bremen: Europäischer Hochschulverlag; 2009. Ehlers JP Carl T Windt KH Möbs D Rehage J Tipold A Condideration of quality factores in clinical examinations during an changing period from an oral to a blended electronic format 2009 Ehlers JP, Carl T, Windt KH, Möbs D, Rehage J, Tipold A. Condideration of quality factores in clinical examinations during an changing period from an oral to a blended electronic format. Abstracts of the AMEE Congress 2009, 30.08.-02.09.2009. Malaga; AMEE: 2009. Fischer MR E-Learning in der medizinischen Aus-, Fort- und Weiterbildung 2003 Med Klin 594-597 Fischer MR. E-Learning in der medizinischen Aus-, Fort- und Weiterbildung. Med Klin. 2003;98(10):594-597. DOI: 10.1007/s00063-003-1302-9 http://dx.doi.org/10.1007/s00063-003-1302-9 Fischer MR Jünger J Duelli R Putz R Resch F Konzeption und Erfahrungen mit dem deutschen Master of Medical Education (MME)-Studiengang des medizinischen Fakultätentages (MFT) an der Medizinischen Fakultät Heidelberg 2006 GMS Z Med Ausbild Doc26 Fischer MR, Jünger J, Duelli R, Putz R, Resch F. Konzeption und Erfahrungen mit dem deutschen Master of Medical Education (MME)-Studiengang des medizinischen Fakultätentages (MFT) an der Medizinischen Fakultät Heidelberg. GMS Z Med Ausbild. 2006;23(2):Doc26. Zugänglich unter: http://www.egms.de/de/journals/zma/2006-23/zma000245.shtml. http://www.egms.de/de/journals/zma/2006-23/zma000245.shtml Frederick PJ Student involvement: Active learning in large classes 1987 New Dir Teach Learn 45-56 Frederick PJ. Student involvement: Active learning in large classes. New Dir Teach Learn. 1987;32:45-56. DOI: 10.1002/tl.37219873207 http://dx.doi.org/10.1002/tl.37219873207 Friker J Ehlers JP Stolla R Liebich HG Einführung von „Paper-Cases“ im Studium der Tiermedizin – ein Pilotprojekt 2003 Med Ausbild 118-122 Friker J, Ehlers JP, Stolla R, Liebich HG. Einführung von „Paper-Cases“ im Studium der Tiermedizin – ein Pilotprojekt. Med Ausbild. 2003;20:118-122. Gangè R 1965 Conditions of learning Gangè R. Conditions of learning. New York: Holt, Rinehart and Winston; 1965. Gruber H Mandl H Renkl A 1999 Was lernen wir in Schule und Hochschule: Träges Wissen? Forschungsbericht 101 des Lehrstuhls für Empirische Pädagogik und Pädagogische Psychologie der LMU Gruber H, Mandl H, Renkl A. Was lernen wir in Schule und Hochschule: Träges Wissen? Forschungsbericht 101 des Lehrstuhls für Empirische Pädagogik und Pädagogische Psychologie der LMU. München: Ludwig-Maximilians-Universität München: 1999. Ilgen DR Fisher CD Taylor MS Consequences of individual feedback on behavior in organizations 1979:64 J App Psychol 349-371 Ilgen DR, Fisher CD, Taylor MS. Consequences of individual feedback on behavior in organizations. J App Psychol. 1979:64:349-371. DOI: 10.1037/0021-9010.64.4.349 http://dx.doi.org/10.1037/0021-9010.64.4.349 JISC – Joint Information Systems Committee 2007 Effective Practice with e-Assessment JISC – Joint Information Systems Committee. Effective Practice with e-Assessment. Bristol: HEFCE; 2007. Zugänglich unter: http://www.jisc.ac.uk/media/documents/themes/elearning/effpraceassess.pdf. http://www.jisc.ac.uk/media/documents/themes/elearning/effpraceassess.pdf Kerres M 2001 Multimediale und telemediale Lernumgebungen Kerres M. Multimediale und telemediale Lernumgebungen. (2. Aufl.) München: Oldenbourg Verlag; 2001. Kerres M Dewitt C Pragmatismus als theoretische Grundlage von eLearning 2004 Handlungsorientiertes Lernen und eLearning 77-99 Kerres M, Dewitt C. Pragmatismus als theoretische Grundlage von eLearning. In: Treichel D, Meyer HO (Hrsg). Handlungsorientiertes Lernen und eLearning. Grundlagen und Beispiele. München: Oldenbourg Verlag; 2004. S.77-99. Klee W Forderungen der TAppV erfüllt. Wirklich? Fragen und Gedanken zur tiermedizinischen Ausbildung 2007 Dtsch Tierärztebl 1100-1101 Klee W. Forderungen der TAppV erfüllt. Wirklich? Fragen und Gedanken zur tiermedizinischen Ausbildung. Dtsch Tierärztebl. 2007;9:1100-1101. Kopp V Stark R Fischer M Fostering diagnostic knowledge through computer-supported, case-based worked examples: effects of erroneous examples and feedback 2008 Med Educ 823-829 Kopp V, Stark R, Fischer M. Fostering diagnostic knowledge through computer-supported, case-based worked examples: effects of erroneous examples and feedback. Med Educ. 2008;42(8):823-829. DOI: 10.1111/j.1365-2923.2008.03122.x http://dx.doi.org/10.1111/j.1365-2923.2008.03122.x Krebs R 1997 Die wichtigsten Regeln zum Verfassen guter Multiple-Choice Fragen Krebs R. Die wichtigsten Regeln zum Verfassen guter Multiple-Choice Fragen. Bern: Institut für Aus-, Weiter- und Fortbildung IAWF; 1997. Kumar S An Innovative Method to Enhance Interaction During Lecture Sessions 2003 Advan Physiol Edu 20-25 Kumar S. An Innovative Method to Enhance Interaction During Lecture Sessions. Advan Physiol Edu. 2003;27:20-25. DOI: 10.1152/advan.00043.2001 http://dx.doi.org/10.1152/advan.00043.2001 Martin R New Possibilities and Challenges for Assessment through the Use of Technology 2008 Towards a Research Agenda on Computer-Based Assessment, EU-Report-CBA 6-9 Martin R. New Possibilities and Challenges for Assessment through the Use of Technology. In: Scheuermann F, Pereira AG (Hrsg). Towards a Research Agenda on Computer-Based Assessment, EU-Report-CBA. Ispra (It): European Commission; 2008. S.6-9. Meyer J 2006 Einfluss eines TED-Systems auf die Wahrnehmung von sozialer Integration im Unterricht Meyer J. Einfluss eines TED-Systems auf die Wahrnehmung von sozialer Integration im Unterricht. München: Ludwig-Maximilians-Universität; 2006. Pöttmann B Gut lehren will gelernt sein 2007 TiHo-Anzeiger 4 Pöttmann B. Gut lehren will gelernt sein. TiHo-Anzeiger. 2007;6(07):4. Putz R Christ F Mandl H Bruckmoser S Fischer M Peter K Moore G Das Münchner Modell des Medizinstudiums (München-Harvard Educational Alliance) 1999 Med Ausbild 30-37 Putz R, Christ F, Mandl H, Bruckmoser S, Fischer M, Peter K, Moore G. Das Münchner Modell des Medizinstudiums (München-Harvard Educational Alliance). Med Ausbild. 1999;16:30-37. Schulmeister R Zur Komplexität Problemorientierten Lernens 2002 Bildung im Medium der Wissenschaft. Zugänge aus Wirtschaftspropädeutik, Schulreform und Hochschuldidaktik Schulmeister R. Zur Komplexität Problemorientierten Lernens. In: Asdonk J, Kroeger H, Strobl G, Tillmann KJ, Wildt J (Hrsg). Bildung im Medium der Wissenschaft. Zugänge aus Wirtschaftspropädeutik, Schulreform und Hochschuldidaktik. Beltz: Deutscher Studien Verlag; 2002. Schulmeister R Welche Qualifikation brauchen Lehrende für die „Neue Lehre“? Versuch einer Eingrenzung von eCompetence und Lehrqualifikation 2005 Hochschulen im digitalen Zeitalter. Innovationspotenziale und Strukturwande 215-234 Schulmeister R. Welche Qualifikation brauchen Lehrende für die „Neue Lehre“? Versuch einer Eingrenzung von eCompetence und Lehrqualifikation. In: Keil-Slawik R. Kerres M (Hrsg). Hochschulen im digitalen Zeitalter. Innovationspotenziale und Strukturwandel. Münster: Waxmann; 2005. S.215-234. Stary J Das didaktische Kernproblem – Verfahren und Kriterien der didaktischen Reduktion 2005 NHHL 1-22 Stary J. Das didaktische Kernproblem – Verfahren und Kriterien der didaktischen Reduktion. NHHL. 2005;1:1-22. Zugänglich unter: http://userpage.fu-berlin.de/~stary/NHHSL%20DR.pdf. http://userpage.fu-berlin.de/~stary/NHHSL%20DR.pdf StasczykC Koch R Bergmann H Pfarrer C Ehlers J Gasse H Vorlesungsergänzende eLearning Applikationen zur studentischen Selbstüberprüfung in der Veterinäranatomie 2008 StasczykC, Koch R, Bergmann H, Pfarrer C, Ehlers J, Gasse H. Vorlesungsergänzende eLearning Applikationen zur studentischen Selbstüberprüfung in der Veterinäranatomie. Jahrestagung der Gesellschaft für Medizinische Ausbildung - GMA. Greifswald, 02.-05.10.2008. Düsseldorf: German Medical Science GMS Publishing House; 2008. Doc08gma78. Zugänglich unter: http://www.egms.de/de/meetings/gma2008/08gma078.shtml. http://www.egms.de/de/meetings/gma2008/08gma078.shtml Strzebkowski R Kleeberg N Interaktivität und Präsentation als Komponenten multimedialer Lernanwendungen 2002 Information und Lernen mit Multimedia und Internet 229-246 Strzebkowski R, Kleeberg N. Interaktivität und Präsentation als Komponenten multimedialer Lernanwendungen. In: Issing LJ, Klimsa P (Hrsg). Information und Lernen mit Multimedia und Internet. Lehrbuch für Studium und Praxis. Weinheim: Beltz PVU; 2002. S.229–246. Latessa R Mouw D Use of an audience response system to augment interactive learning 2005 Fam Med 12-14 Latessa R, Mouw D. Use of an audience response system to augment interactive learning. Fam Med. 2005;37(1):12-14 McRae ME Elgie-Watson J Using Audience Response Technology in Hospital Education Programs 2010 J Contin Educ Nurs 1-6 McRae ME, Elgie-Watson J. Using Audience Response Technology in Hospital Education Programs. J Contin Educ Nurs. 2010;13:1-6 Pradhan A Sparano D Ananth C The influence of an audience response system on knowledge retention: An application to resident education 2005 Am J Obstet Gynecol 1827-1830 Pradhan A, Sparano D, Ananth C.The influence of an audience response system on knowledge retention: An application to resident education. Am J Obstet Gynecol. 2005;193(5):1827-1830. DOI: 10.1016/j.ajog.2005.07.075 http://dx.doi.org/10.1016/j.ajog.2005.07.075 Eggert CH West CP Thomas KG Impact of an audience response system 2004 Med Educ 576 Eggert CH, West CP, Thomas KG. Impact of an audience response system. Med Educ. 2004;38(5):576. DOI: 10.1111/j.1365-2929.2004.01889.x http://dx.doi.org/10.1111/j.1365-2929.2004.01889.x Burton K The Trial of an Audience Response System to Facilitate Problem-Based Learning in Legal Education 2006 Audience Response Systems in Higher Education: Applications and Cases Burton K. The Trial of an Audience Response System to Facilitate Problem-Based Learning in Legal Education. In: Banks D (Hrsg). Audience Response Systems in Higher Education: Applications and Cases. Hershey(PA)/USA: ICI global; 2006. 0

1 1 Abbildung 1: Aufbau der interaktiven Vorlesung mit Powervote: Studierende mit Abstimmgeräten, Vortragslaptop mit Antenne und unverzügliche Präsentation der Ergebnisse.

2 2 Abbildung 2: Aufbau der interaktiven Vorlesung mit Q[kju:]

3 3 Abbildung 3: Ergebnisse der Akzeptanzanalyse bei den 472 Teilnehmergruppen der Interaktiven Vorlesungen in der Tiermedizin. (Likertwerte 1 = ja, sehr gut bis 6 = nein, gar nicht; MW = Mittelwert, Ja% = Anteil Bewertungen 1-3, Nein% = Anteil Bewertungen 4-6)

4 4 Abbildung 4: Ergebnisse der Akzeptanzanalyse bei den 20 Teilnehmergruppen der Interaktiven Vorlesung in der Sportmedizin. (Likertwerte 1 = ja, sehr gut bis 6 = nein, gar nicht; MW = Mittelwert, Ja% = Anteil Bewertungen 1-3, Nein% = Anteil Bewertungen 4-6)

5 5 Abbildung 5: Ergebnisse der Akzeptanzanalyse bei den 1287 Teilnehmergruppen der Interaktiven Fortbildung. (Likertwerte 1 = ja, sehr gut bis 5 = nein, gar nicht; MW = Mittelwert, Ja% = Anteil Bewertungen 1-2, Nein% = Anteil Bewertungen 4-5)

5 0 0