Evaluation von multimedialen e-Lernkursen zur Vorbereitung auf ein biochemisches Praktikum

zma000603 10.3205/zma000603 urn:nbn:de:0183-zma0006036 Forschungsarbeit/research article Evaluation von multimedialen e-Lernkursen zur Vorbereitung auf ein biochemisches Praktikum Evaluation of multimedia e-Learning preparatory courses for a practial course in Biochemistry Rost Rost Birgit B Dr. rer. physiol.

Philipps-Universität Marburg, Fachbereich Medizin, Institut für physiologische Chemie, Biochemische Endokrinologie, Marburg, Deutschland, Tel.: 06421/28-64328Philipps-Universität Marburg, Fachbereich Medizin, Institut für physiologische Chemie, Biochemische Endokrinologie, Marburg, Deutschland

birgit.rost@staff.uni-marburg.de author Koolman Koolman Jan J Prof. Dr.

Philipps-Universität Marburg, Fachbereich Medizin, Institut für physiologische Chemie, Biochemische Endokrinologie, Marburg, Deutschland

koolman@staff.uni-marburg.de author German Medical Science GMS Publishing House

Düsseldorf

610 Biochemistry practical course evaluation multimedia e-learning Biochemie Praktikum Evaluation Multimedia e-Learning Humanmedizin 20080407 20081118 20081214 20090216 germ 1860-3572 26 1 GMS Zeitschrift für Medizinische Ausbildung GMS Z Med Ausbild 11 In der vorliegende Studie wurde untersucht, ob der Einsatz multimedialer Lernkurse auch zur Vorbereitung auf Laborpraktika geeignet ist, und zwar sowohl im theoretischen als auch im praktischen Bereich. Dazu wurden im Rahmen des k-MED Projektes multimediale e-Lernkurse erstellt und evaluiert, die speziell auf das biochemische Praktikum zugeschnitten waren, das die Studierenden im dritten Semester der Medizin und der Zahnmedizin in Marburg absolvieren. Zur Vorbereitung des Versuchsblocks „Lipide“ bekam die Hälfte der Teilnehmer jeweils zwei Wochen vor Praktikumsbeginn die Theoriekurse "Lipide - Grundlagen" und "Lipide - Stoffwechsel" zur Verfügung gestellt, die andere Hälfte den Kurs „Lipide - Methoden“ mit praktikumsrelevanten Labortechniken und einer digitalen Anleitung zu den Experimenten. Von allen Praktikumsteilnehmern wurden nicht nur Daten zum Nutzungsverhalten und der Akzeptanz erhoben, sondern auch „harte“ Daten zum Nachweis des Lernerfolgs in der Theorie und dem Praktikumserfolg. Dazu wurden Testatnoten, Versuchsergebnisse, Usertrackingdaten und Fragebögen ausgewertet. Die Nutzung der e-Kurse führte signifikant zu einer Verbesserung der Testatnoten. Dabei wurden beeinflussende Faktoren wie Fleiß oder biochemisches Vorwissen durch eine Kovarianzanalyse ausgeschlossen. Auch im Praktikum führte der e-Kurs zu besseren Leistungen: Gruppen, die den Methodenkurs zur Verfügung hatten, machten weniger Fehler bei den Versuchen und benötigten bei einigen Arbeitschritten weniger Hilfe durch die Betreuer. Fazit: e-Lernkurse können kein Laborpraktikum ersetzen, sie können aber, wie diese umfangreiche Studie beweist, durch eine effizientere Vorbereitung helfen, Leistungen zu verbessern und Ressourcen, wie Zeit oder teures Material einzusparen und dadurch das Personal zu entlasten und Qualität zu verbessern. The present study examined whether the application of multimedia learning courses is also suitable for preparing students for practical laboratory courses, both in terms of theory and practice. For this purpose, multimedia e-learning courses were provided and evaluated within the k-MED project. These courses were particularly tailored to the practical training in biochemistry, a mandatory course for third-semester students of medicine and dentistry in Marburg. Two weeks prior to the beginning of the practical course, one-half of the participants received the theoretical e-courses “lipid basics” and “lipid metabolism”, the other half was provided with the e-course “lipid methods”, which contained relevant laboratory techniques and digital guidance to the experiments. All participants were surveyed on user-friendliness and acceptance, and “hard” facts were collected with respect to success in learning for and attendance to the practical course. Assessment grades, test results, user-tracking data for the learning platform, and questionnaires were evaluated. Use of the e-courses led to a significant improvement in the level of achievement in terms of the assessment grades. Certain influencing factors, such as diligence or prior biochemical knowledge, were excluded by covariance analysis. The e-course led to improved levels of achievement in the practical training: groups to whom the methods course was provided made fewer experimental errors and needed less assistance from supervisors. Conclusion: e-learning courses cannot replace practical experience in laboratory courses; they can, however, as this extensive study shows, improve the level of achievement in classes by allowing more efficient preparation. Not only does this save time, but it also saves on expensive materials, relieves the burden on staff, and leads to a general improvement in teaching quality. Einleitung Die Lernziele der Biochemie-Ausbildung innerhalb des Medizinstudiums umfassen sowohl praktische Fertigkeiten für experimentelles Arbeiten im Labor als auch theoretische Inhalte und deren Bezug zu Krankheitsbildern. Wegen der großen Anzahl von Studierenden stellen Großpraktika immer wieder eine organisatorische, logistische und didaktische Herausforderung für die Lehrenden dar . Auch für die Studierenden ist die Vorbereitung auf das biochemische Praktikum problematisch: Sie müssen sich in kurzer Zeit biochemisches Wissen auf hohem Niveau aneignen. Multimediale Lernkurse könnten hier die Aufgabe erfüllen, Wissensdefizite auszugleichen und die Studierenden mit den Geräten, Methoden und den Arbeitsabläufen der Versuche vertraut zu machen, bevor das eigentliche Praktikum beginnt. Durch interaktive Elemente wie Quiz- oder interaktive Übungsfragen oder interaktive Graphiken, wird der Lernende miteinbezogen und in eine aktivere Rolle versetzt. Animationen und Simulationen können komplizierte zeitabhängige Abläufe biochemischer Vorgänge und Funktionsprinzipien der angewandten Labormethoden anschaulicher darstellen als Bildfolgen auf Papiermedien. Interessierten Teilnehmern können zudem weiterführende Informationen in modularer Form geboten werden . Trotz beinahe flächendeckender Einführung von e-Learning-Angeboten an deutschen Hochschulen, wird diese Möglichkeit noch wenig zur Vorbereitung von Praktika genutzt. Vor mehreren Jahren wurde an der Universität Marburg im biochemischen Praktikum interaktive Lernsoftware zur Versuchsbegleitung evaluiert . Die Befragung von Teilnehmern zum Nutzen des Lernprogramms ergab eine positive Einschätzung. Weber untersuchte 2006, ob das Durcharbeiten des „ViLab“, eines video-basierten interaktiven Lernsystems zur Vorbereitung von Labor-Versuchen, den Praktikumserfolg für Pharmazie-Studenten fördert: Zwei Gruppen bereiteten sich nur mit einem Skript vor, zwei andere Gruppen nutzten zusätzlich zum Skript „Vilab“ zur Vorbereitung. In einem Test, der „das Memorisieren von Fakten, Ereignissen oder Vorgängen“ betraf, wiesen die „Gruppen, denen ViLab als Vorbereitung zur Verfügung stand“ eine „Steigerung der richtigen Antworten um 49% auf“. Weber beobachtete die Gruppen dann bei der Durchführung des realen Praktikumsversuchs und kam zu dem Ergebnis, dass Zeitbedarf und Qualität der Resultate der Gruppe, der das ViLab zur Vorbereitung zur Verfügung stand, etwas verbessert waren. Eine inferenzstatistische Absicherung der Ergebnisse erfolgte in dieser Untersuchung nicht. Fragestellung Der Grundgedanke bei dieser Untersuchung war, dass die Nutzung von e-Learning-Kursen gegenüber der reinen Vorbereitung mit Papier-Materialien bei gleichem oder sogar geringerem Zeitaufwand einen Lernvorteil bringt, da sie zusätzlich zu den bereits erwähnten Vorteilen elektronischer Medien die Möglichkeit bieten, die Fülle des Lernstoffs auf das Wesentliche einzugrenzen. Die Fragestellung wurde in folgende Hypothesen aufgesplittet: Studenten, die e-Kurse zur Theorie genutzt haben, erreichen unabhängig von ihren Vorkenntnissen in Biochemie sowie ihrem mit Papier-Materialien betriebenen zeitlichen Vorbereitungs-Aufwand, im Testat höhere Punktzahlen. Zwischen den Gruppen, die den e-Kurs „Methoden“ zur Verfügung hatten, und denen, die sich ausschließlich mit herkömmlichen Papier-Materialien vorbereitet haben, ergeben sich Unterschiede in der Fehlerquote, im Bedarf an Betreuung und in der Beurteilung der Praktikumsbetreuer. Methoden Einsatzszenario Im dritten vorklinischen Semester absolvieren Studierende der Humanmedizin und Zahnmedizin ein scheinpflichtiges biochemisches Praktikum. Zu Beginn jedes Praktikumstages wurden die Vorkenntnisse in einem schriftlichen Testat überprüft. Das Testat bestand aus 18 Fragen, in denen Aussagen als "Richtig" oder "Falsch" gekennzeichnet werden sollten. Davon betrafen 14 Fragen die Theorie und 4 Fragen die Methodik des Lipid-Versuches. Diese Fragen wurden jeweils mit einem Punkt bewertet. Zusätzlich sollte eine Strukturformel aufgezeichnet werden. Mit dieser Frage konnten 2 Punkte erzielt werden. Nach dem Testat begann der experimentelle Teil. Die Studierenden bearbeiteten in Gruppen von acht Personen pro Labor jeweils drei Versuche: Dünnschichtchromatografische Trennung und qualitative Bestimmung von Lipiden nach Extraktion aus Blutserum und Gehirn sowie die quantitative Bestimmung von Cholesterol in verschiedenen Serumproben mittels gekoppeltem enzymatischem Test. Zur Betreuung der Versuche waren pro Tag vier wissenschaftliche Mitarbeiter und vier studentische Hilfskräfte eingesetzt, die durchschnittlich 64 Studierende betreuten. Für zwei Laborgruppen waren also ein wissenschaftlicher Betreuer und eine Hilfskraft zuständig. An der Voruntersuchung im WS 05/06 nahmen 323 Medizin- und 53 Zahnmedizinstudenten im Praktikum teil, an der Hauptuntersuchung im WS 06/07 369 Medizin- und 59 Zahnmedizin-Studenten. Evaluiertes Lernmaterial Zu dem umfangreichen Stoffgebiet „Lipide“ wurden drei multimediale interaktive Lernkurse erstellt. Aus dem Wissen heraus, dass das Lesen von Text am Bildschirm von Lernenden oft als mühsam empfunden wird, war zudem das Ziel, möglichst viel Information bildlich darzustellen und jede Textseite mit zumindest einer Graphik zu versehen. Durch Übungsaufgaben soll der Lernstoff überprüft und gefestigt werden. Die meisten der Übungsfragen sind, im Stil der IMPP-Fragen, Forced-Choice-Aufgaben mit einer richtigen Antwort aus fünf Möglichen. Seltener wurden Multiple-Choice-Aufgaben verwendet. Bei diesen Fragetypen erhält der Nutzer sofort ein Feedback. Bei falscher Antwort wird zudem die richtige Antwort und eine Erläuterung eingeblendet. An einigen Stellen sind interaktive Zuordnungsaufgaben eingebaut. Hier soll der Lernende mit drag- and -drop Begriffe, Formeln oder Gegenstände an den richtigen Platz ziehen. Bei falscher Wahl springt das Objekt zurück, erst bei richtiger Zuordnung bleibt es am Ziel „haften“. Aus didaktischen Gründen wurde der Stoff des theoretischen Themenkomplexes unterteilt in einen Grundlagen- und einen Stoffwechselkurs (siehe Tabelle 1 ). Der Theoriekurs „Grundlagen“ (Vor- und Hauptuntersuchung) behandelt die Definition der Lipide, ihre Klassifizierung und biologischen Funktionen, den allgemeinem Aufbau der wichtigsten Lipidklassen und ihre typischen Strukturmerkmale. Es folgen im e-Kurs „Stoffwechsel“ (Hauptuntersuchung) die Abbau- und Synthesewege der verschiedenen Lipidklassen, Verdauung und Resorption von Lipiden sowie sämtliche Transportprozesse und die besondere Rolle der Lipoproteine. Ein weiteres Thema ist der Lipidstoffwechsel im Zusammenspiel mit anderen Stoffwechselwegen: Übergeordnete Regulationsvorgänge, die den Stoffwechsel an verschiedene äußere Bedingungen anpassen, werden detailliert erläutert. Der Methodenkurs (Vor- und Hauptuntersuchung) ist in zwei Abschnitte eingeteilt. Im ersten Teil werden die physikochemischen Grundlagen und Funktionsprinzipien der angewandten Methoden erklärt: Dünnschichtchromatographie, gekoppelte enzymatische Tests und die Fotometrie. Der zweite Abschnitt erklärt die Experimente Schritt für Schritt, gibt praktische Tipps zur Bedienung der Geräte und erläutert die Auswertung und Interpretation der Ergebnisse. Dieser Kurs enthält zwar mehr Informationen als die Anleitung auf Papier, vor allem zu den methodischen Hintergründen, da aber bei der Erfassung der Vorbereitungszeiten unter dem Begriff „Papier-Materialien“ nicht nur die Praktikumsanleitung sondern auch Lehrbücher aufgeführt wurden, kann man davon ausgehen, dass der e-Kurs „Methoden“ keine Informationen enthält, die nicht in irgendeiner gedruckten Form zur Verfügung stehen. Selbst die praktischen Hinweise sind theoretisch in Laborhandbüchern zu finden, es ist allerdings mit mehr Aufwand verbunden, sich die Informationen aus unterschiedlichem gedrucktem Material zusammenzusuchen. Vorgehen bei der Evaluation Im Rahmen des laufenden Studienbetriebes konnte keine im eigentlichen Sinne experimentelle Studie von diesem Umfang durchgeführt werden, bei der ein Teil der Gruppe sich ausschließlich mit Papiermaterial und die anderen sich ausschließlich mit e-Kursen vorbereiten. Es hätten sich kaum Studenten gefunden, die daran teilgenommen hätten und man hätte aus juristischen Gründen keine Ernstfall-Klausur daran koppeln können, die regulärer Teil des Praktikums ist. Um die Lernwirksamkeit der e-Kurse gegenüber konventionellem Lernmaterial zu testen, ohne einen Teil der Studierenden zu benachteiligen, bekamen alle Studierenden entweder den Methodik- oder die Theoriekurse zur Verfügung und wurden bezüglich Testaterfolg und Leistungen im Praktikum mit der jeweils anderen Gruppe verglichen. Die Bearbeitung der Kurse war freiwillig. Die Einteilung erfolgte nach Praktikumstagen: Die Gruppen vom ersten bis zum dritten Praktikumstag bekamen den Methodikkurs, die Gruppen vom vierten bis zum siebten Tag bekamen die Theoriekurse. Die vier Zahnmedizinergruppen, die am selben Tag das Praktikum absolvierten, wurden in zwei Teilgruppen unterteilt. Alle Teilnehmer bekamen die Lernkurse exakt 14 Tage vor ihrem jeweiligen Praktikumstermin auf ihrem "persönlichen Schreibtisch" in der Lernplattform freigeschaltet. Zu den anderen Kursen hatten sie über den eigenen Account keinen Zugriff. Eine eventuelle Nutzung der „falschen“ Kurse im Rahmen von Lerngruppen kann nicht ausgeschlossen werden. Die Antworten in den Fragebögen geben keinen Hinweis auf eine Nutzung des „falschen“ Kurses. Im Gegenteil: Viele Teilnehmer beklagten sich in den Freitextantworten darüber, nicht alle Kurse zur Verfügung gehabt zu haben. Falls doch einige der als "Nicht-Nutzer" eingestuften Testpersonen die Kurse doch genutzt haben sollten, ändert dies statistisch nichts an dem Ergebnis der verbesserten Leistungen durch die Kursnutzung, sondern würde allenfalls eine Signifikanz der Mittelwertunterschiede erschweren („konservativer Fehler“). Die Verbesserung wäre dann noch mehr durch die wirklichen "Nicht-Nutzer" erzeugt. Datenerhebung Neben Name, Matrikel-Nr, Alter, Geschlecht und Studienfach wurden an jedem Versuchstag vor Praktikumsbeginn für jeden e-Kurs die auf der Lernplattform erfassten Usertracking-Daten (Anzahl und Zeitpunkt der Zugriffe, sowie die durchschnittliche Bearbeitungsdauer) jedes Teilnehmers gespeichert. Größtenteils waren die Studierenden bereit, die Fragebögen mit ihren persönlichen Daten abzugeben, nachdem ihnen zugesichert wurde, dass diese Daten nur in anonymisierter Form veröffentlicht werden. 29 der 428 Teilnehmer gaben den Fragebogen ohne Namen oder Matrikelnummer ab. Für die statistische Berechnungen wurden nur diejenigen Studierenden als wirkliche „Nutzer“ eines Kurses eingestuft, die laut Usertracking einen oder mehrere Kurse für mindestens 30 Minuten bearbeitet hatten. Die Noten der Biochemie-Erstsemesterklausur dienten in der Hauptuntersuchung als Variable für das biochemische Vorwissen. Punkte im Biochemie-Testat zu Praktikumsbeginn wurden als Maßstab der Vorbereitungsqualität der Praktikumsteilnehmer gewertet. Alle Teilnehmer eines Praktikumstages erhielten dieselben Testatfragen und absolvierten das Testat gleichzeitig, sodass die Fragen nicht weitergegeben werden konnten. Für jeden Praktikumstag wurden 20 neue Fragen von vergleichbarem Schwierigkeitsgrad verwendet. Ein Studenten-Fragebogen erfasste Einschätzungen eigener Fähigkeiten, Einstellung zu Computern und Lernprogrammen, die Beurteilungen der Qualität der Lernkurse und Fragen zum Vorwissen und Vorbereitungsverhalten. Besonders wichtig waren dabei der Zeitaufwand der Vorbereitung mit Lernmaterial in Papierform. Dieser Lernaufwand wurde getrennt für Praktikumsanleitung in Papierform, Bücher und Fragensammlungen in Intervallen von einer Stunde erfasst. s. Anhang). Bei der Befragung nach der Akzeptanz wurde erstens nach der Einschätzung der Kurse bezüglich Inhalt, Didaktik, Graphik, Text, Menge und Schwierigkeitsgrad der Übungsfragen gefragt, zweitens nach der Vorbereitungsqualität unabhängig vom Lernmedium gefragt. Als Skalen dienten jeweils die “Noten“ gut, eher gut, eher schlecht und schlecht. Diese Abstufung wurde so gewählt um zumindest Tendenzen zu erfassen und nicht die Antworten „mittel“ oder „weiß nicht“ zu erhalten. In der Hauptuntersuchung wurde den Betreuern für jede der 55 Praktikumsgruppen ein Fragebogen zur Beurteilung der jeweiligen Gruppe vorgelegt (Versuchsdauer, Anzahl und Schweregrad von Fehlern, Bedarf an Hilfestellung, Abweichung der gemessenen Werte von den Sollwerten sowie Bewertung des Arbeitsverhaltens der Gruppe). Bei dem Kriterium „Bedarf an Hilfestellung“ handelt es sich um die Einschätzung der Betreuer, die zumeist schon einige Versuche betreut hatten, beziehungsweise als studentische Hilfskräfte den Versuch selbst erst ein Jahr zuvor durchlaufen hatten. Vor dem ersten Praktikumstag wurden die Betreuer über den Fragebogen informiert, eine spezielle Schulung der Mitarbeiter zur Einschätzung der Hilfsbedürftigkeit fand nicht statt: Eine detailliertere Definition und somit eine detaillierte Beobachtung der einzelnen Studierenden war im vorgegebenen Versuchsablauf wegen des hohen Betreuungsaufwands (In jedem Labor fanden gleichzeitig die drei Teilversuche statt), nicht machbar. Eine dadurch mögliche Interrater Variabilität stellt auch wieder einen konservativ wirkenden Fehler dar, d.h. erschwert das Signifikant-Werden von potentiellen Mittelwert-Unterschieden und kann deshalb bei Vorliegen einer Signifikanz unberücksichtigt bleiben. Zudem wurden die Betreuer vorab nicht informiert, mit welchen Kursen die Gruppen vorbereitet waren. Daher müssten sie die Gruppen mit dem gleichen Maßstab bewertet haben. Jeder Betreuer war im Laufe des Praktikums für gleich viele "Theorie"- wie für "Methodik"-Gruppen zuständig. So würden sich Unterschiede in der Strenge der Bewertung wieder ausgleichen. Die Gesamtbewertung ergab sich durch die Bewertung einzelner Fähigkeiten der Gruppen bezüglich: sind gut organisiert haben das Prinzip der Methoden verstanden haben Überblick über den Versuchsablauf kennen die Arbeitsschritte sind motiviert arbeiten sorgfältig. Zur Überprüfung des Praktikumserfolges wurden die erstellten Dünnschichtplatten eingesammelt, fotografiert und auf Fehler hin ausgewertet (DC-Platten-Rating). Gezählt wurden Fehler, die von den Studierenden in den letzten Jahren häufig gemacht wurden, und die durch eine gute Vorbereitung vermieden werden könnten. Beim Auswerten der Platten war bekannt, welche der Gruppen den Methodenkurs zur Verfügung hatte. Um trotzdem eine möglichst hohe Objektivität zu gewährleisten, wurden im Voraus genaue Bewertungskriterien definiert: 16 Fehler, die zu einer Einschränkung der Auswertbarkeit führen, wurden genau definiert und auf den Platten gezählt (siehe Anhang). Statistische Verfahren Bei den Gruppen in dieser Untersuchung handelt es sich um nicht-parallelisierte Gruppen, da die Praktikumsgruppen vom Studiendekanat bestimmt wurden. Die Mittelwerte des Testat-Gesamtpunktwertes sind über die Praktikumstage hinweg hochsignifikant (Irrtumswahrscheinlichkeit p < 0.01) unterschiedlich. Dies liegt daran, dass die Zahnmediziner völlig unterdurchschnittlich abschneiden. Ansonsten differieren die Mittelwerte alle innerhalb der jeweiligen Standardabweichung der Gruppen (=Praktikumstage). Deshalb ist es sinnvoll, die absoluten Testatwerte für jeden Tag in Perzentile umzurechnen und mit diesen weiterzurechnen, da die absolute „Lipid-Kompetenz“ für den Einfluss des e-Learning auf das Testat-Ergebnis eine untergeordnete Rolle spielt. Der Perzentilwert einer Person ist der Prozentsatz derjenigen, die schlechter abschnitten als diese Person. Variablen wie z.B. das Vorwissen über Biochemie wurden, um die Aussagefähigkeit der Ergebnisse zu erhöhen, durch eine Kovarianzanalyse herauspartialisiert. Ansonsten könnte man Unterschiede zwischen denen, die länger e-Kurse genutzt haben und denen, die sie weniger oder gar nicht nutzten, auf ein höheres Interesse an Biochemie und größeres Vorwissen zurückführen – und nicht auf den erhöhten Lerneffekt der e-Kurse. Bei der Kovarianzanalyse (die eigentlich „Mittelwertvergleich bezüglich der Abweichungen von den durch die Kovariaten vorhergesagten Werten“ heißen müsste) wird mit den Variablen, die einen bei der Interpretation von Mittelwertunterschieden unerwünschten Einfluss auf die untersuchte abhängige Variable haben könnten, eine Vorhersage dieser abhängigen Variablen gemacht. Und zwar wird in der Koordinaten-Punktwolke Kovariate (x-Koordinate, z.B. Testatergebnis in der Semester-Anfangsklausur) und abhängige Variable (y-Koordinate, z.B. Ergebnis im Testat nach Durcharbeiten der e-Kurse) eine Gerade berechnet, über die dann eine solche Vorhersage möglich ist („Lineare Regressionsgerade“). Die herkömmliche Methode ist die Minimum-Quadrat-Methode oder Methode der kleinsten Quadrate. Man minimiert die summierten Quadrate der Residuen. Nun werden in der Senkrechten (y-Achse) die Differenzen („Residualwerte“) zwischen den tatsächlichen Werten, z.B. den Testatergebnissen im Abschluss-Testat, und den vorhergesagten Werten, die auf der Geraden liegen, gebildet. Mit diesen sog. Residualwerten wird dann entweder der Mittelwertvergleich gerechnet oder es werden erneut mit einer weiteren Kovariaten, z.B. Zeitaufwand für Papier-Vorbereitung, von diesen wieder solche Residualwerte berechnet, um auch den Einfluss dieser zweiten Variablen aus dem Mittelwertvergleich auszuschließen. (vgl. Bortz , "Statistik für Human- und Sozialwissenschaftler" ). Gleichzeitig mit der Kovarianzanalyse gibt SPSS eine Tabelle der linearen Kontraste aus, die die Mittelwertunterschiede zwischen allen möglichen Gruppenkombinationen zeigt. Ergebnisse Nutzungsverhalten In Vor- und Hauptuntersuchung griffen, unabhängig von der Nutzungsdauer, jeweils ca. 80% der Studenten auf die Kurse, die ihnen zur Verfügung gestellt waren, zu. Die mittleren Nutzungszeiten betrugen 2,5 bis 3 Stunden für die Theoriekurse und 1,5 bis 2 Stunden für den Methodenkurs. Testaterfolg Anhand des Usertrackings und der Testatergebnisse, die in Vor- und Hauptuntersuchung beide personalisiert waren, ließ sich ein Zusammenhang herstellen zwischen der Intensität der Nutzung der e-Kurse und den theoretischen Kenntnissen. Die im Testat erreichten Punkte wurden, um die generell geringeren Kenntnisse der Zahnmedizinstudenten gegenüber den Medizinstudenten auszugleichen, in Perzentile für den jeweiligen Praktikumstag umgerechnet. In Vor- und Hauptuntersuchung konnte im T-Test ein signifikant besseres Abschneiden im Testat bei denjenigen Studenten festgestellt werden, die mindestens 30 Min. die e-Kurse „Lipide-Methoden“, „Lipide-Grundlagen“ und, in der Hauptuntersuchung noch zusätzlich, „Lipide-Stoffwechsel“ genutzt haben (siehe Abbildung 1 ). Außerdem zeigte sich, dass die Dauer der Kursnutzung, sowie der gesamte Arbeitsaufwand (e-Kurse + Papier), mit der Testatnote korrelierte (siehe Tabelle 2 ). Da eine intensivere Nutzung der e-Kurse mit dem Interesse und den zuvor vorhandenen Kenntnissen in Biochemie positiv korrelieren könnte, wurde die Variable „Vorkenntnisse“ in Form der erreichten Punktzahl in der Biochemie-Klausur, die vor der Präsentation der e-Kurse lag, in der Hauptuntersuchung über eine Kovarianzanalyse ausgeschlossen. Auch die Zeit der Nutzung von Printmedien könnte mit der Länge der Kursnutzung positiv korrelieren – und würde von daher einen Scheinzusammenhang zwischen Usertracking und Testatnoten hervorbringen. Diese Variable „Zeitaufwand bei Papier-Vorbereitung“ wurde in dem Studenten-Fragebogen erfasst und als weitere Kovariate in der Kovarianzanalyse herauspartialisiert. Nach Ausschluss der Variablen „Vorwissen“ und „Zeitaufwand bei Papier-Vorbereitung“ wurde die Kovarianzanalyse signifikant (p < 0,01). Die Berechnung der „Linearen Kontraste“ zwischen den Gruppen zeigt, dass der Methodenkurs auf das Testat-Ergebnis nicht so einflussreich war, was nicht verwundert, war er doch nur mit 4 von 20 Punkten im Testat repräsentiert, gegenüber 16 Punkten, die mit den Theoriekenntnissen erreicht werden konnten (siehe Abbildung 2 und Tabelle 3 ). Erfolg in Praktikum Für die Erfassung der Kenntnisse und des Erfolgs im Praktikum standen in Vor- und Hauptuntersuchung die Fehlerquote auf den Dünnschichtplatten zur Verfügung, in der Hauptuntersuchung zusätzlich die Beurteilung der Gruppen durch die Betreuer. Bei dem DC-Platten-Rating der Fehler zeigten sich in Vor- und Hauptuntersuchung wieder fast identische Ergebnisse. Die Gruppen, die den Methodenkurs zur Verfügung hatten, produzierten in beiden Evaluationsdurchgängen signifikant weniger Fehler bei der Dünnschichtchromatographie (siehe Abbildung 3 ). Der Bedarf an Hilfestellung bei dem Versuch Dünnschichtchromatographie wurde von den Betreuern in vier Stufen angegeben: „viel“, „eher viel“, „eher wenig“ und „wenig“. Auch hier schnitten die Gruppen, die den Methodikkurs bearbeiten konnten, besser ab: sie benötigten weniger Hilfe als die Vergleichsgruppe (siehe Abbildung 4 ). In der Hauptuntersuchung beurteilten die Betreuer ihre jeweilige Gruppe nach ihrem Arbeitsverhalten, Motivation, Überblick über den Versuchsablauf und das Verständnis der angewandten Methoden. Diese sechs Bewertungen, jeweils von 1 bis 4 kategorisiert, wurden zu einem Gesamtwert zusammengefasst. Auch diese Gesamtbewertung fiel bei den Gruppen, die den Methodikkurs bearbeiten konnten, besser aus (siehe Abbildung 5 ). Akzeptanz Eine motivationsfördernde Bedeutung muss besonders dem Spaßfaktor eingeräumt werden. Auf die Frage: „Hat Ihnen die Bearbeitung der k-MED-Kurse Spaß gemacht?“ antworteten 74% mit „Ja“ oder „Eher ja“. 70% der Befragten hielten e-Kurse geeignet zur Vermittlung von Basiswissen. Die Beurteilung der inhaltlichen und grafischen Gestaltung der e-Lernkurse verteilte sich prozentual folgendermaßen (siehe Abbildung 6 ): Die Einschätzung des Schwierigkeitsgrades der Übungsaufgaben durch die Studenten erfolgte über die Kategorien: „Gut“, „Zu leicht“ und „Zu schwer“. Im Durchschnitt schätzten über 85% den Schwierigkeitsgrad als gut ein, etwas über 10% als zu leicht. Nur 4% fanden die Aufgaben zu schwierig. Die Anzahl an Übungsaufgaben sollte danach beurteilt werden, ob sie „Gut“ , d.h. angemessen ist, oder zu viele oder zu wenige Aufgaben vorgegeben waren. 48 % der Befragten antworteten mit gut, etwa 50 % fanden die Anzahl zu wenig. Nur knapp 2% gaben an, es seien zu viele Fragen. Es zeigt sich also, dass viele Studierende gerade die Übungsfragen als eine wichtige Hilfe betrachten. Die insgesamt positive Akzeptanz spiegelt sich auch in den Freitextantworten: nur wenige äußern sich kritisch gegenüber den e-Lernkursen. Viel häufiger wird Lob oder konstruktive Kritik erwähnt, wie zum Beispiel der Wunsch, die Kurse zu einem früheren Zeitpunkt nutzen zu können, oder die Frage nach Offline- oder Druckversionen [5]. Unterschiede zwischen Human- und Zahnmedizin Die Auswertung der Testate zu Praktikumsbeginn zeigte, dass das biochemische Wissen der Zahnmedizin-Studenten, die das Praktikum am 13.12. absolvierten, geringer ist als das der Medizin-Studenten (siehe Tabelle 4 ). Zu erklären ist dieser Unterschied mit der Menge an biochemischem Unterricht: Für Studenten der Humanmedizin wird bereits im ersten Semester eine Vorlesung in Biochemie angeboten, sowie ein scheinpflichtiges Seminar mit abschließender Klausur, während Zahnmediziner sich erst im dritten Semester mit Biochemie beschäftigen. Beim Praktikumserfolg ergeben sich keine signifikanten Unterschiede: hier bringen die Studierenden der Zahnmedizin gleiche Leistungen wie die „Kollegen“ aus der Medizin. Unterschiede zwischen Männern und Frauen Wie in der Voruntersuchung und in anderen Untersuchungen schon gezeigt wurde, schneiden auch in diesem Testat die Studentinnen besser ab als ihre männlichen Kollegen (siehe Abbildung 7 ). Nun könnte das daran liegen, dass die Studentinnen fleißiger sind. Deshalb wurde der subjektiv angegebene zeitliche Arbeitsaufwand mit den Papier-Materialien herauspartialisiert. Der Haupteffekt „Geschlecht“ ist bei einer einfachen Kovarianzanalyse mit einer berechneten Irrtumswahrscheinlichkeit von p=0.014 signifikant. Auch wenn man die insgesamt angegebene Arbeitszeit, einschließlich derjenigen für die e-Kurse, durch Rechenverfahren eliminiert, bleibt der Geschlechterunterschied immer noch signifikant (p < 0,05). Die Studentinnen sind in der Biochemie im Schnitt ein wenig besser als ihre männlichen Kommilitonen. An einer Selektion der besonders Begabten bei den Frauen kann es nicht liegen, da am Testat 168 männliche und 247 weibliche Studenten teilnahmen, letztere also in der Überzahl waren. Diskussion Obwohl die Bearbeitung der multimedialen Lernkurse nicht verpflichtend war, wurden sie von der Mehrheit der Studierenden bearbeitet. Auch die Ergebnisse zum Einfluss der Lernkurse auf Praktikums- und Lernerfolg sind positiv. Statistische Artefakte wurden in dieser Studie durch Berücksichtigung von Einflussgrößen wie Vorwissen und Fleiß in einer Kovarianzanalyse sowie der Art und Umfang der Datenerhebung im methodischen Teil verringert: Auch Studierende die weniger Zeit zur Vorbereitung verwendeten und/oder wenig biochemisches Vorwissen hatten, konnten von den e-Kursen profitieren. Die Ergebnisse der vorliegenden Untersuchung übertreffen die aller bis 2002 von Chumley-Jones im englischsprachigen Bereich gesammelten Untersuchungen, die „keinen Unterschied im Wissenszuwachs zwischen den Gruppen“ hervorbrachten. In jeder Untersuchung, die keinen signifikanten Gewinn durch Einsatz von e-Lernmaterialien feststellen konnte, ist neben der Qualität und Quantität des eingesetzten e-Lernmaterials auch die Handhabung der Kontrollgruppen, soweit sie überhaupt vorhanden sind, sowie der zugrunde liegende Stichprobenumfang zu berücksichtigen. All diese Faktoren trugen sicherlich zu dem positiven Ergebnis der vorliegenden Untersuchung bei. Die Effizienz von e-Lernmaterial ist von mehreren Faktoren abhängig: Die Akzeptanz bestimmt als wichtiger Faktor, in welchem Umfang ein e-Kurs genutzt wird. Abgesehen von persönlichen Lernstrategien und der Einstellung gegenüber neuen Medien gilt: Ist ein e-Kurs bedienerfreundlich gestaltet und sind Kriterien aus Didaktik und Mediendesign wie Schriftgröße, Farbgestaltung, Navigation oder Qualität der Texte und Abbildungen positiv umgesetzt, werden sich die Nutzer länger und bereitwilliger damit beschäftigen. Ist dies nicht der Fall, ist immer noch ein gutes Lehrbuch die bessere Alternative. Auch die Inhalte der Lernkurse sind wichtig. Wie schon erwähnt, bieten multimediale Lernkurse die Möglichkeit, zeitliche Abläufe in Form von Animationen und Filmen kontinuierlich darzustellen und durch interaktive Elemente die Eigenaktivität der Lernenden zu steigern. Auch Zusatzwissen kann in Form von verzweigten Modulen elektronisch eleganter angeboten werden als in Papier-Materialien. Dies ermöglicht den Studierenden ein extrem zielgerichtetes und zeitsparendes Lernen. Auch wenn das Angebot maßgeschneiderter e-Lernkurse den Lernenden in seiner Eigenverantwortlichkeit bei der Auswahl des Lernstoffes begrenzt: im Falle dieser Studie machte die Nutzung der qualitativ gut beurteilten e-Kurse zur Praktikumsvorbereitung unter Zeitdruck durchaus Sinn. Grundsätzlich stellt sich die Frage, warum ein Medienvergleichsdesign verwendet wurde (vgl. ). Dies ergab sich im Falle dieser Studie aus der Problemstellung, wie den Studierenden eine bessere Praktikumsvorbereitung ermöglicht werden könnte. Da bisher ausschließlich Papiermedien zur Verfügung standen, lag der Vergleich zwischen klassischem und „neuem“ Lernmaterial nahe. Der Einsatz von e-Kursen speziell zur Vorbereitung eines Laborpraktikums ist zudem ein Forschungsgebiet, in dem es, im Gegensatz zur Vermittlung von theoretischem Wissen durch e-Learning, noch wenige ausführliche Untersuchungen gibt. Es geht also sowohl um das kontextgerechte Angebot von computergestütztem Lernmaterial, als auch um die Überprüfung der Qualität und der Lernwirksamkeit. Der hohe personelle Aufwand bei der Erstellung qualitativ hochwertiger e-Kurse und die damit verbundenen Kosten, stellt unserer Meinung nach eine Berechtigung für eine Untersuchung dar, die neue Lernmaterialien in einem neuen Einsatzszenario empirisch auf ihre Effizienz überprüft. Schlussfolgerung Wie diese Studie zeigt, können e-Kurse helfen, die Leistungen im theoretischen wie auch praktischen Bereich der biochemischen Ausbildung zu verbessern. Dieser Aspekt gewinnt dadurch an Bedeutung, dass die geänderte ärztliche Approbationsordnung von 2004 auch für Biochemie/Molekularbiologie einen praktischen Prüfungsteil fordert. Die Prüflinge sollen nachweisen, dass sie mit den praktischen Aspekten der Stoffgebiete vertraut sind und die entsprechenden Fertigkeiten aufweisen . Biochemische Inhalte könnten an klinisch-praktischen Beispielen geprüft werden oder an zeitlich überschaubaren Laborexperimenten, die im biochemischen Praktikum bearbeitet werden . Durch eine modulare Sammlung von e-Lernmaterialien zu den verschiedenen Labormethoden im Stil eines Baukastensystems könnten viele Großpraktika, nicht nur in Biochemie, sondern auch Molekularbiologie, Zellbiologie und anderen angrenzenden Fachgebieten durch multimediale Unterstützung verbessert werden. Danksagung Herzlicher Dank gilt Cord Süße, (Giessen), für die Beratung bei der Planung und der statistischen Auswertung der Studie, Peter Möbus (Marburg) für das Fotografieren von über 800 DC-Platten und allen Betreuern des Praktikums für die Mitarbeit bei der Evaluation. Des weiteren ein Dank an Hr. McGregor (Marburg) für das Korrekturlesen der englischen Abschnitte und allen anderen die am Gelingen des Praktikums und der Studie beteiligt waren. Öchsner W Fassnacht U Großpraktika effizient gestalten: ein neuer Workshop für Lehrende in der Medizin 2005 GMS Z Med Ausbild Doc210 Öchsner W, Fassnacht U. Großpraktika effizient gestalten: ein neuer Workshop für Lehrende in der Medizin. GMS Z Med Ausbild. 2005;22(4):Doc210. Zugänglich unter: http://www.egms.de/en/journals/zma/2005-22/zma000210.shtml. http://www.egms.de/en/journals/zma/2005-22/zma000210.shtml Slonka J 1998 Die Verbesserung der Vor- und Nachbereitung biochemischer Praktikumsversuche durch den Einsatz eines Computer-Lernprogramms; Dissertation Slonka J. Die Verbesserung der Vor- und Nachbereitung biochemischer Praktikumsversuche durch den Einsatz eines Computer-Lernprogramms; Dissertation. Marburg: Universität Marburg, FB Medizin; 1998. Weber C 2006 Entwicklung und Evaluation mediendidaktischer Konzepte zur Computer-basierten Lernerfolgskontrolle im Fach Molekulare Pharmazie Weber C. Entwicklung und Evaluation mediendidaktischer Konzepte zur Computer-basierten Lernerfolgskontrolle im Fach Molekulare Pharmazie. Dissertation. Basel: Universität Basel, Philosophisch-Naturwissenschaftliche Fakultät; 2006. Bortz J 2005 Statistik für Human- und Sozialwissenschaftler Bortz J. Statistik für Human- und Sozialwissenschaftler. Heidelberg: Springer-Verlag; 2005. Rost B Entwicklung und Evaluation von e-Lernmaterialien im Fach Biochemie; Dissertation Rost B. Entwicklung und Evaluation von e-Lernmaterialien im Fach Biochemie; Dissertation. Marburg: Universität Marburg, FB Medizin; 2008. Chumley-Jones HS Dobbie A Alford CL Web-based Learning: Sound Educational Method or Hype? A Review of the Evaluation Literature 2002 Acad Med 86-93 Chumley-Jones HS, Dobbie A, Alford CL. Web-based Learning: Sound Educational Method or Hype? A Review of the Evaluation Literature. Acad Med. 2002;77(10 Suppl):86-93. Valcke M De Wever B Information and communication technologies in higher education: evidence-based practices in medical education 2006 Med Teach 10 Valcke M, De Wever B. Information and communication technologies in higher education: evidence-based practices in medical education. Med Teach. 2006;28(1):40-48. DOI:10.1080/01421590500441927. http://dx.doi.org/10.1080/01421590500441927 Schrauth M Riessen R Schmidt-Degenhard T Wirtz HP Jünger J Häring HU Claussen CD Zipfel S Praktische Prüfungen sind machbar 2005 GMS Z Med Ausbild Doc20 Schrauth M, Riessen R, Schmidt-Degenhard T, Wirtz HP, Jünger J, Häring HU, Claussen CD, Zipfel S. Praktische Prüfungen sind machbar. GMS Z Med Ausbild. 2005;22(2):Doc20. Zugänglich unter: http://www.egms.de/en/journals/zma/2005-22/zma000020.shtml. http://www.egms.de/en/journals/zma/2005-22/zma000020.shtml Vocke ND Zwinger M Koolman J Praktisch prüfen in Biochemie 2005 Was und wie? GMS Z Med Ausbild Doc57 Vocke ND, Zwinger M, Koolman J. Praktisch prüfen in Biochemie. Was und wie? GMS Z Med Ausbild. 2005;22(3):Doc57. Zugänglich unter: http://www.egms.de/en/journals/zma/2005-22/zma000057.shtml. http://www.egms.de/en/journals/zma/2005-22/zma000057.shtml 22

1 1 Abbildung 1: Mittelwertunterschiede im Testaterfolg zwischen denjenigen, die e-Kurse genutzt bzw. nicht genutzt haben, sind im T-Test in Voruntersuchung (p<0,05) und Hauptuntersuchung (p<0,01) signifikant.

2 2 Abbildung 2: Durch die Kovarianzanalyse bewerteten Mittelwerte der Testat-Perzentile in Abhängigkeit von Nutzung der e-Kurse in der Hauptuntersuchung WS 06/07. Die Signifikanzen sind in Tab. 3 aufgeführt.

3 3 Abbildung 3: Anzahl der Fehler auf DC-Platten pro Gruppe in Abhängikeit von der Verfügbarkeit des Methodikkurses. Der T-Test ist bei der Vor- und Hauptuntersuchung signifikant (p<0,01).

4 4 Abbildung 4: Beurteilung des Hilfebedarfs der Gruppen (Hauptuntersuchung). Der T-Test ist signifikant (p<0,05).

5 5 Abbildung 5: Gesamtbewertung der Gruppen durch die Betreuer. Der T-Test ist signifikant (p<0,01).

6 6 Abbildung 6: Qualitative Berurteilung der e-Kurse bezüglich Grafik, Texte, Didaktik und Inhalt durch die Studierenden.

7 7 Abbildung 7: Testat-Punkte und -Perzentile von Frauen und Männern in der Hauptuntersuchung. Der T-Test ist signifikant (p<0,05). 7 0 1 1 Anhang 1