zma001301 10.3205/zma001301 urn:nbn:de:0183-zma0013014 article Artikel Beeinflusst der akademische Hintergrund von Lehrenden die Lernziele beim problembasierten Lernen? Grasl Grasl Matthaeus C. MC Ass. Prof. MME

Medical University of Vienna, Department of Otorhinolaryngology, Waehringer Guertel 18-20, A-1090 Vienna, Austria, Phone: +43 1 40400-33490Medical University of Vienna, Department of Otorhinolaryngology, Vienna, Austria

Medizinische Universität Wien, Universitätsklinik für Hals-Nasen- und Ohrenkrankheiten, Währinger Gürtel 18-20, A-1090 Wien, Österreich, Tel.: +43 1 40400-33490Medizinische Universität Wien, Universitätsklinik für Hals-Nasen- und Ohrenkrankheiten, Wien, Österreich

matthaeus.grasl@meduniwien.ac.at author Kremser Kremser Karl K Ao. Univ.-Prof., Dr. phil., Dipl.-Ing.

Medical University of Vienna, Teaching Center, Vienna, Austria

Medizinische Universität Wien, Teaching Center, Wien, Österreich

karl.kremser@meduniwien.ac.at author Breckwoldt Breckwoldt Jan J PD Dr. med. MD

University of Zurich, Medical Faculty, Institute of Anesthesiology, Zurich, Switzerland

Universität Zürich, Medizinische Fakultät, Institut für Anästhesiologie, Zürich, Schweiz

jan.breckwoldt@usz.ch author Gleiss Gleiss Andreas A PhD

Medical University of Vienna, Center for Medical Statistics, Informatics, and Intelligent Systems, Section for Clinical Biometrics, Vienna, Austria

Medizinische Universität Wien, Zentrum für Medizinische Statistik, Informatik und Intelligente Systeme, Institut für Klinische Biometrie, Wien, Österreich

andreas.gleiss@meduniwien.ac.at author German Medical Science GMS Publishing House

Düsseldorf

610 problem-based learning tutors` academic backgrounds near-peer student tutors intended learning objectives additional learning objectives Problemorientiertes Lernen (POL) akademischer Hintergrund von Lehrenden studentische Moderatoren erwünschte Lernziele zusätzliche Lernziele Problem-based Learning Problemorientiertes Lernen 20190408 20190710 20191014 20200217 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 2366-5017 37 1 GMS Journal for Medical Education GMS J Med Educ 8 Zielsetzung: Problemorientiertes Lernen (POL) ist ein wesentlicher Bestandteil des Lehrplans an der Medizinischen Universität Wien (MUW) und wird in einem achtstufigen Prozess durchgeführt: Klärung unbekannter Begriffe, Definition des Problems, Sammlung von Hypothesen und Ideen, Ordnung und Bewertung von Hypothesen, Lernzielformulierung, Lernzeit, Synthesen und Feedback. Die MUW nimmt jährlich bis zu 740 Studierende auf und muss daher POL-Lehrende mit verschiedenen akademischen Hintergründen, darunter auch Studierende aus höheren Semestern, beschäftigen. Daher waren wir interessiert zu sehen, ob der akademische Hintergrund von POL-Lehrenden einen Einfluss auf die resultierenden POL-Veranstaltungen hat, und sich im Prozentsatz der tatsächlich erreichten Lernziele im Verhältnis zu den gewünschten Lernzielen wiederspiegelt.Methoden: Für jede POL-Veranstaltung wurden „gewünschte Lernziele“ bestimmt. Diese wurden allen Lehrenden in einer POL-Schulung mitgeteilt um allen Studierenden einheitliche Lernangebote bereitzustellen. Allerdings war es nicht verpflichtend alle gewünschten Lernziele zu erreichen. Die POL-Koordination erachtete eine Bandbreite von zwei Drittel bis drei Viertel von gewünschten Lernzielen als erstrebenswertes Ziel. Für die Analyse haben wir Daten zu den erwünschten Lernzielen, den Merkmalen der Lehrenden und POL-Gruppen aus dem POL-Qualitätssicherungssystem der Institution abgefragt.Ergebnisse: Von 2012 bis 2014 wurden 216 POL Gruppen von 106 Lehrenden mit unterschiedlichen akademischen Hintergründen betreut. Im Durchschnitt wurden 70.8% (95% KI: 69.2-72.5%) der gewünschten Lernziele erreicht. MUW Kliniker erzielten 74.3% (KI: 70.8-77.8%), MUW Nicht-Kliniker 74.2% (KI: 71.7-76.6%), externe Lehrende (Kliniker und Nicht-Kliniker) 68.6% (KI: 64.4-72.8%), und Studierende 64.7% (KI: 61.8-67.7%). Es wurden statistisch signifikante Unterschiede zwischen Studierenden und MUW-Klinikern (p<.001) sowie MUW-Nichtklinikern (p<.001) gefunden.Schlussfolgerung: Die erwünschten Lernziele wurden in einem zufriedenstellenden Bereich erreicht. Gruppen von Studierenden die von nahezu gleichrangigen Studierenden moderiert wurden, erreichten jedoch signifikant weniger gewünschte Lernziele als Gruppen von Lehrkräften der MUW. Das wirft die Frage auf, ob das Moderationstraining für Studierende intensiviert werden sollte. Darüber hinaus sind weitere Forschungsarbeiten erforderlich, um die Gruppendynamik von studentisch angeführten POL-Gruppen zu untersuchen. Background: Problem-based learning (PBL) is an essential element of the curriculum of the Medical University of Vienna (MUV) and is performed in an eight steps model with: clarifying, defining, analysing, shifting & sorting, identifying learning objectives, going to learn and coming back to talk and feedback. With an annual intake of up to 740 students the MUV has to recruit PBL tutors from various academic backgrounds including undergraduate near-peer students. Therefore, we were interested to see whether a tutor's academic background had an influence on the resulting PBL sessions as reflected by the percentage of learning objectives (LOs) which were actually achieved in relation to the intended LOs. Methods: For each PBL session “intended learning objectives” (ILOs) were defined. ILOs were communicated to all tutors by means of PBL session guides in order to provide homogenous learning opportunities to all students. However, it was not mandatory to reach all ILOs. The PBL coordination regarded a range of two thirds to three quarters of ILOs as a desirable goal. For analysis we retrieved data concerning ILOs, characteristics of tutors and PBL groups from the institution's PBL quality assurance system.Results: From 2012-2014, 216 PBL groups were facilitated by 106 tutors with different academic backgrounds. On average, 70.8% (95% CI: 69.2-72.5%) of the ILOs were achieved; MUV clinicians reached 74.3% (70.8-77.8%), MUV non-clinicians 74.2% (71.7-76.6%), external faculty (clinicians and non-clinicians) 68.6% (64.4-72.8%), and near-peer students 64.7% (61.8-67.7%). Statistically significant differences were found between near-peer students and MUV clinicians (p<.001) as well as MUV non-clinicians (p<.001). Conclusions: ILOs were reached within a satisfactory range. However, groups taught by near-peer students reached significantly fewer ILOs than groups taught by MUV faculty tutors. This finding raises the question whether tutor training for near-peer students should be intensified. Also, further research is needed to explore the group dynamics of student-led PBL groups. 1. Introduction1.1. BackgroundProblem-based learning (PBL) is a widely applied method for learning and teaching, with great emphasis on collaborative learning in a functional context , , , , , , , , , , , , , , , . PBL is believed to provide students with competencies suitable for problem solving , which may also be applied to a clinical context , . The educational outcome of PBL is determined by the quality of group interaction, the students’ motivation to learn, the quality of PBL cases , , and tutors` qualification , . The tutors take the responsibility for the quality of this particular type of learning designed to stimulate students to further investigate problems, especially where cognitive conflicts arise. The role of the tutor is to structure the students` learning process, to encourage them to draft concepts, interlink knowledge and to stimulate interaction between students by asking for clarifications and by formulating goal-oriented questions , , , , . The tutor should be able to recognize the gaps between knowledge of the students and intended learning objectives. Their major tutor's role is to activate prior knowledge which helps the students solve the case at hand . 1.2. ProblemLarge medical schools, such as the Medical University of Vienna (MUV) with a total annual intake of up to 740 students, need a large number of tutors. Such a large number of students cannot be managed by academic teachers alone, calling for an alternative solution. We therefore introduced faculty from all medical specialties, basic sciences (non-clinical disciplines), faculty from outside the MUV and near-peer students who were further advanced in their studies . In this situation, concern had been raised that the different tutors' academic backgrounds might influence PBL facilitation, a problem which would also apply to other large medical schools. 1. 3. State of Research The influence of tutor qualification on the quality of learning, the learning process and learning outcomes has been analysed by several authors , , , . Results differ and depend on the availability of PBL within the curriculum and on other local factors. Regehr et al did not find any differences between the outcome measures for students led by content-expert and nonexpert tutors. In addition, Burgess et al. describe in their systematic review a variety of learning benefits for student tutors. Finally, none of the studies has analysed/compared tutors of several different academic backgrounds at a medical school of the size of the MUV.1.4. AimWe were particularly interested to see if all tutors would be able to sufficiently guide the PBL process. As the primary outcome measure of this study we defined the percentage of “intended learning objectives” (ILOs) achieved by the PBL groups. ILOs were the LOs predefined for each PBL case by the MUV's PBL steering group (PBL coordinator and module coordinator). ILOs were broadly defined (by content and by LO dimensions, such as knowledge, skills, attitudes). LOs were provided to the tutors for more efficient guidance of the group process. As the secondary line of enquiry, additional LOs outside of the predefined spectrum were quantified and classified by thematic analysis. The final purpose of the study was to identify whether tutor groups significantly differed in respect to the proportion of ILOs and therefore might need additional training (learning format, content of cases, content of curriculum) . 1. Einleitung1.1. HintergrundProblemorientiertes Lernen (POL) ist eine weit verbreitete Lehr- und Lernmethode, wobei der Schwerpunkt auf gemeinschaftliches sinnbezogenes Lernen gelegt wird , , , , , , , , , , , , , , , . Es wird angenommen, dass POL den Studierenden Kompetenzen vermittelt, die zur Problemlösung geeignet sind , und auch im klinischen Kontext angewendet werden können , . Das Ergebnis von POL wird durch die Qualität der Gruppeninteraktion, der Lernmotivation der Studierenden, der Qualität der POL-Fälle , , und der Qualifikation der Lehrenden bestimmt , . Die Lehrenden übernehmen die Verantwortung für die Qualität dieses besonderen Lerntyps, der die Studierenden dazu anregen soll, Probleme weiter zu untersuchen, insbesondere wenn kognitive Konflikte entstehen. Der Lehrende hat die Aufgabe, den Lernprozess der Studierenden zu strukturieren, sie zu ermutigen, Konzepte zu entwerfen, Wissen zu verbinden und die Interaktion zwischen Studierenden zu fördern, indem er um Klarstellung bittet und zielgerichtete Fragen formuliert , , , , . Der Lehrende sollte in der Lage sein, die Lücken zwischen den Kenntnissen der Studierenden und den beabsichtigten Lernzielen zu erkennen.Ihre Hauptaufgabe als Lehrende ist es, Vorkenntnisse zu aktivieren die den Studierenden helfen, den vorliegenden Fall zu lösen . 1.2. ProblemGroße medizinische Fakultäten bzw. Universitäten, wie die Medizinische Universität Wien (MUW) mit einer jährlichen Aufnahme von bis zu 740, benötigen eine umfangreiche Anzahl von Lehrenden. Solch eine große Anzahl von Studierenden kann nicht von akademischen Lehrern alleine betreut werden und erfordert eine alternative Lösung. Wie haben daher Lehrende aus allen medizinischen Fachgebieten, Grundlagenwissenschaften (nichtklinische Disziplinen), von außerhalb der MUW und nahezu gleichrangige Studenten, die in ihrem Studium weiter vorangeschritten waren, eingesetzt . Das hat Bedenken aufkommen lassen, dass der akademische Hintergrund der verschiedenen Lehrenden die POL-Moderation beeinflussen könnte, ein Problem das auch für andere große Medizinische Fakultäten bzw. Universitäten gelten würde.1.3. Stand der ForschungDer Einfluss der Lehrendenqualifikation auf die Qualität des Lernens, den Lernprozess und die Lernergebnisse wurde bereits von mehreren Autoren analysiert , , , . Die Ergebnisse unterscheiden sich und hängen von der Verfügbarkeit von POL im Studienplan und anderen lokalen Faktoren ab. Regehr et al. stellten keine Unterschiede zwischen den Ergebnismessungen für Studierende, die von inhaltlich erfahrenen und nicht sachkundigen Lehrenden geleitet wurden, fest. Darüber hinaus haben Burgess et al. in ihrer systematischen Rezension eine Vielzahl von Lernvorteilen für studentische Lehrende beschrieben. Schließlich hat keine der Studien Lehrende mit mehreren unterschiedlichen akademischen Hintergründen an einer medizinischen Universität von der Größe der MUW untersucht bzw. verglichen.1.4. Zielsetzung und FragestellungWir hatten besonderes Interesse zu erkennen, ob alle Lehrende in der Lage sind, den POL-Prozess zufriedenstellend zu leiten. Als wichtigstes Ergebnis dieser Studie haben wir den Prozentsatz der von den POL-Gruppen erreichten „gewünschten Lernziele“ festgelegt. Gewünschte Lernziele waren die von der POL-Lenkungsgruppe der MUW (POL-Koordinator und Modulkoordinator) für jeden Fall vorgegebenen Lernziele. Diese wurden allgemein definiert (nach Inhalten und nach Lernzielaspekten wie Wissen, Fertigkeiten, Haltungen) und den Lehrenden zur effizienteren Steuerung des Gruppenprozesses zur Verfügung gestellt. Als sekundäre Fragestellung wurden die zusätzlichen Lernziele außerhalb des vordefinierten Spektrums quantifiziert und durch themenbezogene Analyse gemessen und klassifiziert. Der endgültige Zweck der Studie bestand darin, festzustellen, ob sich Lehrendengruppen in Bezug auf die erreichten Lernziele signifikant voneinander unterschieden und daher möglicherweise eine zusätzliche Schulung (Lernformat, Inhalt der Fälle, Inhalt des Lernplans) erforderlich ist . 2. Methods2.1. General conditions and sample We conducted this study in the context of the PBL curriculum at the Medical University in Vienna, Austria (MUV). In the MUV curriculum, PBL was included in the first semester with four cases, and in the second and third semester with six cases each. Attendance at the whole series was mandatory for all students. During the study period 106 different tutors were involved (22 MUV clinicians, 33 MUV non-clinicians, 13 external faculty (clinicians and non-clinicians), 38 near-peer students). They were randomly allocated to seminar groups.All tutors and all student groups of 9-11 students worked on each case for two face-to-face sessions of 90 minutes. Between the face-to-face sessions (step 6 of PBL, according to an 8-step PBL format) the amount of self-regulated learning time varied individually. In the first session, the group undertook structured problem analysis and agreed on LOs for self-study, the results of which were discussed in the reporting phase during the second session. All students were instructed to work on the same LOs during their self-studies (not splitting up their learning into fragmented “team work”). While students were not informed about the ILOs of the case, PBL tutors were provided with a written guide giving the ILOs and theoretical background for each case. The students involved in this study were in their third semester of studies and thus already familiar with PBL. The tutors came from clinical and pre-clinical institutions of the MUV, from external institutions (clinicians and pre-clinicians combined), or were near-peer students who had at minimum entered the third year of medical studies. All tutors had undergone a two-day course introducing the principles of PBL within the MUV curriculum, including practical training sessions in small groups. In addition, tailored seminars of 2-3 hours were held for all tutors for the specific cases of a semester in order to ensure homogeneity of LOs derived from the case , . Immediately after the first session of each case the students placed the LOs in the e-learning platform of the MUV (Moodle).Participation in the case-specific seminars was voluntary in the academic year 2012, while in 2013 and 2014 it was made mandatory – with the aim that all PBL groups should arrive at comparable LOs, especially in regard to the end-of-year assessment. However, based on the self-regulatory nature of PBL at the MUV this was not an absolute obligation. PBL groups were free to select their individual LOs specific to the learning progress of the group. The expected study time, depending on students' knowledge, was supposed to range between two and four hours. The curriculum committee proposed a proportion of two thirds to three quarters of the ILOs as the desirable range because PBL should support the learning goals of the parallel curricular modules sufficiently.We collected tutors and students' data from all PBL groups of the third semester in the academic years 2012-2014. Each years' cohort consisted of 72 PBL groups, resulting in a total of 216. We included the academic year 2012 to be able to control for a potential influence of voluntary vs. mandatory participation at the case specific seminars. We used the written routine session reports of LOs worked out by the PBL groups which were routinely collected by students or tutors for feedback and quality control by the PBL programme director. In total, the six cases included in the analysis contained 34 ILOs (6, 7, 7, 6, 4 and 4). Matching was performed by two raters, one clinician and one basic scientist. Less than 1% of the matches differed and were discussed by the raters to find accordance. If the LOs determined by the students matched the ILOs, we classified them as “achieved”. Other LOs were classified as “additional”. We registered additional LOs outside the ILOs to find out if a case needs to be modified. The researchers involved in this analysis were blinded with regard to tutor and PBL group characteristics. All data were transferred to an electronic database using SPSS, version 19.0 and analysed with SAS, version 9.4. 2.2. Sample size calculation Based on the experiences of previous years (2010-2011), we expected a proportion of achieved ILOs of 60-75% in each PBL group, assuming a normal distribution across PBL groups. Given that data of 216 PBL groups would be available from three years' cohorts, an estimated standard deviation of 10 (or 12) percentage points was calculated to result in 95% confidence intervals with a width of 2.6 (or 3.2) percentage points. We regarded this a sufficient accuracy for the primary research question which would also allow sufficient statistical power for group comparisons of the secondary research question. 2.3. Statistical analysis For each PBL group, the proportion of achieved ILOs among the total number of 34 ILOs defined for all six cases of the semester was calculated. This proportion was reported by mean, standard deviation (SD) and 95% confidence interval (CI) and graphically depicted by academic year and tutor's academic background using box plots. The distribution of groups among semesters and tutor’s academic background was given by counts and percentages and tested for independence using Chi-square test. The dependence of the proportion of achieved ILOs on academic year semester and tutor’s academic background was investigated using two-way ANOVA. The interaction of semester and tutor’s academic background was removed from the model due to non-significance. Least square means and 95% CI's were reported based on this model. Pairwise post-hoc comparisons were corrected for multiple testing using Tukey’s method. The potential gender difference of the outcome variable was investigated by t-tests. The secondary outcome, proportion of additional LOs, was investigated using Kruskal-Wallis tests due to non-normal distributions. All calculations have been performed using SAS 9.4. Two-sided p-values ≤ 0.05 were regarded as statistically significant. As a “clinically relevant” difference, we regarded a deviation by more than 10% in relative frequency of ILOs. 2. Methoden2.1. Allgemeine Bedingungen und StichprobeWir haben diese Studie im Rahmen des POL-Curriculum an der Medizinischen Universität Wien (MUW), Österreich durchgeführt. Im MUW-Lehrplan war POL im ersten Semester mit vier Fällen und im zweiten und dritten Semester jeweils sechs Fälle enthalten. Die Teilnahme an der gesamten Serie war für alle Studierenden verpflichtend. Während des Studienzeitraumes waren 106 verschiedene Lehrende beteiligt (22 MUW-Klinker, 33 MUW Nicht-Kliniker, 13 externe Lehrende (Klinker und Nicht-Kliniker, 38 Studierende). Sie wurden den Seminargruppen per Zufall zugeteilt. Alle Lehrende und alle Studierendengruppen mit 9-11 Studierenden arbeiteten an jedem Fall in zwei Präsenzsitzungen von 90 Minuten. Zwischen den Präsenzsitzungen (Schritt 6 von POL, entsprechend dem 8-stufigen POL-Format) variierte die Menge der selbstregulierten Lernzeit individuell. In der ersten Sitzung nahm die Gruppe eine strukturierte Problemanalyse vor und einigte sich auf Lernziele für das Selbststudium, deren Ergebnisse in der Berichtsphase während der zweiten Sitzung erörtert wurden. Alle Studierenden wurden angewiesen an den gleichen Lernzielen während ihres Selbststudiums zu arbeiten (ohne das Lernen in fragmentierte „Teamarbeit“ aufzuteilen). Während die Studierenden nicht über die Lernziele des Falls in Kenntnis gesetzt wurden, erhielten die POL-Lehrenden einen schriftlichen Leitfaden mit den gewünschten Lernzielen und dem theoretischen Hintergrund für jeden Fall. Die an dieser Studie einbezogenen Studierenden waren im dritten Semester ihres Studiums und somit bereits mit POL vertraut. Die Lehrenden stammten von klinischen und präklinischen Abteilungen der MUW, von externen Abteilungen (Klinker und Vorkliniker gemeinsam), oder von höhersemestrigen Studierenden die mindestens das dritte Jahr des Medizinstudiums eingetreten sind. Alle Lehrenden hatten einen zweitägigen Kurs absolviert, mit Einführung in die Grundsätze des POL innerhalb des MUW Studienplans, einschließlich praktischer Schulungen in kleinen Gruppen. Zusätzlich wurden für alle Lehrenden maßgeschneiderte 2 bis 3-stündige Seminare für die jeweiligen Fälle des Semesters abgehalten, um die Homogenität der aus dem Fall abgeleiteten Lernziele sicherzustellen , . Unmittelbar nach jeder ersten Sitzung von jedem Fall stellten die Studierenden die Lernziele auf eine e-Learning Plattform der MUW (Moodle). Die Teilnahme an den fallspezifischen Seminaren war im akademischen Jahr 2012 freiwillig, in den Jahren 2013 und 2014 wurde diese verpflichtend gemacht – mit dem Ziel, dass alle POL-Gruppen, insbesondere auf die Jahresendprüfung, vergleichbare Lernziele erreichen sollten. Aufgrund der Selbstbestimmtheit der POL-Gruppen der an der MUW war dies jedoch keine absolute Verpflichtung. Den POL- Gruppen stand es frei, ihre individuellen Lernziele speziell nach dem Lernfortschritt der Gruppe auszuwählen. Die erwartete Lernzeit sollte je nach Kenntnisstand der Studierenden im Bereich zwischen zwei und vier Stunden liegen. Die Curriculumkommission schlug einen Anteil von zwei Dritteln bis drei Vierteln der gewünschten Lernziele als erstrebenswerten Bereich vor, da POL die Lernziele von den parallel laufenden Modulen ausreichend unterstützen sollte. In den akademischen Jahren 2012-014 haben wir Moderatoren- und Studierendendaten von aus allen POL-Gruppen des dritten Semesters gesammelt. Jede Jahreskohorte bestand aus 72 POL-Gruppen, was insgesamt 216 ergab. Wir haben das akademische Jahr 2012 einbezogen, um den potentiellen Einfluss der freiwilligen oder verpflichtenden Teilnahme an den fallspezifischen Seminaren überprüfen zu können. Wir verwendeten die von den POL-Gruppen ausgearbeiteten schriftlichen Sitzungsberichte über die Lernziele die laufend von den Studierenden oder Lehrenden für die Rückmeldung und Qualitätskontrolle durch den POL-Programmdirektor gesammelt wurden. Insgesamt enthielten die sechs in die Analyse einbezogen Fälle 34 Lernziele (6, 7, 7, 6, 4 und 4). Die Beurteilung wurde von zwei Bewertern, einem Klinker und einem Grundlagenwissenschaftler durchgeführt. Weniger als 1% unterschieden sich und wurden von den Bewertern diskutiert um eine Übereinstimmung zu finden. Wenn die von den Studierenden festgelegten Lernziele mit den gewünschten Lernzielen übereinstimmten, wurden sie als „erreicht“ eingestuft. Andere Lernziele wurden als „zusätzliche“ eingestuft. Wir haben zusätzliche Lernziele außerhalb der gewünschten Lernziele registriert, um herauszufinden ob ein Fall abgeändert werden muss. Die Bewerter wussten nicht, welche Lehrende bzw. Lehrendengruppen sie beurteilten. Alle Daten wurden mit SPSS, Version 19.0, in eine elektronische Datenbank übertragen und mit SAS, Version 9.4 ausgewertet.2.2. StichprobenberechnungAufgrund von Erfahrungswerten der vergangenen Jahre 2010 und 2011 erwarteten wir unter der Annahme einer Normalverteilung über die POL-Gruppen einen Anteil von erreichten Lernzielen von 60-75% in jeder Gruppe. Basierend auf Daten von 216 POL-Gruppen von 3 Jahreskohorten wurde eine geschätzte Standardabweichung von 10 (oder 12) Prozentpunkte berechnet, die ein 95% Vertrauensintervall mit einer Breite von 2.6 (oder 3.2) Prozentpunkten ergibt. Wir betrachteten dies für die primäre Forschungsfrage als eine ausreichende Genauigkeit welche ebenso eine angemessene statistische Aussagekraft für die Gruppenvergleiche der zweiten Forschungsfrage ermöglicht.2.3. Statistische AuswertungFür jede POL-Gruppe wurde der Anteil der erreichten Lernziele an der Gesamtzahl von 34 gewünschten Lernzielen, festgelegt für alle sechs Fälle des Semesters, berechnet. Dieser Anteil wurde als arithmetisches Mittel, Standardabweichung (SD) und 95% Konfidenzintervall (KI) ermittelt und nach akademischem Jahr und akademischem Hintergrund der Lehrenden unter Verwendung von Boxplots graphisch abgebildet. Die Verteilung von Gruppen zwischen Semestern und akademischen Hintergrund der Moderatoren wird durch Anzahl und Prozentsatz dargestellt und unter Verwendung des Chi-Quadrat-Tests auf Unabhängigkeit geprüft. Die Abhängigkeit des Anteils von erreichten Lernzielen von akademischen Jahr-Semester und dem akademischen Hintergrund der Lehrenden wurde mittels zweifacher ANOVA überprüft. Die Wechselwirkung von Semester und akademischen Hintergrund der Lehrenden wurde wegen Nicht-Signifikanz aus dem Modell entfernt. Kleinst-Quadrate-Mittel und 95% KI wurden beruhend auf diesem Modell ermittelt. Paarweise Post-hoc-Vergleiche wurden für multiples Testen unter Verwendung der Tukey-Methode korrigiert. Der mögliche Geschlechtsunterschied der Zielvariablen wurde mittels t-Test untersucht. Die Nebenzielgröße, der Anteil von zusätzlichen Lernzielen, wurde wegen Abweichung von der Normalverteilung mittels Kruskal-Wallis-Test untersucht. Alle Berechnungen wurden mit dem SAS 9.4. durchgeführt. Zweiseitige p-Werte ≤ 0.05 wurden als statistisch signifikant betrachtet. Als eine „klinisch relevante“ Differenz betrachteten wir eine Abweichung von mehr als 10% im relativen Anteil an von gewünschten Lernzielen. 3. Results3.1. Proportion of ILOs achieved in respect to years' cohorts The distribution of the proportion of achieved ILOs by student year's is depicted in figure 1 . The observed differences were statistically significant between the three years' cohorts (p=0.004). Tukey-corrected posthoc-tests indicate the following pair-wise comparisons as statistically significant: years 2012 vs. 2013 (corrected p=0.009) and 2012 vs. 2014 (corrected p=0.012). The combined analysis of both variables, academic year and academic background showed that their respective influence on the proportion of the achieved LOs was independent (the interaction of academic year and academic background was not significant, p=0.738). This means that the differences between the four academic backgrounds could be assumed equal in the three years. 3.2. Characteristics of tutors The distribution of PBL groups among study years and tutors' academic background is shown in table 1 . The two largest groups were non-clinicians from MUV (39.4%) and near-peer students from MUV (27.8%). No significant difference regarding the distribution of academic background was observed between study years (p=0.738).3.3. ILOs achieved and additional LOs, over all PBL groups From the total number of all 7338 ILOs (across all 3 years, 216 PBL groups and 6 Cases) a mean of 70.8% was reached (SD 12.4% points, 95% CI: 69.2% - 72.5%). 38,3% of the groups could not achieve the aim of the faculty of at least 2/3 coverage. Furthermore, we observed 313 additional LOs outside the ILOs – with no significant difference between the 3 years (p=0.621).3.4. Influence of tutor's academic background on achieved ILOs and additional LOs The proportion of achieved ILOs differed significantly in respect to the tutors' academic background (p<0.001) (see figure 2 ). Least-squares means and 95% confidence intervals for the proportion of achieved LOs across the PBL groups within each tutor's academic background: MUV clinicians 74.3% (70.8 -77.8), MUV non-clinicians 74.2% (71.7 - 76.6), external faculty (clinicians and non-clinicians) 68.6% (64.4 - 72.8) and near-peer students 64.7% (61.8 - 67.7). The group of near-peer students differed significantly from both, MUV clinicians and MUV non-clinicians (Tukey-corrected p<0.001 for both comparisons). 3.5. Additional LOs In respect to the tutors' academic backgrounds however, we found significant differences (p=0.014) between the four groups with the following median percentages of additional LOs: MUV clinicians: 3.8%; MUV non-clinicians: 4.0%; external faculty (clinicians and non-clinicians): 7.4%; near-peer students: 5.1%. In case 1 of the six PBL cases, a noticeable accumulation of a certain divergent LO was stated 49 times in 216 groups (22.7%) without significant differences in respect to tutors` academic backgrounds (p=0.915). Furthermore, the overall percentage of additional LOs did not differ significantly between the three years. 3. Ergebnisse3.1. Anteil der erreichten gewünschten Lernziele in JahreskohortenDie Verteilung der Anteile der erreichten Lernziele pro Studienjahr ist in der Abbildung 1 dargestellt. Die beobachteten Unterschiede zwischen den drei Jahreskohorten waren statistisch signifikant (p=0.004). Die Tukey-korrigierten post-hoc-Tests zeigen die folgenden paarweisen Vergleiche als statistisch signifikant: die Jahre 2012 vs. 2013 (korrigiertes p=0.009) und 2012 vs. 2014 (korrigiertes p=0.012). Die kombinierte Analyse der beiden Variablen akademisches Jahr und akademischer Hintergrund, ergab, dass ihr jeweiliger Einfluss am Anteil der der erreichten Lernziele unabhängig war (die Wechselwirkung von akademischem Jahr und akademischem Hintergrund war nicht signifikant, p=0.738). Dies bedeutete, dass die Unterschiede zwischen den vier akademischen Hintergründen in den drei Jahren als gleich angenommen werden kann. 3.2. Merkmale der LehrendenDie Verteilung der POL-Gruppen auf die Studienjahre und den akademischen Hintergrund der Lehrenden ist in der Tabelle 1 dargestellt. Die beiden größten Gruppen waren die Nicht-Kliniker der MUW (39.4%) und Studierenden der MUW (27.8%). Es wurde kein signifikanter Unterschied in Bezug auf die Verteilung des akademischen Hintergrunds zwischen den Studienjahren beobachtet (p=0.738).3.3. Erreichte Lernziele und zusätzliche Lernziele in allen POL-GruppenVon der Gesamtzahl aller 7338 erwünschten Lernziele (über alle 3 Jahre, 216 POL-Gruppen und 6 Fälle) wurde ein Mittelwert von 70.8% erreicht (SD 12.4 Prozentpunkte, KI: 69.2 - 72.5%). 38.3% der Gruppen konnten das Ziel der Universität von wenigstens 2/3 Abdeckung nicht erreichen. Darüber hinaus beobachteten wir 313 zusätzliche Lernziele außerhalb der gewünschten Lernziele – ohne signifikanten Unterschied zwischen den 3 Jahren (p=0.621).3. 4. Einfluss des akademischen Hintergrundes des Tutors auf die erreichten Lernziele und auf die zusätzlichen Lernziele Der Anteil der erreichten Lernziele unterschied sich signifikant im Hinblick auf den akademischen Hintergrund des Lehrenden (p<0.001) (siehe Abbildung 2 ). Kleinst-Quadrate-Mittel und 95% Konfidenzintervalle für die Anteile der erreichten Lernziele in den POL-Gruppen innerhalb des akademischen Hintergrunds der einzelnen Lehrenden: MUW-Kliniker 74.3% (70.8-77.8), MUW Nicht-Kliniker 74.2% (71.7-76.6), externe Lehrende (Klinker und Nicht-Kliniker) 68.6% (64.4-72.8), Studierende 64.7% (61.8-67.7). Die Gruppe der Studierenden unterschied sich signifikant von den MUW-Klinikern und MUW-Nicht-Klinikern (Tukey-korrigierter p<0.001 für beide Vergleiche).3.5. Zusätzliche LernzieleIn Bezug auf den akademischen Hintergrund der Lehrenden fanden wir allerdings signifikante Unterschiede (p=0.014) zwischen den vier Gruppen mit den folgenden medianen Prozentsätzen zusätzlicher LZ: MUW-Klinker: 3.8%; MUW-Nicht-Klinker: 4.0%; Externe Lehrende (Klinker und Nicht-Kliniker): 7.4%; Studierende: 5.1%. In Fall 1 der sechs POL-Fälle wurde eine auffällige Anhäufung eines bestimmten abweichenden Lernziels 49-mal in 216 Gruppen (22.7%) angegeben, ohne signifikanten Unterschiede in Bezug auf den akademischen Hintergrund der Lehrenden (p=0.915). Darüber hinaus unterschied sich der Gesamtprozentsatz der zusätzlichen Lernziele zwischen den drei Jahren nicht signifikant. 4. DiscussionThe study aimed to examine whether tutor groups with different academic backgrounds achieved ILOs to a differing extent, and whether this might imply a need for further instructional efforts to elucidate potential reasons. We present comparative data on learning objectives worked out by all students in three years in PBL sessions guided by tutors with different academic background at a large medical university. The average proportion of 70.8% of ILOs was well within the range reported in the literature , and the great majority of PBL groups reached the percentage of ILOs proposed by the curriculum committee. A significant increase of ILOs reached could probably only have been achieved through an unjustified external regulation or by a “dictation” of LOs which would counteract the purpose of PBL , .The differences in the percentage of achieved LOs between the three years' cohorts were statistically significant in pair-wise comparison: years 2012 vs. 2013 and 2012 vs. 2014. With regard to the academic background of tutors there were no significant differences between the study years (p=0.738). We believe that making training sessions mandatory for tutors after the year 2012 was the reason for this. In respect to additional LOs, we found a surprisingly low proportion of 5.6% overall (which included the detection of a slightly misleading PBL case, which was replaced in subsequent years). Apparently, all tutors focussed on the ILOs and provided adequate guidance in their sessions.The main objective of this study was to identify the impact of tutors’ academic backgrounds on the percentage of ILOs which were actually achieved. We showed significant differences between some groups and similarities between others. Also, differences were found in respect to the additional LOs, however, they were small. Our data confirm the finding of Regehr et al. who clearly showed that content-expert and non-expert tutors achieved similar outcome measures of their students. As one alternative to MUV faculty, our PBL program included external faculty. This carried the risk of increasing heterogeneity of teaching cultures. Our data may provide an indication for this phenomenon since the mean proportion of ILOs reached was lower in this group (although not statistically significant) and the proportion of additional LOs was higher (statistically significant). The lowest mean proportion of ILOs (64.7%) was achieved by groups led by near-peer students. This difference was statistically significant compared to MUV faculty and deviated by 9.5 absolute percent points (which meant a relative difference of 13.7%). In addition, near-peer student-led groups showed the largest standard deviation. However, most of the groups still scored in a range acceptable for the curriculum PBL steering group and their proportion of additional LOs was lower than in the group of external faculty tutors. Near-peer student tutors are likely to have a different approach to PBL than faculty, be it conductive to the PBL process, or not. Mills et al. have shown a non-inferior near-peer study with a satisfaction that is as high when tutored by peer-teachers compared to clinicians or non-clinical staff, but they did not mention the learning objectives.Moust and Schmidt focused their study on student's observation of student and staff tutor's behavior during PBL. Student tutors were better at understanding the nature of the problems students face in attempting to master the subject-matter. In addition, student tutors referred to end-of course examinations more frequently than staff tutors to direct student learning. In contrast, staff tutors used their subject-matter expertise more often and displayed more authoritarian behavior than student tutors. No differences were found with respect to tutor's focus on cooperation among group members. Tolsgaard et al. stated that the quality of teaching procedural skills provided by students is comparable to or exceed that of associate professors. Despite limited clinical experience student teachers may possess substantial tacit pedagogical knowledge. A variety of factors contributes to this situation (see the reviews by Ross et al. and Burgess al. . It may be deemed beneficial that near-peer tutors are closer to the specific needs of their peers, thereby providing a more learner-friendly culture, more modern learning resources, better connection to end-of-semester assessments. This might result in a “less is more” strategy and explain the lower proportion of ILOs reached in their groups. On the less favourable side, student tutors have not yet grasped the “big picture” of medicine and are unable to relate group guidance to profound content knowledge. This could both be beneficial and/or detrimental for the group process, since content-relatedness of sessions may distract students from their extrinsic learning needs. It therefore remains open whether our finding of significantly lower proportions of ILOs reached poses a serious problem. In order to gain more insight into this issue qualitative in-depth analysis of single sessions should be performed and matched with evaluations by students and examination scores. Some studies already explored certain aspects of this which are of interest such as: Cianciolo et al. analyzed the interactional practices during PBL tutorials and did not find differing tutor practices in respect to their professional background . However, they did not link tutors' practices to achieved learning outcomes.A special training of the near-peer student tutors may prove necessary if other quality indicators of learning showed inferior outcomes , 4.1. Strenghts and LimitationsA notable strength of this study is the large sample size, which allowed for the comparison of sub-groups. In addition, it can be seen as a strength that our data were collected as a “real-life” field study rather than in an experimental setting. The replication of similar results between MUV clinicians vs. non-clinicians adds validity to our findings. Limitations include the mono-centred and the retrospective field study approach comprising uncontrolled influences. In addition, we did not investigate other influencing factors besides the tutors’ academic background. Further influences are likely to play a role. Also, the students` perspective is not included. Moreover, no correlation to students` exam results was made. It is therefore impossible at this point to gauge potential consequences of the lower proportions of ILOs reached in near-peer tutor groups. 4.2. Further researchFurther research should include the students' perspective , . A combination of evaluation questionnaires filled out by students, qualitative in-depth study of individual sessions, and exam results would help gain insight into the near-peer-led PBL group learning. 4. DiskussionZiel der Studie war es zu untersuchen, ob Lehrendengruppen mit unterschiedlichem akademischem Hintergrund in unterschiedlichem Maße gewünschte Lernziele erreichten, und ob dies weiteren Schulungsbedarf bedeutet bzw. weitere Klärung möglicher Ursachen erforderlich macht.Aus POL-Sitzungen, die von Lehrenden mit unterschiedlichem akademische Hintergrund an einer großen Medizinischen Universität geleitet werden, präsentieren wir vergleichende Daten zu den Lernzielen, die von allen Studierenden in drei Jahren erarbeitet wurden. Der durchschnittliche Anteil von 70.8% gewünschter Lernziele lag deutlich innerhalb des in der Literatur angegebenen Bereichs , , und die große Mehrheit der POL-Gruppen erreichte den von der Steuerungsgruppe vorgeschlagenen den Prozentsatz der Lernziele. Eine signifikante Steigerung der erreichten gewünschten Lernziele hätte wahrscheinlich nur durch eine ungerechtfertigte externe Regulierung oder durch ein „Diktat“ von Lernzielen erreicht werden können, das dem Zweck von POL widersprechen würde , . Die Unterschiede im Prozentsatz der erreichter Lernziele zwischen den drei Jahreskohorten waren im paarweisen Vergleich statistisch signifikant: Jahre 2012 gegenüber 2013 und 2012 gegenüber 2014. Im Hinblick auf den akademischen Hintergrund der Lehrenden gab es keine signifikanten Unterschiede zwischen den Studienjahren (p=0.728). Wir nehmen an, dass die Verpflichtung zu Schulungen für Lehrende nach dem Jahr 2012 der Grund dafür war.In Bezug auf zusätzliche Lernziele fanden wir insgesamt einen überraschend niedrigen Anteil von 5.6% insgesamt (einschließlich der Entdeckung eines leicht irreführenden POL-Falls, der in den folgenden Jahren ersetzt wurde. Anscheinend haben sich alle Lehrenden auf die gewünschten Lernziele konzentrierten und in ihren Sitzungen angemessene Anleitungen gegeben. Das Hauptziel dieser Studie war es, den Einfluss des akademischen Hintergrunds der Lehrenden auf den Prozentsatz der gewünschten Lernziele, welche tatsächlich erreicht wurden, zu ermitteln. Wir zeigten signifikante Unterschiede zwischen einigen Gruppen und Ähnlichkeiten zwischen anderen. Auch in Bezug auf die zusätzlichen Lernziele wurden Unterschiede festgestellt, die jedoch gering waren.Unsere Daten bestätigen die Untersuchungsergebnisse von Regehr et al. die eindeutig zeigten, dass Inhaltsexperten und nicht fachkundige Lehrende ähnliche Ergebnisse bei ihren Studierenden erreichen. Zusätzlich zum MUW-Lehrkörper hat unser POL-Programm externe Lehrende miteinbezogen. Dies hat das Risiko zunehmender Heterogenität der Lehrkulturen mit sich gebracht. Unsere Daten können einen Hinweis auf dieses Phänomen geben, da der durchschnittliche Anteil von erreichten gewünschten Lernzielen in Gruppe der externen Lehrenden niedriger war (wenn auch nicht statistisch signifikant) und der Anteil von zusätzlichen Lernzielen war höher war (statistisch signifikant). Der niedrigste durchschnittliche Anteil von gewünschten Lernzielen (64.7%) wurde von Gruppen erreicht, die von studentischen Lehrenden geführt wurden. Dieser Unterschied war im Vergleich zum MUW-Lehrkörper statistisch signifikant und wich um 9.5 absolute Prozentpunkte ab (was einer relativen Differenz von 13.7% entspricht). Darüber hinaus wiesen von studentischen Lehrenden geführte Gruppen die größte Standardabweichung auf. Die meisten Gruppen erreichten jedoch immer noch einen für die POL- Steuerungsgruppe akzeptablen Bereich, und ihr Anteil an zusätzlichen Lernzielen war geringer als in der Gruppe der extern Lehrenden. Studentische Lehrende haben wahrscheinlich eine unterschiedliche Herangehensweise an POL als akademische Lehrende, möglicherweise bei der Durchführung des POL-Prozesses.Mills et al. haben eine in einer Studie mit studentischen Tutoren gezeigt, dass die Zufriedenheit, die bei der Betreuung durch gleichrangige Lehrerende im Vergleich zu Klinikern oder nicht klinischem Personal ebenso hoch ist, aber sie haben die Lernziele nicht erwähnt. Moust und Schmidt legten den Schwerpunkt ihre Studie auf die studentische Beobachtung des Verhaltens von Studierenden und akademischen Lehrenden als POL-Lehrende. Die studentischen Lehrenden waren besser in der Lage die Art der Probleme zu verstehen, mit denen die Studierenden bei dem Versuch, das Fach zu beherrschen, konfrontiert sind. Darüber hinaus bezogen sich studentische Lehrende häufiger auf Prüfungen am Ende des Kurses als akademische Lehrende, die auf das direkte Lernen der Studierenden Wert legten. Im Gegensatz dazu hat das akademische Lehrpersonal seine Fachkenntnis häufiger genutzt und sich autoritärer verhalten, als die studentischen Lehrenden. Im Hinblick auf den Schwerpunkt des Lehrenden auf die Zusammenarbeit zwischen den Gruppenmitgliedern wurden keine Unterschiede festgestellt. Tolsgaard et al. gaben an, dass die Qualität des Unterrichts von prozeduralen Fertigkeiten von Studierenden mit der von außerordentlichen Professoren vergleichbar ist oder diese übertrifft. Trotz begrenzter klinischer Erfahrung verfügen studentische Lehrende über erhebliche implizite pädagogische Kenntnisse. Eine Vielzahl von Faktoren tragen zu diesem Sachverhalt bei (siehe die Übersichtsarbeiten von Ross et al. und Burgess et al. . Es kann als vorteilhaft angesehen werden, dass studentische Lehrende näher an den spezifischen Bedürfnissen der Gleichrangigen sind und dadurch eine lernendenzentriertere Kultur, modernere Lehrmittel und bessere Anknüpfung zu Prüfungen am Ende des Semesters anbieten. Dies kann zu einer „weniger ist mehr“ Strategie führen und erklärt den niedrigen Anteil von gewollten Lernzielen in ihren Gruppen. Andererseits haben studentische Lehrende den „Gesamtüberblick“ über die Medizin noch nicht begriffen und können die Gruppenführung nicht mit fundiertem inhaltlichem Wissen der Inhalte in Verbindung bringen. Dies könnte für den Gruppenprozess sowohl vorteilhaft und/oder nachteilig sein, da die inhaltliche Relevanz der Sitzungen die Studierenden von ihrem extrinsischen Lernbedürfnissen ablenken kann. Es bleibt daher offen, ob unsere Feststellung, dass ein signifikant niedrigerer Anteil an gewünschten Lernziele ein ernstes Problem darstellt. Um einen besseren Einblick in dieses Thema zu erhalten sind qualitative detaillierte Analysen von einzelnen Sitzungen durchzuführen und mit Beurteilungen von Studierenden und Prüfungsergebnissen verglichen werden.Einige Studien haben bereits bestimmte Gesichtspunkte von diesen untersucht, die von Interesse sind, wie zum Beispiel: Cianciolo et al. analysierten die interaktiven Gepflogenheiten während der POL-Sitzungen und fanden keine unterschiedlichen Praktiken der Lehrenden in Bezug auf ihren beruflichen Hintergrund . Sie verbanden jedoch nicht die Vorgehensweisen der Lehrenden mit den erzielten Lernergebnissen.Eine spezielle Ausbildung der nahezu studentischen Lehrenden kann sich als notwendig erweisen, wenn andere Qualitätsindikatoren des Lernprozesses schlechtere Ergebnisse zeigen , .4.1. Stärken und EinschränkungenEine bemerkenswerte Stärke dieser Studie ist die große Stichprobengröße, die den Vergleich von Untergruppen ermöglichte. Darüber hinaus kann es als Stärke angesehen werden, dass unsere Daten eher als eine „echte“ Feldstudie als in einem experimentellen Umfeld gesammelt wurden. Die Replikation ähnlicher Ergebnisse zwischen MUW Klinikern und Nicht-Klinkern fügt unseren Ergebnissen Aussagekraft hinzu.Zu den Einschränkungen zählen der monozentrische und retrospektive Feldstudienansatz mit unkontrollierten Einflüssen. Darüber hinaus haben wir neben dem akademischen Hintergrund der Lehrenden keine weiteren Einflussfaktoren untersucht. Weitere Einflüsse dürften eine Rolle spielen. Ferner wird die Perspektive der Studierenden nicht berücksichtigt. Darüber hinaus wurde keine Korrelation zu den studentischen Prüfungsergebnissen hergestellt. Es ist daher zum gegenwärtigen Zeitpunkt nicht realisierbar, die möglichen Folgen der geringen Anteile von erreichten gewünschten Lernziele, die in den Gruppen mit studentischen Lehrenden erreicht wurden, abzuschätzen. 4.2. Weitere ForschungDie weiterführende Forschung sollte die Sichtweise der Studierenden einbeziehen , . Eine Kombination aus von Studierenden ausgefüllten Bewertungsfragebögen, einer qualitativen eingehenden Untersuchung einzelner Sitzungen und Prüfungsergebnisse würde helfen, einen Einblick in das Lernen von Gruppen, die von Studierenden geführten wurden, zu gewinnen. 5. ConclusionIn conclusion, this study yields important data on PBL tutors at a large medical university. Disregarding their academic background, the majority of tutors reached the desired range of ILOs of two thirds to three quarters.Compared to MUV faculty, near-peer student tutors reached significantly lower proportions of ILOs. Whether and how special coaching or training would influence these results is subject to further research. In any case, our findings call for more detailed research of the tutor-group interaction in student-tutor-led PBL groups. 5. SchlussfolgerungZusammenfassend liefert diese Studie wichtige Daten zu POL-Lehrenden an einer großen medizinischen Universität. Ohne Berücksichtigung ihres akademischen Hintergrunds erreichte die Mehrheit der Lehrenden den Bereich von zwei Dritteln bis drei Vierteln der gewünschten Lernziele. Im Vergleich zum MUW- Lehrkörper erreichten studentische Lehrende signifikant geringere Anteile an gewünschten Lernzielen. Ob und wie spezielles Coaching oder Training diese Ergebnisse beeinflussen würde, ist Gegenstand weiterer Untersuchungen. In jedem Fall erfordern unsere Ergebnisse eine genauere Untersuchung der Interaktion zwischen Lehrenden und Gruppe in von Studierenden geleiteten POL-Gruppen. AbbreviationsPBL: Problem based learningMUV: Medical University of ViennaLOs: learning objectivesILOs: intended learning objectives AbkürzungenPOL: Problemorientiertes LernenMUW: Medizinische Universität Wien EthicsThis study was conducted according to the Helsinki Declaration guidelines and received approval by the institutional ethics committee (Ref. 1879/2015) and data protection commission of the Medical University of Vienna. EthikDiese Studie wurde entsprechend den Richtlinien der Helsinki Deklaration durchgeführt und wurde von der Ethikkommission (EK-Nr. 1879/2015) und Datenschutzkommission der Medizinischen Universität Wien genehmigt. AcknowledgementsThe authors thank all participating tutors for their PBL teaching and accurate recording and transmission of all learning objectives. DanksagungDie Autoren danken allen teilnehmenden Moderatoren für ihren POL-Unterricht und die sorgfältige Aufzeichnung und Weiterleitung aller Lernziele. Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben. Azer SA Peterson R Guerrero AP Edgren G Twelve tips for constructing problem-based learning cases 2012 Med Teach 361-367 Azer SA, Peterson R, Guerrero AP, Edgren G. Twelve tips for constructing problem-based learning cases. Med Teach. 2012;34(5):361-367. DOI: 10.3109/0142159X.2011.613500 https://doi.org/10.3109/0142159X.2011.613500 Barrows HS A taxonomy of problem-based learning methods 1986 Med Educ 481-486 Barrows HS. A taxonomy of problem-based learning methods. Med Educ. 1986;20(6):481-486. DOI: 10.1111/j.1365-2923.1986.tb01386.x https://doi.org/10.1111/j.1365-2923.1986.tb01386.x Bate E Hommes J Duvivier R Taylor DC Problem-based learning (PBL): Getting the most out of your students - Their roles and responsibilities: AMEE Guide No. 84 2014 Med Teach 1-12 Bate E, Hommes J, Duvivier R, Taylor DC. Problem-based learning (PBL): Getting the most out of your students - Their roles and responsibilities: AMEE Guide No. 84. Med Teach. 2014;36(1):1-12. DOI: 10.3109/0142159X.2014.848269 https://doi.org/10.3109/0142159X.2014.848269 De Volder ML Approaches to learning in a problem-based medical programme: a development study 1989 Med Educ 262-264 De Volder ML. Approaches to learning in a problem-based medical programme: a development study. Med Educ. 1989;23(3):262-264. DOI: 10.1111/j.1365-2923.1989.tb01542.x https://doi.org/10.1111/j.1365-2923.1989.tb01542.x Distlehorst LH Barrows HS A new tool for problem-based, self-directed learning 1982 Med Educ 486-488 Distlehorst LH, Barrows HS. A new tool for problem-based, self-directed learning. Med Educ. 1982;57(6):486-488. Dolmans DH Wolfhagen IH van der Vleuten CP Wijinen WH Solving problems with group work in problem-based learning: hold on to the philosophy 2001 Med Educ 884-889 Dolmans DH, Wolfhagen IH, van der Vleuten CP, Wijinen WH. Solving problems with group work in problem-based learning: hold on to the philosophy. Med Educ. 2001;35(9):884-889. DOI: 10.1046/j.1365-2923.2001.00915.x https://doi.org/10.1046/j.1365-2923.2001.00915.x Eshach H Bitterman H From case-based reasoning to problem-based learning 2003 Acad Med 491-496 Eshach H, Bitterman H. From case-based reasoning to problem-based learning. Acad Med. 2003;78(5):491-496. DOI: 10.1097/00001888-200305000-00011 https://doi.org/10.1097/00001888-200305000-00011 Field MJ Sefton AJ Computer-based management of content in planning a problem-based medical curriculum 1998 Med Educ 163-171 Field MJ, Sefton AJ. Computer-based management of content in planning a problem-based medical curriculum. Med Educ. 1998;32(2):163-171. DOI: 10.1046/j.1365-2923.1998.00194.x https://doi.org/10.1046/j.1365-2923.1998.00194.x Koh GCH Revisiting the 'Essentials of problem-based learning 2016 Med Educ 596-599 Koh GCH. Revisiting the 'Essentials of problem-based learning. Med Educ. 2016;50(6):596-599. DOI: 10.1111/medu.12794 https://doi.org/10.1111/medu.12794 Miflin BM Campbell CB Price DA A conceptional framework to guide the development of self-directed, lifelong learning in problem-based medical curricula 2000 Med Educ 299-306 Miflin BM, Campbell CB, Price DA. A conceptional framework to guide the development of self-directed, lifelong learning in problem-based medical curricula. Med Educ. 2000;3(4):299-306. DOI: 10.1046/j.1365-2923.2000.00564.x https://doi.org/10.1046/j.1365-2923.2000.00564.x Schmidt HG Problem-based learning: rationale and description 1983 Med Educ 11-16 Schmidt HG. Problem-based learning: rationale and description. Med Educ. 1983;17(1):11-16. DOI: 10.1111/j.1365-2923.1983.tb01086.x https://doi.org/10.1111/j.1365-2923.1983.tb01086.x Schmidt HG Foundations of problem-based learning: some explanatory notes 1993 Med Educ 422-432 Schmidt HG. Foundations of problem-based learning: some explanatory notes. Med Educ. 1993;27(5):422-432. DOI: 10.1111/j.1365-2923.1993.tb00296.x https://doi.org/10.1111/j.1365-2923.1993.tb00296.x Schmidt HG Cohen-Schotanus J Arends LR Impact of problem-based, active learning on graduation rates for 10 generations of Dutch medical students 2009 Med Educ 211-218 Schmidt HG, Cohen-Schotanus J, Arends LR. Impact of problem-based, active learning on graduation rates for 10 generations of Dutch medical students. Med Educ. 2009;43(3):211-218. DOI: 10.1111/j.1365-2923.2008.03287.x https://doi.org/10.1111/j.1365-2923.2008.03287.x Shanley PF Leaving the "Empty Glass" of Problem-Based Learning Behind: New Assumptions and a Revised Model for Case Study in Preclinical Medical Education 2007 Acad Med 479-485 Shanley PF. Leaving the "Empty Glass" of Problem-Based Learning Behind: New Assumptions and a Revised Model for Case Study in Preclinical Medical Education. Acad Med. 2007;82(5):479-485. DOI: 10.1097/ACM.0b013e31803eac4c https://doi.org/10.1097/ACM.0b013e31803eac4c Torre DM van der Vleuten C Dolmans D Theoretical perspectives and applications of group learning in PBL 2016 Med Teach 189-195 Torre DM, van der Vleuten C, Dolmans, D. Theoretical perspectives and applications of group learning in PBL. Med Teach. 2016;38(2):189-195. DOI: 10.3109/0142159X.2015.1009429 https://doi.org/10.3109/0142159X.2015.1009429 Wood SJ Woywodt A Pugh M Sampson I Madhavi P Twelve tips to revitalise problem-based learning 2015 Med Teach 723-729 Wood SJ, Woywodt A, Pugh M, Sampson I, Madhavi P. Twelve tips to revitalise problem-based learning. Med Teach. 2015;37(8):723-729. DOI: 10.3109/0142159X.2014.975192 https://doi.org/10.3109/0142159X.2014.975192 Jung B Tryssenaar J Wilkins S Becoming a tutor: exploring the learning experiences and needs of novice tutors in a PBL programme 2005 Med Teach 606-612 Jung B, Tryssenaar J, Wilkins S. Becoming a tutor: exploring the learning experiences and needs of novice tutors in a PBL programme. Med Teach. 2005;27(7):606-612. DOI: 10.1080/01421590500069728 https://doi.org/10.1080/01421590500069728 Harden RM Crosby J Davis MH Howie PW Struthers AD Task-based learning: the answer to integration and problem-based learning in clinical years 2000 Med Educ 391-397 Harden RM, Crosby J, Davis MH, Howie PW, Struthers AD. Task-based learning: the answer to integration and problem-based learning in clinical years. Med Educ. 2000;34(5):391-397. DOI: 10.1046/j.1365-2923.2000.00698.x https://doi.org/10.1046/j.1365-2923.2000.00698.x Macallan DC Kent A Holmes S Farmer EA McCrorie P A model of clinical problem-based learning for clinical attachments in medicine 2009 Med Educ 799-807 Macallan DC, Kent A, Holmes S, Farmer EA, McCrorie P. A model of clinical problem-based learning for clinical attachments in medicine. Med Educ. 2009;43(8):799-807. DOI: 10.1111/j.1365-2923.2009.03406.x https://doi.org/10.1111/j.1365-2923.2009.03406.x Norman GR Schmidt HG Effectiveness of problem-based learning curricula: theory, practice and paper dart 2000 Med Educ 721-728 Norman GR, Schmidt HG. Effectiveness of problem-based learning curricula: theory, practice and paper dart. Med Educ. 2000;34(9):721-728. DOI: 10.1046/j.1365-2923.2000.00749.x https://doi.org/10.1046/j.1365-2923.2000.00749.x Schmidt HG Rotgans JI Yew EH The process of problem-based learning: what works and why 2001 Med Educ 792-806 Schmidt HG, Rotgans JI, Yew EH. The process of problem-based learning: what works and why. Med Educ. 2001;45(8):792-806. DOI: 10.1111/j.1365-2923.2011.04035.x https://doi.org/10.1111/j.1365-2923.2011.04035.x Visschers-Pleijers AJ Dolmans DH de Grave WS Wolfhagen IH Jacorbs JJ van der Vleuten CP Students perceptions about the characteristics of an effective discussion during the reporting phase in problem-based learning 2006 Med Educ 924-931 Visschers-Pleijers AJ, Dolmans DH, de Grave WS, Wolfhagen IH, Jacorbs JJ, van der Vleuten CP. Students perceptions about the characteristics of an effective discussion during the reporting phase in problem-based learning. Med Educ. 2006;40(9):924-931. DOI: 10.1111/j.1365-2929.2006.02548.x https://doi.org/10.1111/j.1365-2929.2006.02548.x van Berkel HJ Dolmans DH The influence of tutoring competences on problems, group functioning and student achievement in problem-based learning 2006 Med Educ 730-736 van Berkel HJ, Dolmans DH. The influence of tutoring competences on problems, group functioning and student achievement in problem-based learning. Med Educ. 2006;40(8):730-736. DOI: 10.1111/j.1365-2929.2006.02530.x https://doi.org/10.1111/j.1365-2929.2006.02530.x Silén C The tutor's approach in base groups (PBL) 2006 High Educ 373-385 Silén C. The tutor's approach in base groups (PBL). High Educ. 2006;51(3):373-385. DOI: 10.1007/s10734-004-6390-9 https://doi.org/10.1007/s10734-004-6390-9 Dolmans DH Schmidt HG What drives the student in problem-based learning 1994 Med Educ 372-380 Dolmans DH, Schmidt HG. What drives the student in problem-based learning. Med Educ. 1994;28(5):372-380. DOI: 10.1111/j.1365-2923.1994.tb02547.x https://doi.org/10.1111/j.1365-2923.1994.tb02547.x van den Hurk MM Wolfhagen IH Dolmans DH van der Vleuten CP The impact of student-generated learning issues on individual study time and academic achievement 1999 Med Educ 808-814 van den Hurk MM, Wolfhagen IH, Dolmans DH, van der Vleuten CP. The impact of student-generated learning issues on individual study time and academic achievement. Med Educ. 1999;33(11):808-814. DOI: 10.1046/j.1365-2923.1999.00403.x https://doi.org/10.1046/j.1365-2923.1999.00403.x van Mook WN de Grave W Huijssen-Huisman E de Witt-Lutu M Dolmans DH Muijtjens AM Schuwirth LW van der Vleuten CP Factors inhibiting assessment of students' professional behaviour in the tutorial group during problem-based learning 2007 Med Educ 849-456 van Mook WN, de Grave W, Huijssen-Huisman E, de Witt-Lutu M, Dolmans DH, Muijtjens AM, Schuwirth LW, van der Vleuten CP. Factors inhibiting assessment of students' professional behaviour in the tutorial group during problem-based learning. Med Educ. 2007;41(9):849-456. DOI: 10.1111/j.1365-2923.2007.02849.x https://doi.org/10.1111/j.1365-2923.2007.02849.x Walton HJ Matthews MB Essentials of problem-based learning 1989 Med Educ 542-558 Walton HJ, Matthews MB. Essentials of problem-based learning. Med Educ. 1989;23(6):542-558. DOI: 10.1111/j.1365-2923.1989.tb01581.x https://doi.org/10.1111/j.1365-2923.1989.tb01581.x Ross MT Cameron HS Peer assisted learning: a planning and implementation framework: AMEE Guide n. 30 2007 Med Teach 527-545 Ross MT, Cameron, HS. Peer assisted learning: a planning and implementation framework: AMEE Guide n. 30. Med Teach. 2007;29(6):527-545. DOI: 10.1080/01421590701665886 https://doi.org/10.1080/01421590701665886 Silver M Wilkerson L Effects of tutors with subject expertise on the problem-based tutorial process 1991 Acad Med 298-300 Silver M, Wilkerson L. Effects of tutors with subject expertise on the problem-based tutorial process. Acad Med. 1991;66(5):298-300. DOI: 10.1097/00001888-199105000-00017 https://doi.org/10.1097/00001888-199105000-00017 Albanese M Problem-based learning: why curricula are likely to show little effect on knowledge and clinical skills 2000 Med Educ 729-738 Albanese M. Problem-based learning: why curricula are likely to show little effect on knowledge and clinical skills. Med Educ. 2000;34(9):729-738. DOI: 10.1046/j.1365-2923.2000.00753.x https://doi.org/10.1046/j.1365-2923.2000.00753.x Colliver JA Effectiveness of Problem-based Learning Curricula: Research and Theory 2000 Acad Med 259-266 Colliver JA. Effectiveness of Problem-based Learning Curricula: Research and Theory. Acad Med. 2000;75(3):259-266. DOI: 10.1097/00001888-200003000-00017 https://doi.org/10.1097/00001888-200003000-00017 Kassab S Abu-Hijleh MF Al-Shboul Q Hamdy H Student-led tutorials in problem-based learning: educational outcomes and students' perceptions 2005 Med Teach 521-526 Kassab S, Abu-Hijleh MF, Al-Shboul Q, Hamdy H. Student-led tutorials in problem-based learning: educational outcomes and students' perceptions. Med Teach. 2005;27(6):521-526. DOI: 10.1080/01421590500156186 https://doi.org/10.1080/01421590500156186 Matthes J Marxen B Linke RM Antepohl W Coburger S Christ H Lehmacher W Herzig S The influence of tutor qualification on the process and outcome of learning in a problem-based course of basic medical pharmacology 2002 Naunyn-Schmiedeberg's Arch Pharmacol 58-63 Matthes J, Marxen B, Linke RM, Antepohl W, Coburger S, Christ H, Lehmacher W, Herzig S. The influence of tutor qualification on the process and outcome of learning in a problem-based course of basic medical pharmacology. Naunyn-Schmiedeberg's Arch Pharmacol. 2002;366(1):58-63. DOI: 10.1007/s00210-002-0551-0 https://doi.org/10.1007/s00210-002-0551-0 Regehr G Martin J Hutchison C Murnaghan J Cusimano M Reznick R The effect of tutors' content expertise on student learning, group process, and participant satisfaction in a problem-based learning curriculum 1995 Teach Learn Med 225-232 Regehr G, Martin J, Hutchison C, Murnaghan J, Cusimano M, Reznick R. The effect of tutors' content expertise on student learning, group process, and participant satisfaction in a problem-based learning curriculum. Teach Learn Med. 1995;7(4):225-232. DOI: 10.1080/10401339509539748 https://doi.org/10.1080/10401339509539748 Burgess A McGregor D Mellis C Medical students as peer tutors: a systematic review 2014 BMC Med Educ 115 Burgess A, McGregor D, Mellis C. Medical students as peer tutors: a systematic review. BMC Med Educ. 2014;14:115. DOI: 10.1186/1472-6920-14-115 https://doi.org/10.1186/1472-6920-14-115 Vogt K Pelz J Stoux A Refinement of a training concept for tutors in problem-based learning 2017 GMS J Med Educ Doc38 Vogt K, Pelz J, Stoux A. Refinement of a training concept for tutors in problem-based learning. GMS J Med Educ. 2017;34(4):Doc38. doi: 10.3205/zma001115 https://doi.org/10.3205/zma001115 Schmidt HG Moust HC What makes a tutor effective? A structural-equations modelling approach to learning in problem-based curricula 1995 Acad Med 708-714 Schmidt HG, Moust HC. What makes a tutor effective? A structural-equations modelling approach to learning in problem-based curricula. Acad Med. 1995;70(8):708-714. DOI: 10.1097/00001888-199508000-00015 https://doi.org/10.1097/00001888-199508000-00015 Sockalingam N Rotgans J Schmidt HG Student and tutor perceptions on attributes of effective problems in problem-based learning 2011 High Educ 1-16 Sockalingam N, Rotgans J, Schmidt HG. Student and tutor perceptions on attributes of effective problems in problem-based learning. High Educ. 2011;62(1):1-16. DOI: 10.1007/s10734-010-9361-3 https://doi.org/10.1007/s10734-010-9361-3 Shields HM Guss D Somers SC Kerfoot BP Mandell BS Travassos WJ Ullman SM Marco S Honan JP Raymond LW Guldberg EM Leffler DA Harward JN Pelletier SR Carbo AR Fishmann LN Nath BJ Cohn MA Hafter JP A faculty development program to train tutors to be discussion leaders rather than facilitators 2007 Acad Med 486-492 Shields HM, Guss D, Somers SC, Kerfoot BP, Mandell BS, Travassos WJ, Ullman SM, Marco S, Honan JP, Raymond LW, Guldberg EM, Leffler DA, Harward JN, Pelletier SR, Carbo AR, Fishmann LN, Nath BJ, Cohn MA, Hafter JP. A faculty development program to train tutors to be discussion leaders rather than facilitators. Acad Med. 2007;82(5):486-492. DOI: 10.1097/ACM.0b013e31803eac9f https://doi.org/10.1097/ACM.0b013e31803eac9f Dolmans DH Gijselaers WH Schmidt HG van der Meer SB Problem effectiveness in a course using problem-based learning 1993 Acad Med 207-213 Dolmans DH, Gijselaers WH, Schmidt HG, van der Meer SB. Problem effectiveness in a course using problem-based learning. Acad Med. 1993;68(3):207-213. DOI: 10.1097/00001888-199303000-00013 https://doi.org/10.1097/00001888-199303000-00013 Mills JK Dalleywater WJ Tischler V An assessment of student satisfaction with peer teaching of clinical communication skills 2014 BMC Med Educ 217 Mills JK, Dalleywater WJ, Tischler V. An assessment of student satisfaction with peer teaching of clinical communication skills. BMC Med Educ. 2014;14:217. DOI: 10.1186/1472-6920-14-217 https://doi.org/10.1186/1472-6920-14-217 Moust JH Schmidt HG Facilitating small-group learning: a comparison of student and staff tutors' behavior 1995 Instr Sci 287-301 Moust JH, Schmidt HG. Facilitating small-group learning: a comparison of student and staff tutors' behavior. Instr Sci. 1995;22(4):287-301. DOI: 10.1007/BF00891782 https://doi.org/10.1007/BF00891782 Tolsgaard MG Gustafsson A Rasmussen MB HØiby P Müller CG Ringsted C Student teachers can be as good as associate professors in teaching clinical skills 2007 Med Teach 553-557 Tolsgaard MG, Gustafsson A, Rasmussen MB, HØiby P, Müller CG, Ringsted C. Student teachers can be as good as associate professors in teaching clinical skills. Med Teach. 2007;29(6):553-557. DOI: 10.1080/01421590701682550 https://doi.org/10.1080/01421590701682550 Cianciolo AT Kidd B Murray S Observational analysis of near-peer and faculty tutoring in problem-based learning groups 2016 Med Educ 757-767 Cianciolo AT, Kidd B, Murray S. Observational analysis of near-peer and faculty tutoring in problem-based learning groups. Med Educ. 2016;50(7):757-767. DOI: 10.1111/medu.12969 https://doi.org/10.1111/medu.12969 Baroffio A Nendaz MR Perrier A Tutor Training, Evaluation Criteria and Teaching Environment Influence Students' Ratings of Tutor Feedback in Problem-Based Learning 2007 Adv Health Sci Educ Theory Pract 427-439 Baroffio A, Nendaz MR, Perrier A. Tutor Training, Evaluation Criteria and Teaching Environment Influence Students' Ratings of Tutor Feedback in Problem-Based Learning. Adv Health Sci Educ Theory Pract. 2007;12(4):427-439. DOI: 10.1007/s10459-006-9008-4 https://doi.org/10.1007/s10459-006-9008-4 Dolmans D Gijbels D Research on problem-based learning: future challenges 2013 Med Educ 214-218 Dolmans D, Gijbels D. Research on problem-based learning: future challenges. Med Educ. 2013;47(2):214-218. DOI: 10.1111/medu.12105 https://doi.org/10.1111/medu.12105 11en1de

Table 1: Distribution of PBL groups by tutors’ academic backgrounds and students’ years cohorts.

Tabelle 1: Verteilung der POL-Gruppen auf den akademischen Hintergrund des Lehrenden und Studienjahrkohorten.

1

1 1en 1de Figure 1: Boxplots showing distribution of the proportion of achieved LOs by student year’s cohort. Abbildung 1: Boxplots, die die Verteilung des Anteils der erreichten Lernziele nach Jahrgangskohorte zeigen.

2 2en 2de Figure 2: Proportion of achieved LOs across the PBL groups within each tutors’ academic background. Abbildung 2: Anteil der erreichten Lernziele in den POL-Gruppen innerhalb des akademischen Hintergrunds der einzelnen Lehrenden.

2 0 0