<?xml version="1.0" encoding="iso-8859-1" standalone="no"?>
<GmsArticle>
  <MetaData>
    <Identifier>zma000693</Identifier>
    <IdentifierDoi>10.3205/zma000693</IdentifierDoi>
    <IdentifierUrn>urn:nbn:de:0183-zma0006936</IdentifierUrn>
    <ArticleType>Projekt&#47;project</ArticleType>
    <TitleGroup>
      <Title language="de">Durchf&#252;hrung der Pr&#252;fungen nach den Leitlinien des GMA-Ausschusses Pr&#252;fungen: Eine Bestandsaufnahme aus Bayern </Title>
      <TitleTranslated language="en">Implementing assessments in accordance with GMA guidelines: A survey of Bavarian institutions</TitleTranslated>
    </TitleGroup>
    <CreatorList>
      <Creator>
        <PersonNames>
          <Lastname>Reindl</Lastname>
          <LastnameHeading>Reindl</LastnameHeading>
          <Firstname>Marion</Firstname>
          <Initials>M</Initials>
        </PersonNames>
        <Address>LMU M&#252;nchen, Medizinische Klinik Innenstadt, Ziemsenstra&#223;e 1, 80336 M&#252;nchen, Deutschland<Affiliation>LMU M&#252;nchen, Medizinische Klinik Innenstadt, M&#252;nchen, Deutschland</Affiliation></Address>
        <Email>m.reindl&#64;med.uni-muenchen.de</Email>
        <Creatorrole corresponding="yes" presenting="no">author</Creatorrole>
      </Creator>
      <Creator>
        <PersonNames>
          <Lastname>Holzer</Lastname>
          <LastnameHeading>Holzer</LastnameHeading>
          <Firstname>Matthias</Firstname>
          <Initials>M</Initials>
          <AcademicTitle>Dr. med.</AcademicTitle>
        </PersonNames>
        <Address>LMU M&#252;nchen, Medizinische Klinik Innenstadt, Ziemsenstra&#223;e 1, 80336 M&#252;nchen, Deutschland<Affiliation>LMU M&#252;nchen, Medizinische Klinik Innenstadt, M&#252;nchen, Deutschland</Affiliation></Address>
        <Email>matthias.holzer&#64;lrz.uni-muenchen.de</Email>
        <Creatorrole corresponding="yes" presenting="no">author</Creatorrole>
      </Creator>
      <Creator>
        <PersonNames>
          <Lastname>Fischer</Lastname>
          <LastnameHeading>Fischer</LastnameHeading>
          <Firstname>Martin R.</Firstname>
          <Initials>MR</Initials>
          <AcademicTitle>Prof. Dr. med.</AcademicTitle>
          <AcademicTitleSuffix>MME (Bern)</AcademicTitleSuffix>
        </PersonNames>
        <Address>Private Universit&#228;t Witten&#47;Herdecke gGmbH, Lehrstuhl f&#252;r Didaktik und Bildungsforschung im Gesundheitswesen (IDGB), Alfred-Herrhausen-Stra&#223;e 50, 58448 Witten, Deutschland<Affiliation>LMU M&#252;nchen, Medizinische Klinik Innenstadt, M&#252;nchen, Deutschland</Affiliation><Affiliation>Private Universit&#228;t Witten&#47;Herdecke gGmbH, Lehrstuhl f&#252;r Didaktik und Bildungsforschung im Gesundheitswesen (IDGB), Witten, Deutschland</Affiliation></Address>
        <Email>martin.fischer&#64;uni-wh.de</Email>
        <Creatorrole corresponding="yes" presenting="no">author</Creatorrole>
      </Creator>
    </CreatorList>
    <PublisherList>
      <Publisher>
        <Corporation>
          <Corporatename>German Medical Science GMS Publishing House</Corporatename>
        </Corporation>
        <Address>D&#252;sseldorf</Address>
      </Publisher>
    </PublisherList>
    <SubjectGroup>
      <SubjectheadingDDB>610</SubjectheadingDDB>
      <Keyword language="en">medical education</Keyword>
      <Keyword language="en">assessment guidelines</Keyword>
      <Keyword language="en">quality criteria for assessment</Keyword>
      <Keyword language="de">Medizinische Ausbildung</Keyword>
      <Keyword language="de">Pr&#252;fungsleitlinien</Keyword>
      <Keyword language="de">Qualit&#228;tskriterien f&#252;r Pr&#252;fungen</Keyword>
      <SectionHeading language="de">Humanmedizin</SectionHeading>
    </SubjectGroup>
    <DateReceived>20090918</DateReceived>
    <DateRevised>20100506</DateRevised>
    <DatePublishedList>
      
    <DatePublished>20100816</DatePublished></DatePublishedList>
    <Language>germ</Language>
    <SourceGroup>
      <Journal>
        <ISSN>1860-3572</ISSN>
        <Volume>27</Volume>
        <Issue>4</Issue>
        <JournalTitle>GMS Zeitschrift f&#252;r Medizinische Ausbildung</JournalTitle>
        <JournalTitleAbbr>GMS Z Med Ausbild</JournalTitleAbbr>
      </Journal>
    </SourceGroup>
    <ArticleNo>56</ArticleNo>
  </MetaData>
  <OrigData>
    <Abstract language="de" linked="yes"><Pgraph>Die Gesellschaft f&#252;r Medizinische Ausbildung (GMA) hat im Jahr 2008 Leitlinien zur Durchf&#252;hrung von universit&#228;ren Pr&#252;fungen ver&#246;ffentlicht, die zur Qualit&#228;tssicherung im Sinne reliabler und qualitativ hochwertiger Pr&#252;fungen beitragen sollen.  Die Pr&#252;fungsverantwortlichen aller f&#252;nf bayrischen Medizinfakult&#228;ten wurden im Rahmen einer Bestandsaufnahme zur Organisation ihrer fakult&#228;ren Pr&#252;fungen nach &#167; 27 der &#196;AppO befragt, inwieweit die Pr&#252;fungsdurchf&#252;hrung mit den Leitlinien der GMA konform ist.</Pgraph><Pgraph>Als wichtige Ergebnisse sind festzuhalten, dass an allen Fakult&#228;ten ein Gesamtpr&#252;fungsverantwortlicher des Dekanats existiert. Weiterhin existieren an den meisten Fakult&#228;ten bereits Lernzielkataloge oder solche sind im Aufbau. Entwicklungspotenzial bieten noch die Durchf&#252;hrung von Reviews und einer umfassenden Itemanalyse.</Pgraph></Abstract>
    <Abstract language="en" linked="yes"><Pgraph>In 2008 the German Association for Medical Education (GMA) published guidelines to support medical departments in the implementation of assessments. Furthermore, these guidelines were designed to ensure an adequate quality of assessment. The responsible persons of five Bavarian faculties were asked about the organization of assessment at their institution with regard to the new German medical licensing regulations of 2002. Specifically, they were asked about the extent to which their assessment procedures comply with the guidelines of the GMA.</Pgraph><Pgraph>Among the results considered important, it was reported that all of the faculties have a person responsible for assessment in their Dean&#8217;s offices. Furthermore all of the faculties have implemented or are currently implementing a catalog of learning goals. There is still potential for development in the fields of item review prior to testing and subsequent item analysis.</Pgraph></Abstract>
    <TextBlock linked="yes" name="Einleitung">
      <MainHeadline>Einleitung</MainHeadline><Pgraph>Der Medizinische Fakult&#228;tentag hat 2008 eine Umfrage zu Art und Qualit&#228;t der fakult&#228;ren Pr&#252;fungen bei der Medizinischen Fakult&#228;t Heidelberg in Auftrag gegeben <TextLink reference="1"></TextLink>. Dabei hat sich gezeigt, dass noch erhebliche Defizite bzgl. Art und Qualit&#228;t der fakult&#228;ren Pr&#252;fungen bestehen. Bereits seit 2004 wird in Heidelberg im Rahmen des Kompetenznetzes Lehre Baden-W&#252;rttemberg in der Medizin dem Bereich Pr&#252;fungen und deren Qualit&#228;tsverbesserung besondere Aufmerksamkeit gewidmet <TextLink reference="2"></TextLink>. In Anlehnung an dieses Modell wurden im April 2008 auch in Bayern an den f&#252;nf medizinischen Fakult&#228;ten Kompetenzzentren Lehre mit thematischer Zuordnung in W&#252;rdigung besonderer Aktivit&#228;ten und Vorerfahrungen eingerichtet. Das Kompetenzzentrum Pr&#252;fungen wurde in diesem Rahmen an der Medizinischen Fakult&#228;t der Ludwig-Maximilians-Fakult&#228;t (LMU) M&#252;nchen angesiedelt. Folgende Ziele sollen im Rahmen des Kompetenzzentrums Pr&#252;fungen verwirklicht werden:</Pgraph><Pgraph><UnorderedList><ListItem level="1">F&#246;rderung von praxisbezogenen Pr&#252;fungen</ListItem><ListItem level="1">F&#246;rderung der &#220;berpr&#252;fung kommunikativer Kompetenz</ListItem><ListItem level="1">F&#246;rderung der &#220;berpr&#252;fung &#228;rztlicher Entscheidungskompetenzen</ListItem><ListItem level="1">F&#246;rderung von kontinuierlichem und formativem Pr&#252;fen</ListItem><ListItem level="1">F&#246;rderung der Vergleichbarkeit von Pr&#252;fungsergebnissen</ListItem><ListItem level="1">F&#246;rderung ressourcenoptimierter Pr&#252;fungen</ListItem><ListItem level="1">F&#246;rderung fakult&#228;ts&#252;bergreifenden Austausches</ListItem></UnorderedList></Pgraph><Pgraph>Die Gesellschaft f&#252;r Medizinische Ausbildung (GMA) hat im Jahr 2008 Leitlinien zur Durchf&#252;hrung von universit&#228;ren Pr&#252;fungen <TextLink reference="3"></TextLink> ver&#246;ffentlicht, die zur Qualit&#228;tssicherung im Sinne reliabler, qualitativ hochwertiger Pr&#252;fungen ber&#252;cksichtigt werden sollten. Alle f&#252;nf Fakult&#228;ten in Bayern wurden im Rahmen einer Bestandsaufnahme zur Organisation ihrer fakult&#228;ren Pr&#252;fungen nach &#167; 27 der &#196;AppO <TextLink reference="4"></TextLink> dahingehend befragt, inwieweit diese Leitlinien der GMA Anwendung finden. Methoden und Ergebnisse der Befragung sollen im Folgenden kurz dargestellt werden.</Pgraph></TextBlock>
    <TextBlock linked="yes" name="Methode">
      <MainHeadline>Methode</MainHeadline><SubHeadline>Stichprobe</SubHeadline><Pgraph>Im Mai 2008 wurde ein auf den GMA-Leitlinien basierender Fragebogen an die f&#252;r Pr&#252;fungen koordinierend verantwortlichen Mitarbeiter der Studiendekanate in Bayern per E-Mail geschickt. Ggf. wurden Erinnerungsmails versandt und telefonisch an das Ausf&#252;llen des Fragebogens erinnert. Die Daten der schriftlichen Umfrage lagen vollst&#228;ndig im Oktober 2008 vor. Die anschlie&#223;enden strukturierten Interviews wurden mit denselben verantwortlichen Personen in den Studiendekanaten durchgef&#252;hrt, die die Frageb&#246;gen ausgef&#252;llt hatten.</Pgraph><SubHeadline>Datenerhebungsinstrument</SubHeadline><Pgraph>Verwendet wurde ein nicht-standardisierter Fragebogen, der von den Leitlinien der GMA zur Gestaltung einer qualitativ guten Pr&#252;fung abgeleitet wurde <TextLink reference="3"></TextLink>. Dieser bezog sich sowohl auf den klinischen als auch auf den vorklinischen Bereich. Der Fragebogen enth&#228;lt 50 Items, die folgenden &#252;bergeordneten Themenbereichen zuzuordnen sind:</Pgraph><Pgraph><UnorderedList><ListItem level="1">allgemeine strukturelle Vorbedingungen (20 Items)</ListItem><ListItem level="1">Pr&#252;fungskonzeption und &#8211;bewertung (13 Items)</ListItem><ListItem level="1">organisatorische Vorbereitung (5 Items)</ListItem><ListItem level="1">Durchf&#252;hrung der Pr&#252;fung (3 Items)</ListItem><ListItem level="1">Auswertung und Dokumentation (5 Items)</ListItem><ListItem level="1">R&#252;ckmeldung an die Studierenden (2 Items)</ListItem><ListItem level="1">Pr&#252;fungsnachbereitung (2 Items)</ListItem></UnorderedList></Pgraph><Pgraph>Das Antwortformat ist bin&#228;r auf die zwei Kategorien ja oder nein ausgelegt. Zu jedem Item k&#246;nnen zus&#228;tzlich in einer separaten Spalte Anmerkungen in Freitextform gemacht werden. </Pgraph><Pgraph>Nach der ersten quantitativen Auswertung der Ergebnisse wurde an Hand von Inkonsistenzen beschlossen, nochmals die Verantwortlichen mittels eines an den GMA-Leitlinien orientierten strukturierten Interviews zu befragen. Au&#223;erdem konnten somit nochmals Informationen dar&#252;ber gewonnen werden, ob die Umsetzung der Leitlinien bisher nur f&#252;r einzelne Fachbereiche oder schon f&#252;r die Gesamtfakult&#228;t erfolgt ist.</Pgraph><Pgraph>F&#252;r das Interview wurde der Fragebogen durch zwei Fragen erg&#228;nzt, die aus Sicht des Kompetenzzentrums Pr&#252;fungen f&#252;r einen qualitativ hochwertigen Ablauf einer Pr&#252;fung von Relevanz sind. Diese Fragen wurden den Themenbereichen allgemeine strukturelle Vorbedingungen und  organisatorische Vorbereitung zugeordnet. Inhaltlich beziehen sie sich auf die Ver&#246;ffentlichung von Aufgaben und deren Umgang damit und die Festlegung eines Zeitplans zur Pr&#252;fungsplanung, -durchf&#252;hrung und -auswertung. Alle Interviews wurden aufgenommen und anschlie&#223;end transkribiert. Bei der Auswertung konnte nun erg&#228;nzt werden, ob die Umsetzung der Pr&#252;fungsleitlinien bereits an der Gesamtfakult&#228;t erfolgte oder nur in einzelnen Fachbereichen. Somit konnte eine neue Kategorie &#8222;teilweise&#8220; erstellt werden.</Pgraph></TextBlock>
    <TextBlock linked="yes" name="Ergebnisse">
      <MainHeadline>Ergebnisse</MainHeadline><SubHeadline>Allgemeine Strukturelle Vorbedingungen</SubHeadline><Pgraph><Mark2>Eine strukturelle Gliederung aller Pr&#252;fungen, worin deren Aufgabenformate, Anzahl, Umfang, Inhalt und Ablauf bekannt gegeben sind</Mark2>, stellt einen ersten Qualit&#228;tsstandard dar. Dadurch ist sowohl Studierenden als auch Dozenten ein Anhaltspunkt gegeben, wie sich das Pr&#252;fungsgeschehen an der jeweiligen Fakult&#228;t gestaltet. Solch ein Gesamtpr&#252;fungsprogramm wurde bereits an drei Fakult&#228;ten verwirklicht und ist an zwei weiteren in Arbeit (siehe Tabelle 1 <ImgLink imgNo="1" imgType="table"/>).</Pgraph><Pgraph>Neben dieser formellen Gliederung des Pr&#252;fungsgeschehens der Fakult&#228;t ist es empfehlenswert, auch eine inhaltliche Strukturierung der notwendigen Wissensinhalte f&#252;r ein Fachgebiet vorzunehmen. Eine M&#246;glichkeit dies zu verwirklichen, ist die <Mark2>Erstellung eines nationalen Lernzielkatalogs,</Mark2> der z.B. nach dem Vorbild des Swiss Catalogue of Learning Objectives for Undergraduate Medical Education <TextLink reference="5"></TextLink> die gew&#252;nschten Ausbildungsziele in unterschiedlichen Kompetenzstufen abbildet und den Rahmen f&#252;r das abpr&#252;fbare Kerncurriculum absteckt. F&#252;r die Abstimmung der Veranstaltungsinhalte mit den Pr&#252;fungsanforderungen ist eine Verfeinerung der Lernziele auf fakult&#228;rer Ebene erforderlich. Ein kompletter Lernzielkatalog ist bisher nach eigener Auskunft nur an einer bayerischen medizinischen Fakult&#228;t vorhanden und wird dort derzeit auch ins Englische &#252;bersetzt. An den anderen vier Fakult&#228;ten existiert ein Lernzielkatalog f&#252;r Teilbereiche des Curriculums. <Mark2>Die Information &#252;ber die bestehenden Lernzielkataloge f&#252;r die Studierenden</Mark2> zur Pr&#252;fungsvorbereitung ist an allen Fakult&#228;ten gew&#228;hrleistet. </Pgraph><Pgraph><Mark2>Die Pr&#252;fungsformate angemessen auf die vorgegebenen Lernziele abzustimmen</Mark2>, wird von allen Fakult&#228;ten umgesetzt. So werden an vier der f&#252;nf Fakult&#228;ten klinisch-praktische Pr&#252;fungen im OSCE-Format (Objektive Structured Clinical Examination) <TextLink reference="6"></TextLink>, <TextLink reference="7"></TextLink> eingesetzt, die allerdings bisher nur  einen sehr geringen Anteil der F&#228;cher abdecken. Der Vorteil dieser Pr&#252;fungsform wird damit begr&#252;ndet, dass die Pr&#252;fung von klinisch-praktischen F&#228;higkeiten eine validere Einsch&#228;tzung bzgl. der zuk&#252;nftig erforderlichen praktischen Fertigkeiten als Arzt erm&#246;glicht. So stellt auch Resch 2008 auf der MFT-Tagung fest, &#8222;wenn praxisorientierte Lerninhalte &#8230; vermittelt werden sollen, so m&#252;ssen sie auch praxisorientiert gepr&#252;ft werden.&#8220; <TextLink reference="1"></TextLink>. Kritisch wird dennoch die zeitaufwendige Erstellung und Durchf&#252;hrung derartiger Pr&#252;fungen angemerkt. </Pgraph><Pgraph><Mark2>Die Rahmenbedingungen </Mark2>als Voraussetzung f&#252;r hochwertige Pr&#252;fungen sind weitestgehend erf&#252;llt. Ausnahmen bilden dabei die <Mark2>Einsichtnahme in die Pr&#252;fungsergebnisse</Mark2> und <Mark2>die Bewertung bei fehlerhaft gestellten Aufgaben</Mark2>, die an allen f&#252;nf Standorten f&#228;cherintern geregelt werden.</Pgraph><Pgraph><Mark2>Altfragen kursieren</Mark2> an allen Fakult&#228;ten. Dies ist in der Regel nicht erw&#252;nscht, dennoch wird es an manchen Fakult&#228;ten nicht als genereller Nachteil erlebt, sondern als eine weitere Gelegenheit f&#252;r die Studierenden sich auf die Pr&#252;fung vorzubereiten. Um den Wiedererkennungswert der Fragen zu senken, werden diese h&#228;ufig umformuliert.</Pgraph><Pgraph>An vier Fakult&#228;ten wurde f&#252;r jedes Fach <Mark2>ein Pr&#252;fungsverantwortlicher benannt</Mark2> und an einer auch  jeweils <Mark2>ein Stellvertreter</Mark2>. Die Pr&#252;fungsverantwortlichen sind gr&#246;&#223;tenteils zum Thema Pr&#252;fungen fortgebildet, was f&#252;r die Mehrzahl der Fragenautoren bisher nicht zutrifft (siehe Tabelle 1 <ImgLink imgNo="1" imgType="table"/>). Strukturierte Fortbildungen im Rahmen eines zweit&#228;gigen Pr&#252;fungsworkshops  bietet erst eine Fakult&#228;t an. </Pgraph><SubHeadline>Pr&#252;fungskonzeption und -bewertung</SubHeadline><Pgraph>F&#252;r eine angemessene <Mark2>Planung der Pr&#252;fung hilft ein Zeitplan</Mark2>, dem die Termine zur Fertigstellung der Pr&#252;fung entnommen werden k&#246;nnen. An einer Fakult&#228;t ist f&#252;r die gesamte Fakult&#228;t in eigens daf&#252;r angefertigten Pr&#252;fungsstandards festgelegt, dass sp&#228;testens zwei Wochen vor dem Pr&#252;fungstermin die Pr&#252;fung fertig erstellt sein muss. An den anderen Fakult&#228;ten ist dies f&#228;cherspezifisch geregelt. </Pgraph><Pgraph>An allen f&#252;nf Fakult&#228;ten sind <Mark2>bei der Zusammenstellung der Fragen Vertreter aus allen beteiligten Fachgebieten involviert</Mark2>. Teilweise werden auch Lehrkoordinatoren eingesetzt, die f&#252;r die Zusammenstellung der Aufgaben verantwortlich sind. Nachdem die Aufgaben zusammengestellt wurden, ist es ratsam, diese nochmals in einem Reviewprozess zu begutachten und deren Qualit&#228;t sowohl inhaltlich als auch formal zu diskutieren. Dieser Reviewprozess findet an allen Fakult&#228;ten statt, ist aber meist unsystematisch organisiert und bezieht sich haupts&#228;chlich auf inhaltliche Punkte einer Frage. Selten werden, wie von der GMA vorgeschlagen, <Mark2>fachfremde Reviewer</Mark2> eingeladen, um nochmals eine externe Sichtweise bzgl. der Relevanz der Aufgaben einzubringen. Protokolliert wird der Review bisher nur vereinzelt innerhalb der F&#228;cher (siehe Tabelle 2 <ImgLink imgNo="2" imgType="table"/>).</Pgraph><Pgraph><Mark2>Die richtigen Antworten, der Erwartungshorizont, die Korrekturrichtlinien und der Bewertungsmodus sind vor der Durchf&#252;hrung der Pr&#252;fung</Mark2> schriftlich an allen Fakult&#228;ten festgelegt. Die Bestehensgrenze ist an vier von f&#252;nf Fakult&#228;ten in der Studienordnung in Anlehnung an die &#196;AppO <TextLink reference="4"></TextLink> durch ein formales Kriterium, n&#228;mlich der 60&#37;-Regel fixiert. Eine Fakult&#228;t legt die Bestehensgrenze durch ein interdisziplin&#228;res Expertengremium nach inhaltlichen Kriterien vor der Pr&#252;fung schriftlich fest, wobei dies zwischen den F&#228;chern nochmals unterschiedlich gehandhabt wird. <Mark2>Eine Gleitklausel, die sich im Spektrum zwischen 15&#37; und 22&#37; bewegt</Mark2>, ist bei allen Fakult&#228;ten in der Studienordnung schriftlich fixiert. Die Gleitklausel wird allerdings selten angewandt. </Pgraph><Pgraph>Eine <Mark2>f&#252;r summative Pr&#252;fungen angestrebte Reliabilit&#228;t von mindestens 0,8 </Mark2>wird bei zwei Fakult&#228;ten nach eigenen Angaben f&#252;r alle Einzelpr&#252;fungen gew&#228;hrleistet. Kritisch anzumerken ist, dass diese bei einigen Pr&#252;fungen aufgrund der geringen Itemzahl technisch kaum erreicht werden kann. Bei zwei weiteren Fakult&#228;ten  ist dies bei einem Teil der F&#228;cher gegeben.</Pgraph><SubHeadline>Organisatorische Vorbereitung und Durchf&#252;hrung</SubHeadline><Pgraph><Mark2>Zu der organisatorischen Vorbereitung einer Pr&#252;fung geh&#246;rt die rechtzeitige Information &#252;ber die Pr&#252;fungstermine und Formate zu Beginn einer Lehrveranstaltung,</Mark2> was an allen Fakult&#228;ten gew&#228;hrleistet werden kann. Die Anmeldung zu einer Pr&#252;fung wird an den Fakult&#228;ten unterschiedlich gehandhabt. An zwei Fakult&#228;ten ist eine eigenst&#228;ndige Anmeldung der Erstpr&#252;flinge nicht notwendig, da diese schon durch die Belegung der Lehrveranstaltungen im Semester erfolgt. An einer Fakult&#228;t ist in der Regel gar keine Anmeldung erforderlich. Das wird damit begr&#252;ndet, dass hier kleine Kohorten sind. In anderen F&#228;llen wie z.B. der Nachholklausur erfolgt die Pr&#252;fungsanmeldung dagegen an jeder Fakult&#228;t per E-Mail oder auf einer Website.</Pgraph><Pgraph><Mark2>Die Raumsituation zur Durchf&#252;hrung der Pr&#252;fungen</Mark2> ist bis auf eine Fakult&#228;t sehr gut. Zudem steht ausreichend <Mark2>geschultes Personal zur Pr&#252;fungsaufsicht</Mark2> an allen Fakult&#228;ten zur Verf&#252;gung. An drei Fakult&#228;ten wird das Personal daf&#252;r bereits nach einheitlichen Kriterien instruiert.</Pgraph><Pgraph>Bei der Durchf&#252;hrung der Pr&#252;fung ist es zu empfehlen, eine <Mark2>Checkliste zum formalen Pr&#252;fungsablauf</Mark2> schon in der organisatorischen Vorbereitung zu erstellen. Zwei Fakult&#228;ten verwenden solch eine Checkliste durchgehend und an den weiteren Fakult&#228;ten wird diese in einzelnen F&#228;chern benutzt. Um auch nach der Pr&#252;fung eine schriftliche Fixierung von aufgetretenen Problemen wie z.B. T&#228;uschungsman&#246;ver oder Computerausfall bei computerbasierten Pr&#252;fungen zu haben, wird bereits an drei Fakult&#228;ten <Mark2>die Pr&#252;fung mitprotokolliert</Mark2>. Die abschlie&#223;ende Kontrolle der Pr&#252;fungsunterlagen ist an allen Fakult&#228;ten gew&#228;hrleistet (siehe Tabelle 3 <ImgLink imgNo="3" imgType="table"/>).</Pgraph><SubHeadline>Auswertung und Dokumentation</SubHeadline><Pgraph>Bei der Auswertung der Pr&#252;fungsfragen ist eine wichtige qualit&#228;tssichernde Ma&#223;nahme die <Mark2>Durchf&#252;hrung einer test-statistischen Analyse zur Aufgabenschwierigkeit, Trennsch&#228;rfe und Reliabilit&#228;t; bei Multiple-Choice-Aufgaben sollte zus&#228;tzlich eine Distraktorenanalyse durchgef&#252;hrt werden</Mark2>, die eine fr&#252;hzeitige Identifikation fehlerhafter oder unklarer Antwortalternativen erm&#246;glicht. Nach einer evtl. notwendigen Korrektur der Aufgaben- oder Pr&#252;fungsbewertung sollte eine Endauswertung der Pr&#252;fung (einschl. einer weiteren teststatistischen Analyse) durchgef&#252;hrt werden. Eine vollst&#228;ndige Umsetzung dieser Empfehlungen erfolgt an zwei Fakult&#228;ten, die ihre Pr&#252;fungen auch mit einer spezifischen Pr&#252;fungssoftware erstellen <TextLink reference="8"></TextLink>. An einer weiteren Fakult&#228;t ist dies f&#228;cherabh&#228;ngig und an den anderen Fakult&#228;ten noch in Planung. Eine stichprobenartige &#220;berpr&#252;fung der Korrektur erfolgt an allen Fakult&#228;ten. An einer Fakult&#228;t k&#246;nnen die Studierenden auch selbst die Pr&#252;fung elektronisch einsehen und die Bewertung nochmals kontrollieren.</Pgraph><Pgraph><Mark2>Die R&#252;ckmeldung der Pr&#252;fungsergebnisse</Mark2> erfolgt an allen Fakult&#228;ten innerhalb eines angemessenen Zeitraums von max. zwei Wochen. Auch die M&#246;glichkeit zur Einsicht ist dabei entweder durch konkrete Termine oder innerhalb einer angemessenen Frist von vier Wochen gegeben (siehe Tabelle 4 <ImgLink imgNo="4" imgType="table"/>).</Pgraph><Pgraph><Mark2>Eine abschlie&#223;ende Diskussion &#252;ber die Pr&#252;fung in Form eines Post-Reviews</Mark2> findet derzeit an drei Fakult&#228;ten statt, allerdings nicht in allen Fachbereichen. Die Basis daf&#252;r bietet meist die teststatistische Analyse der Pr&#252;fung und die Diskussion dar&#252;ber. Teilweise werden die Pr&#252;fungsergebnisse, deren Auswertung sowie die Ergebnisse des Post-Review-Prozesses einmal im Semester an die Fragenautoren, die Curriculumsentwickler und Fachvertreter weitergegeben (siehe Tabelle 4 <ImgLink imgNo="4" imgType="table"/>).</Pgraph></TextBlock>
    <TextBlock linked="yes" name="Diskussion">
      <MainHeadline>Diskussion</MainHeadline><Pgraph>Die vorgestellten Ergebnisse geben einen &#220;berblick &#252;ber das Pr&#252;fungsgeschehen an den f&#252;nf bayrischen medizinischen Fakult&#228;ten. In Bezug auf die strukturellen Vorbedingungen ist der Gro&#223;teil an Empfehlungen aus den GMA-Richtlinien bereits umgesetzt worden. Ein Gesamtpr&#252;fungsprogramm und umfassende fakult&#228;re Lernzielkataloge existieren oder befinden sich im Aufbau. Ebenfalls positiv ist die Existenz eines Pr&#252;fungsgesamtverantwortlichen an allen Fakult&#228;ten. Kritisch  ist dagegen, dass bei einer Fakult&#228;t, die keine Pr&#252;fungsverantwortlichen f&#252;r jedes Fach hat, auch die Pr&#252;fungsersteller nicht geschult sind und relevante Dinge wie Review, Reliabilit&#228;tsanalyse und Post-Review bisher nur in einem Fach durchgef&#252;hrt werden. </Pgraph><Pgraph>Bei der Erstellung der Pr&#252;fungen ist positiv anzumerken, dass alle Fakult&#228;ten anstreben, einen Reviewprozess durchzuf&#252;hren, auch wenn dieser oft noch unstrukturiert abl&#228;uft. Qualitativ k&#246;nnte dies durch ein strukturierteres Vorgehen verbessert werden, indem alle Frageautoren zusammenkommen und die Fragen nochmals diskutieren. Zudem birgt die Hinzunahme eines Experten bzgl. formeller Kriterien f&#252;r Pr&#252;fungsfragen ein weiteres Entwicklungspotenzial f&#252;r den Reviewprozess. </Pgraph><Pgraph>Die Auswertung der MC-Klausuren erfolgt nur an zwei Fakult&#228;ten f&#252;r alle F&#228;cher kombiniert mit einer teststatistischen Analyse. Der Vorteil dieser Auswertung liegt in der Identifikation schlechter Items und hilft somit bei der Reduzierung qualitativ problematischer Fragen f&#252;r die folgenden Pr&#252;fungen, sowie bei der Erkennung potentieller Probleme und wirkt damit pr&#228;ventiv auf die Vorwegnahme studentischer Einspr&#252;che. Da die Auswertung gekoppelt an ein elektronisches Programm zur Fragenerstellung l&#228;uft, k&#246;nnen dieser Pool immer wieder durch neue Fragen erweitert und alte Fragen revidiert werden. Fehlerhafte Fragen werden somit gar nicht mehr in Pr&#252;fungen aufgenommen. Zur &#214;konomisierung des Pr&#252;fungserstellungs- und Reviewprozesses w&#228;re eine Fakult&#228;ts-&#252;bergreifende Itemdatenbank wie das IMSm <TextLink reference="8"></TextLink> w&#252;nschenswert.</Pgraph><Pgraph>Au&#223;erdem w&#228;re es w&#252;nschenswert, wenn sich die Pr&#252;fungsersteller noch mehr zum Thema Pr&#252;fungen fortbilden, um einen reibungslosen Ablauf der Pr&#252;fung gew&#228;hrleisten zu k&#246;nnen. Hierf&#252;r bietet  u.a. das Kompetenzzentrum Pr&#252;fungen der LMU zweimal j&#228;hrlich einen Pr&#252;fungsworkshop an. Die Relevanz dieser Fortbildungen zeigt sich deutlich in der folgenden Aussage eines Pr&#252;fungsgesamtverantwortlichen:</Pgraph><Pgraph>&#8222;Seitdem die Pr&#252;fungsersteller an den Workshops teilnehmen, haben die Einspr&#252;che der Studierenden sehr stark abgenommen.&#8220;</Pgraph><Pgraph>Kritisch anzumerken bzgl. der interfakult&#228;ren Vergleichbarkeit ist, dass sich Curriculum, Gr&#246;&#223;e der Fakult&#228;ten und Art der Pr&#252;fungsformate stark unterscheiden. So werden an vier der f&#252;nf Fakult&#228;ten &#252;berwiegend MC-Klausuren als Format genutzt. Die anderen verwendeten Pr&#252;fungsformate sind offene. An einer Fakult&#228;t wird eine deutlich geringere Anzahl an MC-Pr&#252;fungen genutzt und daf&#252;r ein gr&#246;&#223;erer Anteil an klinisch-praktischen Pr&#252;fungsformaten wie OSCEs. Diese Differenzen bergen somit auch unterschiedliche Handlungspotenziale. Auch der Stand der Entwicklung ist teilweise sehr unterschiedlich, da manche Gesamt- und Fachpr&#252;fungsverantwortliche noch nicht lange in Ihrer Aufgabe t&#228;tig sind und die Entwicklung gem&#228;&#223; der GMA-Richtlinien erst am Anfang steht. Weitere Erhebungen im L&#228;ngsschnitt sind notwendig, um die zuk&#252;nftigen Entwicklungen innerhalb Bayerns absch&#228;tzen zu k&#246;nnen. Die Legitimation der Kompetenzzentren in Bayern und insbesondere des Kompetenzzentrums Pr&#252;fungen ergibt sich einerseits in der Analyse bestehender Strukturen und des Weiteren in der Unterst&#252;tzung des kontinuierlichen Prozesses der Qualit&#228;tsverbesserung im Sinne der GMA-Richtlinien.</Pgraph></TextBlock>
    <References linked="yes">
      <Reference refNo="4">
        <RefAuthor>Bundesministerium f&#252;r Gesundheit</RefAuthor>
        <RefTitle>Approbationsordnung f&#252;r &#196;rzte vom 27. Juni 2002</RefTitle>
        <RefYear>2002</RefYear>
        <RefJournal>Bundesgesetzbl</RefJournal>
        <RefPage>2405&#8211;2435</RefPage>
        <RefTotal>Bundesministerium f&#252;r Gesundheit. Approbationsordnung f&#252;r &#196;rzte vom 27. Juni 2002. Bundesgesetzbl. 2002;1(44):2405&#8211;2435.</RefTotal>
      </Reference>
      <Reference refNo="8">
        <RefAuthor>Brass K</RefAuthor>
        <RefAuthor>Hochlehnert A</RefAuthor>
        <RefAuthor>J&#252;nger J</RefAuthor>
        <RefAuthor>Fischer M</RefAuthor>
        <RefAuthor>Holzer M</RefAuthor>
        <RefTitle>Studiumbegleitende Pr&#252;fungen mit einem System: ItemManagementSystem f&#252;r die Medizin</RefTitle>
        <RefYear>2008</RefYear>
        <RefJournal>GMS Z Med Ausbild</RefJournal>
        <RefArticleNo>Doc37</RefArticleNo>
        <RefTotal>Brass K, Hochlehnert A, J&#252;nger J, Fischer M, Holzer M. Studiumbegleitende Pr&#252;fungen mit einem System: ItemManagementSystem f&#252;r die Medizin. GMS Z Med Ausbild. 2008;25(1):Doc37. Zug&#228;nglich unter: http:&#47;&#47;www.egms.de&#47;en&#47;journals&#47;zma&#47;2008-25&#47;zma000521.shtml</RefTotal>
        <RefLink>http:&#47;&#47;www.egms.de&#47;en&#47;journals&#47;zma&#47;2008-25&#47;zma000521.shtml</RefLink>
      </Reference>
      <Reference refNo="3">
        <RefAuthor>Fischer MR</RefAuthor>
        <RefTitle>Leitlinie f&#252;r Fakult&#228;ts-interne Leistungsnachweise w&#228;hrend des Medizinstudiums: Ein Positionspapier des GMA-Ausschusses Pr&#252;fungen und des Kompetenzzentrums Pr&#252;fungen Baden-W&#252;rttemberg</RefTitle>
        <RefYear>2008</RefYear>
        <RefJournal>GMS Z Med Ausbild</RefJournal>
        <RefPage>Doc74</RefPage>
        <RefTotal>Fischer MR. Leitlinie f&#252;r Fakult&#228;ts-interne Leistungsnachweise w&#228;hrend des Medizinstudiums: Ein Positionspapier des GMA-Ausschusses Pr&#252;fungen und des Kompetenzzentrums Pr&#252;fungen Baden-W&#252;rttemberg. GMS Z Med Ausbild. 2008;25(1):Doc74. Zug&#228;nglich unter: http:&#47;&#47;www.egms.de&#47;en&#47;journals&#47;zma&#47;2008-25&#47;zma000558.shtml</RefTotal>
        <RefLink>http:&#47;&#47;www.egms.de&#47;en&#47;journals&#47;zma&#47;2008-25&#47;zma000558.shtml</RefLink>
      </Reference>
      <Reference refNo="6">
        <RefAuthor>Harden RM</RefAuthor>
        <RefAuthor>Gleeson FA</RefAuthor>
        <RefTitle>Assessment of clinical competence using an objective structured clinical examination (OSCE)</RefTitle>
        <RefYear>1979</RefYear>
        <RefJournal>Med Educ</RefJournal>
        <RefPage>41-54</RefPage>
        <RefTotal>Harden RM, Gleeson FA. Assessment of clinical competence using an objective structured clinical examination (OSCE). Med Educ. 1979;13(1):41-54. DOI: 10.1111&#47;j.1365-2923.1979.tb00918.x</RefTotal>
        <RefLink>http:&#47;&#47;dx.doi.org&#47;10.1111&#47;j.1365-2923.1979.tb00918.x</RefLink>
      </Reference>
      <Reference refNo="2">
        <RefAuthor>Lammerding-K&#246;ppel M</RefAuthor>
        <RefTitle>Kompetenzzentrum Medizindidaktik Baden-W&#252;rttemberg 2001-2005</RefTitle>
        <RefYear>2006</RefYear>
        <RefJournal>GMS Z Med Ausbild</RefJournal>
        <RefArticleNo>Doc15</RefArticleNo>
        <RefTotal>Lammerding-K&#246;ppel M. Kompetenzzentrum Medizindidaktik Baden-W&#252;rttemberg 2001-2005. GMS Z Med Ausbild. 2006;23(1):Doc 15. Zug&#228;nglich unter: http:&#47;&#47;www.egms.de&#47;static&#47;de&#47;journals&#47;zma&#47;2006-23&#47;zma000234.shtml</RefTotal>
        <RefLink>http:&#47;&#47;www.egms.de&#47;static&#47;de&#47;journals&#47;zma&#47;2006-23&#47;zma000234.shtml</RefLink>
      </Reference>
      <Reference refNo="7">
        <RefAuthor>Nikendei C</RefAuthor>
        <RefAuthor>J&#252;nger J</RefAuthor>
        <RefTitle>Praktische Tipps zur Implementierung einer klinisch-praktischen Pr&#252;fung</RefTitle>
        <RefYear>2006</RefYear>
        <RefJournal>GMS Z Med Ausbild</RefJournal>
        <RefArticleNo>Doc47</RefArticleNo>
        <RefTotal>Nikendei C, J&#252;nger J. Praktische Tipps zur Implementierung einer klinisch-praktischen Pr&#252;fung. GMS Z Med Ausbild. 2006;23(3):Doc47. Zug&#228;nglich unter: http:&#47;&#47;www.egms.de&#47;en&#47;journals&#47;zma&#47;2006-23&#47;zma000266.shtml</RefTotal>
        <RefLink>http:&#47;&#47;www.egms.de&#47;en&#47;journals&#47;zma&#47;2006-23&#47;zma000266.shtml</RefLink>
      </Reference>
      <Reference refNo="1">
        <RefAuthor>Resch F</RefAuthor>
        <RefTitle></RefTitle>
        <RefYear>2008</RefYear>
        <RefBookTitle>Universit&#228;re Pr&#252;fungen im Licht der neuen &#196;AppO</RefBookTitle>
        <RefPage>159-165</RefPage>
        <RefTotal>Resch F. Universit&#228;re Pr&#252;fungen im Licht der neuen &#196;AppO. Tagungsband des MFT. Berlin: Medizinischer Fakult&#228;tentag; 2008. S.159-165.</RefTotal>
      </Reference>
      <Reference refNo="5">
        <RefAuthor>B&#252;rgi S</RefAuthor>
        <RefAuthor>Rindlisbacher B</RefAuthor>
        <RefAuthor>Bader C</RefAuthor>
        <RefAuthor>Bloch R</RefAuthor>
        <RefAuthor>Bosman F</RefAuthor>
        <RefAuthor>Gasser C</RefAuthor>
        <RefAuthor>Gerke W</RefAuthor>
        <RefAuthor>Humair JP</RefAuthor>
        <RefAuthor>Im Hof V</RefAuthor>
        <RefAuthor>Kaiser H</RefAuthor>
        <RefAuthor>Lefebvre D</RefAuthor>
        <RefAuthor>Schl&#228;ppi P</RefAuthor>
        <RefAuthor>Sottas B</RefAuthor>
        <RefAuthor>Spinas GA</RefAuthor>
        <RefAuthor>Stuck AE</RefAuthor>
        <RefTitle></RefTitle>
        <RefYear>2008</RefYear>
        <RefBookTitle>Swiss Catalogue of Learning Objectives for Undergraduate Medical Training</RefBookTitle>
        <RefPage></RefPage>
        <RefTotal>B&#252;rgi S, Rindlisbacher B, Bader C, Bloch R, Bosman F, Gasser C, Gerke W, Humair JP, Im Hof V, Kaiser H, Lefebvre D, Schl&#228;ppi P, Sottas B, Spinas GA, Stuck AE. Swiss Catalogue of Learning Objectives for Undergraduate Medical Training. Bern: Universit&#228;t Bern; 2008.</RefTotal>
      </Reference>
    </References>
    <Media>
      <Tables>
        <Table format="png">
          <MediaNo>1</MediaNo>
          <MediaID>1</MediaID>
          <Caption><Pgraph><Mark1>Tabelle 1: Allgemeine strukturelle Vorbedingungen der f&#252;nf Gesamtfakult&#228;ten</Mark1></Pgraph></Caption>
        </Table>
        <Table format="png">
          <MediaNo>2</MediaNo>
          <MediaID>2</MediaID>
          <Caption><Pgraph><Mark1>Tabelle 2: Pr&#252;fungskonzeption und -bewertung der f&#252;nf Gesamtfakult&#228;ten</Mark1></Pgraph></Caption>
        </Table>
        <Table format="png">
          <MediaNo>3</MediaNo>
          <MediaID>3</MediaID>
          <Caption><Pgraph><Mark1>Tabelle 3: Organisatorische Vorbereitungen und Durchf&#252;hrung der f&#252;nf Gesamtfakult&#228;ten</Mark1></Pgraph></Caption>
        </Table>
        <Table format="png">
          <MediaNo>4</MediaNo>
          <MediaID>4</MediaID>
          <Caption><Pgraph><Mark1>Tabelle 4: Auswertung, Dokumentation und R&#252;ckmeldung an die Studierenden der f&#252;nf Fakult&#228;ten</Mark1></Pgraph></Caption>
        </Table>
        <NoOfTables>4</NoOfTables>
      </Tables>
      <Figures>
        <NoOfPictures>0</NoOfPictures>
      </Figures>
      <InlineFigures>
        <NoOfPictures>0</NoOfPictures>
      </InlineFigures>
      <Attachments>
        <NoOfAttachments>0</NoOfAttachments>
      </Attachments>
    </Media>
  </OrigData>
</GmsArticle>