<?xml version="1.0" encoding="iso-8859-1" standalone="no"?>
<GmsArticle>
  <MetaData>
    <Identifier>000144</Identifier>
    <IdentifierDoi>10.3205/000144</IdentifierDoi>
    <IdentifierUrn>urn:nbn:de:0183-0001444</IdentifierUrn>
    <ArticleType language="en">Review Article</ArticleType>
    <ArticleType language="de">&#220;bersichtsarbeit</ArticleType>
    <TitleGroup>
      <Title language="en">Results of a quality control on non-interventional studies</Title>
      <TitleTranslated language="de">Ergebnisse einer Qualit&#228;ts&#252;berpr&#252;fung bei Nicht-Interventionellen Studien</TitleTranslated>
    </TitleGroup>
    <CreatorList>
      <Creator>
        <PersonNames>
          <Lastname>W&#246;rz</Lastname>
          <LastnameHeading>W&#246;rz</LastnameHeading>
          <Firstname>Karl</Firstname>
          <Initials>K</Initials>
        </PersonNames>
        <Address language="en">Sanofi-Aventis Deutschland GmbH, Clinical Study Unit, Industriepark H&#246;chst, 65926 Frankfurt&#47;Main, Germany, Tel.: &#43;49 69 305-80765<Affiliation>Sanofi-Aventis Deutschland GmbH, Clinical Study Unit, Frankfurt&#47;Main, Germany</Affiliation></Address>
        <Address language="de">Sanofi-Aventis Deutschland GmbH, Klinische Forschung, Industriepark H&#246;chst, 65926 Frankfurt&#47;Main, Deutschland, Tel.: &#43;49 69 305-80765<Affiliation>Sanofi-Aventis Deutschland GmbH, Klinische Forschung, Frankfurt&#47;Main, Deutschland</Affiliation></Address>
        <Email>Karl.Woerz&#64;Sanofi-Aventis.com</Email>
        <Creatorrole corresponding="yes" presenting="no">author</Creatorrole>
      </Creator>
      <Creator>
        <PersonNames>
          <Lastname>Hundt</Lastname>
          <LastnameHeading>Hundt</LastnameHeading>
          <Firstname>Ferdinand</Firstname>
          <Initials>F</Initials>
        </PersonNames>
        <Address>
          <Affiliation>Sanofi-Aventis Deutschland GmbH, Medical &#38; Scientific Affairs, Berlin, Deutschland</Affiliation>
        </Address>
        <Creatorrole corresponding="no" presenting="no">author</Creatorrole>
      </Creator>
    </CreatorList>
    <PublisherList>
      <Publisher>
        <Corporation>
          <Corporatename>German Medical Science GMS Publishing House</Corporatename>
        </Corporation>
        <Address>D&#252;sseldorf</Address>
      </Publisher>
    </PublisherList>
    <SubjectGroup>
      <SubjectheadingDDB>610</SubjectheadingDDB>
    </SubjectGroup>
    <DateReceived>20110608</DateReceived>
    <DateRevised>20110727</DateRevised>
    <DatePublishedList>
      
    <DatePublished>20110815</DatePublished></DatePublishedList>
    <Language>engl</Language>
    <LanguageTranslation>germ</LanguageTranslation>
    <SourceGroup>
      <Journal>
        <ISSN>1612-3174</ISSN>
        <Volume>9</Volume>
        <JournalTitle>GMS German Medical Science</JournalTitle>
        <JournalTitleAbbr>GMS Ger Med Sci</JournalTitleAbbr>
      </Journal>
    </SourceGroup>
    <ArticleNo>21</ArticleNo>
  </MetaData>
  <OrigData>
    <Abstract language="de" linked="yes"><Pgraph>Nicht-Interventionelle Studien (NIS) sind seit Jahrzehnten fester Bestandteil der Arzneimittelforschung nach der Zulassung. Schon Mitte der 1990er Jahre gab es zumindest ansatzweise Forderungen nach einer kontrollierbaren Datenqualit&#228;t.</Pgraph><Pgraph>Beginnend mit den Empfehlungen des Bundesinstitutes f&#252;r Arzneimittel und Medizinprodukte (BfArM) zur Durchf&#252;hrung von Anwendungsbeobachtungen aus dem Jahr 1998, sp&#228;testens aber mit den Leitlinien und Empfehlungen zur Sicherung von Guter Epidemiologischer Praxis (GEP), den VFA (Verband der forschenden Arzneimittelhersteller) &#8211; Empfehlungen zur Verbesserung der Qualit&#228;t und Transparenz von NIS sowie den gemeinsamen Empfehlungen von BfArM und PEI (Paul-Ehrlich-Institut) zur Durchf&#252;hrung von NIS sind die pharmazeutischen Unternehmen in der Pflicht, projektbegleitend qualit&#228;tssichernde bzw. qualit&#228;ts&#252;berpr&#252;fende Ma&#223;nahmen durchzuf&#252;hren. Nach einer Umfrage bei pharmazeutischen Unternehmen 2010 f&#252;hren bislang ungef&#228;hr ein Drittel der befragten Unternehmen solche Qualit&#228;ts&#252;berpr&#252;fungen vor Ort bei teilnehmenden Studienzentren durch.</Pgraph><Pgraph>&#220;ber die Ergebnisse solcher qualit&#228;ts&#252;berpr&#252;fender Ma&#223;nahmen bei 4 abgeschlossenen Projekten wird berichtet. Die im jeweiligen Beobachtungsplan festgelegten &#220;berpr&#252;fungsquoten, die Dauer der Ma&#223;nahmen vor Ort sowie abgeleitete Ma&#223;nahmen wie bspw. Anpassung der Formulare, Reduzierung der Gespr&#228;chsdauer und notwendige organisatorische &#196;nderungen werden beschrieben. Es wird ein hoher &#220;bereinstimmungsgrad bei den erhobenen Daten mit den Original-Krankenakten konstatiert, vergleichbar dem &#220;bereinstimmungsgrad bei klinischen Pr&#252;fungen.</Pgraph></Abstract>
    <Abstract language="en" linked="yes"><Pgraph>Non-interventional studies (NIS) have for decades been an established part of post-authorisation medicinal research. As early as the mid-nineties, there were at least rudimentary demands for controllable data quality.</Pgraph><Pgraph>Beginning with the recommendations of the Federal Institute for Drugs and Medical Devices (BfArM) on the execution of non interventional (observational) studies of 1998 and finally with the guidelines and recommendations for ensuring Good Epidemiological Practice (GEP), with the VFA (Verband der forschenden Arzneimittelhersteller &#91;German Association of Research-Based Pharmaceutical Companies&#93;) &#8211; Recommend<TextGroup><PlainText>ations</PlainText></TextGroup> for the Improvement of Quality and Transparency of NIS and the joint recommendations of BfArM and PEI (Paul-Ehrlich-Institut) on the execution of NIS, pharmaceutical companies are required to monitor and&#47;or verify quality in the course of a project. According to a survey of pharmaceutical companies 2010, about one third of the companies surveyed to date carry out such quality controls on site, at participating study centres.</Pgraph><Pgraph>This report deals with the results of such quality control measures in <TextGroup><PlainText>4 completed</PlainText></TextGroup> projects. The control rates defined in the respective cohort study plans, the measures carried out on site and any consequent measures, such as adjustment of forms, reduction of consultation time and necessary organisational changes are described. A high level of agreement between the data collected and the original patient documents is found, comparable to that in clinical trials.</Pgraph></Abstract>
    <TextBlock language="en" linked="yes" name="1 Introduction">
      <MainHeadline>1 Introduction</MainHeadline><Pgraph>Already in the nineties, it was pointed out that cohort studies were limited in their ability to provide useful information and that the quality of the data yielded was difficult to control. At the time, the quality criteria of a non interventional, observational study were met if observation and evaluation plans were available and the repres<TextGroup><PlainText>entativeness</PlainText></TextGroup> of the cohort had been investigated <TextLink reference="1"></TextLink>.</Pgraph><Pgraph>The recommendations of the Federal Institute for Drugs and Medical Devices (BfArM) on the execution of observational studies of November 1998 already included the usual quality requirements for epidemiological studies to ensure the completeness and validity of the data and be in a position to recognise and correct defects early <TextLink reference="2"></TextLink>. </Pgraph><Pgraph>Suitable quality assurance measures, especially for the verification of the data collected, are a part of the recommendations published in January 2007 by the VFA. According to these VFA recommendations <TextLink reference="3"></TextLink>, quality assurance systems should be used that ensure the validity and representativeness of the data collected.</Pgraph><Pgraph>The &#34;Freiwillige Selbstkontrolle f&#252;r die Arzneimittelindustrie e.V.&#34; &#91;Voluntary Self-regulation for the Pharmaceutical Industry, Registered Association&#93; (FSA), founded by member companies of the VFA in 2004, incorporated these recommendations in its codex in August 2008: in the planning, set-up and execution of non interventional observational studies (Anwendungsbeobachtungen &#8211; AWB), the recommendations and guidelines published by the BfArM are to be considered. The planning, management, evaluation and quality assurance of the NIS must take place within the company and fall within the respons<TextGroup><PlainText>ibilities</PlainText></TextGroup> of the head of the medical department. The required processes and procedures, especially suitable quality assurance measures to verify the data collected, are to be defined in the company&#39;s Standard Operating Procedures (SOP) <TextLink reference="4"></TextLink>.</Pgraph><Pgraph>Especially with regard to the quality of data provided by the doctor, the quality standards must be assured with the objective of obtaining valid data, permitting a qualified evaluation <TextLink reference="5"></TextLink>. This shall include the requirement for strict compliance with special SOP and the use of checklists of quality indicators in the quest for improved data quality and validity.</Pgraph><Pgraph>In the guidelines and recommendations for ensuring Good Epidemiological Practice (GEP) the objective is to establish a quality standard for epidemiological studies in order to obtain valid research results: internal quality assurance of all relevant instruments and procedures must thus be an indispensable part of every epidemiological study <TextLink reference="6"></TextLink>. The quality assurance targets the rules governing the timing, organisation and technical aspects of the execution as set out in the study plan and&#47;or quality audit concept.</Pgraph><Pgraph>According to the recommendations of the BfArM and Paul-Ehrlich-Institut (PEI) of July 2010 <TextLink reference="7"></TextLink>, the monitoring and evaluation plan must include a description of the measures for quality assurance &#34;based on&#34; suitable GCP-Standards. GCP is not, however, based on the european legislation applicable to pharmaco-epidemiological studies such as observational studies (EudraLex Vol. 9A, chapter 1.5 Company-Sponsored Post-Authorisation Safety Studies) <TextLink reference="8"></TextLink>.</Pgraph><Pgraph>In two surveys of the member companies of the VFA, the implementation status of the VFA recommendations was investigated in 2008 and 2010 and the results were compared <TextLink reference="9"></TextLink>, <TextLink reference="10"></TextLink>. Independent NIS quality assurance measures, such as sampling type, systematic control measures by company internal, independent quality assurance units, ensure that studies are carried out correctly and in compliance with the rules in the majority of the companies surveyed.</Pgraph><Pgraph>Meanwhile, almost 1&#47;3 of the companies surveyed carries out such quality assurance measures on site, which is also recommended by the user&#8217;s guide &#8220;Registries for Evaluating Patient Outcomes&#8221; of the Agency for Healthcare Research and Quality AHRQ &#8211; part of the U.S. Department of Health &#38; Human Services and member of Guidelines International Network <TextLink reference="11"></TextLink>.</Pgraph><Pgraph>Quality assurance measures can be used in the planning, execution or evaluation phases. The alignment of the source data (quality control by Source Data Verification, SDV), described, amongst others, by Theobald et al. <TextLink reference="12"></TextLink>, is the subject of this publication, in which we report on 4 projects in which, finally, quality control measures were carried out and evaluated.</Pgraph></TextBlock>
    <TextBlock language="de" linked="yes" name="1 Einleitung">
      <MainHeadline>1 Einleitung</MainHeadline><Pgraph>Bereits in den 1990er Jahren wurde auf die begrenzte Aussagekraft und die schwer kontrollierbare Datenqualit&#228;t bei Anwendungsbeobachtungen (AWB) hingewiesen. Die wesentlichen Qualit&#228;tskriterien einer AWB waren seinerzeit erf&#252;llt, wenn ein Beobachtungs- und Auswertungsplan vorgelegen haben und die Repr&#228;sentativit&#228;t des Beobachtungskollektivs untersucht worden war <TextLink reference="1"></TextLink>.</Pgraph><Pgraph>Die Empfehlungen des Bundesinstituts f&#252;r Arzneimittel und Medizinprodukte (BfArM) f&#252;r AWB vom Nov. 1998 enthalten bereits die f&#252;r epidemiologische Studien geltenden &#252;blichen Qualit&#228;tsanforderungen, um die Vollst&#228;ndigkeit und Validit&#228;t der Daten zu sichern und M&#228;ngel fr&#252;hzeitig erkennen und beseitigen zu k&#246;nnen <TextLink reference="2"></TextLink>. </Pgraph><Pgraph>Geeignete Qualit&#228;tssicherungsma&#223;nahmen, insbesondere zur Verifizierung der erhobenen Daten, sind Bestandteil der im Januar 2007 ver&#246;ffentlichten Empfehlungen des Verbandes forschender Arzneimittelhersteller (VFA). Gem&#228;&#223; diesen VFA-Empfehlungen <TextLink reference="3"></TextLink> sollen Systeme zur Qualit&#228;tssicherung zum Einsatz kommen, welche die Validit&#228;t und Repr&#228;sentativit&#228;t der erhobenen Daten sicherstellen.</Pgraph><Pgraph>Der im Jahr 2004 von Mitgliedsunternehmen des VFA gegr&#252;ndete Verein &#8222;Freiwillige Selbstkontrolle f&#252;r die Arzneimittelindustrie e.V.&#8220; (FSA) hat im August 2008 diese Empfehlungen in seinen Kodex integriert: bei der Planung, Gestaltung und Durchf&#252;hrung von AWB sind die durch das BfArM ver&#246;ffentlichten Empfehlungen und Leitlinien zu beachten. Planung, Leitung, Auswertung und Qualit&#228;tssicherung der NIS m&#252;ssen innerhalb des Unternehmens im Verantwortungsbereich des Leiters der medizinischen Abteilung erfolgen. Die hierf&#252;r notwendigen innerbetrieblichen Prozessabl&#228;ufe, insbesondere geeignete Qualit&#228;tssicherungsma&#223;nahmen zur Verifizierung der erhobenen Daten sind in unternehmenseigenen Standard Operating Procedures (SOP) n&#228;her zu konkretisieren <TextLink reference="4"></TextLink>.</Pgraph><Pgraph>Die Qualit&#228;tsstandards m&#252;ssen insbesondere bez&#252;glich der Datenqualit&#228;t von Seiten des Arztes gew&#228;hrleistet sein mit dem Ziel, valide Daten zu erhalten, die eine qualifizierte Auswertung erm&#246;glichen <TextLink reference="5"></TextLink>. Hierin wird die konsequente Einhaltung von speziellen SOP gefordert und mittels Checklisten f&#252;r Qualit&#228;tsmerkmale eine Verbesserung der Datenqualit&#228;t und -validit&#228;t angestrebt.</Pgraph><Pgraph>In den Leitlinien und Empfehlungen zur Sicherung von Guter Epidemiologischer Praxis (GEP) geht es um die Etablierung eines Qualit&#228;tsstandards f&#252;r epidemiologische Studien, um hierbei valide Forschungsergebnisse zu erzielen: so muss eine interne Qualit&#228;tssicherung aller relevanten Instrumente und Verfahren unabdingbarer Bestandteil jeder epidemiologischen Studie sein <TextLink reference="6"></TextLink>. Zielvorgabe f&#252;r die Qualit&#228;tssicherung sind die im Studienplan bzw. Qualit&#228;ts&#252;berpr&#252;fungskonzept festgelegten zeitlichen, organisatorischen und technischen Durchf&#252;hrungsregelungen.</Pgraph><Pgraph>Lt. den Empfehlungen des BfArM und Paul-Ehrlich-Institut (PEI) vom Juli 2010 <TextLink reference="7"></TextLink> soll der Beobachtungs- und Auswerteplan eine Beschreibung der Ma&#223;nahmen zur Qualit&#228;tssicherung in &#8222;Anlehnung&#8220; an geeignete GCP-Standards enthalten; dies steht jedoch in einem gewissen Widerspruch zum europ&#228;ischen Recht: hier ist festgelegt dass GCP nicht auf pharmakoepidemiologische Beobachtungsstudien, wie bspw. AWB anwendbar ist (EudraLex Vol. 9A, chapter 1.5 Company-Sponsored Post-Authorisation Safety Studies) <TextLink reference="8"></TextLink>.</Pgraph><Pgraph>In zwei Umfragen unter den Mitgliedsunternehmen des VFA wurde der Stand der Umsetzung der VFA-Empfehlungen in den Jahren 2008 und 2010 untersucht und die Ergebnisse miteinander verglichen <TextLink reference="9"></TextLink>, <TextLink reference="10"></TextLink>. Unabh&#228;ngige Qualit&#228;tssicherungsma&#223;nahmen bei NIS wie bspw. stichprobenartige, systematische &#220;berpr&#252;fungsma&#223;nahmen durch firmeninterne, unabh&#228;ngige Qualit&#228;tssicherungseinheiten dienen bei der Mehrzahl der befragten Unternehmen einer ordnungsgem&#228;&#223;en und regelkonformen Studiendurchf&#252;hrung.</Pgraph><Pgraph>Mittlerweile f&#252;hrt nahezu 1&#47;3 der befragten Unternehmen solche Qualit&#228;tssicherungsma&#223;nahmen auch vor Ort durch, welche ebenfalls im Handbuch &#8222;Registries for Evaluating Patient Outcomes&#8220; der AHRQ (Agency for <TextGroup><PlainText>Healthcare</PlainText></TextGroup> Research and Quality), eine der 11 operativen Einheiten des amerikanischen Gesundheitsministeriums und Mitglied des Guidelines International Network, empfohlen werden <TextLink reference="11"></TextLink>.</Pgraph><Pgraph>Qualit&#228;tssicherungsma&#223;nahmen k&#246;nnen in der <TextGroup><PlainText>Planungs-, </PlainText></TextGroup>Durchf&#252;hrungs- oder in der Auswertungs-Phase zur Anwendung kommen. Der auch von Theobald et al. <TextLink reference="12"></TextLink> beschriebene Abgleich der Quelldaten (Qualit&#228;tskontrolle mittels Source Data Verification, SDV) ist Gegenstand dieser Publikation, in welcher &#252;ber 4 Projekte berichtet wird, bei denen qualit&#228;ts&#252;berpr&#252;fende Ma&#223;nahmen bereits abschlie&#223;end durchgef&#252;hrt und ausgewertet worden sind.</Pgraph></TextBlock>
    <TextBlock language="en" linked="yes" name="2 Methods">
      <MainHeadline>2 Methods</MainHeadline><SubHeadline>2.1 Quality control concept</SubHeadline><Pgraph>In line with the VFA recommendations 2007 and the BfArM&#47;PEI recommendations in their draft version of 09&#47;05&#47;07 <TextLink reference="13"></TextLink> and taking account of an internal directive &#34;Management of Observational Studies&#34;, in May 2009, a first quality control concept was developed.</Pgraph><Pgraph>To this end, project specific forms were developed: visit report (study site), patient record (see Table 1 <ImgLink imgNo="1" imgType="table"/>) and a visit record. In the patient record, an extract of which is shown, taking an observational study in the field of diabetology as an example (Table 1 <ImgLink imgNo="1" imgType="table"/>), in addition to the listed variables (at the different times at which documentation is required), there is a direct question as to the occurrence of serious adverse events (SAE) in order, if appropriate, to investigate whether this might conceal a serious adverse drug reaction (SADR) so that, if need be, a possibly overlooked SADR can immediately be notified.  </Pgraph><SubHeadline2>2.1.1 Execution through company based NIS Management</SubHeadline2><Pgraph>The participating practices&#47;clinics at which the quality control is to be carried out are selected randomly (in this example, by means of the Microsoft Excel Analysis Tool Pak, MS Excel version &#8217;97 or later). </Pgraph><Pgraph>The responsible doctor does not necessarily have to be present for the quality control; in many cases, it is the practice personnel or the study assistant who is also very well acquainted with the patient documentation. At the practice or clinic, after presentation of the signed patient&#39;s consent form and, where appropriate, the patient identification list, the items to be controlled are compared with the entries in the electronic or conventional medical records and the results are noted on the appropriate forms. </Pgraph><Pgraph>In the case of a register or epidemiological project &#34;quality calls&#34; can also be made during the carrying out phase of a project without problem; documentation errors at a particular centre can thus be discussed as soon as a project is completed. In non-interventional studies with a medicinal product (AWB), however, it is essential to respect the principle of non-intervention (lat. intervenire &#61; come between&#47;amongst). Any intervention in the ongoing process would be a deviation from the principle of pure observation and must be avoided in such studies. In post authorization observational studies to be carried out in accordance with German Drug Law (AMG) &#167;67 (6) however, it is permissible in the execution phase to bring any documentation problems&#47;errors to the attention of all participating doctors, for example, in the form of a newsletter; this can also be used to keep all participants abreast of the current status of the study (see <TextGroup><PlainText>Attachment 1 </PlainText></TextGroup><AttachmentLink attachmentNo="1"/>: QoLiTaX-Newsletter Nr. 2). Feed back in such a form in the course of a project shows the study sites the interest that the pharmaceutical company takes in the quality of the data documented and is a further motivation factor to continue to maintain the documentation correctly. Further, it is, in many (not all) cases, such inform<TextGroup><PlainText>ation</PlainText></TextGroup> that first gives rise to a correct understanding for the control of the quality of the documented data.</Pgraph><Pgraph>In the closing discussion, it is therefore an advantage to involve the responsible doctor. A short report can be written of the measures carried out on site in which inconsistencies and more important abnormalities are recorded. These are to be drawn to the attention of the project leader.</Pgraph><Pgraph>Taking account of the BfArM&#47;PEI recommendations that had meanwhile been published, the quality audit concept was further revised. </Pgraph><Pgraph>The early involvement of all company-internal collabora<TextGroup><PlainText>tors</PlainText></TextGroup> in the communication process with the selected study site has been found to be very helpful.  </Pgraph><SubHeadline2>2.1.2 Outsourcing of quality control measures </SubHeadline2><Pgraph>After exercising the quality control concept on 3 projects in the indications neurology, oncology and diabetology, a parallel concept was developed to be able to hand over these quality control measures, if required, to a Contract Research Organisation (CRO). It is recommended that it should first be carefully checked to what extent the CRO in question, in the event that a full service contract is awarded, might hand over individual tasks (such as this kind of quality control of an NIS) to sub-contractors <TextLink reference="14"></TextLink>.</Pgraph><Pgraph>The procedure to be followed here is set down in detail: for example, the CRO contracted receives a list of those centres selected randomly, in an internal process, for a quality control. Furthermore, specifications for precise recording will be made, similar to the internal quality control concept (see 2.1). The on-site visit must be carried out by a qualified employee of the contracted CRO; an audit of this employee must, in turn, always be a part of a qualification audit. Additional training of the CRO employee charged with carrying out these measures is to be advised to ensure that the party awarding the contract receives work of good quality. The evaluation, proposed by Theis and Hundt <TextLink reference="15"></TextLink>, of a CRO by the client&#39;s specialist departments, during and after carrying out of a project, opens up the possibility, where appropriate, of taking appropriate countermeasures in advance in the event of follow-up contracts.</Pgraph><SubHeadline>2.2 Quality controlled projects</SubHeadline><SubHeadline2>2.2.1 Project description</SubHeadline2><Pgraph>Since the development of the quality control concept described in section 2.1, quality measures were taken in 4 NIS projects over a period of about 20 months:</Pgraph><Pgraph><OrderedList><ListItem level="1" levelPosition="1" numString="1.">Use of a chemotherapy product in patients with hormone-refractory prostate carcinoma (quality audit project in oncology at clinics and&#47;or large medical practices)<LineBreak></LineBreak>The quality control of this project took place between November 2008 and June 2009. For many sites, such measures in a NIS were a completely new experience; a great deal of detailed explanation was required, both in advance and in the meeting on site. The scepticism initially expressed in some cases gave way, however, to a readiness to allow the quality control to be carried out in the NIS&#47;observational study field. At the time of the visit, all patient documentation had already been completed.</ListItem><ListItem level="1" levelPosition="2" numString="2.">Registry &#34;Work Invalidity in patients with Multiple Sclerosis&#34; in neurological specialist practices<LineBreak></LineBreak>The experience gained in the first project regarding visit preparation, duration, agreement of deadlines and structuring of forms led to further procedural improvements in this registry. The visits took place in February 2010, at neurological specialist practices; here, too, the documentation of the patients had already been completed.</ListItem><ListItem level="1" levelPosition="3" numString="3.">Non-interventional study to record quality of life for patients with solid tumours in clinics and&#47;or specialist practice<LineBreak></LineBreak>At the time of the quality control in the clinics and specialist practices, the project was still in the execution phase. Sets of documents, some of which were completed and other not yet completed, were compared with the data in the medical records. In view of the 2,500 or so sets of patient documents to be expected, a total of 110 sets of documents were controlled in 3 runs between July 2009 and January 2010.</ListItem><ListItem level="1" levelPosition="4" numString="4.">NIS of patients with type II diabetes mellitus being treated with insulin by specialists in internal or general medicine<LineBreak></LineBreak>This prospective observational study was carried out from March 2009 to March 2010 in internal and general medicine practices. The quality control measures took place from January to August 2010. Here, too, there were initially problems in actually being able to carry out the quality control in the practices foreseen in the study plan (see Results). Further participants had to be included in the process by random selection in order to reach the prespecified control rate of 3&#37;.</ListItem></OrderedList></Pgraph></TextBlock>
    <TextBlock language="de" linked="yes" name="2 Methoden">
      <MainHeadline>2 Methoden</MainHeadline><SubHeadline>2.1 Qualit&#228;ts&#252;berpr&#252;fungs-Konzept</SubHeadline><Pgraph>Orientierend an den VFA-Empfehlungen 2007 sowie den BfArM&#47;PEI-Empfehlungen in ihrer Entwurfsfassung vom 9.5.2007 <TextLink reference="13"></TextLink> und unter Ber&#252;cksichtigung einer internen Richtlinie &#8222;Management of Observational Studies&#8220; wurde im Mai 2009 ein erstes Qualit&#228;ts&#252;berpr&#252;fungskonzept entwickelt.</Pgraph><Pgraph>Hierzu wurden projektspezifisch Formulare entwickelt: Besuchsbericht (Zentrum), Patienten&#252;berpr&#252;fungsprotokoll (vgl. Tabelle 1 <ImgLink imgNo="1" imgType="table"/>) sowie ein Besuchsprotokoll. Im Patienten&#252;berpr&#252;fungsprotokoll, welches auszugsweise am Bsp. einer AWB aus dem Bereich Diabetologie dargestellt ist, wird neben den gelisteten Variablen (zu den verschiedenen Dokumentationszeitpunkten) ausdr&#252;cklich nochmals nach dem Auftreten von schwerwiegend unerw&#252;nschten Ereignissen (SUE) gefragt, um ggf. eine &#220;berpr&#252;fung vornehmen zu k&#246;nnen, ob sich hier eine schwerwiegende unerw&#252;nschte Arzneimittelnebenwirkung (SUAW) &#8222;versteckt&#8220;: so kann im Bedarfsfall die Meldung einer evtl. &#252;bersehenen SUAW umgehend vorgenommen werden.</Pgraph><SubHeadline2>2.1.1 Durchf&#252;hrung &#252;ber firmeninternes NIS-Management</SubHeadline2><Pgraph>Die teilnehmenden Praxen&#47;Kliniken, bei denen die Qualit&#228;ts&#252;berpr&#252;fung vorgenommen werden soll, werden nach Zufallsprinzip (in diesem Bsp. mittels Microsoft Excel Analysis Tool Pak, ab MS Excel Version &#8217;97) ausgew&#228;hlt. </Pgraph><Pgraph>Der verantwortliche Arzt muss selbst bei der Qualit&#228;ts&#252;berpr&#252;fung nicht unbedingt anwesend sein; in vielen F&#228;llen ist das Praxispersonal bzw. die Studienassistentin ebenfalls bestens mit der Dokumentation der Krankenakten vertraut. Vor Ort werden nach Vorlage der unterschriebenen Patienteneinverst&#228;ndniserkl&#228;rung (PAT-EV) und ggf. auch der Patientenidentifikationsliste die zu &#252;berpr&#252;fenden Items mit den Eintragungen in der elektronischen bzw. konventionellen Krankenakte abgeglichen und die Ergebnisse in den jeweiligen Formularen festgehalten. </Pgraph><Pgraph>Bei einem Register bzw. epidemiologischen Projekt sind &#8222;Qualit&#228;tsappelle&#8220; auch in der Durchf&#252;hrungsphase eines Projektes problemlos m&#246;glich; so k&#246;nnen zentrumsspezifisch bei einem abgeschlossenen Projekt Dokumentationsfehler bereits angesprochen werden. Bei AWB ist es jedoch unabdingbar, das Prinzip der Nicht-Intervention zu beachten (lat. intervenire &#61; dazwischentreten, sich einschalten). Ein Einschalten in den laufenden Prozess w&#228;re eine Abkehr von dem Prinzip der reinen Beobachtung: das muss bei der AWB also vermieden werden. Bei der gem. &#167;67 Abs. 6 AMG durchzuf&#252;hrenden AWB kann man aber schon in der Durchf&#252;hrungsphase alle teilnehmenden &#196;rzte bspw. in Form eines Newsletters &#252;ber die bis dato erkannten Dokumentationsprobleme&#47;Fehler informieren; dabei ergibt sich auch die M&#246;glichkeit, die Teilnehmer &#252;ber den aktuellen Stand der Studie in Kenntnis zu setzen (vgl. Anhang 1 <AttachmentLink attachmentNo="1"/>: QoLiTaX-Newsletter Nr. 2). Eine solche Form der R&#252;ckmeldung bei einem laufenden Projekt zeigt dem Arzt das unbedingte Interesse des pharmazeutischen Unternehmers an der Qualit&#228;t der von ihm dokumentierten Daten und ist ein weiterer Motivationsfaktor f&#252;r ihn, die Dokumentation konsequent weiter zu f&#252;hren. Zudem erzeugen gerade solche Informationen in vielen F&#228;llen erst das richtige Verst&#228;ndnis f&#252;r die &#220;berpr&#252;fung der Qualit&#228;t der dokumentierten Daten.</Pgraph><Pgraph>Beim abschlie&#223;enden Gespr&#228;ch ist es deshalb von Vorteil, wenn der verantwortliche Arzt mit einbezogen wird. &#220;ber die vor Ort durchgef&#252;hrten Ma&#223;nahmen wird ein kurzes Protokoll geschrieben, worin ggf. Unstimmigkeiten und gr&#246;&#223;ere Auff&#228;lligkeiten festgehalten werden. Der Projektleiter wird hier&#252;ber in Kenntnis gesetzt.</Pgraph><Pgraph>Unter Ber&#252;cksichtigung der zwischenzeitlich ver&#246;ffentlichten BfArM&#47;PEI-Empfehlungen wurde das Qualit&#228;ts&#252;berpr&#252;fungskonzept weiter angepasst. </Pgraph><Pgraph>Die fr&#252;hzeitige Einschaltung aller firmeninternen Mitarbeiter in den gesamten Kommunikationsprozess mit dem ausgew&#228;hlten Zentrum hat sich hier als sehr hilfreich erwiesen.  </Pgraph><SubHeadline2>2.1.2 &#8222;Outsourcing&#8220; von Qualit&#228;ts&#252;berpr&#252;fungs (Q&#220;)-Ma&#223;nahmen </SubHeadline2><Pgraph>Nach der Erprobung des internen Qualit&#228;ts&#252;berpr&#252;fungs-Konzeptes an 3 Projekten aus den Indikationsgebieten Neurologie, Onkologie sowie Diabetologie wurde parallel hierzu ein Konzept entwickelt, um diese qualit&#228;ts&#252;berpr&#252;fenden Ma&#223;nahmen bei Bedarf an eine Kontraktfirma (Contract Research Organisation, CRO) &#252;bergeben zu k&#246;nnen, damit diese im Auftrag des pharmazeutischen Unternehmers diese Ma&#223;nahmen durchf&#252;hrt. Es ist empfehlenswert, im Vorfeld genau zu pr&#252;fen, inwiefern bei der in Frage kommenden CRO einzelne Aufgaben (wie gerade eine solche Qualit&#228;ts&#252;berpr&#252;fung bei NIS) im Fall einer Auftragsvergabe evtl. auf Sub-Unternehmer verlagert werden sollen <TextLink reference="14"></TextLink>.</Pgraph><Pgraph>Die Vorgehensweise hierbei ist detailliert vorgegeben: so erh&#228;lt die CRO eine Liste jener Zentren, welche in einem internen Prozess per Zufallsprinzip f&#252;r eine Qualit&#228;ts&#252;berpr&#252;fung ausgew&#228;hlt worden sind. Weiterhin werden Vorgaben zur genauen Protokollierung gemacht, vergleichbar dem internen Qualit&#228;ts&#252;berpr&#252;fungs-Konzept (vgl. 2.1). Die &#220;berpr&#252;fung vor Ort wird durch einen qualifizierten Mitarbeiter der CRO durchgef&#252;hrt; die &#220;berpr&#252;fung dieser Mitarbeiter wiederum sollte stets Bestandteil eines Qualifizierungsaudits sein. Eine zus&#228;tzliche Schulung der mit der Durchf&#252;hrung dieser Ma&#223;nahmen betrauten CRO-Mitarbeiter ist anzuraten; so sollte sichergestellt sein, dass man als Auftraggeber qualitativ gute Arbeit erh&#228;lt. Die von den Autoren Theis und Hundt <TextLink reference="15"></TextLink> vorgeschlagene Bewertung einer CRO durch die Fachabteilungen des Auftraggebers w&#228;hrend und nach der Durchf&#252;hrung eines Projektes er&#246;ffnet zudem die M&#246;glichkeit, bei Folgeprojekten schon vorab entsprechende Gegenma&#223;nahmen zu ergreifen.</Pgraph><SubHeadline>2.2 Qualit&#228;ts&#252;berpr&#252;fungs-Projekte</SubHeadline><SubHeadline2>2.2.1 Projektbeschreibung</SubHeadline2><Pgraph>Seit Entwicklung des unter Pkt. 2.1 beschriebenen Qualit&#228;ts&#252;berpr&#252;fungskonzeptes wurden im Zeitraum von ca. 20 Monaten bei 4 NIS-Projekten qualit&#228;ts&#252;berpr&#252;fende Ma&#223;nahmen durchgef&#252;hrt:</Pgraph><Pgraph><OrderedList><ListItem level="1" levelPosition="1" numString="1.">Einsatz eines Chemotherapeutikums bei Patienten mit hormonrefrakt&#228;rem Prostatakarzinom (Qualit&#228;tssicherungsprojekt in der Onkologie an Kliniken bzw. gro&#223;en Facharztpraxen)<LineBreak></LineBreak>Die Qualit&#228;ts&#252;berpr&#252;fung bei diesem Projekt fand von November 2008 bis Juni 2009 statt. F&#252;r viele &#196;rzte waren derartige Ma&#223;nahmen bei NIS eine v&#246;llig neue Erfahrung; hierbei musste im Vorfeld sowie beim Termin vor Ort noch viel erkl&#228;rt werden. Die in einigen F&#228;llen anf&#228;nglich ge&#228;u&#223;erte Skepsis wich dann doch der Bereitschaft, die Qualit&#228;ts&#252;berpr&#252;fung im Bereich NIS&#47;AWB durchf&#252;hren zu lassen. Zum Zeitpunkt der &#220;berpr&#252;fung waren s&#228;mtliche Patientendokumentationen bereits beendet.</ListItem><ListItem level="1" levelPosition="2" numString="2.">Krankheitsregister &#8222;Arbeitsunf&#228;higkeit bei Patienten mit Multipler Sklerose&#8220; in neurologischen Facharztpraxen<LineBreak></LineBreak>Die beim ersten Projekt gewonnenen Erfahrungen hinsichtlich Besuchsvorbereitung, Dauer, Terminvereinbarung und Formulargestaltung f&#252;hrten bei diesem Register zu weiteren Verfahrensverbesserungen. Die Qualit&#228;ts&#252;berpr&#252;fung fand hierbei im Februar 2010 in neurologischen Facharztpraxen statt, wobei auch hier die Dokumentation der Patienten bereits abgeschlossen war.</ListItem><ListItem level="1" levelPosition="3" numString="3.">Nicht-Interventionelle Studie zur Erfassung der Lebensqualit&#228;t bei Patienten mit soliden Tumoren in Kliniken bzw. Facharzt-Praxen<LineBreak></LineBreak>Zum Zeitpunkt der Qualit&#228;ts&#252;berpr&#252;fung in Kliniken bzw. Facharzt-Praxen befand sich das Projekt noch in der Durchf&#252;hrungsphase. Es wurden z.T. abgeschlossene, z.T. noch nicht abgeschlossene Dokumentationen mit den Daten in den Krankenakten abgeglichen. Im Hinblick auf die zu erwartenden ca. 2.500 Patientendokumentationen wurden in 3 Durchg&#228;ngen zwischen Juli 2009 und Januar 2010 in 24 teilnehmenden Zentren insgesamt 110 Patientendokumentationen &#252;berpr&#252;ft.</ListItem><ListItem level="1" levelPosition="4" numString="4.">NIS bei Patienten mit insulinbehandelten Patienten mit Typ II &#8211; Diabetes Mellitus bei niedergelassenen Internisten und Allgemeinmedizinern<LineBreak></LineBreak>Diese prospektive Beobachtungsstudie wurde von M&#228;rz 2009 bis M&#228;rz 2010 bei niedergelassenen Allgemeinmedizinern und Internisten durchgef&#252;hrt. <LineBreak></LineBreak>Die qualit&#228;ts&#252;berpr&#252;fenden Ma&#223;nahmen fanden von Januar bis August 2010 statt: auch hier gab es anfangs Probleme, die im Beobachtungsplan vorgegebene Qualit&#228;ts&#252;berpr&#252;fung in den Praxen auch tats&#228;chlich durchf&#252;hren zu k&#246;nnen (vgl. Ergebnisse). Bei dieser NIS mussten weitere Teilnehmer mittels Zufallszuteilung in den &#220;berpr&#252;fungsprozess einbezogen werden, um die im Beobachtungsplan festgelegte &#220;berpr&#252;fungs-Quote von 3&#37; zu erreichen.</ListItem></OrderedList></Pgraph></TextBlock>
    <TextBlock language="en" linked="yes" name="3 Results">
      <MainHeadline>3 Results</MainHeadline><SubHeadline>3.1 Control rates</SubHeadline><Pgraph>According to surveys by the VFA, to date, quality control measures have been mostly carried out at 2&#8211;5&#37; of particip<TextGroup><PlainText>ating</PlainText></TextGroup> sites for NIS <TextLink reference="9"></TextLink>, <TextLink reference="10"></TextLink>, <TextLink reference="12"></TextLink>. The prescribed control rates specified in the study plans for the 4 projects described were all achieved. In the first project, the specified target rate was 10&#37; of completed patients; in the second project, the control rate was 7.4&#37; (specified between 5 and 10&#37; of participating centres). In the third project the rate is currently 5.8&#37; but should finally settle to 5&#37; of patients as in this project, with a run time &#62;24 months, a total of 2,500 patient document sets is expected. Here, it was permitted to control not only the already completed document sets but also those still in the documentation process at the study centres in order to disclose systematic errors in the documentation and be able to draw attention to these where appropriate. In this observational study, feedback to all the participating doctors took the form of newsletters (see Attachment 1 <AttachmentLink attachmentNo="1"/>; the third issue of this newsletter is now available). </Pgraph><SubHeadline>3.2 Project overview and control variables</SubHeadline><Pgraph>See Table 2 <ImgLink imgNo="2" imgType="table"/>.</Pgraph><SubHeadline>3.3 Duration of measures</SubHeadline><Pgraph>The evaluation of the 4 projects listed in Table 2 <ImgLink imgNo="2" imgType="table"/> with regard to the duration of the visits shows that an duration of 30 min. up to 1 hour (depending on the number of patient document sets to be controlled) remains within reasonable bounds, including for the site organisation. Decisive for the smooth running of the visit is the preparation of the meeting, both in the pharmaceutical company, with the preparation&#47;completion of the forms and at the site. </Pgraph><Pgraph>The duration of these on-site measures is to be taken into account in setting the fees being integrated into the contract with the site <TextLink reference="16"></TextLink>.</Pgraph><SubHeadline>3.4 Degree of consistency</SubHeadline><Pgraph>For each project, parameters relevant to the study and safety-related data are controlled. It is checked whether the value requested is consistent, inconsistent or unavailable. The evaluation yielded the picture shown in <TextGroup><PlainText>Table 3 </PlainText></TextGroup><ImgLink imgNo="3" imgType="table"/>.</Pgraph><Pgraph>The high degree of consistency, 95&#37;, for project 2 was achieved in neurological specialist practices; in the studies with internal and general medical practitioners, this was lower with an average of 85&#37;.</Pgraph><Pgraph>If we compare project 3 (carried out mainly in clinics) with project 4 (practitioners), there was significantly &#34;more experience in dealing with studies&#34; in this study in oncolo<TextGroup><PlainText>gy</PlainText></TextGroup> (see Table 4 <ImgLink imgNo="4" imgType="table"/>).</Pgraph><Pgraph>The logistical effort (appointment requests and cancellations, notifications, further enquiries etc.) for the pending visit for the study carried out exclusively with practitioners is, compared with the project carried out mostly in clinics &#8211; more than twice as high: on average, 1.5 doctors had to be contacted in the later case, in order to be able to carry out a visit on time; in the NIS carried out in the practitioner sector, an average of 3.5 doctors had to be contacted to find a suitable appointment.</Pgraph><Pgraph>In all projects, the paper-based medical records were maintained alongside electronic records in about 1&#47;3 of cases. </Pgraph><Pgraph>In all quality measures carried out on site, enquiry was made as to the occurrence of serious adverse events (SAE). In only 2 cases (out of a total of 302 checked) did the treating physician forget to document AE&#47;SAE as required in the study plan. In both cases, the required notification was immediately made or repeated.</Pgraph><SubHeadline>3.5 Consequences</SubHeadline><Pgraph>For project No. 1 (cohort study in the indication prostate carcinoma), the quality control measures carried out were, erroneously, strongly GCP-oriented. The forms with the characteristics and variables to be checked were very comprehensive so that the visit in the participating centres took a great deal of time. </Pgraph><Pgraph>In the beginning obviously there were not given sufficient information to the participating doctors regarding their documentation duties and retention period. Contrary to the requirement to keep for 10 years specified in the study plan, a few doctors had apparently already destroyed the patient consent forms, as a result of which a quality control, i.e. the direct check of the medical records, could no longer be carried out on the grounds of data protection. In these cases the check was done by interview technique.</Pgraph><Pgraph>This experience was the basis for the optimisation in the subsequent projects 2, 3 and 4 regarding adaptation of forms and reduction of the visit duration. The lack of awareness of doctors regarding documentation requirements could, in the future, lead to a special training (for instance on-the-job training by eLearning). In this respect, it could be considered whether this should be integrated in the study preparation. Especially for project No. 4, which was carried out exclusively with practitioners, it was shown to be of value to inform the local employee responsible in good time of the pending quality measure in his area. In conferences, it should be standard practice for the project leader, when presenting a new NIS, to draw attention to this task of the employee.</Pgraph></TextBlock>
    <TextBlock language="de" linked="yes" name="3 Ergebnisse">
      <MainHeadline>3 Ergebnisse</MainHeadline><SubHeadline>3.1 &#220;berpr&#252;fungsquoten</SubHeadline><Pgraph>Umfragen des VFA zufolge wurden bislang zumeist bei 2&#8211;5&#37; der teilnehmenden &#196;rzte qualit&#228;ts&#252;berpr&#252;fende Ma&#223;nahmen bei NIS durchgef&#252;hrt <TextLink reference="9"></TextLink>, <TextLink reference="10"></TextLink>, <TextLink reference="12"></TextLink>. Die lt. Beobachtungsplan vorgegebenen Quoten wurden bei den 4 beschriebenen Projekten jeweils erreicht: beim 1. Projekt wurde die vorgegebene Quote von 10&#37; der abgeschlossenen Patienten erzielt; beim 2. Projekt lag die &#220;berpr&#252;fungsquote bei 7.4&#37; (Vorgabe zwischen 5 und 10&#37; der beteiligten Zentren). Beim 3. Projekt liegt aktuell die Quote bei 5.8&#37;, sollte sich aber bis zum Abschluss des Projektes auf 5&#37; der Patienten einpendeln, da bei diesem Projekt (Laufzeit &#62;24 Monate) insgesamt ca. 2.500 Patientendokumentationen erwartet werden. Hierbei war die M&#246;glichkeit gegeben, neben den bereits abgeschlossenen auch die sich gerade im Dokumentationsprozess befindlichen Patientendokumentationen an den Studienzentren zu &#252;berpr&#252;fen, um systematische Fehler bei der Dokumentation zu entdecken und ggf. darauf aufmerksam machen zu k&#246;nnen. Die R&#252;ckmeldung an alle teilnehmenden &#196;rzte erfolgt bei dieser AWB in Form von Newslettern (vgl. Anhang 1 <AttachmentLink attachmentNo="1"/>; mittlerweile liegt die 3. Ausgabe dieses Newsletters vor).  </Pgraph><SubHeadline>3.2 Projekt&#252;bersicht und Stellgr&#246;&#223;en</SubHeadline><Pgraph>Siehe Tabelle 2 <ImgLink imgNo="2" imgType="table"/>.</Pgraph><SubHeadline>3.3 Dauer der Ma&#223;nahmen</SubHeadline><Pgraph>Die Auswertung der 4 in Tabelle 2 <ImgLink imgNo="2" imgType="table"/> gelisteten Projekte hinsichtlich der Gespr&#228;chsdauer hat ergeben, dass eine &#220;berpr&#252;fungsdauer von 30 Min. bis max. 1 Stunde (abh&#228;ngig von der Anzahl zu &#252;berpr&#252;fender Patientendokumentationen) sich auch f&#252;r die Organisation der Praxis in einem vertretbaren Rahmen bewegt. Von entscheidender Bedeutung f&#252;r einen reibungslosen Ablauf ist die Terminvorbereitung sowohl beim pharmazeutischen Unternehmen mit der Vorbereitung&#47;Ausf&#252;llen der Formulare sowie in der Praxis bzw. Klinik.</Pgraph><Pgraph>Die Dauer der qualit&#228;ts&#252;berpr&#252;fenden Ma&#223;nahme(n) vor Ort ist bei der Honorargestaltung zu ber&#252;cksichtigen und muss im Vertrag z. B. entsprechend der Geb&#252;hrenordnung f&#252;r &#196;rzte (GO&#196;) ber&#252;cksichtigt werden <TextLink reference="16"></TextLink>.</Pgraph><SubHeadline>3.4 &#220;bereinstimmungsgrad</SubHeadline><Pgraph>Je nach Projekt werden studienzielrelevante Parameter sowie sicherheitsrelevante Daten &#252;berpr&#252;ft. Gepr&#252;ft wird, ob der angefragte Wert &#252;bereinstimmt, nicht &#252;bereinstimmt bzw. nicht verf&#252;gbar ist. Die Auswertung ergab das in Tabelle 3 <ImgLink imgNo="3" imgType="table"/> gezeigte Bild.</Pgraph><Pgraph>Der hohe, 95&#37;ige &#220;bereinstimmungsgrad bei Projekt 2 wurde in neurologischen Facharztpraxen erzielt; im Bereich der niedergelassenen Internisten und Allgemeinmediziner lag dieser bei durchschnittlich 85&#37;.</Pgraph><Pgraph>Vergleicht man Projekt 3 (&#252;berwiegend durchgef&#252;hrt im Klinikbereich) mit Projekt 4 (AWB im niedergelassenen Sektor), so ist bei dieser im onkologischen Bereich durchgef&#252;hrten AWB ein deutliches &#8222;Mehr an Erfahrung im Umgang mit Studien&#8220; vorhanden.</Pgraph><Pgraph>Der logistische Aufwand (Terminanfragen, Terminabsagen, Benachrichtigungen, R&#252;ckfragen etc.) f&#252;r die anstehende Qualit&#228;ts&#252;berpr&#252;fung bei der ausschlie&#223;lich im niedergelassenen Bereich durchgef&#252;hrten AWB ist &#8211; verglichen mit dem Projekt, welches &#252;berwiegend im Klinikbereich durchgef&#252;hrt worden war &#8211; mehr als doppelt so hoch: im Mittel mussten hierbei 1,5 &#196;rzte kontaktiert werden, um hierbei eine Qualit&#228;ts&#252;berpr&#252;fung zeitnah durchf&#252;hren zu k&#246;nnen; in der im niedergelassenen Bereich durchgef&#252;hrten NIS mussten durchschnittlich 3,5 &#196;rzte angesprochen werden, um einen passenden Termin zu finden (vgl. Tabelle 4 <ImgLink imgNo="4" imgType="table"/>).</Pgraph><Pgraph>Interessanterweise war &#8211; bezogen auf alle Projekte &#8211; eine papierbasierte Krankenakte in etwa 1&#47;3 der F&#228;lle begleitend zur elektronischen Krankenakte mitgef&#252;hrt worden. </Pgraph><Pgraph>Bei allen vor Ort durchgef&#252;hrten qualit&#228;ts&#252;berpr&#252;fenden Ma&#223;nahmen war bzgl. des Auftretens von schwerwiegend unerw&#252;nschten Ereignissen (SUE) nachgefragt worden. Lediglich bei 2 (von insgesamt 302 &#252;berpr&#252;ften F&#228;llen) war vom behandelnden Arzt vergessen worden, die gem. Beobachtungsplan vorgegebene UE&#47;SUE-Dokumentation vorzunehmen. Die erforderliche Meldung war in beiden F&#228;llen dann umgehend veranlasst bzw. nachgeholt worden.</Pgraph><SubHeadline>3.5 Abgeleitete Ma&#223;nahmen</SubHeadline><Pgraph>Bei Projekt Nr. 1 (AWB in der Indikation Prostatakarzinom) waren die durchgef&#252;hrten qualit&#228;ts&#252;berpr&#252;fenden Ma&#223;nahmen f&#228;lschlicherweise sehr stark GCP-orientiert gewesen. Die Formulare mit den zu &#252;berpr&#252;fenden Merkmalen bzw. Variablen waren sehr umfangreich, wodurch die &#220;berpr&#252;fung in den teilnehmenden Zentren &#252;beraus viel Zeit in Anspruch nahm. </Pgraph><Pgraph>In der Anfangsphase waren wohl auch die Informationen an die teilnehmenden &#196;rzte &#252;ber Dokumentationsnotwendigkeiten und Aufbewahrungspflichten nicht immer ausreichend gewesen; so ist zu erkl&#228;ren, dass entgegen der im Beobachtungsplan vorgegebenen 10-j&#228;hrigen Aufbewahrungspflicht einige &#196;rzte die Patienteneinverst&#228;ndniserkl&#228;rungen vernichtet hatten, wodurch eine Qualit&#228;ts&#252;berpr&#252;fung, zumindest aber der Einblick in die Krankenakte aus datenschutzrechtlichen Gesichtspunkten nicht mehr vorgenommen werden konnte. </Pgraph><Pgraph>In diesen F&#228;llen war dann die Qualit&#228;ts&#252;berpr&#252;fung mittels Interviewtechnik durchgef&#252;hrt worden.</Pgraph><Pgraph>Die beim ersten Projekt gemachten Erfahrungen waren Grundlage f&#252;r die Optimierung bei den Folgeprojekten 2, 3 und 4 bzgl. Formularanpassung und Reduzierung der Gespr&#228;chsdauer. Die offenkundig mangelhafte Aufkl&#228;rung des Arztes bei der Vorstellung des Studienprojektes k&#246;nnte k&#252;nftig durch eine spezielle Schulung verhindert werden (Pr&#228;senzschulung bzw. mittels eLearning). In diesem Zusammenhang ist zu &#252;berlegen, dieses Vorgehen in einer NIS-SOP zu verankern. Insbesondere bei Proj<TextGroup><PlainText>ekt 4</PlainText></TextGroup>, welches ausschlie&#223;lich im niedergelassenen Bereich durchgef&#252;hrt worden war, hat es sich bew&#228;hrt, den zust&#228;ndigen Mitarbeiter fr&#252;hzeitig &#252;ber die anstehende qualit&#228;ts&#252;berpr&#252;fende Ma&#223;nahme in seinem Gebiet zu informieren. Bei Tagungen sollte es f&#252;r den Projektleiter bei der Vorstellung einer neuen NIS zum Standard geh&#246;ren, auf diese Aufgabe der lokal t&#228;tigen Mitarbeiter explizit hinzuweisen.</Pgraph></TextBlock>
    <TextBlock language="en" linked="yes" name="4 Discussion">
      <MainHeadline>4 Discussion</MainHeadline><Pgraph>When carrying out quality measures for non-interventional studies (NIS) the non-intervention principle must always take precedence. In individual cases, participating doctors or their staff made proposals for the design of documentation questionnaires. In many cases there was additional positive feedback on the carrying out of such quality measures, concerning also non-interventional studies. Given the experience so far, however, it is advisable when planning visits, to take every opportunity to draw the attention of the site to be visited to the necessity of collecting the signed patient consent forms and having the medical records ready so that an on-site visit can be carried out efficiently, given that clinics and practices are always short of time. It should be explicitly drawn to the attention of the doctor participating in a NIS that his participation may also involve a quality control visit of the documented data and that this measure will require the devotion of some time in his centre. The time required for this quality measure is to be taken into account when considering fees <TextLink reference="16"></TextLink>. </Pgraph><Pgraph>To provide a proper understanding regarding the time for which study documents (e.g. patient consent forms) are to be kept and with regard to data protection, study-specific training courses regarding the necessity of documentation are proposed. Since, in many indications (especially in the field of oncology) clinics and practices participate not only in clinical trials but also in non-interventional studies, it is proposed to expand the established invest<TextGroup><PlainText>igator</PlainText></TextGroup> seminars with the part &#34;NIS&#34; and thus save both costs and time for all concerned. For projects of a longer duration, the participating sites should be kept abreast of the project status and informed of any pending quality aspect, e.g. by means of a newsletter. </Pgraph><Pgraph>In only 2 cases (&#60;1&#37;), it was found when checking the medical records that a notification of serious adverse events had been missed by oversight. Thus, when carrying out a NIS, the doctors provide excellent quality concerning their professional obligation to notify side effects&#47;unexpected events.</Pgraph><Pgraph>A greater experience in clinics and large specialist practices correlates with &#34;more staff specifically for documentation&#34;. </Pgraph><Pgraph>From our experience so far we can conclude that the quality of data in non-interventional studies &#8211; even though only samples has been controlled &#8211; is close to that of data from clinical (interventional) trials with a degree of consistency up to 95&#37; <TextLink reference="17"></TextLink>. </Pgraph><Pgraph>Using the quality control described in this publication, the quality assurance required in the GEP guidelines can be fulfilled completely and high quality standards thus are established for epidemiological studies <TextLink reference="6"></TextLink>.</Pgraph></TextBlock>
    <TextBlock language="de" linked="yes" name="4 Diskussion">
      <MainHeadline>4 Diskussion</MainHeadline><Pgraph>Bei der Durchf&#252;hrung von qualit&#228;ts&#252;berpr&#252;fenden Ma&#223;nahmen bei Nicht-Interventionellen Studien (NIS) sollte das Prinzip der Nicht-Intervention stets oberstes Gebot sein. Vereinzelt wurden von teilnehmenden &#196;rzten bzw. deren Personal Vorschl&#228;ge zur Konzeption von Dokumentationsb&#246;gen gemacht. Vielfach gab es ein positives Feedback zur Durchf&#252;hrung solcher Ma&#223;nahmen gerade f&#252;r den Bereich der Nicht-Interventionellen Studien. Nach den bisherigen Erfahrungen bei der Terminplanung ist jedoch anzuraten, die zu &#252;berpr&#252;fende Klinik&#47;Praxis bei jedem Kontakt im Vorfeld darauf hinzuweisen, f&#252;r die bevorstehende Qualit&#228;ts&#252;berpr&#252;fung die unterschriebenen Patienteneinverst&#228;ndniserkl&#228;rungen herauszusuchen sowie die Krankenakten bereitzulegen; so kann eine Qualit&#228;ts&#252;berpr&#252;fung vor Ort bei der stets knapp bemessenen Zeit in den Kliniken bzw. Praxen effizient (vor allem zeitsparend) durchgef&#252;hrt werden. Der an einer NIS teilnehmende Arzt sollte bei Vertragsunterzeichnung explizit darauf hingewiesen werden, dass mit seiner Teilnahme m&#246;glicherweise auch eine Qualit&#228;ts&#252;berpr&#252;fung seiner dokumentierten Daten verbunden ist und diese Ma&#223;nahme in seinem Zentrum mit Zeitaufwand verbunden ist. Die Dauer dieser qualit&#228;ts&#252;berpr&#252;fenden Ma&#223;nahme ist bei den Honorar&#252;berlegungen mit zu ber&#252;cksichtigen <TextLink reference="16"></TextLink>. </Pgraph><Pgraph>Um eine umfassende Aufkl&#228;rung hinsichtlich der Aufbewahrungsfristen von Studienunterlagen (bspw. Patienteneinverst&#228;ndniserkl&#228;rungen) bzw. im Hinblick auf den Datenschutz zu erreichen, werden studienspezifische Schulungen bzgl. der Dokumentationsnotwendigkeiten vorgeschlagen. Da in vielen Indikationsgebieten (vor allem im Bereich der Onkologie) Kliniken und Praxen sowohl an Klinischen Pr&#252;fungen als auch an Nicht-Interventionellen Studien teilnehmen, k&#246;nnten Pr&#252;farztseminare um den Part &#8222;Durchf&#252;hrung von NIS&#8220; erweitert werden  Bei l&#228;nger andauernden Projekten sollte der teilnehmende Arzt  bspw. mittels eines Newsletters kontinuierlich &#252;ber den Projektstand und eine evtl. geplante Qualit&#228;ts&#252;berpr&#252;fung informiert werden. </Pgraph><Pgraph>Bei der Kontrolle der Krankenakten bzw. bei nochmaligem Nachfragen hat sich lediglich in 2 F&#228;llen (&#60;1&#37;) herausgestellt, dass eine Meldung von schwerwiegend unerw&#252;nschten Ereignissen versehentlich unterblieben war. Die &#196;rzte kommen also auch bei der Durchf&#252;hrung von NIS ihrer Verpflichtung gem&#228;&#223; Berufsordnung nach, Nebenwirkungen zu melden.</Pgraph><Pgraph>Das &#8222;Mehr an Erfahrung&#8220; in Kliniken und gro&#223;en Facharztpraxen korreliert mit einem &#8222;Mehr an spezifischem Personal f&#252;r die Dokumentation&#8220;. Der hohe &#220;bereinstimmungsgrad (wenig fehlende Daten bzw. inkorrekte Daten) mit bis zu 95&#37; bei Nicht-interventionellen Studien deckt sich &#8211; unerwartet &#8211; mit den Erfahrungen (Auditfindings) aus Klinischen Pr&#252;fungen, die einem Monitoring unterzogen worden waren <TextLink reference="17"></TextLink>. Nach unseren bislang gemachten Erfahrungen entspricht damit die Qualit&#228;t der Daten bei Nicht-Interventionellen Studien &#8211; auch wenn hierbei nur stichprobenartig &#252;berpr&#252;ft wurde &#8211; ann&#228;hernd der Datenqualit&#228;t aus Klinischen (interventionellen) Pr&#252;fungen.</Pgraph><Pgraph>Mit Hilfe der in dieser Publikation beschriebenen Qualit&#228;tsma&#223;nahmen kann die in den GEP-Leitlinien geforderte Qualit&#228;tssicherung bei epidemiologischen Studien vollst&#228;ndig erf&#252;llt werden <TextLink reference="6"></TextLink>.</Pgraph></TextBlock>
    <TextBlock language="en" linked="yes" name="Notes">
      <MainHeadline>Notes</MainHeadline><Pgraph>This publication is partly based on the seminar paper (mentor K. W&#246;rz) &#34;Quality Assurance Measures in Non-interventional Studies by Sanofi-Aventis &#8211; Descriptive Evaluation of Quality Controls in 4 Projects&#34; by Nadine Geisler, Medical Documentation course at the IB-GISmbH Medical Academy, Rostock.</Pgraph><SubHeadline>Competing interests</SubHeadline><Pgraph>The authors declare that they have no competing intere<TextGroup><PlainText>sts.</PlainText></TextGroup></Pgraph></TextBlock>
    <TextBlock language="de" linked="yes" name="Hinweis">
      <MainHeadline>Hinweis</MainHeadline><Pgraph>Grundlage f&#252;r diese Publikation ist &#8211; zumindest teilweise &#8211; die Studienarbeit &#8222;Qualit&#228;tssichernde Ma&#223;nahmen bei Nicht-Interventionellen Studien von Sanofi-Aventis &#8211; <TextGroup><PlainText>Deskriptive</PlainText></TextGroup> Auswertung der Qualit&#228;ts&#252;berpr&#252;fung bei <TextGroup><PlainText>4 Projekten</PlainText></TextGroup>&#8220; von Frau Nadine Geisler, Bildungsgang Medizinische Dokumentation an der IB-GISmbH Medizinische Akademie, Rostock (Betreuer K. W&#246;rz). </Pgraph><SubHeadline>Interessenkonflikte</SubHeadline><Pgraph>Die Autoren erkl&#228;ren, dass sie keine Interessenkonflikte in Zusammenhang mit diesem Artikel haben.</Pgraph></TextBlock>
    <References linked="yes">
      <Reference refNo="1">
        <RefAuthor>B&#252;hler G</RefAuthor>
        <RefAuthor>Wadepuhl M</RefAuthor>
        <RefAuthor>Nandi K</RefAuthor>
        <RefAuthor>Rosenthal J</RefAuthor>
        <RefTitle>Slow-release-Nifedipin in der Hypertoniebehandlung. 24-h-Wirkung (ABDM) auf Blutdruck und Herzfrequenz &#8211; Anwendungsbeobachtung bei 391 Patienten</RefTitle>
        <RefYear>1997</RefYear>
        <RefJournal>Fortschr Med</RefJournal>
        <RefPage>37-8</RefPage>
        <RefTotal>B&#252;hler G, Wadepuhl M, Nandi K, Rosenthal J. Slow-release-Nifedipin in der Hypertoniebehandlung. 24-h-Wirkung (ABDM) auf Blutdruck und Herzfrequenz &#8211; Anwendungsbeobachtung bei 391 Patienten &#91;Slow release nifedipine in treatment of hypertension. 24-hour effect on blood pressure and heart rate &#8211; treatment follow-up of 391 patients&#93;. Fortschr Med. 1997;115(24):37-8.</RefTotal>
      </Reference>
      <Reference refNo="2">
        <RefAuthor>Bundesinstitut f&#252;r Arzneimittel und Medizinprodukte (BfArM)</RefAuthor>
        <RefTitle>Empfehlungen zur Planung, Durchf&#252;hrung und Auswertung von Anwendungsbeobachtungen, 12. November 1998</RefTitle>
        <RefYear>1998</RefYear>
        <RefJournal>BAnz</RefJournal>
        <RefPage>16884</RefPage>
        <RefTotal>Bundesinstitut f&#252;r Arzneimittel und Medizinprodukte (BfArM). Empfehlungen zur Planung, Durchf&#252;hrung und Auswertung von Anwendungsbeobachtungen, 12. November 1998. BAnz. 1998;229:16884.</RefTotal>
      </Reference>
      <Reference refNo="3">
        <RefAuthor>Verband Forschender Arzneimittelhersteller e.V. (VFA)</RefAuthor>
        <RefTitle>VFA-Empfehlungen zur Verbesserung der Qualit&#228;t und Transparenz von nicht-interventionellen Studien &#91;31 Januar 2007&#93;</RefTitle>
        <RefYear></RefYear>
        <RefTotal>Verband Forschender Arzneimittelhersteller e.V. (VFA). VFA-Empfehlungen zur Verbesserung der Qualit&#228;t und Transparenz von nicht-interventionellen Studien &#91;31. Januar 2007&#93;. 2007. Available from: http:&#47;&#47;www.akstudien.de&#47;upload&#47;docs&#47;vfa-empfehlungen-zu-nis.pdf</RefTotal>
        <RefLink>http:&#47;&#47;www.akstudien.de&#47;upload&#47;docs&#47;vfa-empfehlungen-zu-nis.pdf</RefLink>
      </Reference>
      <Reference refNo="4">
        <RefAuthor>FS Arzneimittelindustrie  e.V.</RefAuthor>
        <RefTitle></RefTitle>
        <RefYear></RefYear>
        <RefBookTitle>Kodex f&#252;r die Zusammenarbeit bei der pharmazeutischen Industrie mit &#196;rzten, Apothekern und anderen Angeh&#246;rigen medizinsicher Fachkreise in der Neuauflage vom M&#228;rz 2010</RefBookTitle>
        <RefPage></RefPage>
        <RefTotal>FS Arzneimittelindustrie e.V. Kodex f&#252;r die Zusammenarbeit bei der pharmazeutischen Industrie mit &#196;rzten, Apothekern und anderen Angeh&#246;rigen medizinsicher Fachkreise in der Neuauflage vom M&#228;rz 2010. 2010. Available from: http:&#47;&#47;www.fs-arzneimittelindustrie.de&#47;FSA.nsf&#47;0&#47;E264D1677C4ECAB680256FC5003401AF&#47;&#36;file&#47;Kodex&#37;20Fachkreise&#95;271109&#95;Web.pdf</RefTotal>
        <RefLink>http:&#47;&#47;www.fs-arzneimittelindustrie.de&#47;FSA.nsf&#47;0&#47;E264D1677C4ECAB680256FC5003401AF&#47;&#36;file&#47;Kodex&#37;20Fachkreise&#95;271109&#95;Web.pdf</RefLink>
      </Reference>
      <Reference refNo="5">
        <RefAuthor>Eberhardt R</RefAuthor>
        <RefAuthor>Kori-Lindner C</RefAuthor>
        <RefAuthor>Stammer H</RefAuthor>
        <RefTitle>Nicht-interventionelle Untersuchungen (qualifizierte Anwendungsbeobachtungen)</RefTitle>
        <RefYear>2006</RefYear>
        <RefJournal>Pharm Ind</RefJournal>
        <RefPage>542-50</RefPage>
        <RefTotal>Eberhardt R, Kori-Lindner C, Stammer H. Nicht-interventionelle Untersuchungen (qualifizierte Anwendungsbeobachtungen). Pharm Ind. 2006;68(5):542-50.</RefTotal>
      </Reference>
      <Reference refNo="6">
        <RefAuthor>Arbeitsgruppe Epidemiologische Methoden der Deutschen Arbeitsgemeinschaft f&#252;r epidemiologie (DAE)</RefAuthor>
        <RefTitle></RefTitle>
        <RefYear>April 2004</RefYear>
        <RefBookTitle>Leitlinien und Empfehlungen zur Sicherung von Guter Epidemiologischer Praxis (GEP)</RefBookTitle>
        <RefPage></RefPage>
        <RefTotal>Arbeitsgruppe Epidemiologische Methoden der Deutschen Arbeitsgemeinschaft f&#252;r Epidemiologie (DAE). Leitlinien und Empfehlungen zur Sicherung von Guter Epidemiologischer Praxis (GEP). &#91;Stand: April 2004&#93;. Available from: http:&#47;&#47;www.gesundheitsforschung-bmbf.de&#47;&#95;media&#47;Empfehlungen&#95;GEP.pdf</RefTotal>
        <RefLink>http:&#47;&#47;www.gesundheitsforschung-bmbf.de&#47;&#95;media&#47;Empfehlungen&#95;GEP.pdf</RefLink>
      </Reference>
      <Reference refNo="7">
        <RefAuthor>Bundesinstitut f&#252;r Arzneimittel und Medizinprodukte (BfArM)</RefAuthor>
        <RefAuthor> Paul-Ehrlich-Institut (PEI)</RefAuthor>
        <RefTitle>Empfehlungen des Bundesinstituts f&#252;r Arzneimittel und Medizinprodukte und des Paul-Ehrlich-Instituts zur Planung, Durchf&#252;hrung und Auswertung von Anwendungsbeobachtungen vom 7. Juli 2010</RefTitle>
        <RefYear>2010</RefYear>
        <RefTotal>Bundesinstitut f&#252;r Arzneimittel und Medizinprodukte (BfArM); Paul-Ehrlich-Institut (PEI). Empfehlungen des Bundesinstituts f&#252;r Arzneimittel und Medizinprodukte und des Paul-Ehrlich-Instituts zur Planung, Durchf&#252;hrung und Auswertung von Anwendungsbeobachtungen vom 7. Juli 2010. 2010. Available from: http:&#47;&#47;www.bfarm.de&#47;SharedDocs&#47;5&#95;Bekanntmachungen&#47;DE&#47;Arzneimittel&#47;klinPr&#47;bm-KlinPr-20100707-NichtinterventePr-pdf.pdf&#63;&#95;&#95;blob&#61;publicationFile</RefTotal>
        <RefLink>http:&#47;&#47;www.bfarm.de&#47;SharedDocs&#47;5&#95;Bekanntmachungen&#47;DE&#47;Arzneimittel&#47;klinPr&#47;bm-KlinPr-20100707-NichtinterventePr-pdf.pdf&#63;&#95;&#95;blob&#61;publicationFile</RefLink>
      </Reference>
      <Reference refNo="8">
        <RefAuthor>European Parliament</RefAuthor>
        <RefTitle></RefTitle>
        <RefYear>2008</RefYear>
        <RefBookTitle>EudraLex &#8211; Volume 9A: Guidelines on Pharmacovigilance for Medicinal Products for Human Use</RefBookTitle>
        <RefPage></RefPage>
        <RefTotal>European Parliament. EudraLex &#8211; Volume 9A: Guidelines on Pharmacovigilance for Medicinal Products for Human Use. September 2008. Available from: http:&#47;&#47;ec.europa.eu&#47;health&#47;files&#47;eudralex&#47;vol-9&#47;pdf&#47;vol9a&#95;09-2008&#95;en.pdf</RefTotal>
        <RefLink>http:&#47;&#47;ec.europa.eu&#47;health&#47;files&#47;eudralex&#47;vol-9&#47;pdf&#47;vol9a&#95;09-2008&#95;en.pdf</RefLink>
      </Reference>
      <Reference refNo="9">
        <RefAuthor>Hahn M</RefAuthor>
        <RefAuthor>Bethke TD</RefAuthor>
        <RefAuthor>Hecht A</RefAuthor>
        <RefAuthor>Henn D</RefAuthor>
        <RefAuthor>Ruppert T</RefAuthor>
        <RefAuthor>Hundt F</RefAuthor>
        <RefTitle>Qualit&#228;tssichernde Ma&#223;nahmen in nicht-interventionellen Studien: Ergebnisse einer Umfrage unter den Mitgliedsunternehmen des Verbandes Forschender Arzneimittelhersteller</RefTitle>
        <RefYear>2008</RefYear>
        <RefJournal>GMS Ger Med Sci</RefJournal>
        <RefPage>Doc12</RefPage>
        <RefTotal>Hahn M, Bethke TD, Hecht A, Henn D, Ruppert T, Hundt F. Qualit&#228;tssichernde Ma&#223;nahmen in nicht-interventionellen Studien: Ergebnisse einer Umfrage unter den Mitgliedsunternehmen des Verbandes Forschender Arzneimittelhersteller &#91;Quality assurance measures in non interventional studies: Results of a survey among the members of the Assiciation of Research-based Pharmaceutical Companies&#93;. GMS Ger Med Sci. 2008;6:Doc12. Available from: http:&#47;&#47;www.egms.de&#47;static&#47;en&#47;journals&#47;gms&#47;2008-6&#47;000057.shtml</RefTotal>
        <RefLink>http:&#47;&#47;www.egms.de&#47;static&#47;en&#47;journals&#47;gms&#47;2008-6&#47;000057.shtml</RefLink>
      </Reference>
      <Reference refNo="10">
        <RefAuthor>Hahn M</RefAuthor>
        <RefAuthor>Ruppert T</RefAuthor>
        <RefAuthor>Bethke TD</RefAuthor>
        <RefAuthor>Hundt F</RefAuthor>
        <RefTitle>Ergebnisse einer Umfrage zu angewandten Qualit&#228;tsstandards in nicht-interventionellen Studien unter den Mitgliedsunternehmen des Verbandes der forschenden Pharma-Unternehmen in Deutschland</RefTitle>
        <RefYear>2010</RefYear>
        <RefJournal>GMS Ger Med Sci</RefJournal>
        <RefPage>Doc29</RefPage>
        <RefTotal>Hahn M, Ruppert T, Bethke TD, Hundt F. Ergebnisse einer Umfrage zu angewandten Qualit&#228;tsstandards in nicht-interventionellen Studien unter den Mitgliedsunternehmen des Verbandes der forschenden Pharma-Unternehmen in Deutschland &#91;Results of a survey on applied quality standards in non-interventional studies among the members of the German Association of Research-based Pharmaceutical Companies&#93;. GMS Ger Med Sci. 2010;8:Doc29. DOI: 10.3205&#47;000118</RefTotal>
        <RefLink>http:&#47;&#47;dx.doi.org&#47;10.3205&#47;000118</RefLink>
      </Reference>
      <Reference refNo="11">
        <RefAuthor>Gliklich RE</RefAuthor>
        <RefAuthor>Dreyer NA</RefAuthor>
        <RefTitle></RefTitle>
        <RefYear>September 2010</RefYear>
        <RefBookTitle>Registries for Evaluating Patient Outcomes: A User&#39;s Guide</RefBookTitle>
        <RefPage></RefPage>
        <RefTotal>Gliklich RE, Dreyer NA, eds. Registries for Evaluating Patient Outcomes: A User&#39;s Guide. 2nd ed. Rockville, MD: Agency for Healthcare Research and Quality Publication; September 2010. (AHRQ Publication;10-EHC049). Available from: http:&#47;&#47;www.effectivehealthcare.ahrq.gov&#47;ehc&#47;products&#47;74&#47;531&#47;Registries&#37;202nd&#37;20ed&#37;20final&#37;20to&#37;20Eisenberg&#37;209-15-10.pdf</RefTotal>
        <RefLink>http:&#47;&#47;www.effectivehealthcare.ahrq.gov&#47;ehc&#47;products&#47;74&#47;531&#47;Registries&#37;202nd&#37;20ed&#37;20final&#37;20to&#37;20Eisenberg&#37;209-15-10.pdf</RefLink>
      </Reference>
      <Reference refNo="12">
        <RefAuthor>Theobald K</RefAuthor>
        <RefAuthor>Capan M</RefAuthor>
        <RefAuthor>Herbold M</RefAuthor>
        <RefAuthor>Schinzel S</RefAuthor>
        <RefAuthor>Hundt F</RefAuthor>
        <RefTitle>Qualit&#228;tssichernde Ma&#223;nahmen bei nicht-interventionellen Studien</RefTitle>
        <RefYear>2009</RefYear>
        <RefJournal>GMS Ger Med Sci</RefJournal>
        <RefPage>Doc29</RefPage>
        <RefTotal>Theobald K, Capan M, Herbold M, Schinzel S, Hundt F. Qualit&#228;tssichernde Ma&#223;nahmen bei nicht-interventionellen Studien &#91;Quality assurance in non-interventional studies&#93;. GMS Ger Med Sci. 2009;7:Doc29. DOI: 10.3205&#47;000088</RefTotal>
        <RefLink>http:&#47;&#47;dx.doi.org&#47;10.3205&#47;000088</RefLink>
      </Reference>
      <Reference refNo="13">
        <RefAuthor>Bundesinstitut f&#252;r Arzneimittel und Medizinprodukte (BfArM)</RefAuthor>
        <RefAuthor> Paul-Ehrlich-Institut (PEI)</RefAuthor>
        <RefTitle></RefTitle>
        <RefYear>2007</RefYear>
        <RefBookTitle>Gemeinsame Empfehlungen des Bundesinstituts f&#252;r Arzneimittel und Medizinprodukte und des Paul-Ehrlich-Instituts zur Planung, Durchf&#252;hrung und Auswertung von Anwendungsbeobachtungen (Entwurfsfassung vom 9 Mai 2007 zur Kommentierung durch die Fach&#246;ffentlichkeit)</RefBookTitle>
        <RefPage></RefPage>
        <RefTotal>Bundesinstitut f&#252;r Arzneimittel und Medizinprodukte (BfArM); Paul-Ehrlich-Institut (PEI). Gemeinsame Empfehlungen des Bundesinstituts f&#252;r Arzneimittel und Medizinprodukte und des Paul-Ehrlich-Instituts zur Planung, Durchf&#252;hrung und Auswertung von Anwendungsbeobachtungen (Entwurfsfassung vom 9. Mai 2007 zur Kommentierung durch die Fach&#246;ffentlichkeit). 2007. Available from http:&#47;&#47;www.akstudien.de&#47;upload&#47;docs&#47;Bfarm&#95;PEI&#95;AWB.pdf</RefTotal>
        <RefLink>http:&#47;&#47;www.akstudien.de&#47;upload&#47;docs&#47;Bfarm&#95;PEI&#95;AWB.pdf</RefLink>
      </Reference>
      <Reference refNo="14">
        <RefAuthor>Schinzel S</RefAuthor>
        <RefAuthor>Hundt F</RefAuthor>
        <RefAuthor>Theobald KH</RefAuthor>
        <RefAuthor>Theis F</RefAuthor>
        <RefAuthor>Buchmann A</RefAuthor>
        <RefAuthor>Herbold M</RefAuthor>
        <RefTitle>CRO Precontract Audits</RefTitle>
        <RefYear>2009</RefYear>
        <RefJournal>Applied Clinical Trials online</RefJournal>
        <RefPage></RefPage>
        <RefTotal>Schinzel S, Hundt F, Theobald KH, Theis F, Buchmann A, Herbold M. CRO Precontract Audits. Applied Clinical Trials online. 2009. Available from: http:&#47;&#47;appliedclinicaltrialsonline.findpharma.com&#47;appliedclinicaltrials&#47;Online&#43;Extras&#47;CRO-Precontract-Audits&#47;ArticleStandard&#47;Article&#47;detail&#47;600000</RefTotal>
        <RefLink>http:&#47;&#47;appliedclinicaltrialsonline.findpharma.com&#47;appliedclinicaltrials&#47;Online&#43;Extras&#47;CRO-Precontract-Audits&#47;ArticleStandard&#47;Article&#47;detail&#47;600000</RefLink>
      </Reference>
      <Reference refNo="15">
        <RefAuthor>Theis F</RefAuthor>
        <RefAuthor>Hundt F</RefAuthor>
        <RefTitle>Qualit&#228;tssichernde Ma&#223;nahmen beim Ausgliedern von Aufgaben aus dem Bereich der Klinischen Forschung an ein Auftragsforschungsinstitut</RefTitle>
        <RefYear>2011</RefYear>
        <RefJournal>Pharm Ind</RefJournal>
        <RefPage>242-7</RefPage>
        <RefTotal>Theis F, Hundt F. Qualit&#228;tssichernde Ma&#223;nahmen beim Ausgliedern von Aufgaben aus dem Bereich der Klinischen Forschung an ein Auftragsforschungsinstitut. Pharm. Ind. 2011;73(2):242-7.</RefTotal>
      </Reference>
      <Reference refNo="16">
        <RefAuthor>Koyuncu A</RefAuthor>
        <RefTitle>Vertragsgestaltung und &#196;rzteverg&#252;tung bei Anwendungsbeobachtungen und anderen nichtinterventionellen Studien</RefTitle>
        <RefYear>2009</RefYear>
        <RefJournal>Dtsch Z klin Forsch</RefJournal>
        <RefPage>54-61</RefPage>
        <RefTotal>Koyuncu A. Vertragsgestaltung und &#196;rzteverg&#252;tung bei Anwendungsbeobachtungen und anderen nichtinterventionellen Studien. Dtsch Z klin Forsch. 2009;3&#47;4:54-61. Available from: http:&#47;&#47;www.brainguide.de&#47;upload&#47;publication&#47;a6&#47;onh2&#47;c8362fdc01e665c318566b7f57783b94&#95;1311535527.pdf</RefTotal>
        <RefLink>http:&#47;&#47;www.brainguide.de&#47;upload&#47;publication&#47;a6&#47;onh2&#47;c8362fdc01e665c318566b7f57783b94&#95;1311535527.pdf</RefLink>
      </Reference>
      <Reference refNo="17">
        <RefAuthor>Gertzen H</RefAuthor>
        <RefTitle></RefTitle>
        <RefYear>2011</RefYear>
        <RefBookTitle>Personal communication</RefBookTitle>
        <RefPage></RefPage>
        <RefTotal>Gertzen H. Personal communication. March 2011.</RefTotal>
      </Reference>
    </References>
    <Media>
      <Tables>
        <Table format="png">
          <MediaNo>1</MediaNo>
          <MediaID language="en">1en</MediaID>
          <MediaID language="de">1de</MediaID>
          <Caption language="en"><Pgraph><Mark1>Table 1: On-site quality control form (patient)</Mark1></Pgraph></Caption>
          <Caption language="de"><Pgraph><Mark1>Tabelle 1: Patientendaten-&#220;berpr&#252;fung</Mark1></Pgraph></Caption>
        </Table>
        <Table format="png">
          <MediaNo>2</MediaNo>
          <MediaID language="en">2en</MediaID>
          <MediaID language="de">2de</MediaID>
          <Caption language="en"><Pgraph><Mark1>Table 2: Quality control measures for NIS</Mark1></Pgraph></Caption>
          <Caption language="de"><Pgraph><Mark1>Tabelle 2: Qualit&#228;ts&#252;berpr&#252;fende Ma&#223;nahmen bei NIS</Mark1></Pgraph></Caption>
        </Table>
        <Table format="png">
          <MediaNo>3</MediaNo>
          <MediaID language="en">3en</MediaID>
          <MediaID language="de">3de</MediaID>
          <Caption language="en"><Pgraph><Mark1>Table 3: Consistency</Mark1></Pgraph></Caption>
          <Caption language="de"><Pgraph><Mark1>Tabelle 3: Datenqualit&#228;t</Mark1></Pgraph></Caption>
        </Table>
        <Table format="png">
          <MediaNo>4</MediaNo>
          <MediaID language="en">4en</MediaID>
          <MediaID language="de">4de</MediaID>
          <Caption language="en"><Pgraph><Mark1>Table 4: Study center details</Mark1></Pgraph></Caption>
          <Caption language="de"><Pgraph><Mark1>Tabelle 4: Studienzentren</Mark1></Pgraph></Caption>
        </Table>
        <NoOfTables>4</NoOfTables>
      </Tables>
      <Figures>
        <NoOfPictures>0</NoOfPictures>
      </Figures>
      <InlineFigures>
        <NoOfPictures>0</NoOfPictures>
      </InlineFigures>
      <Attachments>
        <Attachment>
          <MediaNo>1</MediaNo>
          <MediaID filename="000144.a1.pdf" mimeType="application/pdf" origFilename="QoLiTaX-Newsletter.pdf" size="165458" url="">1</MediaID>
          <AttachmentTitle language="en">QoLiTax-Newsletter (in German language)</AttachmentTitle>
          <AttachmentTitle language="de">QoLiTax-Newsletter</AttachmentTitle>
        </Attachment>
        <NoOfAttachments>1</NoOfAttachments>
      </Attachments>
    </Media>
  </OrigData>
</GmsArticle>