Empfehlungen zur Implementierung von KI-Anwendungen in deutschen (Universitäts-)Kliniken

mibe000294 10.3205/mibe000294 urn:nbn:de:0183-mibe0002943 GMDS-Verlautbarung Empfehlungen zur Implementierung von KI-Anwendungen in deutschen (Universitäts-)Kliniken Recommendations for the implementation of AI applications in German (university) hospitals Prokosch Prokosch Hans-Ulrich HU Prof. Dr.

Lehrstuhl für Medizinische Informatik, Friedrich-Alexander-Universität Erlangen-Nürnberg, Erlangen, DeutschlandLehrstuhl für Medizinische Informatik, Friedrich-Alexander-Universität Erlangen-Nürnberg, Erlangen, Deutschland

Hans-Ulrich.Prokosch@uk-erlangen.de author Jung Jung Klaus K

Institut für Tiergenomik, Tierärztliche Hochschule Hannover, Deutschland

author Sax Sax Ulrich U

Institut für Medizinische Informatik, Universitätsmedizin Göttingen, Deutschland

author Scherag Scherag André A

Institut für Medizinische Statistik, Informatik und Datenwissenschaften, Universitätsklinikum Jena, Deutschland

author Röhrig Röhrig Rainer R

Institut für Medizinische Informatik, Uniklinik RWTH Aachen, Deutschland

author German Medical Science GMS Publishing House

Düsseldorf

610 AI model development AI implementation AI governance KI-Modell-Entwicklungen KI-Implementierung KI-Governance KI in der Medizin 20251217 germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 1860-9171 21 GMS Medizinische Informatik, Biometrie und Epidemiologie GMS Med Inform Biom Epidemiol 22 Die in den letzten Jahren rasant zunehmende Leistungsfähigkeit moderner KI-Technologien und die immer größer werdende Verfügbarkeit medizinischer Daten hat sowohl den Wunsch als auch den Druck erhöht, KI vermehrt einzusetzen, um medizinische Diagnosen und Vorhersagen zu verbessern sowie klinische Arbeitsprozesse zu erleichtern. Datenquellen, die z.B. im Rahmen der deutschen Medizininformatik-Initiative oder dem Netzwerk Universitätsmedizin entstehen werden vielfach schon für KI-Modellentwicklungen genutzt. Zahlreiche Publikationen belegen eindrucksvoll die große Zahl exzellenter Forschungsergebnisse, die in Deutschland in den letzten Jahren erzielt und veröffentlicht wurden. Der Schritt zur letztendlichen Einführung, Inbetriebnahme und praktischen Nutzung dieser KI-Modelle in der medizinischen und pflegerischen Versorgung gelingt in Deutschland bisher aber noch viel zu selten. Die GMDS plädiert deshalb für eine deutliche Stärkung der translationalen Forschung, die auf eine erfolgreiche KI-Implementierung abzielt. Sie möchte mit den hier vorgelegten sechs Handlungsempfehlungen die Etablierung geeigneter Strukturen und Prozesse zur Steuerung und Überwachung von KI-Anwendungen (KI-Governance) an deutschen (Universitäts-)Kliniken anstoßen, damit Ärztinnen, Ärzte und Forschende durch klare Richtlinien und Checklisten Unterstützung erhalten, um vertrauenswürdige KI-Lösungen sicher einzuführen und zu betreiben. In recent years, the rapidly increasing capabilities of modern AI technologies and the ever-growing availability of medical data have both driven the desire and increased the pressure to use AI more extensively to improve medical diagnoses and predictions, as well as to facilitate clinical workflows. Data sources, such as those emerging within the framework of the German Medical Informatics Initiative or the University Medicine Network, are already widely used for AI model development. Numerous publications provide impressive evidence of the large number of excellent research results that have been achieved and published in Germany in recent years. However, the step towards the ultimate implementation, deployment, and practical use of these AI models in medical and nursing care has so far been achieved far too rarely in Germany. Therefore, the GMDS advocates for a significant strengthening of translational research aimed at successful AI implementation. With the six recommendations presented here, it seeks to initiate the establishment of appropriate structures and processes for the management and monitoring of AI applications (AI governance) at German (university) hospitals, so that physicians and researchers receive support through clear guidelines and checklists in order to safely introduce and operate trustworthy AI solutions. EmpfehlungenDie in den letzten Jahren deutlich stärker gewordene Leistungsfähigkeit moderner KI-Technologien hat sowohl den Wunsch als auch den Druck erhöht, KI vermehrt einzusetzen, um medizinische Diagnosen und Vorhersagen zu verbessern sowie weitere klinische Arbeitsprozesse zu erleichtern, etwa die Dokumentation von Behandlungen. Daneben haben große Fördermaßnahmen erheblich zur Datengrundlage für die Entwicklung und Einführung von KI-Anwendungen in der Medizin beigetragen.Mit der Förderung der Medizininformatik-Initiative (MII) und dem Aufbau von Datenintegrationszentren (DIZ) an allen deutschen Universitätskliniken sowie deren Vernetzung über das nationale Forschungsdatenportal für Gesundheit (FDPG) hat das BMBF/BMFTR eine wichtige Grundlage geschaffen, um klinische Krankenversorgungsdaten aus den Universitätskliniken zu erschließen und diese in einer harmonisierten Form für großvolumige Forschungsprojekte über einen zentralen Zugangspunkt verfügbar zu machen.Die Förderung des Netzwerks Universitätsmedizin (NUM) hat darüber hinaus dazu geführt, dass weitere Datenbereiche (u.a. radiologische Bilder, Omics-Daten, Daten aus klinischen Studien) mit den Versorgungsdaten aus den Universitätskliniken verknüpft und für die medizinische Forschung bereitgestellt werden können.Diese Daten werden bereits intensiv, u.a. auch für die Entwicklung von KI-Modellen, genutzt.Zahlreiche aktuelle Publikationen zeigen eindrucksvoll, dass in Deutschland in den letzten Jahren eine große Zahl hervorragender KI-Forscherinnen und -Forscher aus unterschiedlichen Disziplinen erfolgreich innovative Modelle entwickelt, trainiert und in führenden internationalen Fachzeitschriften publiziert hat. Diese Arbeiten erreichen vielfach exzellente Ergebnisse und genießen international hohe Anerkennung. Dennoch gelingt es bislang nur selten, den letzten Schritt zur Einführung, Inbetriebnahme und praktischen Nutzung dieser KI-Modelle konsequent umzusetzen: Nahezu alle Publikationen enden mit einem Hinweis auf Limitationen, die unter anderem auf eine zu geringe Menge an Trainingsdaten, nicht repräsentative Datensätze, fehlende externe Validierung der Modelle oder auf regulatorische Hürden zurückzuführen sind. Dies bietet zwar das Potential für weitergehende Forschung zur Modellverbesserung, führt aber eben nicht zur Routinenutzung der entwickelten und publizierten Modelle.Die GMDS sieht es als unerlässlich an, verstärkt Anstrengungen in die praktische Umsetzung und den dauerhaften Betrieb von KI-Modellen in deutschen (Universitäts-)Kliniken zu investieren. Dafür sollten geeignete Strukturen zur Steuerung und Überwachung von KI-Anwendungen (KI-Governance) aufgebaut werden. Diese Strukturen sollen Ärztinnen, Ärzten und Forschenden durch klare Richtlinien und Checklisten helfen, vertrauenswürdige KI-Lösungen sicher einzuführen und zu betreiben.Wir benötigen deutlich mehr translationale Forschung, die auf eine erfolgreiche KI-Implementierung abzielt, auch wenn die Hürden hier viel höher sind als für die KI-Modell-Entwicklung. Der aktuelle Stopp von KI-Systemen zur Transkription medizinischer Texte in Großbritannien – aufgrund von Defiziten im Stand der Technik und der Nichteinhaltung regulatorischer Vorgaben , – zeigt deutlich, dass mangelnde Investitionssicherheit ein zentrales und bislang oft unterschätztes Risiko bei KI-Projekten darstellt. Dies darf kein Argument gegen den Einsatz von KI sein. Vielmehr macht es deutlich, dass (Universitäts-)Kliniken eine zentrale und klar strukturierte KI-Strategie benötigen, die auf Vorstandsebene verankert ist und klare Schritte bei der Entwicklung, der Evaluation, dem Betrieb und der Überwachung der Systeme im Betrieb vorschreibt sowie die dafür notwendige Infrastruktur bereitstellt.Zu diesem Zweck empfiehlt die GMDS den Aufbau sogenannter „Living Labs“ an (Universitäts-)Kliniken. Diese interdisziplinären Reallabore sind notwendig, um KI-Anw</PlainText></TextGroup>endungen unter realen Bedingungen zu entwickeln, zu validieren und kontinuierlich zu überwachen. So kann gewährleistet werden, dass der Einsatz von KI dem Wohl der Patientinnen und Patienten in der Gesundheitsversorgung dient und die regulatorischen Anforderungen erfüllt werden können.</Pgraph><Pgraph>Handlungsempfehlungen:</Pgraph><Pgraph><OrderedList><ListItem level="1" levelPosition="1" numString="1.">(Universitäts-)Kliniken müssen <Mark1>KI-Governance</Mark1> mit klaren Strukturen sowie definierten Aufgaben, Kompetenzen, Verantwortungsbereichen und Prozessen <Mark1>etablieren</Mark1>, um sicherzustellen, dass in der Routine genutzte KI-Implementierungen vertrauenswürdig sind. Es sind Anforderungen zu definieren, die transparent kommuniziert werden und deren Erfüllung durch Checklisten zu prüfen ist. </ListItem><ListItem level="1" levelPosition="2" numString="2.">(Universitäts-)Kliniken müssen über ein <Mark1>Change Advisory Board (CAB) für die digitale Infrastruktur</Mark1> verfügen, in dem auch die Kompetenz zur Beurteilung von KI-Systemen vertreten ist. Es ist die Position eines/einer <Mark1>KI-Beauftragten (CAIO)</Mark1> einzurichten, die auf die Kompetenzen eines interdisziplinären Teams aus Medizinischer Informatik, Biometrie, Bioinformatik, Regulatory Affairs, Routine-IT und gegebenenfalls weiterer Expertinnen und Experten zurückgreifen können muss. Im Gegensatz zu den Vorgaben im Kriterienkatalog des BSI zur Integration von extern bereitgestellten generativen KI-Modellen in eigene Anwendungen (<Mark2>„Die Einrichtung MUSS einer/einem Mitarbeitenden die Rolle der/des KI-Zuständigen zuweisen. Es KANN sich hierbei um die/den IT-Sicherheitsbeauftragte/n handeln.“</Mark2> <TextLink reference="3"></TextLink>), sind wir der Meinung, dass die reine Verknüpfung dieser Person mit den Kompetenzen eines/einer IT-Sicherheitsbeauftragten für ein Universitätsklinikum nicht ausreichend ist.</ListItem><ListItem level="1" levelPosition="3" numString="3.">Für KI-Systeme gelten die gleichen <Mark1>Sorgfaltsprinzipien und Anforderungen an den System-Life-Cycle</Mark1> wie für alle anderen IT-Systeme. Zur Sicherstellung der (Patienten-)Sicherheit und der Performance der Systeme sollten (Universitäts-)Kliniken daher u.a. die folgenden Maßnahmen umsetzen:<LineBreak></LineBreak>a. Werden KI-Systeme bzw. medizinische Software inhouse entwickelt, sollten die (Universitäts-)Kliniken <Mark1>eine qualifizierte Person</Mark1> etablieren, die für die Einhaltung der regulatorischen Anforderungen verantwortlich ist, bei Eigenentwicklungen die Einhaltung des Stands der Technik sicherstellt sowie für die kontinuierliche Überwachung im Einsatz befindlicher KI- und Softwa<TextGroup><PlainText>r</PlainText></TextGroup>e-Lösungen zuständig ist.<LineBreak></LineBreak>Diese Person sollte unabhängig von den jeweiligen Entwicklungsteams sein und direkt an den Vorstand berichten. Zur Berücksichtigung berufsrechtlicher und berufsethischer Belange bei Forschungsvorhaben ist eine Abstimmung mit der jeweils zuständigen Ethikkommission erforderlich.<LineBreak></LineBreak>b. Es sind vor der Inbetriebnahme von KI-Systemen oder deren Updates <Mark1>obligatorische Integrationstests</Mark1> in die bereits vorhandene IT-Infrastruktur durchzuführen. Daher sollten (Universitäts-)Kliniken KI-Implementierungslabore (Reallabore, Living Labs) einrichten, um die Validierung, Zertifizierung und Implementierung von vertrauenswürdigen KI-Anwendungen zu unterstützen. Dies umfasst sowohl den Test mit Realdaten, wie auch die Interaktionen mit denjenigen IT-Systemen, die ggf. Daten aus den KI-Systemen weiterverarbeiten. Dies sollte eine interdisziplinäre, synergetische Anstrengung von akademischen Instituten und der Routine-IT sein.</ListItem><ListItem level="1" levelPosition="4" numString="4.">(Universitäts-)Kliniken müssen ein von den Entwicklerinnen und Entwicklern sowie den Eigenherstellern und Eigenherstellerinnen unabhängiges <Mark1>Vigilanzsys</Mark1><TextGroup><Mark1>t</Mark1></TextGroup><Mark1>em</Mark1> für den Betrieb implementieren, welches Vorkommnisse und kritische Ereignisse analysiert, mit den Entwicklungsteams und Herstellern bzw. den Betreiberinnen und Betreibern kommuniziert und sicherstellt, das geeignete korrektive Maßnahmen ergriffen und umgesetzt werden, sowie deren Wirksamkeit prüfen und bewerten. Darüber hinaus ist ein Gremium erforderlich, welches die in der klinischen Routine gesammelten Erfahrungen hinsichtlich dem Leistungsversprechen der Systeme bewertet. </ListItem><ListItem level="1" levelPosition="5" numString="5.">(Universitäts-)Kliniken müssen ein mehrstufiges <Mark1>Aus- und Weiterbildungsprogramm</Mark1> zur KI-Kompetenz implementieren, welches die unterschiedlichen Kompetenzerfordernisse der verschiedenen Personengruppen innerhalb eines Krankenhauses berücksichtigt (vgl. hierzu auch EU AI-Akt Art. 4).</ListItem><ListItem level="1" levelPosition="6" numString="6.">Im <Mark1>Lehrangebot für Medizinstudierende</Mark1> müssen an den deutschen Medizinischen Fakultäten Schulungsinhalte zum Verständnis von KI-Grundkonzepten, sowie damit verbundener Optionen, aber auch verbleibender Risiken etabliert werden. Dies könnte z.B. durch den Querschnittsbereich 1 „Epidemiologie, Medizinische Biometrie und Medizinische Informatik“ geschehen. In das Medizinstudium sollten Lernziele aufgenommen werden, die ein grundlegendes Verständnis über die Funktionsweise verschiedener KI-Methoden vermitteln. Dabei ist insbesondere deren Anwendung in medizinischen Entscheidungsprozessen, in der Organisation des Gesundheitswesens sowie in der Forschung und Lehre zu berücksichtigen. Die Studierenden sollen sowohl die Stärken und Schwächen der jeweiligen Technologien als auch die damit verbundenen ethischen und rechtlichen Herausforderungen verstehen. Zudem ist die persönliche Verantwortung bei der Anwendung von KI-Systemen im medizinischen Kontext kritisch zu reflektieren. </ListItem></OrderedList></Pgraph><Pgraph>Die Empfehlungen gelten auch für Institutionen mit einem Auftrag zu Forschung, Lehre und Krankenversorgung in anderen Gesundheitsberufen (z.B. Zahnmedizin, Pflege, Logopädie, Physiotherapie, Geburtshilfe). Bei dem Aufbau der Infrastruktur sollten unter dem Aspekt „One Health“ auch die Anforderungen der Veterinärmedizin berücksichtigt werden. </Pgraph></TextBlock> <TextBlock name="Anmerkungen" linked="yes"> <MainHeadline>Anmerkungen</MainHeadline><SubHeadline>Erstellung und Konsensprozess des Empfehlungsschreibens</SubHeadline><Pgraph>Aus dem Präsidium der GMDS heraus hat sich eine kleine Arbeitsgruppe gebildet, die diese Empfehlungen aufgesetzt hat. Anschließend wurde die finale Version dem gesamten Präsidium vorgelegt und im Rahmen eines Umlaufbeschlusses am 29. Juli 2025 einstimmig zur Veröffentlichung freigegeben.</Pgraph><SubHeadline>Interessenkonflikte</SubHeadline><Pgraph>Die Autoren erklären, dass sie keine Interessenkonflikte in Zusammenhang mit diesem Artikel haben.</Pgraph></TextBlock> <References linked="yes"> <Reference refNo="3"> <RefAuthor>Bundesamt für Sicherheit in der Informationstechnik (BSI)</RefAuthor> <RefTitle></RefTitle> <RefYear></RefYear> <RefBookTitle>Kriterienkatalog des BSI zur Integration von extern bereitgestellten generativen KI-Modellen in eigene Anwendungen</RefBookTitle> <RefPage></RefPage> <RefTotal>Bundesamt für Sicherheit in der Informationstechnik (BSI). Kriterienkatalog des BSI zur Integration von extern bereitgestellten generativen KI-Modellen in eigene Anwendungen. Version 1.0. [updated 2025 Jun 6; cited 2025 Nov 1]. Available from: https://www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/KI/Kriterienkatalog_KI-Modelle_Bundesverwaltung.pdf?__blob=publicationFile&v=3</RefTotal> <RefLink>https://www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/KI/Kriterienkatalog_KI-Modelle_Bundesverwaltung.pdf?__blob=publicationFile&v=3</RefLink> </Reference> <Reference refNo="1"> <RefAuthor>National Health Service (NHS)</RefAuthor> <RefTitle></RefTitle> <RefYear></RefYear> <RefBookTitle>AI-enabled ambient scribing products in health and care settings</RefBookTitle> <RefPage></RefPage> <RefTotal>National Health Service (NHS). AI-enabled ambient scribing products in health and care settings. Version 1.0. [updated 2025 Apr 27; cited 2025 Nov 1]. Available from: https://www.england.nhs.uk/long-read/ai-enabled-ambient-scribing-products-in-health-and-care-settings/</RefTotal> <RefLink>https://www.england.nhs.uk/long-read/ai-enabled-ambient-scribing-products-in-health-and-care-settings/</RefLink> </Reference> <Reference refNo="2"> <RefAuthor>Moberly T</RefAuthor> <RefTitle>Doctors must stop using unregistered AI scribe tools, says NHS England</RefTitle> <RefYear>2025</RefYear> <RefJournal>BMJ</RefJournal> <RefPage>r1302</RefPage> <RefTotal>Moberly T. Doctors must stop using unregistered AI scribe tools, says NHS England. BMJ. 2025;389:r1302. DOI: 10.1136/bmj.r1302</RefTotal> <RefLink>https://doi.org/10.1136/bmj.r1302</RefLink> </Reference> <Reference refNo="4"> <RefAuthor>National Academy of Medicine</RefAuthor> <RefTitle></RefTitle> <RefYear>2005</RefYear> <RefBookTitle>An Artificial Intelligence Code of Conduct for Health and Medicine: Essential Guidance for Aligned Action</RefBookTitle> <RefPage></RefPage> <RefTotal>National Academy of Medicine. An Artificial Intelligence Code of Conduct for Health and Medicine: Essential Guidance for Aligned Action. Washington, DC: The National Academies Press; 2005. DOI: 10.17226/29087</RefTotal> <RefLink>https://doi.org/10.17226/29087</RefLink> </Reference> </References> <Media> <Tables> <NoOfTables>0</NoOfTables> </Tables> <Figures> <NoOfPictures>0</NoOfPictures> </Figures> <InlineFigures> <NoOfPictures>0</NoOfPictures> </InlineFigures> <Attachments> <NoOfAttachments>0</NoOfAttachments> </Attachments> </Media> </OrigData> </GmsArticle>