Können wir künstliche Intelligenzen wie ChatGPT produktiv für die medizinbibliothekarische Arbeit nutzen?

mbi000554 10.3205/mbi000554 urn:nbn:de:0183-mbi0005546 Fachbeitrag Können wir künstliche Intelligenzen wie ChatGPT produktiv für die medizinbibliothekarische Arbeit nutzen? Can we use artificial intelligence like ChatGPT productively for medical library work? Schweizer Schweizer Stefanus S Dr.

Universitätsbibliothek Mainz, Bereichsbibliothek Medizin,Langenbeckstraße 1, Gebäude 304, 55131 Mainz, DeutschlandUB Mainz, Bereichsbibliothek Universitätsmedizin

s.schweizer@ub.uni-mainz.de author Vogel Vogel Christian C

Medizinische Bibliothek der Vinzenz Gruppe, Linz, Österreich

author Weiner Weiner Oliver O

UB Kiel, Zweigbibliothek Medizin, Kiel, Deutschland

author German Medical Science GMS Publishing House

Düsseldorf

610 ChatGPT linguistic AI artificial intelligence AI chatbot large language models (LLMs) ChatGPT Sprach-KI künstliche Intelligenz KI Chatbot Sprachmodell 20230913 germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 1865-066X 23 1 GMS Medizin - Bibliothek - Information GMS Med Bibl Inf Forschungsnahe Dienste von (Medizin-)Bibliotheken 04 Seit die amerikanische Firma OpenAI im November 2022 die Vorversion ihres Chat-Bots ChatGPT, veröffentlicht hat, ist eine lebhafte Diskussion über die Vorteile und den Einsatz von Sprach-KI in unserer Gesellschaft entstanden. ChatGPT hat das Verständnis von geschriebenen Texten seit seiner Einführung bereits grundlegend verändert und wird es weiter verändern. Dies hat auch eine Debatte über den Einsatz und die Auswirkungen von Sprach-KI in der höheren Bildung ausgelöst. Die Anwendungsmöglichkeiten von ChatGPT im Hochschulbereich reichen von Unterstützung beim Lehren und Lernen über die Automatisierung von Routineaufgaben bis hin zu Konvertierungs- und Programmierarbeiten. In dem Beitrag sollen Beispiele aus dem medizinbibliothekarischen Bereich die Leistungsfähigkeit, aber auch die bis jetzt bestehenden Grenzen von ChatGPT aufzeigen. Since the American company OpenAI released the pre-release version of its chatbot ChatGPT in November 2022, a lively discussion has arisen about the benefits and use of speech AI in our society. Since its release ChatGPT has already fundamentally changed the understanding of written texts and it will continue to do so. This has sparked a debate about the use and impact of language AI in higher education. The potential applications of ChatGPT in higher education range from assistance with teaching and learning, to automation of routine tasks, to conversion and programming work. In the paper, examples from the medical library sector will demonstrate the power but also the limitations of ChatGPT. EinleitungIm November 2022 hat das amerikanische Unternehmen OpenAI die Pre-Version des Chatbots ChatGPT veröffentlicht, der auf KI (künstlicher Intelligenz), dem Sprachmodell GPT-3-5 von OpenAI, beruht. Seitdem hat sich eine lebhafte Diskussion über Nutzen von und Umgang mit Sprach-KI in unserer Gesellschaft entwickelt. ChatGPT hat mit dem ersten Tag das Verständnis von geschriebenen Texten verändert. Bereits nach wenigen Tagen hatten sich mehrere Millionen Nutzer registriert, was Social-Media-Plattformen wie Facebook, Instagram oder Twitter erst nach Monaten erreicht haben . Man kann ohne Übertreibung behaupten, dass die zum Teil kostenlose App wie eine Bombe eingeschlagen hat.Was für die breite Öffentlichkeit wie eine sensationelle Neuheit aus dem Nichts kam, hat die deutsche Hochschullandschaft nicht gänzlich unvorbereitet getroffen . An deutschen Hochschulen existieren zahlreiche KI-Studiengänge, die sich schwerpunktmäßig mit Anwendungen b</PlainText></TextGroup>eschäftigen, bei denen Maschinen menschenähnliche Intelligenzleistungen erbringen <TextLink reference="3"></TextLink>. Zudem beschäftigen sich viele Hochschullehrende seit Jahren mit dem Einsatz von KI im Kontext Hochschulbildung und Bildungsauftrag <TextLink reference="2"></TextLink>.</Pgraph><Pgraph>Die kritischen Stimmen, die von Datenschutzbedenken, Diskriminierungsgefahren, ethischen & urheberrechtlichen Fragen bis hin zu negativen Einflüssen auf den Arbeitsmarkt mit der Bedrohung von Arbeitsplätzen reichen, sollten nicht ignoriert werden Eine Verteufelung oder ein striktes Verbot in der Hochschullehre erscheinen jedoch nicht sinnvoll, da die Sprach- und Textausgaben zum einen nicht immer eindeutig zu identifizieren sind und sich zum anderen nützliche Einsatzgebiete zeigen. Restriktionen im Hochschuleinsatz sind bei einer rasant fortschreitenden Technik nur schwer umsetzbar. In naher Zukunft werden Komponenten von Sprach-KI in Textverarbeitungsprogrammen zum Einsatz kommen und fester Bestandteil des Microsoft-Office-Paketes sein <TextLink reference="4"></TextLink>.</Pgraph><Pgraph>Die deutschen Hochschulen sind dabei, für sich Definitionen im Umgang mit dem Einsatz von KI-Sprachtools im Rahmen der Lehre zu finden <TextLink reference="5"></TextLink>. Die Einsatzpalette von Sprach-KI kann dabei von Lehr- und Lernunterstützung über Automatisierung und Entlastung von Routinetätigkeiten bis hin zum Umgang mit Sprach-KI bei der Leistungsbemessung reichen. Lehrende stehen vor der Herausforderung Leistungen der Studierenden künftig auch daraufhin zu prüfen, ob ein Text gänzlich oder mit Unterstützung durch Sprach-KI verfasst worden ist. <TextLink reference="5"></TextLink>. Allein das Wissen um die Existenz und Möglichkeiten von ChatGPT lässt jeden Text potentiell verdächtig erscheinen. Auch der Einfluss von Sprach-KI auf wissenschaftliche Publikationen wird in Zukunft wachsen. Hier hat SpringerNature einen ersten Schritt getan, indem sie in ihren Autorenrichtlinien vorgeben, dass Sprach-KI keine Autorenschaft übernehmen kann und die Verwendung im Methodenteil oder in der Danksagung angezeigt werden muss <TextLink reference="6"></TextLink>.</Pgraph><Pgraph>Bei den administrativen Fragen zu Sprach-KI und ChatGPT sollte aber auch die Frage des Nutzens für ein Fachgebiet im Vordergrund stehen. Ist das Programm in der Lage, auf komplexe Fragestellungen einzugehen und Sachver<TextGroup><PlainText>h</PlainText></TextGroup>alte richtig darzustellen? Die Textgestaltung durch ChatGPT erfolgt auf Grundlage einer statistischen Wahrscheinlichkeit, dass ein verwendeter Begriff auf ein anderes Wort folgt. Durch systematisches Training wird die Sprachfähigkeit trainiert und damit verbessert. Aber, ob die antrainierte Sprachfähigkeit auch einen Wahrheitsge<TextGroup><PlainText>h</PlainText></TextGroup>alt hat, dass kann ChatGPT nicht erkennen <TextLink reference="1"></TextLink>.</Pgraph></TextBlock> <TextBlock linked="yes" name="Erprobung von ChatGPT für medizinbibliothekarische Fragestellungen (April und Mai 2023)"> <MainHeadline>Erprobung von ChatGPT für medizinbibliothekarische Fragestellungen (April und Mai 2023)</MainHeadline><Pgraph>Wir haben aus unterschiedlichen Themenbereichen des medizinischen Bibliotheks- und Informationswesens einige Fragestellungen in ChatGPT eingegeben und einer Ergebnisprüfung unterzogen. Die angeführten 8 Anwendungsbeispiele zeigen beeindruckende Ergebnisse, aber auch Grenzen von ChatGPT in der Version 3.5 auf.</Pgraph><SubHeadline>Beispiel 1: Therapieempfehlung und medizinische Fachliteratur </SubHeadline><Pgraph><Mark2>Bitte gib eine detaillierte, deutschsprachige Therapieemp</Mark2><TextGroup><Mark2>f</Mark2></TextGroup><Mark2>ehlung für Epistaxis (Nasenbluten) bei Erwachsenen. Gib die Inhalte in Form einer Punktaufzählung an. Zielgruppe sind junge Ärzt*innen, die Unterstützung bei Behandlungsentscheidungen suchen. Gib jeweils auch Verweise auf die Fachliteratur an. </Mark2></Pgraph><Pgraph>Abbildung 1 <ImgLink imgNo="1" imgType="figure"/> zeigt einen Screenshot der Antwort von ChatGPT.</Pgraph><Pgraph><Mark1>Beurteilung: </Mark1>Die Antwort von ChatGPT auf diese behandlungsbezogene, medizinische Fragestellung enthält relevante Punkte, bleibt aber trotz gegenteiliger Aufforderung oberflächlich. Auch ohne medizinische Expertise kann die Antwort mit spezialisierten Systemen wie etwa <TextGroup><PlainText>AMBOSS</PlainText></TextGroup> bei weitem nicht mithalten.</Pgraph><Pgraph>Bibliothekarisch spannend sind die Literaturverweise, von denen nur der erste korrekt ist, sowohl im Hinblick darauf, dass der Artikel existiert, als auch auf seine thematische Ausrichtung. Die anderen sind dagegen erfunden bzw. zusammengewürfelt. Das Erfinden von Inhalten ist ein bekannter Kritikpunkt an ChatGPT, der die Anwendung im wissenschaftlichen oder bibliothekarischen Kontext aktuell problematisch macht. Aktuelle Entwicklungen zeigen hier eine Verbesserung und möglicherweise werden fehlerhafte Literaturverweise irgendwann der Vergangenheit angehören – im Vergleich mit wesentlich „weicheren“ Informationen sollte das technisch beherrschbar sein. Allerdings zeigen diese „Kinderkrankheiten“ doch, wie sehr die ausgegebenen Inhalte aus unklaren Quellen zusammengewürfelt sind und dass die Basis ihrer Glaubwürdigkeit sehr stark die guten sprachlichen Formulierungsfähigkeiten der KI sind. Ob solche Systeme tatsächlich Erkenntnisse aus der Gesamtheit publizierter Fachliteratur zu einem Thema generieren können, könnte weniger ein technisches als ein Problem des Zugangs zu den Fachartikeln sein, die ja weiterhin großteils „closed access“ sind. Naheliegender sind eher Systeme, die Antworten aufgrund einer geschlossenen Textbasis erzeugen, also etwa ein UpToDate-Bot, mit dem Ärzt*innen ggf. auch sprechen könnten. </Pgraph><SubHeadline>Beispiel 2: Berufsbild</SubHeadline><Pgraph><Mark2>Medizinische Bibliothekare arbeiten in einem dynamischen beruflichen Umfeld. Bitte stelle die Herausforderungen der nächsten Jahre dar und gib eine Übersicht, wie sich medizinische Bibliothekare hier professionell positionieren und weiterentwickeln können.</Mark2></Pgraph><Pgraph>Abbildung 2 <ImgLink imgNo="2" imgType="figure"/> zeigt einen Screenshot der Antwort von ChatGPT.</Pgraph><Pgraph><Mark2></Mark2><Mark2>Bitte gendere die Antwort noch mit Sternchen.</Mark2></Pgraph><Pgraph>Abbildung 3 <ImgLink imgNo="3" imgType="figure"/> zeigt einen Screenshot der Antwort von ChatGPT.</Pgraph><Pgraph><Mark1>Beurteilung: </Mark1>Die Darstellung der professionellen Situation von medizinischen Bibliothekar*innen ist sehr treffend und gut formuliert. Die Ausdrucksweise ist etwas „trocken“ und könnte mehr Details vertragen. Stilistische Verbesserungen sind möglicherweise bereits jetzt mit einer Optimierung der Fragestellung (Prompting) möglich und ganz sicher Gegenstand von Weiterentwicklungen in naher Zukunft.</Pgraph><Pgraph>Die Aufforderung, den Text noch mit “*” zu gendern, hat ChatGPT dann nur halbkorrekt absolviert und nur manche Begriffe mit dem Sternchen versehen – grundsätzlich wurde der Text allerdings gegendert.</Pgraph><SubHeadline>Beispiel 3: Datenbankrecherche mit PubMed</SubHeadline><Pgraph><Mark2>Schreibe mir einen Searchstring für PubMed, um nach dem Thema Diabetes Mellitus Typ 2 und unblutige Blutzuckermessung zu suchen.</Mark2></Pgraph><Pgraph>Abbildung 4 <ImgLink imgNo="4" imgType="figure"/> zeigt einen Screenshot der Antwort von ChatGPT.</Pgraph><Pgraph><Mark1>Beurteilung:</Mark1> Die Suche scheint auf den ersten Blick plausibel und ist mit 2 korrekt geklammerten Suchblöcken logisch aufgebaut. Die Bool’schen Operatoren wurden richtig angewandt und der für das direkte Einfügen in PubMed aufbereitete Suchstring funktioniert in PubMed tadellos.</Pgraph><Pgraph>Das Thema Diabetes Mellitus Typ 2 wird korrekt, aber wenig variantenreich abgebildet. Neben dem richtigen MeSH-Begriff wären weitere Stichwort-Varianten – und nicht nur der 1:1 übernommene MeSH-Term – wünschenswert gewesen. Interessant ist, dass die für systematische Suche empfohlene Kombination der Suchfelder MeSH-Term und Title/Abstract verwendet wird.</Pgraph><Pgraph>Ganz anders beim Thema unblutige Blutzuckermessung. Neben dem korrekten MeSH-Begriff "blood glucose self-monitoring"[MeSH Terms] werden einfach weitere MeSH-Begriffe frei erfunden ("continuous glucose monitoring"[MeSH Terms], "glucose monitoring, ambulatory"[MeSH Terms], "glucose monitoring"[MeSH Terms]). Diese könnten als Stichworte durchaus interessante Aspekte zur Suche beitragen. Es folgt eine variantenreiche Liste mit Stichworten als Suchstring, die jetzt aber nicht mehr im Suchfeld „Title/Abstract“ sondern ohne Bezeichnung – also in All Fields – gesucht werden.</Pgraph><Pgraph>Im abschließenden Absatz der ChatGPT-Antwort folgt neben der sinnvollen Erklärung der Methode („Dieser Suchstring kombiniert verschiedene MeSH-Begriffe und Suchbegriffe“) und dem Hinweis auf das Einfügen in PubMed noch eine redundante Aufzählung von einzelnen Stichwörtern ohne Relevanz.</Pgraph><Pgraph>Durch die freie Erfindung von MeSH-Begriffen und unscharfe Verwendung der Suchfelder wird der Suchstring insgesamt unbrauchbar. Nichtsdestotrotz wäre die ChatGPT-Antwort ein guter Ausgangspunkt, um die eigene Suche aufzubauen. Die vielen Varianten der Suchbegriffe können zu einer umfassenderen Suchstrategie anregen.</Pgraph><SubHeadline>Beispiel 4: Aufgabe zur Suche in PubMed erstellen</SubHeadline><Pgraph><Mark2>Stelle eine Aufgabe zur Suche mit Filtern in PubMed.</Mark2></Pgraph><Pgraph>Abbildung 5 <ImgLink imgNo="5" imgType="figure"/> zeigt einen Screenshot der Antwort von ChatGPT.</Pgraph><Pgraph><Mark1>Beurteilung: </Mark1>Die bewusst sehr offen gestellte Frage führt zu einer interessanten Aufgabenstellung in PubMed, wobei ChatGPT sowohl ein interessantes medizinisches Thema als auch die zu filternden Aspekte „systematische Übersichtsarbeiten“ und 5 Jahre Publikationszeitraum benennt. Das dann allerdings noch erwähnte „Peer-Re<TextGroup><PlainText>v</PlainText></TextGroup>iew-Verfahren“ ist redundant.</Pgraph><Pgraph>Die Schritt-für-Schritt Anleitung enthält viele Fehler, den Button „Filter“ gibt es in PubMed ebenso wenig wie den Filter „Custom range“ (der sich natürlich intuitiv erschließen lässt) oder die Journal Category „Peer-reviewed journals“. Auch der in der Aufgabestellung geforderte Filter systematische Übersichtsarbeiten wird zu „Review“ verkürzt. </Pgraph><Pgraph>ChatGPT schlägt vor, nach Literatur der letzten 5 Jahre zu suchen. In diesem Zusammenhang könnte es irritierend wirken, dass in einer Anfrage aus dem Jahr 2023 auf die Jahre 2016-2021 verwiesen wird. Auf Grund der nur bis 2021 reichenden Datenbasis von ChatGPT in der Version 3.5 ist dies jedoch konsequent. </Pgraph><Pgraph>Die Antwort kann allenfalls als Anregung für die eigene Aufgabenstellung gesehen werden, die konkrete Umsetzung in PubMed ist zu einem Großteil frei erfunden. </Pgraph><SubHeadline>Beispiel 5: Zitieren nach Vancouver</SubHeadline><Pgraph><Mark2>Wie zitiere ich eine Webseite nach Vancouver?</Mark2></Pgraph><Pgraph>Abbildung 6 <ImgLink imgNo="6" imgType="figure"/> zeigt einen Screenshot der Antwort von ChatGPT. </Pgraph><Pgraph><Mark1>Beurteilung: </Mark1>Die Antwort wird als gut bewertet, allenfalls sollte noch darauf hingewiesen werden, dass Institutionen bei Webseiten eine wichtige Rolle spielen und ggf. ebenfalls zitiert werden sollten. Die dann als Beispiel zitierte Website gibt es wirklich und steht auch in inhaltlichem Zusammenhang mit der Frage.</Pgraph><Pgraph>Der Disclaimer am Schluss wird als sehr positiv bewertet.</Pgraph><Pgraph>Die KI könnte im Themenfeld Zitierstile bereits zum Generieren von E-Mail-Antworten auf Anfragen verwendet werden – mit nur minimalem Korrekturaufwand. </Pgraph><SubHeadline>Beispiel 6: Suchwörter und Synonyme</SubHeadline><Pgraph><Mark2>Welche Suchwörter und Synonyme können für den Begriff Krankenpflege verwendet werden. Wie könnte trunkiert werden?</Mark2></Pgraph><Pgraph>Abbildung 7 <ImgLink imgNo="7" imgType="figure"/> zeigt einen Screenshot der Antwort von ChatGPT.</Pgraph><Pgraph><Mark1>Beurteilung:</Mark1> ChatGPT liefert verschiedene Suchwörter und Synonyme zum Aspekt Krankenpflege auf Deutsch und Englisch. Diese Begriffe können direkt für eine Suchstrategie übernommen und getestet werden.</Pgraph><Pgraph>Bei der Frage nach der Trunkierung fällt auf, dass nur einige Begriffe korrekt aus dem ersten Teil der Antwort übernommen werden. Andere zusammengesetzte Begriffe werden aus dem Zusammenhang gerissen und gehen damit thematisch in eine falsche Richtung (Hospital, Patient). Die Trunkierungen wirken sehr pauschal und sind in der Praxis wenig hilfreich (z. B. Nurse* – besser wäre Nurs* für Nurse, Nursing etc.).</Pgraph><Pgraph>Nicht unerwähnt bleiben darf die von ChatGPT verwendete schöne Bezeichnung „Asterisken“ für das Trunkierungssternchen.</Pgraph><Pgraph>Es zeigt sich erneut, dass die KI zum jetzigen Zeitpunkt für eine Ideensammlung gut geeignet, hingegen für die komplexe Bearbeitung – wie z.B. die Trunkierung – nur sehr eingeschränkt verwertbar ist. </Pgraph><SubHeadline>Beispiel 7: Literaturlisten korrigieren</SubHeadline><Pgraph><Mark2>Bitte bringe nachfolgende Literaturliste in Ordnung und formatiere Sie im APA style. Gib wenn möglich Verweise auf die DOI zu den Artikeln an: </Mark2></Pgraph><Pgraph><Mark2>1 Link MS, Berkow LC, Kudenchuk PJ, et al. Part 7: adult advanced</Mark2><LineBreak></LineBreak><Mark2>cardiovascular life support: 2015 American Heart </Mark2><TextGroup><Mark2>Association</Mark2></TextGroup><LineBreak></LineBreak><Mark2>Guidelines update for cardiopulmonary resuscitation and emergency</Mark2><LineBreak></LineBreak><Mark2>cardiovascular care. Circulation 2015; 132 (suppl 2): S444–64.</Mark2><LineBreak></LineBreak><Mark2>2 Yannopoulos D, Bartos JA, Aufderheide TP, et al. The evolving role of</Mark2><LineBreak></LineBreak><Mark2>the cardiac catheterization laboratory in the management of patients</Mark2><LineBreak></LineBreak><Mark2>with out-of-hospital cardiac arrest: a scientific statement from the</Mark2><LineBreak></LineBreak><Mark2>American Heart Association. Circulation 2019; 139: e530–52.</Mark2><LineBreak></LineBreak><Mark2>3 Bartos JA, Grunau B, Carlson C, et al. Improved survival with</Mark2><LineBreak></LineBreak><Mark2>extracorporeal cardiopulmonary resuscitation despite progressive</Mark2><LineBreak></LineBreak><Mark2>metabolic derangement associated with prolonged </Mark2><TextGroup><Mark2>resuscitation</Mark2></TextGroup><Mark2>.</Mark2><LineBreak></LineBreak><Mark2>Circulation 2020; 141: 877–86.</Mark2><LineBreak></LineBreak><Mark2>4 Grunau B, Reynolds J, Scheuermeyer F, et al. </Mark2><TextGroup><Mark2>Relationship</Mark2></TextGroup><Mark2> between</Mark2><LineBreak></LineBreak><Mark2>time-to-ROSC and survival in out-of-hospital cardiac arrest ECPR</Mark2><LineBreak></LineBreak><Mark2>candidates: when is the best time to consider transport to hospital?</Mark2><LineBreak></LineBreak><Mark2>Prehosp Emerg Care 2016; 20: 615–22.</Mark2><LineBreak></LineBreak><Mark2>5 Grunau B, Reynolds JC, Scheuermeyer FX, et al. </Mark2><TextGroup><Mark2>Comparing</Mark2></TextGroup><Mark2> the</Mark2><LineBreak></LineBreak><Mark2>prognosis of those with initial shockable and non-shockable</Mark2><LineBreak></LineBreak><Mark2>rhythms with increasing durations of CPR: informing </Mark2><TextGroup><Mark2>minimum</Mark2></TextGroup><LineBreak></LineBreak><Mark2>durations of resuscitation. Resuscitation 2016; 101: 50–56.</Mark2><LineBreak></LineBreak><Mark2>6 Yannopoulos D, Bartos JA, Raveendran G, et al. </Mark2><TextGroup><Mark2>Coronary</Mark2></TextGroup><Mark2> artery</Mark2><LineBreak></LineBreak><Mark2>disease in patients with out-of-hospital refractory </Mark2><TextGroup><Mark2>ventricular</Mark2></TextGroup><LineBreak></LineBreak><Mark2>fibrillation cardiac arrest. J Am Coll Cardiol 2017; 70: 1109–17.</Mark2><LineBreak></LineBreak><Mark2>7 Lamhaut L, Tea V, Raphalen JH, et al. Coronary lesions in refractory</Mark2><LineBreak></LineBreak><Mark2>out of hospital cardiac arrest (OHCA) treated by extra corporeal</Mark2><LineBreak></LineBreak><Mark2>pulmonary resuscitation (ECPR). Resuscitation 2017; 126: 154–59.</Mark2><LineBreak></LineBreak><Mark2>Articles</Mark2><LineBreak></LineBreak><Mark2>1816 www.thelancet.com Vol 396 December 5, 2020</Mark2></Pgraph><Pgraph>Abbildung 8 <ImgLink imgNo="8" imgType="figure"/> zeigt einen Screenshot der Antwort von ChatGPT. </Pgraph><Pgraph><Mark2>Bitte formatiere die Liste nun im Bibtext-Format zum Import in ein Literaturverwaltungsprogramm.</Mark2></Pgraph><Pgraph>Abbildung 9 <ImgLink imgNo="9" imgType="figure"/> zeigt einen Screenshot der Antwort von ChatGPT.</Pgraph><Pgraph><Mark1>Beurteilung:</Mark1> Eingegeben wurde eine Literaturliste, deren Formatierung beim Kopieren aus einem PDF-Dokument beschädigt wurde, zum Beispiel wurden fehlerhafte Zeilenumbrüche eingefügt. ChatGPT korrigiert und transformiert die Literaturliste weitgehend korrekt in einen anderen Zitationsstil. Bei den Seitenzahlen ergänzt ChatGPT sogar die abgekürzte Schreibweise, z.B. “e530-52” wird zu “e530-e532”. Die zusätzlich angeforderten DOIs (Digital Object Identifier) sind allerdings nicht korrekt, entweder sind sie ungültig oder sie verweisen auf einen anderen Text. Auf „Textreste” aus der Fußzeile, die aus dem PDF mitkopiert wurden, wird hingegen korrekt hingewiesen. Diese Leistung ist ebenso beeindruckend wie hilfreich, insbesondere, wenn man davon ausgeht, dass die „Erfindungsfreudigkeit“ des Systems in zukünftigen Versionen sicherlich noch eingeschränkt wird und damit die Vertrauenswürdigkeit der Antworten steigen wird. </Pgraph><Pgraph>In einer weiteren Fragestellung wurde ChatGPT gebeten, die Literaturliste in das BibTex-Format zum Import in Literaturverwaltungsprogramme zu formatieren, das macht das System ziemlich perfekt. </Pgraph><SubHeadline>Beispiel 8: Dublettenprüfung in EndNote</SubHeadline><Pgraph><Mark2>Schreibe eine Anleitung für die Durchführung einer Endnote Dublettenprüfung.</Mark2></Pgraph><Pgraph>Abbildung 10 <ImgLink imgNo="10" imgType="figure"/> zeigt einen Screenshot der Antwort von ChatGPT.</Pgraph><Pgraph><Mark1>Beurteilung: </Mark1>ChatGPT hat anscheinend nicht erkannt, dass sich die Anfrage auf das Literaturverwaltungsprogram EndNote und dessen Dublettenprüfung bezogen hat. Aus diesem Grund geht die Antwort deutlich am Thema vorbei und enthält inhaltlich nicht schlüssige, bestenfalls allgemein gültige Überlegungen zur Dublettenkontrolle. </Pgraph><Pgraph>Eine Konkretisierung der Fragestellung mit Benennung der Arbeitsschritte im EndNote-Menü ergibt ein wesentlich besseres Ergebnis:</Pgraph><Pgraph><Mark2>Schreibe eine Anleitung für eine Endnote Dublettenprüfung mit den Arbeitsschritten Edit, Preferences, duplicates, library, find duplicates.</Mark2></Pgraph><Pgraph>Abbildung 11 <ImgLink imgNo="11" imgType="figure"/> zeigt einen Screenshot der Antwort von ChatGPT. </Pgraph><Pgraph><Mark1>Beurteilung: </Mark1>Mit der konkretisierten Fragestellung hat ChatGPT eine Anleitung mit „fast“ exakter Benennung der nötigen Arbeitsschritte verfasst. Die Abfolge der Arbeitsschritte sind in richtiger Reihenfolge mit korrekter Bezeichnung der Menüpunkte erfolgt. Einige Sätze in der Anleitung sind jedoch in ihrer Aussage nicht korrekt, so z.B. die Aussage „ob Sie Dubletten in der gleichen Bibliothek oder auch in anderen Bibliotheken finden möchten. Passen Sie die Einstellungen nach Ihren Bedürfnissen an“. Eine zeitgleiche Dublettenprüfung in mehreren parallel geöffneten EndNote-Dateien ist nicht möglich. Die Dublettenprüfung muss in jeder Datei einzeln vorgenommen werden.</Pgraph><Pgraph>In den Schritten 5 und 6 wird die Durchführung der <TextGroup><PlainText>Dublettenprüfung</PlainText></TextGroup> beschrieben, ohne jedoch konkret auf die Abläufe einzugehen. Es fehlt der Hinweis, dass sich ein neuer Tab öffnet, in dem die identifizierten Dubletten zum Vergleich gegenübergestellt werden. Auch auf die individuelle Auswahlmöglichkeit (keep this Record) in dieser Gegenüberstellung wird nicht eingegangen. Die im weiteren empfohlene Zusammenführung von Dubletten gibt es nur im Literaturverwaltungsprogramm Zotero. EndNote kennt diese Funktion nicht.</Pgraph><Pgraph>Anleitungen zum Handling von Softwareprogramme müssen detaillierte Abläufe darstellen und sollten Arbeitsschritte nicht auslassen oder überspringen. Ansonsten droht die Gefahr zu verwirren. Hier zeigt ChatGPT Schwächen. Gänzlich falsch ist die Antwort von ChatGPT nicht, jedoch lässt sie vermuten, dass ChatGPT bei der Antwort auch auf Texte anderer Literaturverwaltungsprogramme zugegriffen hat. Zwar ist die Reihenfolge in der Menüführung korrekt beschrieben, aber auf die Beschreibung der Durchführung zur Dublettenprüfung verzichtet ChatGPT gänzlich. Es mag daran liegen, dass es bei Literaturverwaltungsprogrammen wie Citavi oder Zotero keinen nachvollziehbaren Arbeitsprozess zur Dublettenprüfung gibt. ChatGPT war anscheinend nicht in der Lage, die gesammelten Texte der unterschiedlichen Literaturverwaltungsprogramme voneinander zu trennen.</Pgraph></TextBlock> <TextBlock linked="yes" name="Fazit und Ausblick"> <MainHeadline>Fazit und Ausblick</MainHeadline><Pgraph>Auch wenn die behandelten Fragen nur eine winzige Momentaufnahme aus einem sich rasch wandelnden Bereich geben, sind die Antworten von ChatGPT doch gleichzeitig beeindruckend wie auch irritierend. Sie zeigen zum einen das enorme Potenzial auf, das derartige Systeme haben, und es kann ohne Übertreibung angenommen werden, dass hier in kurzer Zeit noch erhebliche Weiterentwicklungen zu erwarten sind. </Pgraph><Pgraph>Zum anderen sind die Antworten aber auch immer wieder fehlerhaft und oft auf unerwartete Weise, die sich zwar technisch mit der rein textbasierten, assoziativ-statistischen Arbeitsweise von ChatGPT erklären lässt, aber doch auch auf unsere Erwartungen an ein vorgeblich „intelligentes” System verweist. Die Fehler sind nicht in der von uns erwarteten Weise „dumm“, sondern vielfach unverständlich und wirken geradezu provokant.</Pgraph><Pgraph>ChatGPT schreibt beeindruckende Texte in dem Sinne, dass tatsächlich neue und grammatikalisch einwandfreie Sprache produziert wird, sowohl auf Englisch als auch auf Deutsch und vermutlich auch in weiteren Sprachen. Bringt man das System durch entsprechende „Prompts” auf die richtige Spur, sind die Ergebnisse häufig korrekte Sachverhaltsdarstellungen, Berichte, Zusammenfassungen etc. Korrektheit ist für ChatGPT aber kein Kriterium an sich – falsche Inhalte und kreative Erfindungen werden weithin kritisiert – vielmehr wird ein oberflächlich glaubwürdiger Text auf Basis riesiger vorher analysierter Textmengen generiert, manchmal eben ohne und manchmal mit Fehlern, wie sich auch in den von uns gestellten Fragen erwiesen hat. Allgemeine Fragen zum Berufsbild medizinischer Bibliothekar*innen werden tadellos im Stil einer „Sonntagsrede” beantwortet, auch medizinische Behandlungsfragen sind meist im Wesentlichen korrekt, solange die Antwort an der Oberfläche bleibt, ebenso Antworten zur Literaturrecherche, Bedienung von Softwa<TextGroup><PlainText>r</PlainText></TextGroup>eprodukten etc. Wenn es konkret und detailliert wird, kommt es aber vermehrt zu Fehlern, etwa in der genauen Vorgangsweise bei der Benutzung eines (bestimmten!) Literaturverwaltungsprogramms oder wenn es um Literaturverweise geht. Bei letzterem ist ChatGPT besonders erfindungsfreudig, generiert beliebige DOIs oder würfelt Metadaten durcheinander – was aber letztendlich nur unseren Erwartungen an „Intelligenz” widerspricht, vermutlich nicht aber den Vorstellungen der KI von einem gültigen Antworttext.</Pgraph><Pgraph>An diesen Problemen wird sich noch einiges ändern, vieles wird besser werden, vieles ist schon verfügbar und wurde aus pragmatischen Gründen in diesem Artikel ausgeklammert, um angesichts der rasanten Entwicklung überhaupt eine solche „Momentaufnahme” zu ermöglichen. Der Abgleich der Fragen mit aktuellen Ergebnissen einer Internetsuche ist zum Beispiel bereits möglich, ebenso entstehen gerade vielerlei KI-Angebote für spezielle Zwecke, z.B. die Literaturrecherche, oder es werden unterschiedliche KI-Systeme kombiniert, die nicht – wie ChatGPT nur auf Sprachanalysen beruhen.</Pgraph><Pgraph>Auch die Anwendung der KI auf eine definierte Wissensbasis birgt große Chancen, z.B. um Fragen über eine umfassende Website zu beantworten oder um schnell Informationen aus einem klinischen Informationssystem wie UpToDate zu generieren.</Pgraph><Pgraph>Insofern werden viele oberflächliche Fehlleistungen wohl bald der Vergangenheit angehören. Was wohl bleiben wird, ist die Frage nach der Glaubwürdigkeit der Ergebnisse, die sogar umso drängender wird, wenn die Ergebnisse nicht mehr „mit bloßem Auge“ als richtig oder falsch zu erkennen sind. Noch spannender wird diese Entwicklung, wenn man bedenkt, dass diese Systeme Antworten zukünftig in großer Menge produzieren werden, so dass „händisch“ produzierte Inhalte zurückgedrängt werden bzw. nur als neue „Inspiration“ für die Verarbeitung durch KI-Systeme dienen werden, die dann wieder computerge<TextGroup><PlainText>n</PlainText></TextGroup>erierte Varianten davon erzeugt. Es wäre wünschenswert, dass ChatGPT und andere KI ihre Texte direkt mit einer Quellenangabe versehen, die auch verdeutlicht, dass der Text nicht reproduziert werden kann, Beispiel: „Dieser Text wurde am 19.05.2023 von ChatGPT generiert und ist nicht reproduzierbar. URL.“. Ansonsten ist die Quellenangabe selbstverständlich von den Personen anzugeben, die diese Texte verwenden. Die Ansprache von Chat-Bots wie ChatGPT scheint auf die Ergebnisse zwar keinen wesentlichen Einfluss zu haben, könnte aber durchaus große Auswirkungen auf die menschliche Bewertung der Antwort haben. Ob die KI menschlich angesprochen wird, ob vertraut mit Du oder distanziert mit Sie, ob unpersönlich sachlich oder in einem Befehlston setzt die Menschen in eine Beziehung mit der KI. Deshalb sollte dieser Faktor sorgfältig abgewogen werden. Um sich die aktuellen Unschärfen bewusst zu machen, könnte die KI mit einer Formulierung wie „Mache Vorschläge zu …“ angesprochen werden. So ist klar, dass es sich nicht um einen belastbaren Text, sondern wirklich „nur“ um eine brillant formulierte – aber ungeprüfte – Antwort handelt.</Pgraph><Pgraph>Viele und vor allem arbeitsintensive, repetitive Arbeiten mit Daten aller Art werden in Bälde von KI-Assistenzsys<TextGroup><PlainText>t</PlainText></TextGroup>emen übernommen werden, zum Teil von spezialisierten Tools, zum Teil wohl auch von allgemeinen Assistenten, die dann vielleicht (endlich!) leisten, was die Apologeten der Digitalisierung schon lange versprochen haben. Die Auswirkungen auf die beruflichen Aufgaben auch im Bereich des Medizinischen Bibliothekswesens sind dabei unabsehbar, bereits in der Vergangenheit kam es durch technische Veränderungen ja auch immer wieder zum Entstehen neuer Aufgabenbereiche und Tätigkeiten. Als Experten im Informationsbereich können sich wissenschaftliche Bibliothekar*innen aber durchaus an die Spitze einer Bewegung setzen, die Veränderungen im Bereich der Wissensproduktion und -verbreitung durch KI-Systeme begleitet und hoffentlich auch gestaltet.</Pgraph><Pgraph>Sehr offen und fragil sind aber die Fragen, die über akademische Abläufe und Traditionen hinausweisen und wo KI-Systeme gesellschaftliche Prozesse beeinflussen werden, wie etwa digitale Überwachung, Fake-News, Fragen echter und künstlicher Identitäten etc. Das einzige, das an dieser Stelle als sicher erachtet werden kann, ist, dass eine Entwicklung mit weitreichenden Folgen gerade erst begonnen hat. Hoffen wir, dass wir die positiven Chancen auch genießen können!</Pgraph></TextBlock> <TextBlock linked="yes" name="Anmerkung"> <MainHeadline>Anmerkung</MainHeadline><SubHeadline>Interessenkonflikte</SubHeadline><Pgraph>Die Autoren erklären, dass sie keine Interessenkonflikte in Zusammenhang mit diesem Artikel haben.</Pgraph></TextBlock> <References linked="yes"> <Reference refNo="1"> <RefAuthor>Spitzer M</RefAuthor> <RefTitle>ChatGPT</RefTitle> <RefYear>2023</RefYear> <RefJournal>Nervenheilkunde</RefJournal> <RefPage>192-9</RefPage> <RefTotal>Spitzer M. ChatGPT. Nervenheilkunde. 2023;42(04):192-9. DOI: 10.1055/a-1948-8785</RefTotal> <RefLink>https://doi.org/10.1055/a-1948-8785</RefLink> </Reference> <Reference refNo="2"> <RefAuthor>Schmohl T</RefAuthor> <RefAuthor>Watanabe A</RefAuthor> <RefAuthor>Schelling K</RefAuthor> <RefTitle></RefTitle> <RefYear>2023</RefYear> <RefBookTitle>Künstliche Intelligenz in der Hochschulbildung: Chancen und Grenzen des KI-gestützten Lernens und Lehrens</RefBookTitle> <RefPage></RefPage> <RefTotal>Schmohl T, Watanabe A, Schelling K, Hrsg. Künstliche Intelligenz in der Hochschulbildung: Chancen und Grenzen des KI-gestützten Lernens und Lehrens. Bielefeld: transcript; 2023. (Hochschulbildung: Lehre und Forschung; Band 4). DOI: 10.25656/01:26427</RefTotal> <RefLink>https://doi.org/10.25656/01:26427</RefLink> </Reference> <Reference refNo="3"> <RefAuthor>Schick U</RefAuthor> <RefTitle></RefTitle> <RefYear>2018</RefYear> <RefBookTitle>Was ist künstliche Intelligenz?</RefBookTitle> <RefPage></RefPage> <RefTotal>Schick U. Was ist künstliche Intelligenz? 20.03.2018 [zuletzt aufgerufen: 03.08.2023]. Verfügbar unter: https://news.sap.com/germany/2018/03/was-ist-kuenstliche-intelligenz/</RefTotal> <RefLink>https://news.sap.com/germany/2018/03/was-ist-kuenstliche-intelligenz/</RefLink> </Reference> <Reference refNo="4"> <RefAuthor>Lindner R</RefAuthor> <RefTitle>ChatGPT: Microsoft bringt Open AI ins Büro</RefTitle> <RefYear>2013</RefYear> <RefJournal>Frankfurter Allgemeine Zeitung</RefJournal> <RefPage></RefPage> <RefTotal>Lindner R. ChatGPT: Microsoft bringt Open AI ins Büro. Frankfurter Allgemeine Zeitung. 16.03.2023. Verfügbar unter: https://www.faz.net/aktuell/wirtschaft/chatgpt-microsoft-bringt-open-ai-in-word-outlook-und-powerpoint-18754133.html</RefTotal> <RefLink>https://www.faz.net/aktuell/wirtschaft/chatgpt-microsoft-bringt-open-ai-in-word-outlook-und-powerpoint-18754133.html</RefLink> </Reference> <Reference refNo="5"> <RefAuthor>Salden P</RefAuthor> <RefAuthor>Leschke J</RefAuthor> <RefTitle></RefTitle> <RefYear>2023</RefYear> <RefBookTitle>Didaktische und rechtliche Perspektiven auf KI-gestütztes Schreiben in der Hochschulbildung</RefBookTitle> <RefPage></RefPage> <RefTotal>Salden P, Leschke J, Hrsg. Didaktische und rechtliche Perspektiven auf KI-gestütztes Schreiben in der Hochschulbildung. Zentrum für Wissenschaftsdidaktik der Ruhr-Universität Bochum; 2023. DOI: 10.13154/294-9734</RefTotal> <RefLink>https://doi.org/10.13154/294-9734</RefLink> </Reference> <Reference refNo="6"> <RefAuthor>Anonym</RefAuthor> <RefTitle>Tools such as ChatGPT threaten transparent science; here are our ground rules for their use</RefTitle> <RefYear>2023</RefYear> <RefJournal>Nature</RefJournal> <RefPage>612</RefPage> <RefTotal>Tools such as ChatGPT threaten transparent science; here are our ground rules for their use. Nature. 2023;613(7945):612. DOI: 10.1038/d41586-023-00191-1</RefTotal> <RefLink>https://doi.org/10.1038/d41586-023-00191-1</RefLink> </Reference> </References> <Media> <Tables> <NoOfTables>0</NoOfTables> </Tables> <Figures> <Figure format="png" height="343" width="602"> <MediaNo>1</MediaNo> <MediaID>1</MediaID> <Caption><Pgraph><Mark1>Abbildung 1: Therapieempfehlung und medizinische Fachliteratur</Mark1></Pgraph></Caption> </Figure> <Figure format="png" height="343" width="602"> <MediaNo>2</MediaNo> <MediaID>2</MediaID> <Caption><Pgraph><Mark1>Abbildung 2: Berufsbild</Mark1></Pgraph></Caption> </Figure> <Figure format="png" height="343" width="602"> <MediaNo>3</MediaNo> <MediaID>3</MediaID> <Caption><Pgraph><Mark1>Abbildung 3: Berufsbild gendern</Mark1></Pgraph></Caption> </Figure> <Figure format="png" height="400" width="602"> <MediaNo>4</MediaNo> <MediaID>4</MediaID> <Caption><Pgraph><Mark1>Abbildung 4: Datenbankrecherche mit PubMed</Mark1></Pgraph></Caption> </Figure> <Figure format="png" height="605" width="602"> <MediaNo>5</MediaNo> <MediaID>5</MediaID> <Caption><Pgraph><Mark1>Abbildung 5: Aufgabe zur Suche in PubMed erstellen</Mark1></Pgraph></Caption> </Figure> <Figure format="png" height="492" width="602"> <MediaNo>6</MediaNo> <MediaID>6</MediaID> <Caption><Pgraph><Mark1>Abbildung 6: Zitieren nach Vancouver</Mark1></Pgraph></Caption> </Figure> <Figure format="png" height="579" width="602"> <MediaNo>7</MediaNo> <MediaID>7</MediaID> <Caption><Pgraph><Mark1>Abbildung 7: Suchwörter und Synonyme</Mark1></Pgraph></Caption> </Figure> <Figure format="png" height="343" width="602"> <MediaNo>8</MediaNo> <MediaID>8</MediaID> <Caption><Pgraph><Mark1>Abbildung 8: Korrigierte Literaturliste</Mark1></Pgraph></Caption> </Figure> <Figure format="png" height="343" width="602"> <MediaNo>9</MediaNo> <MediaID>9</MediaID> <Caption><Pgraph><Mark1>Abbildung 9: Literaturliste als Bibtex</Mark1></Pgraph></Caption> </Figure> <Figure format="png" height="367" width="602"> <MediaNo>10</MediaNo> <MediaID>10</MediaID> <Caption><Pgraph><Mark1>Abbildung 10: EndNote Dublettenprüfung</Mark1></Pgraph></Caption> </Figure> <Figure format="png" height="301" width="602"> <MediaNo>11</MediaNo> <MediaID>11</MediaID> <Caption><Pgraph><Mark1>Abbildung 11: Dublettenprüfung in EndNote – Detailangaben</Mark1></Pgraph></Caption> </Figure> <NoOfPictures>11</NoOfPictures> </Figures> <InlineFigures> <NoOfPictures>0</NoOfPictures> </InlineFigures> <Attachments> <NoOfAttachments>0</NoOfAttachments> </Attachments> </Media> </OrigData> </GmsArticle>