mibe000269
10.3205/mibe000269
urn:nbn:de:0183-mibe0002694
Originalarbeit
Praxisverwaltungssysteme: Deutschlandweite Ergebnisse zu Usability, Nutzerzufriedenheit und Wechselbereitschaft aus 10.245 Bewertungen
Practice management systems: Germany-wide results on usability, user satisfaction, and willingness to switch from 10,245 evaluations
Müller
Müller
Doreen
D
Zentralinstitut für die kassenärztliche Versorgung in Deutschland (Zi), Salzufer 8, 10587 Berlin, Deutschland, Tel.: 030 2200 56 162Zentralinstitut für die kassenärztliche Versorgung in der Bundesrepublik Deutschland, Berlin, DeutschlandCharité – Universitätsmedizin Berlin, Centrum für Human- und Gesundheitswissenschaften, Institut für Medizinische Soziologie und Rehabilitationswissenschaft, Berlin, Deutschland
dmueller@zi.de
author
Nieporte
Nieporte
Tobias
T
Zentralinstitut für die kassenärztliche Versorgung in der Bundesrepublik Deutschland, Berlin, Deutschland
author
Graf von Stillfried
Graf von Stillfried
Dominik
D
Zentralinstitut für die kassenärztliche Versorgung in der Bundesrepublik Deutschland, Berlin, Deutschland
author
German Medical Science GMS Publishing House
Düsseldorf
610
practice management systems
practice management software
evaluation
usability
user satisfaction
willingness to switch PVS
switching
Praxisverwaltungssysteme
Praxisverwaltungssoftware
Bewertung
Usability
Nutzerzufriedenheit
PVS-Wechselbereitschaft
Wechsel
20241204
germ
This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung).
1860-9171
20
GMS Medizinische Informatik, Biometrie und Epidemiologie
GMS Med Inform Biom Epidemiol
13
Hintergrund: Praxisverwaltungssysteme (PVS) sind elementar für Dokumentation und Abrechnung ambulant-ärztlicher/-psychotherapeutischer Leistungen. Sie sind zudem Teil der Telematik-Infrastruktur (TI), indem sie Funktionalitäten zu deren Nutzung bereitstellen und darauf basierend die Digitalisierung der medizinischen Versorgung unterstützen. Die Effizienz und Zufriedenheit im beruflichen Alltag werden maßgeblich durch deren Funktionalität beeinflusst, da eine reibungslose und fehlerfreie Systemnutzung die tägliche Arbeit erleichtert und unnötigen Aufwand reduziert. Dennoch war es bisher kaum möglich, PVS mit Fokus auf die Erfüllung der Bedürfnisse der Nutzenden objektiviert zu identifizieren. Diese Arbeit untersucht, ob die Usability und Zufriedenheit valide und reliabel gemessen werden können, wie die PVS in Bezug auf diese beiden Faktoren bewertet werden sowie welche Einflussgrößen es hierbei gibt.Methode: Bundesweit wurden Ärzt:innen, Psychotherapeut:innen und angestelltes Personal in der vertragsärztlichen Versorgung in einem querschnittlichen Online-Survey befragt. Anhand von 10.245 Bewertungen wurden Validität und Reliabilität der System-Usability-Scale (SUS) und des Net-Promoter-Scores (NPS) geprüft. In Regressionsanalysen wurden SUS/NPS sowie die Bereitschaft zum PVS-Wechsel durch persönliche, praxisbezogene Faktoren sowie PVS-Fehlersituationen vorhergesagt. Zudem wurde die Nutzerzufriedenheit in einer weiteren Regressionsanalyse über die Usability, einen gegebenenfalls vorangegangenen PVS-Wechsel sowie die Information, ob zu einem PVS mit im Durchschnitt höher oder niedriger bewerteter Usability gewechselt wurde, vorhergesagt.Ergebnisse: SUS und NPS sind geeignete Messinstrumente für die Erfassung von Usability und Nutzerzufriedenheit von PVS. Es gibt deutliche Unterschiede zwischen den PVS. PVS-Fehlersituationen und -häufigkeiten hängen maßgeblich negativ mit SUS/NPS und positiv mit der Bereitschaft zum PVS-Wechsel zusammen. Die Nutzerzufriedenheit hängt zudem positiv mit der individuell eingeschätzten Usability sowie mit einem kürzlichen PVS-Wechsel zusammen, wobei ein Wechsel zu einem PVS mit im Durchschnitt höher bewerteter Usability diesen Effekt nochmals verstärkt.Diskussion: Die Ergebnisse deuten darauf hin, dass die Usability und Nutzerzufriedenheit von PVS mit der PVS-Wechselbereitschaft zusammenhängen. Breit eingesetzte PVS erzielen teils ausgeprägt negative Bewertungen. Der Zusammenhang von PVS-Fehlersituationen mit SUS, NPS und der Bereitschaft zum PVS-Wechsel weist auf die Notwendigkeit kontinuierlicher Verbesserungen und deren Messung hin. Die Förderung eines Wechsels zu anwenderfreundlicheren PVS ist zu erwägen.
Background: Practice management systems (PMS) are essential for the documentation and billing of outpatient medical and psychotherapeutic services. They are also the medium for implementing the telematics infrastructure (TI) and the subsequent digitalization of medical care. The functionality of these systems significantly influences professional practice and satisfaction. However, it has previously been challenging to objectively identify practice management systems with good user orientation. This study examines whether usability and satisfaction can be measured validly and reliably, how the practice management systems are rated, and which influencing factors exist.Method: Physicians, psychotherapists, and employed staff in practices across Germany were surveyed in a cross-sectional online survey. Using 10,245 ratings, the validity and reliability of the System Usability Scale (SUS) and the Net Promoter Score (NPS) were examined. In regression analyses, SUS/NPS and willingness to switch were predicted by personal/practice-related factors and practice management systems error situations.Results: SUS and NPS are suitable measurement tools for assessing usability and user satisfaction of practice management systems. There are significant differences between practice management systems. PMS error situations and their frequencies are strongly negatively correlated with SUS/NPS and positively correlated with the willingness to switch.Conclusion: The results highlight the importance of user-friendly, satisfactory practice management systems. Widely used practice management systems often receive markedly negative ratings. The correlation of SUS/NPS and willingness to switch with PMS error frequency indicates a lack of standardization, emphasizing the need both for continuous improvements and their measurement. Promoting a switch to more user-friendly PMS should be considered.
EinleitungPraxisverwaltungssysteme (PVS) sind ein notwendiges Instrument für die Dokumentation und Abrechnung ambulant-ärztlicher Leistungen, welche auf den Vorgaben des SGB V (§ 294) und der Kassenärztlichen Bundesvereinigung beruhen. Um die gesetzlich vorgegebene Dokumentationspflicht nach SGB V (§ 294) sowie die Vorgaben der Kassenärztlichen Vereinigung und der Kassenärztlichen Bundesvereinigung zur Abrechnung von Leistungen umsetzen zu können, sind niedergelassene Ärztinnen und Ärzte auf die Verwendung von PVS angewiesen. Auf dem deutschen Markt waren im zweiten Quartal 202<![CDATA[3 i</PlainText></TextGroup>nsgesamt 130 Softwareprodukte für PVS mit 118.63<TextGroup><PlainText>0 I</PlainText></TextGroup>nstallationen verzeichnet. Hierbei gibt es enorme Unterschiede, mit Installationszahlen zwischen 1 und 11.233 <TextLink reference="1"></TextLink>. Auch die Funktionalitäten und Anwendungsbereiche von PVS sind einer großen Bandbreite unterworfen. Für Nutzer:innen ist es daher nicht immer nachvollziehbar, welches PVS sie im Arbeitsalltag am besten unterstützen kann. </Pgraph><Pgraph>Im Zuge der politisch forcierten Digitalisierung der medizinischen Versorgung zeigen aktuelle Erhebungen, dass die Funktionalität der PVS insbesondere bei der Nutzung von Anwendungen der Telematik-Infrastruktur (TI) erhebliche Auswirkungen auf die Berufsausübung und die Berufszufriedenheit hat. Während eine fehlerfreie Funktionalität der TI-Anwendungen und des PVS die Arbeit im Praxisalltag erleichtert und Ressourcen schont, bewirkt eine hohe Fehleranfälligkeit eine Beeinträchtigung der medizinischen Versorgung <TextLink reference="2"></TextLink>, <TextLink reference="3"></TextLink>. Auch in der internationalen Forschung wurde gezeigt, dass PVS mit geringer Usability und eingeschränkter Funktionalität bei Medizinerinnen und Medizinern nicht nur zu Zeit- und Ressourcenverlusten sowie Burnout führen können <TextLink reference="4"></TextLink>, <TextLink reference="5"></TextLink>, sondern auch das Risiko für Fehler während der Patientenversorgung erhöhen könnten <TextLink reference="6"></TextLink>, <TextLink reference="7"></TextLink>. Es ist daher sowohl für die Nutzer:innen als auch für die Patient:innen von großer Relevanz, dass den Praxen performante PVS zur Verfügung stehen.</Pgraph><SubHeadline>Usability, Nutzerzufriedenheit und Bereitschaft zum PVS-Wechsel</SubHeadline><Pgraph>Usability und Nutzerzufriedenheit sind zwei wesentliche Konzepte für die Einschätzung der Angemessenheit und Anwendbarkeit eines Softwareprodukts <TextLink reference="8"></TextLink>, <TextLink reference="9"></TextLink>. Der Begriff Usability beschreibt, inwieweit Nutzer:innen ein Produkt in einem bestimmten Kontext effektiv, effizient und zufriedenstellend verwenden können <TextLink reference="10"></TextLink>. Die Nutzerzu<TextGroup><PlainText>f</PlainText></TextGroup>riedenheit umfasst eine subjektive Bewertung der Qualität eines Produkts <TextLink reference="9"></TextLink>. </Pgraph><Pgraph>Für die Erfassung der Usability von Praxisverwaltungssys<TextGroup><PlainText>t</PlainText></TextGroup>emen wurde empirisch bereits die System Usability Scale (SUS) genutzt <TextLink reference="11"></TextLink>, <TextLink reference="12"></TextLink>, auf dem deutschen Markt allerdings bisher nur hinsichtlich PVS der Augenheilkunde. Bisher gibt es nur eine validierte deutsche Version der SUS, welche jedoch laut Experteneinschätzung unnatürliche Formulierungen enthält, darüber hinaus liegen verschiedene nicht validierte SUS-Fragebögen für den deutschsprachigen Raum vor <TextLink reference="13"></TextLink>. Der Net Promoter Score (NPS) erfasst die Zufriedenheit und wird häufig für die Bewertung von Softwareprodukten eingesetzt <TextLink reference="9"></TextLink>, auch wenn es an der Berechnung dieses Maßes Kritik gibt. So wird die Skalenbildung, auf welcher Personen mit Werte-Angaben von 0–6 als Detraktoren (das Produkt negativ bewertend) und Werte von 9–10 als Promotoren (das Produkt positiv bewertend) eingeordnet werden, kritisiert <TextLink reference="14"></TextLink>. Dennoch stellt der NPS eine weitläufig akzeptierte Skala zur Nutzerzufriedenheit dar. Im Gegensatz zur Usability liegen gezielte quantitative Untersuchungen zur Nutzerfreundlichkeit von PVS in Deutschland bislang nicht vor, in zwei qualitativen Studien bei Hausärzt:innen wurden jedoch Unzufriedenheiten dokumentiert <TextLink reference="15"></TextLink>, <TextLink reference="16"></TextLink>.</Pgraph><Pgraph>Die Bereitschaft zum Wechsel eines Softwareprodukts wird von der Nutzererfahrung beeinflusst, wie am Beispiel von Enterprise-Resource-Planning-Systemen oder Online-Plattformen gezeigt wurde <TextLink reference="17"></TextLink>, <TextLink reference="18"></TextLink>. Die Wechselbereitschaft beschreibt, inwiefern die Nutzer:innen aufgrund von beispielsweise geringer Usability oder Nutzerfreundlichkeit den Entschluss gefasst haben, ein Produkt auszutauschen. </Pgraph><SubHeadline>Faktoren für negative Nutzererfahrungen</SubHeadline><Pgraph>Als Faktoren für negative Nutzererfahrungen wurden in bisherigen qualitativen Befragungen deutscher Hausärzt:innen technische Grenzen der PVS sowie mangelnde Praktikabilität und unklare Funktionalitäten beschrieben <TextLink reference="15"></TextLink>, <TextLink reference="16"></TextLink>. International wurde gezeigt, dass Langsamkeit sowie hohe Komplexität zur Unzufriedenheit beitragen können <TextLink reference="19"></TextLink>. In unserer Studie werden erstmalig Fehlersituationen und Fehlerhäufigkeiten bei PVS in Deutschland erhoben, welche bei Softwareprodukten einen wesentlichen Faktor für die Nutzererfahrung darstellen <TextLink reference="19"></TextLink>. Daneben können auch persönliche oder praxisbezogene Faktoren einen Einfluss haben, wie beispielsweise die Tendenz, dass mit ansteigendem Alter Produkte positiver bewertet werden <TextLink reference="20"></TextLink> oder auch mit höherer Nutzungsdauer positivere Bewertungen auftreten können <TextLink reference="21"></TextLink>.</Pgraph><SubHeadline>Forschungsfragen</SubHeadline><Pgraph>Um die Usability und Nutzerzufriedenheit von PVS abbilden zu können, braucht es angemessene Messinstrumente. Zusätzlich ist es aus Anwendersicht relevant, zu erfahren, wie die PVS von Anderen eingeschätzt werden und welche Faktoren mit niedrigen beziehungsweise hohen Bewertungen bei Usability, Nutzerzufriedenheit und der Bereitschaft zum PVS-Wechsel zusammenhängen. Unsere Forschungsfragen lauteten daher: </Pgraph><Pgraph>A) Können SUS und NPS für die Bewertung von PVS valide und reliabel eingesetzt werden?</Pgraph><Pgraph>B) Welche Unterschiede gibt es hinsichtlich der PVS bei Usability, Nutzerzufriedenheit und der PVS-Wechselbereitschaft?</Pgraph><Pgraph>C) Welche Faktoren auf persönlicher, praxisbezogener und PVS-Fehler-assoziierter Ebene hängen mit Usability, Nutzerzufriedenheit und PVS-Wechselbereitschaft zusammen?</Pgraph><Pgraph>D) Wird die Nutzerzufriedenheit durch einen Wechsel des PVS vorhergesagt, und welche Rolle spielen die Usability des alten sowie des neuen PVS hierbei?</Pgraph></TextBlock>
<TextBlock linked="yes" name="Methode">
<MainHeadline>Methode</MainHeadline><SubHeadline>Studiendesign und Stichprobe</SubHeadline><Pgraph>Im März/April 2024 wurden über einen Online-Survey im ambulanten Bereich niedergelassene und angestellt tätige Ärzt:innen und Psychotherapeut:innen sowie angestelltes Praxispersonal befragt. Die Befragung wurde als querschnittlicher Online-Survey mit Convenience Sampling <TextLink reference="22"></TextLink> angelegt und über Homepages und hauseigene Magazine der Kassenärztlichen Vereinigungen (KVen) sowie der Kassenärztlichen Bundesvereinigung (KBV) beworben. Einige KVen führten Nachfassaktionen durch. Der Online-Fragebogen wurde mit LimeSurvey Version 5 erstellt und durchgeführt. Eine Mehrfachteilnahme wurde durch Cookie-Setzung verhindert.</Pgraph><Pgraph>Der Fragebogen wurde 2023 in der Region der Kassenärztlichen Vereinigung Berlin getestet und für die bundesweite Befragung angepasst <TextLink reference="23"></TextLink>. Der aktualisierte Fragebogen bestand aus 23 Fragen für niedergelassene und angestellte Ärzt:innen und Psychotherapeut:innen sowie 24 Fragen für angestelltes Praxispersonal sowie für Teilnehmer:innen ohne Angabe der Profession. Der Fragebo<TextGroup><PlainText>g</PlainText></TextGroup>en erfasste in acht Teilabschnitten demographische und praxisbezogene Angaben, Informationen zum PVS, Usability, Nutzerzufriedenheit, PVS-Wechselbereitschaft sowie Fehlersituationen und Fehlerhäufigkeiten. Weitere Fragen umfassten das Thema Telematik-Infrastruktur sowie Freitextangaben für offene Anmerkungen.</Pgraph><SubHeadline>Maße</SubHeadline><SubHeadline2>Personen- und Arztpraxis-bezogene Faktoren</SubHeadline2><Pgraph>Das Alter wurde in Jahren und das Geschlecht in drei Kategorien (männlich, weiblich, divers) erfasst. Die Geschlechtskategorie „divers“ wurde aufgrund geringer Häufigkeit bei geschlechtsbezogenen Analysen nicht ausgewertet. Zusätzlich floss die Berufsgruppe mit de<TextGroup><PlainText>n K</PlainText></TextGroup>ategorien „Niedergelassene Ärzt:in“, „Angestellte Ärzt:in“, „Niedergelassene Psychotherapeut:in“, „Angestelltes Praxispersonal“ in die Analysen ein. Die Versorgungsebene wurde anhand der angegebenen Fachgruppe gebildet, mit den Werten „hausärztliche Versorgung“, „allgemeine fachärztliche Versorgung“, „spezialisierte fachärztliche Versorgung“ oder „gesonderte fachärztliche Versorgung“.</Pgraph><SubHeadline2>PVS, Nutzungsdauer</SubHeadline2><Pgraph>Aus einer Liste von 126 im Januar 2024 zugelassenen PVS konnten die Befragten das von ihnen verwendete PVS auswählen oder frei benennen. Die Freitextangaben wurden, wo möglich, den in der Liste vorhandenen PVS zugeordnet. Es wurde zudem erfragt, seit wie vielen Jahren das PVS genutzt wird.</Pgraph><SubHeadline2>Fehlersituationen und Fehlerhäufigkeiten</SubHeadline2><Pgraph>Die abgefragten Fehlersituationen bezogen sich auf verschiedene Funktionalitäten der PVS mit einem Schwerpunkt auf Telematik-Infrastruktur (TI)-Anwendungen. Der Frage „In welcher Situation treten Fehler/Probleme im PVS auf?“ folgte die Darstellung von elf möglichen Fehlersituationen, welche durch Ankreuzen ausgewählt werden konnten. Die Fehlersituationen finden sich im Fragebogen (Anhang 1 <AttachmentLink attachmentNo="1"/>) unter der Nummer F1. Sechs Telematik-Infrastruktur-Facetten wurden zur Variable „Bei der Nutzung von Funktionalitäten der Telematik-Infrastruktur“ zusammengefasst. </Pgraph><Pgraph>Der vielfach untersuchte Negativity Bias besagt, dass negative Eindrücke eine Bewertung stärker beeinflussen als positive Eindrücke <TextLink reference="24"></TextLink>. Zudem gibt es Hinweise darauf, dass das reine Fehlen von negativen Eindrücken nicht in positiven Bewertungen mündet <TextLink reference="25"></TextLink>. Daher ist davon auszugehen, dass die Abwesenheit von Fehlern keinen signifikanten Einfluss auf SUS, NPS oder die PVS-Wechselbereitschaft von Nutzenden hat – weder im positiven noch im negativen Sinne. Hingegen ist zu erwarten, dass das Auftreten von Fehlern diese Faktoren negativ beeinflussen kann. Dabei betrachten wir die beiden Szenarien „Abwesenheit von Fehlern aufgrund einer fehlerfreien Funktionalität“ versus „Abwesenheit von Fehlern aufgrund der Nichtnutzung der Funktionalität“ als vergleichbar in ihrer Relevanz für die subjektive Bewertung von PVS. Aus diesem Grund wurde die Information, ob eine Funktionalität der Telematik-Infrastruktur genutzt wird, nicht bei der Operationalisierung der Variable „Bei der Nutzung von Funktionalitäten der Telematik-Infrastruktur“ berücksichtigt.</Pgraph><Pgraph>Wenn mindestens eine Fehlersituation indiziert wurde, so konnte die Fehlerhäufigkeit mithilfe der Antwortkategorien „Ein paar Mal im:“ „…Jahr“, „…Quartal“, „…Monat“ oder „…Woche“ oder „(Fast) jeden Tag“ spezifiziert werden. Wenn keine Fehler angeben wurden, so wurde dies der Häufigkeitsvariablen als „Keine Fehlersituationen“ zugeordnet. Die Fehlerhäufigkeit wurde anschließend in drei Kategorien zusammengefasst: „Seltener als einmal pro Quartal“, „Mehrmals pro Quartal oder Monat“ und „Mehrmals pro Woche oder täglich“.</Pgraph><SubHeadline2>Usability und Nutzerzufriedenheit</SubHeadline2><Pgraph>Die Usability wurde mit Hilfe des SUS-Werts erfasst, welcher aus zehn Einzel-Items generiert wird <TextLink reference="26"></TextLink> und wurde unter Wahl der Übersetzung von Rummel erfragt <TextLink reference="11"></TextLink>. Der genaue Wortlaut der Fragen ist im Fragebogen zu finden, welcher als Anhang 1 <AttachmentLink attachmentNo="1"/> vorliegt (Fragenblock D1). Die Items wurden anhand einer fünfstufigen Antwortskala vom Likert-Typ „Stimme überhaupt nicht zu“ bis „Stimme voll und ganz zu“ eingeschätzt. Zur Analyse wurden die Antworten für nicht revers kodierte Items in eine Skala von 0 (stimme überhaupt nicht zu) bis 4 (stimme voll und ganz zu) umgewandelt, für revers kodierte Items wurden die Antworten zu einer Skala von 4 (stimme überhaupt nicht zu) bis 0 (stimme voll und ganz zu) rekodiert. Anschließend wurde der SUS-Wert bei allen Bewertungen, die mindestens acht Items beantwortet haben, gebildet. Dafür wurden die rekodierten Werte aufsummiert, und in den prozentualen Wert der möglichen Maximalsumme umgerechnet. Somit ergibt sich eine mögliche Spanne von 0 bis 100 für den SUS-Wert <TextLink reference="26"></TextLink>.</Pgraph><Pgraph>Die Nutzerzufriedenheit wurde anhand des NPS gemessen, welcher aus einem Item besteht und mit der Frage „Wie wahrscheinlich ist es, auf einer Skala von 0 bis 10, dass Sie das PVS einer Kollegin/einem Kollegen weiterempfehlen würden?“ nach van Riet und Kirsch erfasst wurde <TextLink reference="9"></TextLink>. Die Antwortmöglichkeit wurde auf einer <TextGroup><PlainText>11-s</PlainText></TextGroup>tufigen Skala (von 0 bis 10) dargeboten. In der Produktforschung wird diesem NPS-Rohwert anschließend eine von drei Kategorisierungen zugewiesen: Detraktoren (NPS-Rohwert 0–6), Indifferente (NPS-Rohwert 7–8) sowie Promotoren (NPS 9–10). Anschließend kann auf Ebene des bewerteten Systems der prozentuale Überhang der Promotoren im Vergleich zu den Detraktoren errechnet werden. Dieser kann einen Wert zwischen –100 (keine Promotoren, ausschließlich Detraktoren) sowie +100 (ausschließlich Promotoren, keine Detraktoren) erreichen <TextLink reference="9"></TextLink>. Bei einem Wert von 0 wäre der prozentuale Anteil von Promotoren versus Detraktoren gleich hoch. In den vorliegenden Analysen wurde bei Analysen auf Ebene der Bewertungen der NPS-Rohwert verwendet und auf Ebene der PVS der NPS einbezogen.</Pgraph><SubHeadline2>PVS-Wechselbereitschaft, Wechsel des PVS, Verbesserung oder Verschlechterung hinsichtlich Usability</SubHeadline2><Pgraph>Die PVS-Wechselbereitschaft wurde bei Ärzt:innen und Psychotherapeut:innen mit der Frage „Wären Sie bereit, jetzt oder in den nächsten Jahren, die Praxisverwaltungssoftware zu wechseln?“ erfasst. Die Antwortmöglichkeiten waren hier „Ja“, „Nein“ und „Auf die Entscheidung habe ich keinen Einfluss“. Bei angestelltem Praxispersonal wurde die Frage gestellt „Würden Sie, jetzt oder in den nächsten Jahren, einen Wechsel der Praxisverwaltungssoftware befürworten?“, mit den Antwortoptionen „Ja“, „Nein“ und „Neutral“. Um die Vergleichbarkeit zwischen den Berufsgruppen zu gewährleisten, wurden nur die Antworten „Ja“ oder „Nein“ ausgewertet. </Pgraph><Pgraph>Wenn die Frage nach der PVS-Wechselbereitschaft bejaht oder verneint wurde, so konnte angegeben werden, ob ein Wechsel des PVS in jüngerer Vergangenheit stattgefunden hat und welches PVS zuvor genutzt wurde. Aus dem über alle Bewertungen gewonnenem Mittelwert der Usability (SUS) eines PVS wurde anschließend eine Variable erstellt, welche indiziert, ob der Wechsel zu einem PVS mit im Durchschnitt höher oder geringer bewerteter Usability im Vergleich zum zuvor genutzten PVS stattfand. Die individuelle Einschätzung konnte nicht zum Vergleich herangezogen werden, da nur das aktuell verwendete PVS bewertet wurde, nicht das zuvor verwendete.</Pgraph><SubHeadline>Analysen</SubHeadline><Pgraph>Die Forschungsfrage A) nach der Validität von SUS und NPS wurde mittels Konstrukt- und Kriteriumsvalidierung sowie die Reliabilität (SUS) über ein Zusammenhangsmaß analysiert, welche im Standardwerk von Moosbrugger und Kelava zur Validierung ausgeführt werden <TextLink reference="27"></TextLink>. </Pgraph><SubHeadline2>Konstruktvalidität (SUS und NPS)</SubHeadline2><Pgraph>Die Konstruktvalidität des SUS-Werts sowie des NPS-Rohwerts in Bezug auf die Unterscheidungskraft hinsichtlich der PVS wurde anhand einer Varianzanalyse (ANOVA) geprüft. Hierbei wurde jeweils der SUS-Wert beziehungsweise der NPS-Rohwert als abhängige Variable und PVS mit mindestens 20 Bewertungen als unabhängige Variablen eingesetzt. Das Eta-Quadrat wurde gebildet, wobei ein Eta-Quadrat größer als 0,14 als großer Effekt verstanden wird, welcher eine zugrundeliegende Konstruktvalidität vermuten lässt <TextLink reference="28"></TextLink>. Der aus zehn Items gebildete SUS-Wert wurde zudem faktorenanalytisch geprüft. Zunächst wurde über einen Scree-Plot die Anzahl der Faktoren exploriert, um diese anschließend in einer konfirmatorischen Faktorenanalyse zu bestätigen. </Pgraph><SubHeadline2>Kriteriumsvalidität (SUS und NPS)</SubHeadline2><Pgraph>Als externes Kriterium für den SUS-Wert und den NPS-Rohwert wurde die PVS-Wechselbereitschaft gewählt und diese jeweils in einer Korrelation den beiden Werten gegenübergestellt. Korrelationen ab 0,5 gelten in der psychometrischen Literatur als hoch und werden als starker Hinweis auf eine vorliegende Kriteriumsvalidität betrachtet <TextLink reference="28"></TextLink>.</Pgraph><SubHeadline>Reliabilität (SUS)</SubHeadline><Pgraph>Die Reliabilität konnte nur für SUS gemessen werden, da die Reliabilität von One-Item-Scores nur über Messwiederholungen geschätzt werden kann <TextLink reference="29"></TextLink>. Über alle rekodierten Items der System Usability Scale wurde das Cronbach’s Alpha ermittelt, wobei ein Cronbach’s Alpha von über 0,9 für eine ausgezeichnete Reliabilität spricht <TextLink reference="28"></TextLink>.</Pgraph><Pgraph>Forschungsfrage B) wurde deskriptiv anhand der SUS-Werte, der NPS-Rohwerte, des NPS sowie der PVS-Wechselbereitschaft untersucht.</Pgraph><Pgraph>Für die Beantwortung der Forschungsfrage C) wurden für den SUS-Wert und den NPS-Rohwert lineare Regressionen, für die Wechselbereitschaft eine logistische Regression durchgeführt. Hierfür wurden persönliche Faktoren (Alter, Geschlecht, Berufsgruppe), praxisbezogene Faktoren (PVS-Nutzungsdauer, Versorgungsebene) sowie PVS-bezogene Faktoren (PVS-Fehlerhäufigkeiten und -Fehlersituationen) aufgenommen. Die optische Begutachtung des Zusammenhangs zwischen Nutzungsdauer und den abhängigen Variablen zeigt bis zu einer Dauer von 3<TextGroup><PlainText>0 J</PlainText></TextGroup>ahren (N=10.082) einen anderen Trend als bei einer Nutzungsdauer von mehr als 30 Jahren (N=130). Daher wurde diese Variable segmentiert („0–30 Jahre“ sowie „31 und mehr Jahre“). Fehlende Werte wurden zeilenweise ausgeschlossen. Die Multikollinearität wurde anhand des Variance Inflation Factors überprüft <TextLink reference="30"></TextLink>.</Pgraph><Pgraph>Die Forschungsfrage D) wurde im Rahmen einer weiteren linearen Regressionsanalyse untersucht. Hier wurde der NPS-Rohwert über die Usability (SUS) des aktuell genutzten PVS, die Information, ob ein Wechsel des PVS in jüngerer Vergangenheit stattgefunden hat, und je eine <TextGroup><PlainText>Variable</PlainText></TextGroup> mit der Information, ob ein Wechsel zu einem PVS mit höherer oder mit geringerer Usability im Vergleich zum vorhergehenden PVS stattfand, vorhergesagt.</Pgraph><Pgraph>Die vorliegende Arbeit wurde anhand der STROBE-Richtlinien für Querschnittsstudien angefertigt <TextLink reference="31"></TextLink>.</Pgraph></TextBlock>
<TextBlock linked="yes" name="Ergebnisse">
<MainHeadline>Ergebnisse</MainHeadline><SubHeadline>Deskription</SubHeadline><Pgraph>Insgesamt wurden 11.997 Fragebögen aufgerufen. Nach Ausschluss von 1.752 unvollständigen oder unplausiblen Eingaben verblieben 10.245 Datensätze mit Angaben zu 88 PVS mit bis zu 1.028 Bewertungen. Für PVS-Vergleichsanalysen wurden nur jene 39 PVS mit mindestens 2<TextGroup><PlainText>0 B</PlainText></TextGroup>ewertungen berücksichtigt (N=10.040). In <TextGroup><PlainText>Tabelle 1 </PlainText></TextGroup><ImgLink imgNo="1" imgType="table"/> wird ersichtlich, dass die Berufsgruppe der niedergelassenen Ärzt:innen am häufigsten vertreten war (64,3%). Mit insgesamt 6.979 befragten Ärzt:innen liegt der Anteil an allen deutschlandweit ambulant tätigen Ärzt:innen bei 4,15% <TextLink reference="32"></TextLink>. Die Anzahl der Bewertungen im prozentualen Vergleich zur Anzahl aller Installation liegt je nach PVS bei 2,8% bis 60,4%. Das Durchschnittsalter betrug 52,<TextGroup><PlainText>6 J</PlainText></TextGroup>ahre und 53,0% der Teilnehmenden waren weiblich. In insgesamt 917 Fällen (9,0%) wurde ein in jüngerer Vergangenheit stattgefundener Wechsel des PVS angegeben. In 773 Fällen konnte das zuvor genutzte PVS mit dem aktuell verwendeten PVS auf Ebene der Usability verglichen werden. Davon nutzten 91,6% nach dem Wechsel ein PVS, welches im Durchschnitt aller Bewertungen eine höhere Usability aufwies im Vergleich zum zuvor verwendeten PVS.</Pgraph><SubHeadline>Forschungsfrage A) Validität von SUS/NPS, Reliabilität von SUS</SubHeadline><Pgraph>Die Varianzanalyse (ANOVA) mit der Vorhersage des SUS-Werts durch die PVS ergab ein Eta-Quadrat von 0,25, beim NPS-Rohwert betrug dieses 0,32, was jeweils einer hohen Varianzaufklärung entspricht. Die Betrachtung der Eigenwerte über die zehn SUS-Items hinweg legte in der konfirmatorischen Faktorenanalyse eine Ein-Faktor-Lö<TextGroup><PlainText>s</PlainText></TextGroup>ung nahe. Der Chi-Quadrat-Wert geteilt durch die Freiheitsgrade ergibt 83,16, was nach Moosbrugger und Kelava <TextLink reference="27"></TextLink> über dem akzeptablen Wert liegt. Allerdings zeigen die deskriptiven Maße mit einem Comparative Fit Index von 0,95 einen guten sowie bei einem Root Mean Square Error of Approximation von 0,09 einen akzeptablen Fit. Die standardisierten Faktorladungen lagen zwischen 0,55 und 0,85. Die Wechselbereitschaft als externes Kriterium zeigte in der Spearman-Korrelation mit dem SUS-Wert/NPS-Rohwert ein Rho=–0,58 (p<0,001)/–0,67 (p<0,001), beide Werte werden als gut erachtet. Das Cronbach’s Alpha der zehn SUS-Items liegt bei einem als sehr hohen Wert eingestuften 0,92. </Pgraph><SubHeadline>Forschungsfrage B) Unterschiede der PVS hinsichtlich Usability, Nutzerzufriedenheit und Wechselbereitschaft</SubHeadline><Pgraph>In Abbildung 1 <ImgLink imgNo="1" imgType="figure"/> werden die 39 PVS mit mindestens 2<TextGroup><PlainText>0 Be</PlainText></TextGroup>wertungen hinsichtlich Anzahl der Bewertungen und prozentualer Anteil der Installationen, SUS-Wert, NPS-Rohwert, NPS und Wechselbereitschaft gezeigt. Beim SUS-Wert und NPS-Rohwert sind „tomedo“, „PegaMed“ und „T2med“ jeweils unter den drei bestbewerteten und „TURBOMED“, „QMED.PRAXIS“ und „CGM M1 PRO“ unter den drei am niedrigsten bewerteten PVS. Hinsichtlich des NPS bleiben die Bottom-3 unverändert, die Top-3 bestehen neben „tomedo“ und „T2med“ aus „Praxis-Programm (MediSoftware)“, direkt gefolgt von „PegaMed“. Die PVS-Wechselbereitschaft ist am höchsten bei „KiWi – KIND“, „QMED.PRAXIS“ und „TURBOMED“, am geringsten bei „tomedo“, „T2med“ und „FIDUS“ ausgeprägt. Ein Ausreißer ist beim PVS „KiWi – KIND Praxis EDV für Windows“ zu beobachten, welches eine sehr hohe Varianz beim NPS-Rohwert sowie eine ungewöhnlich hohe PVS-Wechselbereitschaft in Relation zu SUS und NPS besitzt. </Pgraph><Pgraph>Hinsichtlich der Varianz innerhalb der PVS bestehen große Unterschiede, welche jedoch nicht mit der Anzahl der abgegebenen Bewertungen zusammenzuhängen scheint. In einer post-hoc-Analyse zeigt die Mittelwerte-Verteilung in Relation zum Standardfehler keine Auffälligkeiten. </Pgraph><SubHeadline>Forschungsfrage C) Mit Usability, Nutzerzufriedenheit und PVS-Wechselbereitschaft zusammenhängende Faktoren</SubHeadline><Pgraph>Für den SUS-Wert, den NPS-Rohwert und die PVS-Wechselbereitschaft lag die aufgeklärte Varianz der Regressi<TextGroup><PlainText>o</PlainText></TextGroup>nsanalysen bei R<Superscript>2</Superscript>=0,31/0,29/0,17. Die Ergebnisse werden in Tabelle 2 <ImgLink imgNo="2" imgType="table"/> dargestellt. Die Koeffizienten werden an dieser Stelle zur Vermeidung von Redundanzen nicht zusätzlich aufgeführt. Die Variance Inflation Factors waren in allen Regressionsanalysen kleiner als 10 und weisen daher nicht auf Multikollinearität hin. </Pgraph><SubHeadline2>Persönliche Faktoren</SubHeadline2><Pgraph>Das Alter zeigt eine positive Vorhersagekraft in Bezug auf den NPS-Rohwert, und eine negative für die PVS-Wechselbereitschaft. Frauen haben zudem eine signifikant höhere Wahrscheinlichkeit für einen positiven SUS-Wert sowie eine geringere PVS-Wechselbereitschaft. Angestellte Ärzt:innen und niedergelassene Psychotherapeut:innen haben signifikant geringere Werte für SUS und NPS und eine signifikant höhere PVS-Wechselbereitschaft im Vergleich zu niedergelassenen Ärzt:innen, während angestelltes Praxispersonal eine niedrigere PVS-Wechselbereitschaft aufweist, was jedoch nach einer Holm-Bonferroni-Korrektur nicht mehr signifikant ist. </Pgraph><SubHeadline2>Praxisbezogene Faktoren</SubHeadline2><Pgraph>Gegenüber der hausärztlichen Versorgung zeigen alle anderen Versorgungsebenen signifikant geringere Werte für SUS/NPS und bis auf die gesonderte fachärztliche Versorgung auch signifikant höhere Werte in der PVS-Wechselbereitschaft. Bei einer ansteigenden Nutzungsdauer bis zu 30 Jahren fällt die Bewertung im SUS/NPS signifikant geringer aus und die PVS-Wechselbereitschaft steigt signifikant. Ab einer Nutzungsdauer von 31 Jahren kehrt sich der Effekt für SUS/NPS um, bei der PVS-Wechselbereitschaft besteht kein signifikanter Zusammenhang mehr. </Pgraph><SubHeadline2>Fehlerhäufigkeit und Fehlersituationen</SubHeadline2><Pgraph>Bei höherer Fehlerhäufigkeit sind SUS und NPS signifikant niedriger, die PVS-Wechselbereitschaft ist höher. Signifikant negative Zusammenhänge mit SUS/NPS und signifikant positive Zusammenhänge mit der PVS-Wechselbe<TextGroup><PlainText>r</PlainText></TextGroup>eitschaft haben die Fehlersituationen „Nach Update des PVS“, „Scannen und Drucken“, „Ausstellen von Rezepten“, „Verbindungsaufbau mit dem Konnektor“, „Erstellung von Quartalsabrechnungen“, „Kodierung von Diagnosen“, „Signaturvorgang“, „Kalenderfunktion“ sowie „Bei der Telematiki-Ifrastruktur“. Der SUS-Wert wird zudem signifikant negativ vorhergesagt beim Vorhandensein der Fehlersituationen „Online-Terminvergabe“. Nach einer Holm-Bonferroni-Korrektur bleiben bis auf die Fehlersituationen „Verbindungsaufbau mit dem Konnektor“ (SUS, NPS und PVS-Wechselbereitschaft) sowie „Online-Terminvergabe“ (SUS), „Bei der Telematik-Infrastruktur“ (NPS) und „Beim Ausstellen von Rezepten“ (PVS-Wechselbereitschaft) alle benannten Variablen signifikant.</Pgraph><SubHeadline>Forschungsfrage D) Einfluss des Wechsels und der Usability auf die Nutzerzufriedenheit</SubHeadline><Pgraph>In Tabelle 3 <ImgLink imgNo="3" imgType="table"/> wird gezeigt, dass neben der individuell eingeschätzten Usability auch der Wechsel des PVS selbst statistisch signifikant positiv mit der Nutzerzufriedenheit zusammenhängt. Ein Wechsel zu einem PVS mit geringerer Usability zeigt keinen signifikanten Effekt, während ein Wechsel zu einem PVS mit höher bewerteter Usability noch einen zusätzlichen positiven statistischen Einfluss auf die Nutzerzufriedenheit hat.</Pgraph></TextBlock>
<TextBlock linked="yes" name="Diskussion">
<MainHeadline>Diskussion</MainHeadline><SubHeadline>Forschungsfrage A) Validität von SUS und NPS, Reliabilität von SUS</SubHeadline><Pgraph>Die hohe Unterscheidungskraft der PVS sowie die hohe Korrelation mit der PVS-Wechselbereitschaft lassen auf eine hohe Konstrukt- und Kriteriumsvalidität von sowohl SUS-Wert als auch NPS-Rohwert schließen. Die faktorielle Validität sowie die Reliabilität von SUS wurde durch eine konfirmatorische Faktorenanalyse und ein hohes Cronbach’s Alpha bestätigt. Die SUS wurde bisher zwar in der deutschen Übersetzung häufig verwendet, jedoch noch nicht für PVS validiert. Eine Validierungsstudie mit einer deutschen Übersetzung der SUS, welche sich von der hier verwendeten Übersetzung aufgrund der Formulierungen spezifisch für PVS unterscheidet, zeigte je nach bewerteter Software unterschiedliche Werte hinsichtlich faktorieller Validität und Reliabilität <TextLink reference="33"></TextLink>. Validierungsstudien der englischen Fassung zeigten ebenfalls eine hohe Konstruktvalidität und Reliabilität <TextLink reference="26"></TextLink>, <TextLink reference="34"></TextLink>, <TextLink reference="35"></TextLink>. Auch der NPS wurde noch nicht weitläufig validiert, zeigt aber in der empirischen Literatur Übereinstimmungen zur Verbraucherstimmung <TextLink reference="14"></TextLink>, was auf eine Validität der Skala hindeutet. Beide Skalen können demzufolge für die Erforschung von Usability und Nutzerzufriedenheit in Bezug auf PVS im deutschsprachigen Raum verwendet werden.</Pgraph><SubHeadline>Forschungsfrage B) Unterschiede der PVS hinsichtlich Usability, Nutzerzufriedenheit und PVS-Wechselbereitschaft</SubHeadline><Pgraph>Eine hohe Konsistenz ist zu beobachten: PVS, die hohe Werte im SUS-Wert aufweisen, zeigen ebenso hohe Werte beim NPS-Rohwert und beim NPS, und haben geringere Zustimmungswerte in Bezug auf die PVS-Wechselbereitschaft. Die Software „KiWi-KIND“, welche inkonsistente Werte erzielte, soll möglicherweise in naher Zukunft eingestellt werden (laut Freitextangaben der Bewertenden). Die auffälligen Ergebnisse bei Weiterempfehlung und Wechselbereitschaft werden sehr wahrscheinlich durch dieses Wissen beeinflusst. Die Rangfolgen der PVS in der vorliegenden Studie weisen ähnliche Reihenfolgen im Vergleich zu einer deutschen Usability-Befragung im augenärztlichen Bereich auf <TextLink reference="36"></TextLink>. Insgesamt zeigen sich deutliche Unterschiede zwischen den PVS hinsichtlich Usability, Nutzerzufriedenheit und PVS-Wechselbereitschaft, was möglicherweise auf eine variierende Qualität von PVS hindeuten könnte. </Pgraph><Pgraph>In einer Studie, welche unter anderem einen Vergleich der Schnelligkeit, die einen Teil der Usability ausmacht, von fünf PVS vornahm, schnitten TURBOMED und <TextGroup><PlainText>medatixx</PlainText></TextGroup> gut ab <TextLink reference="37"></TextLink>, diese PVS zeigten in der vorliegenden Studie jedoch im Vergleich unter 39 PVS geringe (TURBOMED) beziehungsweise mittlere (medatixx) Zustimmungswerte bei Usability und Nutzerzufriedenheit. Das deutet daraufhin, dass die Schnelligkeit keinen alleinigen Faktor für die Nutzererfahrung darstellt. Darüber hinaus weist die soeben benannte Vergleichsstudie Limitationen auf: Es wurden nur sehr wenige PVS getestet und die Ergebnisse sind durch beispielsweise Software-Updates volatil. Vor diesem Hintergrund ist es entscheidend, dass die Stabilität der Telematik-Infrastruktur verbessert wird, um verlässlichere Ergebnisse zu erzielen. Mit dem geplanten Gesundheits-Digital-Agentur-Gesetz sollte unter anderem genau diese Stabilität der Telematik-Infrastruktur erhöht werden <TextLink reference="38"></TextLink>. Eine Studie aus den USA fand jedoch auch nach einer Zertifizierungspflicht zunächst keine Verbesserungen in Bezug auf die Usability von elektronischen Dokumentationssystemen im Gesundheitswesen <TextLink reference="39"></TextLink>. Die Kassenärztliche Bundesvereinigung fordert daher, den Abschluss einer Rahmenvereinbarung für PVS gesetzlich verpflichtend zu regeln, um eine höhere Praxistauglichkeit von PVS zu gewährleisten <TextLink reference="40"></TextLink>.</Pgraph><SubHeadline>Forschungsfrage C) Mit Usability, Nutzerzufriedenheit und PVS-Wechselbereitschaft zusammenhängende Faktoren</SubHeadline><Pgraph>Persönliche und praxisbezogene Faktoren spielen für die Varianzaufklärung in der Vorhersage von SUS/NPS und PVS-Wechselbereitschaft eine untergeordnete Rolle, wobei persönliche Faktoren in einer anderen Studie ähnlich ausfielen, in der ebenfalls Frauen sowie ältere Befragte die Tendenz zeigten, PVS im Vergleich zu Männern beziehungsweise jüngeren Befragten positiver zu bewerten <TextLink reference="36"></TextLink>. Im Gegensatz dazu zeigen Fehlersituationen eine höhere Varianzaufklärung. Häufigere Fehlersituationen sagen geringere Usability und Nutzerzufriedenheit sowie eine höhere PVS-Wechselbereitschaft vorher. Im Gegensatz zu direkt PVS-bezogenen Fehlersituationen zeigten Fehler beim Update des Betriebssystems und beim Auslesen der eGK keinen statistischen Einfluss auf Usability, Nutzerzufriedenheit und PVS-Wechselbereitschaft, gleiches gilt für die Online-Terminvergabe bei Nutzerzufriedenheit/PVS-Wechselbereitschaft. Das könnte darauf schließen lassen, dass Nutzer:innen Fehler bei der Nutzung von Funktionalitäten der Telematik-Infrastruktur nicht pauschal dem verwendeten PVS zuschreiben und eine differenzierte Meinungsbildung vornehmen. </Pgraph><Pgraph>Zusammenfassend sind PVS-bezogene Fehlersituationen ein wesentlicher Einflussfaktor für Usability, Nutzerzufriedenheit und PVS-Wechselbereitschaft. Hier besteht ein entscheidender Ansatzpunkt für PVS-Hersteller, in Prüfung und Stabilität ihrer Softwareprodukte zu investieren.</Pgraph><SubHeadline>Forschungsfrage D) Einfluss des Wechsels und der Usability auf die Nutzerzufriedenheit</SubHeadline><Pgraph>Dass die Usability mit der Nutzerzufriedenheit zusammenhängt, konnte auch in anderen Studien gezeigt werden <TextLink reference="41"></TextLink>, <TextLink reference="42"></TextLink>. Aber auch der Wechselvorgang scheint davon unabhängig eine gesteigerte Zufriedenheit mit sich zu bringen, was sich in empirischen Studien hinsichtlich App-Updates bestätigt <TextLink reference="43"></TextLink>. Wenn der Wechsel zudem zu einem PVS mit höherer Usability hin stattfand, so steigerte das nochmals die Nutzerzufriedenheit, unabhängig von der individuell eingeschätzten Usability des PVS. Daher könnte das geplante Gesundheits-Digital-Agentur-Gesetz, das den Wechsel zu einem neuen PVS erleichtert, dazu beitragen, die Nutzerzufriedenheit weiter zu erhöhen und somit den Arbeitsalltag in Arztpraxen spürbar zu erleichtern <TextLink reference="44"></TextLink>.</Pgraph><SubHeadline>Limitationen</SubHeadline><Pgraph>Limitationen der Studie betreffen die Befragungsmethode, da nicht ausgeschlossen werden kann, dass auch nicht-angesprochene Personenkreise teilgenommen haben. Aufgrund der direkten Bewerbung beim Adressatenkreis und der hohen Teilnehmendenzahl wird das Manipulationsrisiko als gering eingeschätzt. Mehrfachteilnahmen wurden durch Cookie-Setzung verhindert. Die Repräsentativität der Aussagen ist mit einer Teilnahme von 4,9<TextGroup><PlainText>3 Pr</PlainText></TextGroup>ozent der niedergelassenen und ambulant angestellten Ärztinnen und Ärzte beziehungsweise Psychotherapeutinnen und Psychotherapeuten sowie aufgrund des Convenience Samplings allerdings eingeschränkt. Zudem fand die Befragung kurz nach der bundesweit verpflichtenden Einführung von eRezepten statt, die von Störungen begleitet war und die Bewertungen mitbeeinflusst haben könnte. Es muss jedoch hervorgehoben werden, dass die Teilnehmer sich in einem breiten Spektrum mit differenzierten sowohl positiven wie negativen Bewertungen geäußert haben. </Pgraph><SubHeadline>Forschungsausblick</SubHeadline><Pgraph>Die Usability von PVS kann nicht nur die Berufszufriedenheit maßgeblich beeinflussen, sondern auch, wie schnell und weitreichend Telematik-Infrastruktur-Anwendungen in den Praxen ankommen und in der medizinischen Versorgung genutzt werden können. Häufige Funktionsstö<TextGroup><PlainText>r</PlainText></TextGroup>ungen können sich disruptiv auf die Qualität der Versorgung auswirken. Vor diesem Hintergrund sollten Daten zur PVS-Usability regelmäßig erhoben werden, um herstellerseitige Verbesserungen oder nutzerseitige PVS-Wechsel zu unterstützen. Diese könnten durch Usability-Messungen in Praxen oder Labortests ergänzt werden, um ergänzende Informationen zur Komplexität und Bearbeitungsdauer standardisierter Vorgänge (z.B. Anlegen eines Patienten, Ausstellen eine eRezepts, Befunddokumentation) zu erhalten. Das Zentralinstitut für die kassenärztliche Versorgung wird eine Umfrage zur Rahmenvereinbarung nach §332b SGB V durchführen, um weitere Schlüsselaspekte der Usability und Nutzerzufriedenheit von PVS zu identifizieren. Auch die Bereiche der Funktionalitäten sowie die systematische Erfassung von Fehlern und deren Auswirkungen sollten vertiefend untersucht werden. Gesundheitspolitisch ist zu erwägen, den Wechsel zu den anwenderfreundlichsten PVS finanziell zu fördern, sofern diese jeweils alle benötigten Funktionalitäten bereitstellen sowie die jeweils geforderten technischen Standards erfüllen.</Pgraph></TextBlock>
<TextBlock linked="yes" name="Anmerkungen">
<MainHeadline>Anmerkungen</MainHeadline><SubHeadline>Danksagung</SubHeadline><Pgraph>Wir danken Frau Dr. Landgraf, Herrn Dr. Spies und Herrn Dr. Wiesenberg für wertvolle Hinweise bei der Erstellung des Fragebogens.</Pgraph><SubHeadline>Interessenkonflikte</SubHeadline><Pgraph>Die Autor:innen erklären, dass sie keine Interessenkonflikte in Zusammenhang mit diesem Artikel haben.</Pgraph></TextBlock>
<References linked="yes">
<Reference refNo="1">
<RefAuthor>Kassenärztliche Bundesvereinigung (KBV)</RefAuthor>
<RefTitle></RefTitle>
<RefYear>2023</RefYear>
<RefBookTitle>Installationsstatistiken von Softwaresystemen. KBV - Installationsstatistiken von Softwaresystemen</RefBookTitle>
<RefPage></RefPage>
<RefTotal>Kassenärztliche Bundesvereinigung (KBV). Installationsstatistiken von Softwaresystemen. KBV - Installationsstatistiken von Softwaresystemen. 2023 [zugegriffen 6. Juni 2024]. Verfügbar unter: https://www.kbv.de/html/6989.php</RefTotal>
<RefLink>https://www.kbv.de/html/6989.php</RefLink>
</Reference>
<Reference refNo="2">
<RefAuthor>Nastansky A</RefAuthor>
<RefAuthor>Leibner M</RefAuthor>
<RefTitle></RefTitle>
<RefYear>2023</RefYear>
<RefBookTitle>Analyse der Arbeitszufriedenheit von Praxisinhabern in der vertragsärztlichen Versorgung</RefBookTitle>
<RefPage></RefPage>
<RefTotal>Nastansky A, Leibner M. Analyse der Arbeitszufriedenheit von Praxisinhabern in der vertragsärztlichen Versorgung. 2023. Verfügbar unter: https://www.zi.de/fileadmin/Downloads/Service/Publikationen/Zi-Paper_28-2023_Arbeitszufriedenheit.pdf</RefTotal>
<RefLink>https://www.zi.de/fileadmin/Downloads/Service/Publikationen/Zi-Paper_28-2023_Arbeitszufriedenheit.pdf</RefLink>
</Reference>
<Reference refNo="3">
<RefAuthor>Schmied J</RefAuthor>
<RefAuthor>Baer C</RefAuthor>
<RefAuthor>Zschille M</RefAuthor>
<RefAuthor>Gierga A</RefAuthor>
<RefAuthor>Oettel J</RefAuthor>
<RefAuthor>Leibner M</RefAuthor>
<RefTitle></RefTitle>
<RefYear>2023</RefYear>
<RefBookTitle>#PraxenKollaps: Repräsentative Befragungsergebnisse zur Lage in Praxen – Ergebnisse auf Bundesebene</RefBookTitle>
<RefPage></RefPage>
<RefTotal>Schmied J, Baer C, Zschille M, Gierga A, Oettel J, Leibner M. #PraxenKollaps: Repräsentative Befragungsergebnisse zur Lage in Praxen – Ergebnisse auf Bundesebene. 2023 [zugegriffen 21. Juni 2024]. Verfügbar unter: https://www.zi.de/fileadmin/Downloads/Service/Medien/MI/Langfassung-Befragungsergebnisse_08-12-23.pdf</RefTotal>
<RefLink>https://www.zi.de/fileadmin/Downloads/Service/Medien/MI/Langfassung-Befragungsergebnisse_08-12-23.pdf</RefLink>
</Reference>
<Reference refNo="4">
<RefAuthor>Melnick ER</RefAuthor>
<RefAuthor>Dyrbye LN</RefAuthor>
<RefAuthor>Sinsky CA</RefAuthor>
<RefAuthor>Trockel M</RefAuthor>
<RefAuthor>West CP</RefAuthor>
<RefAuthor>Nedelec L</RefAuthor>
<RefAuthor>Tutty MA</RefAuthor>
<RefAuthor>Shanafelt T</RefAuthor>
<RefTitle>The Association Between Perceived Electronic Health Record Usability and Professional Burnout Among US Physicians</RefTitle>
<RefYear>2020</RefYear>
<RefJournal>Mayo Clin Proc</RefJournal>
<RefPage>476-87</RefPage>
<RefTotal>Melnick ER, Dyrbye LN, Sinsky CA, Trockel M, West CP, Nedelec L, Tutty MA, Shanafelt T. The Association Between Perceived Electronic Health Record Usability and Professional Burnout Among US Physicians. Mayo Clin Proc. 2020 Mar;95(3):476-87. DOI: 10.1016/j.mayocp.2019.09.024</RefTotal>
<RefLink>https://doi.org/10.1016/j.mayocp.2019.09.024</RefLink>
</Reference>
<Reference refNo="5">
<RefAuthor>Li C</RefAuthor>
<RefAuthor>Parpia C</RefAuthor>
<RefAuthor>Sriharan A</RefAuthor>
<RefAuthor>Keefe DT</RefAuthor>
<RefTitle>Electronic medical record-related burnout in healthcare providers: a scoping review of outcomes and interventions</RefTitle>
<RefYear>2022</RefYear>
<RefJournal>BMJ Open</RefJournal>
<RefPage>e060865</RefPage>
<RefTotal>Li C, Parpia C, Sriharan A, Keefe DT. Electronic medical record-related burnout in healthcare providers: a scoping review of outcomes and interventions. BMJ Open. 2022 Aug 19;12(8):e060865. DOI: 10.1136/bmjopen-2022-060865</RefTotal>
<RefLink>https://doi.org/10.1136/bmjopen-2022-060865</RefLink>
</Reference>
<Reference refNo="6">
<RefAuthor>Shneiderman B</RefAuthor>
<RefTitle>Tragic errors: usability and electronic health records</RefTitle>
<RefYear>2011</RefYear>
<RefJournal>Interactions</RefJournal>
<RefPage>60-3</RefPage>
<RefTotal>Shneiderman B. Tragic errors: usability and electronic health records. Interactions. 2011;18(6):60-3.
DOI: 10.1145/2029976.2029992</RefTotal>
<RefLink>https://doi.org/10.1145/2029976.2029992</RefLink>
</Reference>
<Reference refNo="7">
<RefAuthor>Hautamäki E</RefAuthor>
<RefAuthor>Kinnunen U-M</RefAuthor>
<RefAuthor>Palojoki S</RefAuthor>
<RefTitle>Health information systems’ usability-related use errors in patient safety incidents</RefTitle>
<RefYear>2017</RefYear>
<RefJournal>Finnish Journal of eHealth and eWelfare</RefJournal>
<RefPage>6-17</RefPage>
<RefTotal>Hautamäki E, Kinnunen U-M, Palojoki S. Health information systems’ usability-related use errors in patient safety incidents. Finnish Journal of eHealth and eWelfare. 2017;9(1):6-17.
DOI: 10.23996/fjhw.60763</RefTotal>
<RefLink>https://doi.org/10.23996/fjhw.60763</RefLink>
</Reference>
<Reference refNo="8">
<RefAuthor>Hahn GM</RefAuthor>
<RefTitle>Usability-Forschung</RefTitle>
<RefYear>2011</RefYear>
<RefBookTitle>Qualitative Marktforschung in Theorie und Praxis</RefBookTitle>
<RefPage>505-18</RefPage>
<RefTotal>Hahn GM. Usability-Forschung. In: Naderer G, Balzer E, Hrsg. Qualitative Marktforschung in Theorie und Praxis. Wiesbaden: Gabler; 2011. p. 505-18.</RefTotal>
</Reference>
<Reference refNo="9">
<RefAuthor>Van Riet J</RefAuthor>
<RefAuthor>Kirsch M</RefAuthor>
<RefTitle>Konzeption und Nutzung des Net Promoter® Score</RefTitle>
<RefYear>2010</RefYear>
<RefBookTitle>Kundenorientierte Unternehmensführung: Konzept und Anwendung des Net Promoter® Score in der Praxis</RefBookTitle>
<RefPage>35-83</RefPage>
<RefTotal>Van Riet J, Kirsch M. Konzeption und Nutzung des Net Promoter® Score. In: Greve G, Benning-Rohnke E, Hrsg. Kundenorientierte Unternehmensführung: Konzept und Anwendung des Net Promoter® Score in der Praxis. Wiesbaden: Gabler; 2010. p. 35-83.</RefTotal>
</Reference>
<Reference refNo="10">
<RefAuthor>Bevan N</RefAuthor>
<RefAuthor>Carter J</RefAuthor>
<RefAuthor>Harker S</RefAuthor>
<RefTitle></RefTitle>
<RefYear>2015</RefYear>
<RefBookTitle>ISO 9241-11 Revised: What Have We Learnt About Usability Since 1998?</RefBookTitle>
<RefPage></RefPage>
<RefTotal>Bevan N, Carter J, Harker S. ISO 9241-11 Revised: What Have We Learnt About Usability Since 1998? In: Kurosu M, Hrsg. Human-Computer Interaction: Design and Evaluation. Cham: Springer; 2015. (Lecture Notes in Computer Science).</RefTotal>
</Reference>
<Reference refNo="11">
<RefAuthor>Rummel B</RefAuthor>
<RefTitle></RefTitle>
<RefYear>2016</RefYear>
<RefBookTitle>System Usability Scale – jetzt auch auf Deutsch</RefBookTitle>
<RefPage></RefPage>
<RefTotal>Rummel B. System Usability Scale – jetzt auch auf Deutsch. SAP Community; 2016 [zugegriffen 6. Juni 2024]. Verfügbar unter: https://community.sap.com/t5/additional-blogs-by-sap/system-usability-scale-jetzt-auch-auf-deutsch/ba-p/13487686</RefTotal>
<RefLink>https://community.sap.com/t5/additional-blogs-by-sap/system-usability-scale-jetzt-auch-auf-deutsch/ba-p/13487686</RefLink>
</Reference>
<Reference refNo="12">
<RefAuthor>Brooke J</RefAuthor>
<RefTitle>SUS: A quick and dirty usability scale</RefTitle>
<RefYear>1996</RefYear>
<RefBookTitle>Usability Evaluation In Industry</RefBookTitle>
<RefPage>189-94</RefPage>
<RefTotal>Brooke J. SUS: A quick and dirty usability scale. In: Thomas B, Weerdmeester B, McClelland IL, Jordan PW, Hrsg. Usability Evaluation In Industry. London: Taylor & Francis; 1996. p. 189-94.</RefTotal>
</Reference>
<Reference refNo="13">
<RefAuthor>Brix TJ</RefAuthor>
<RefAuthor>Janssen A</RefAuthor>
<RefAuthor>Storck M</RefAuthor>
<RefAuthor>Varghese J</RefAuthor>
<RefTitle>Comparison of German Translations of the System Usability Scale – Which to Take?</RefTitle>
<RefYear>2023</RefYear>
<RefBookTitle>German Medical Data Sciences 2023 – Science Close to People. Proceedings of the 68th Annual Meeting of the German Association of Medical Informatics, Biometry, and Epidemiology e.V. (gmds); 2023; Heilbronn, Germany</RefBookTitle>
<RefPage>96-101</RefPage>
<RefTotal>Brix TJ, Janssen A, Storck M, Varghese J. Comparison of German Translations of the System Usability Scale – Which to Take? In: Röhrig R, Grabe N, Haag M, Hübner U, Sax U, Schmidt CO, Sedlmayr M, Zapf A, Hrsg. German Medical Data Sciences 2023 – Science Close to People. Proceedings of the 68th Annual Meeting of the German Association of Medical Informatics, Biometry, and Epidemiology e.V. (gmds); 2023; Heilbronn, Germany. IOS Press; 2023. p. 96-101. (Studies in Health Technology and Informatics). DOI: 10.3233/SHTI230699</RefTotal>
<RefLink>https://doi.org/10.3233/SHTI230699</RefLink>
</Reference>
<Reference refNo="14">
<RefAuthor>Lewis C</RefAuthor>
<RefAuthor>Mehmet M: Does the NPS® reflect consumer sentiment? A qualitative examination of the NPS using a sentiment analysis approach</RefAuthor>
<RefTitle>International Journal of Market Research</RefTitle>
<RefYear>2020</RefYear>
<RefTotal>Lewis C, Mehmet M: Does the NPS® reflect consumer sentiment? A qualitative examination of the NPS using a sentiment analysis approach. International Journal of Market Research. 2020;62(1):9-17. DOI: 10.1177/1470785319863623</RefTotal>
<RefLink>https://doi.org/10.1177/1470785319863623</RefLink>
</Reference>
<Reference refNo="15">
<RefAuthor>Richter M</RefAuthor>
<RefAuthor>Fleßa S</RefAuthor>
<RefAuthor>Chenot JF</RefAuthor>
<RefAuthor>Weckmann G</RefAuthor>
<RefAuthor>Haase A</RefAuthor>
<RefTitle>Dokumentation in der Hausarztpraxis – eine qualitative Studie</RefTitle>
<RefYear>2018</RefYear>
<RefJournal>Zeitschrift für Allgemeinmedizin</RefJournal>
<RefPage>223-8</RefPage>
<RefTotal>Richter M, Fleßa S, Chenot JF, Weckmann G, Haase A. Dokumentation in der Hausarztpraxis – eine qualitative Studie [Documentation in Family Practice – a Qualitative Study]. Zeitschrift für Allgemeinmedizin. 2018;94(5):223-8.
DOI: 10.3238/zfa.2018.0223-0228</RefTotal>
<RefLink>https://doi.org/10.3238/zfa.2018.0223-0228</RefLink>
</Reference>
<Reference refNo="16">
<RefAuthor>Kersting C</RefAuthor>
<RefAuthor>Herwig A</RefAuthor>
<RefAuthor>Weltermann B</RefAuthor>
<RefTitle>Optimierungsbedarf bei Praxisverwaltungssystemen: Ergebnisse einer Fokusgruppe mit Hausärzten und MFA</RefTitle>
<RefYear>2018</RefYear>
<RefJournal>Zeitschrift für Allgemeinmedizin</RefJournal>
<RefPage>76-80</RefPage>
<RefTotal>Kersting C, Herwig A, Weltermann B. Optimierungsbedarf bei Praxisverwaltungssystemen: Ergebnisse einer Fokusgruppe mit Hausärzten und MFA. Zeitschrift für Allgemeinmedizin. 2018;94(2):76-80. DOI: 10.3238/zfa.2018.0076-0080</RefTotal>
<RefLink>https://doi.org/10.3238/zfa.2018.0076-0080</RefLink>
</Reference>
<Reference refNo="17">
<RefAuthor>Jo H</RefAuthor>
<RefAuthor>Park DH</RefAuthor>
<RefTitle>A study of user switching intention for ERP systems based on push-pull-mooring model: Focusing on the important role of information quality for users</RefTitle>
<RefYear>2023</RefYear>
<RefJournal>PLoS One</RefJournal>
<RefPage>e0289483</RefPage>
<RefTotal>Jo H, Park DH. A study of user switching intention for ERP systems based on push-pull-mooring model: Focusing on the important role of information quality for users. PLoS One. 2023 Nov 9;18(11):e0289483. DOI: 10.1371/journal.pone.0289483</RefTotal>
<RefLink>https://doi.org/10.1371/journal.pone.0289483</RefLink>
</Reference>
<Reference refNo="18">
<RefAuthor>Xu H</RefAuthor>
<RefAuthor>Wang J</RefAuthor>
<RefAuthor>Tai Z</RefAuthor>
<RefAuthor>Lin HC</RefAuthor>
<RefTitle>Empirical Study on the Factors Affecting User Switching Behavior of Online Learning Platform Based on Push-Pull-Mooring Theory</RefTitle>
<RefYear>2021</RefYear>
<RefJournal>Sustainability</RefJournal>
<RefPage>7087</RefPage>
<RefTotal>Xu H, Wang J, Tai Z, Lin HC. Empirical Study on the Factors Affecting User Switching Behavior of Online Learning Platform Based on Push-Pull-Mooring Theory. Sustainability. 2021;13(13):7087. DOI: 10.3390/su13137087</RefTotal>
<RefLink>https://doi.org/10.3390/su13137087</RefLink>
</Reference>
<Reference refNo="19">
<RefAuthor>Kaipio J</RefAuthor>
<RefAuthor>Lääveri T</RefAuthor>
<RefAuthor>Hyppönen H</RefAuthor>
<RefAuthor>Vainiomäki S</RefAuthor>
<RefAuthor>Reponen J</RefAuthor>
<RefAuthor>Kushniruk A</RefAuthor>
<RefAuthor>Borycki E</RefAuthor>
<RefAuthor>Vänskä J</RefAuthor>
<RefTitle>Usability problems do not heal by themselves: National survey on physicians' experiences with EHRs in Finland</RefTitle>
<RefYear>2017</RefYear>
<RefJournal>Int J Med Inform</RefJournal>
<RefPage>266-81</RefPage>
<RefTotal>Kaipio J, Lääveri T, Hyppönen H, Vainiomäki S, Reponen J, Kushniruk A, Borycki E, Vänskä J. Usability problems do not heal by themselves: National survey on physicians' experiences with EHRs in Finland. Int J Med Inform. 2017 Jan;97:266-81.
DOI: 10.1016/j.ijmedinf.2016.10.010</RefTotal>
<RefLink>https://doi.org/10.1016/j.ijmedinf.2016.10.010</RefLink>
</Reference>
<Reference refNo="20">
<RefAuthor>Drolet A</RefAuthor>
<RefAuthor>Williams P</RefAuthor>
<RefAuthor>Lau-Gesk L</RefAuthor>
<RefTitle>Age-related differences in responses to affective vs. rational ads for hedonic vs. utilitarian products</RefTitle>
<RefYear>2007</RefYear>
<RefJournal>Marketing Letters</RefJournal>
<RefPage>211-21</RefPage>
<RefTotal>Drolet A, Williams P, Lau-Gesk L. Age-related differences in responses to affective vs. rational ads for hedonic vs. utilitarian products. Marketing Letters. 2007;18(4):211-21.
DOI: 10.1007/s11002-007-9016-z</RefTotal>
<RefLink>https://doi.org/10.1007/s11002-007-9016-z</RefLink>
</Reference>
<Reference refNo="21">
<RefAuthor>Zhu H</RefAuthor>
<RefAuthor>Tu R</RefAuthor>
<RefAuthor>Feng W</RefAuthor>
<RefAuthor>Xu J</RefAuthor>
<RefTitle>The impacts of evaluation duration and product types on review extremity</RefTitle>
<RefYear>2018</RefYear>
<RefJournal>Online Information Review</RefJournal>
<RefPage>694-709</RefPage>
<RefTotal>Zhu H, Tu R, Feng W, Xu J. The impacts of evaluation duration and product types on review extremity. Online Information Review. 2018;43(5):694-709.</RefTotal>
</Reference>
<Reference refNo="22">
<RefAuthor>Kaptein M</RefAuthor>
<RefAuthor>Van Den Heuvel E</RefAuthor>
<RefTitle></RefTitle>
<RefYear>2022</RefYear>
<RefBookTitle>Statistics for Data Scientists: An Introduction to Probability, Statistics, and Data Analysis</RefBookTitle>
<RefPage></RefPage>
<RefTotal>Kaptein M, Van Den Heuvel E. Statistics for Data Scientists: An Introduction to Probability, Statistics, and Data Analysis. Cham: Springer International Publishing; 2022. (Undergraduate Topics in Computer Science).</RefTotal>
</Reference>
<Reference refNo="23">
<RefAuthor>Nieporte T</RefAuthor>
<RefAuthor>Carnarius S</RefAuthor>
<RefAuthor>Witt K</RefAuthor>
<RefAuthor>Becker D</RefAuthor>
<RefAuthor>Czihal T</RefAuthor>
<RefAuthor>von Stillfried D</RefAuthor>
<RefAuthor>Spies KP</RefAuthor>
<RefAuthor>Landgraf I</RefAuthor>
<RefTitle>Diagnose: Rhythmusstörungen in Praxisverwaltungssystemen</RefTitle>
<RefYear>2023</RefYear>
<RefJournal>Berliner Ärzt:innen</RefJournal>
<RefPage>28-30</RefPage>
<RefTotal>Nieporte T, Carnarius S, Witt K, Becker D, Czihal T, von Stillfried D, Spies KP, Landgraf I. Diagnose: Rhythmusstörungen in Praxisverwaltungssystemen. Berliner Ärzt:innen. 2023;(6):28-30. Verfügbar unter: https://magazin.aekb.de/alltag-praxis/diagnose-rhythmusstoerungen-in-praxisverwaltungssystemen</RefTotal>
<RefLink>https://magazin.aekb.de/alltag-praxis/diagnose-rhythmusstoerungen-in-praxisverwaltungssystemen</RefLink>
</Reference>
<Reference refNo="24">
<RefAuthor>Rozin P</RefAuthor>
<RefAuthor>Royzman EB</RefAuthor>
<RefTitle>Negativity Bias, Negativity Dominance, and Contagion</RefTitle>
<RefYear>2001</RefYear>
<RefJournal>Pers Soc Psychol Rev</RefJournal>
<RefPage>296-320</RefPage>
<RefTotal>Rozin P, Royzman EB. Negativity Bias, Negativity Dominance, and Contagion. Pers Soc Psychol Rev. 2001;5(4):296-320.
DOI: 10.1207/S15327957PSPR0504_2</RefTotal>
<RefLink>https://doi.org/10.1207/S15327957PSPR0504_2</RefLink>
</Reference>
<Reference refNo="25">
<RefAuthor>Baumeister RF</RefAuthor>
<RefAuthor>Bratslavsky E</RefAuthor>
<RefAuthor>Finkenauer C</RefAuthor>
<RefAuthor>Vohs KD</RefAuthor>
<RefTitle>Bad is Stronger than Good</RefTitle>
<RefYear>2001</RefYear>
<RefJournal>Review of General Psychology</RefJournal>
<RefPage>323-70</RefPage>
<RefTotal>Baumeister RF, Bratslavsky E, Finkenauer C, Vohs KD. Bad is Stronger than Good. Review of General Psychology. 2001;5(4):323-70. DOI: 10.1037/1089-2680.5.4.323</RefTotal>
<RefLink>https://doi.org/10.1037/1089-2680.5.4.323</RefLink>
</Reference>
<Reference refNo="26">
<RefAuthor>Bangor A</RefAuthor>
<RefAuthor>Kortum PT</RefAuthor>
<RefAuthor>Miller JT</RefAuthor>
<RefTitle>An Empirical Evaluation of the System Usability Scale</RefTitle>
<RefYear>2008</RefYear>
<RefJournal>International Journal of Human-Computer Interaction</RefJournal>
<RefPage>574-94</RefPage>
<RefTotal>Bangor A, Kortum PT, Miller JT. An Empirical Evaluation of the System Usability Scale. International Journal of Human-Computer Interaction. 2008;24(6):574-94.
DOI: 10.1080/10447310802205776</RefTotal>
<RefLink>https://doi.org/10.1080/10447310802205776</RefLink>
</Reference>
<Reference refNo="27">
<RefAuthor>Moosbrugger H</RefAuthor>
<RefAuthor>Kelava A</RefAuthor>
<RefTitle></RefTitle>
<RefYear>2012</RefYear>
<RefBookTitle>Testtheorie und Fragebogenkonstruktion</RefBookTitle>
<RefPage></RefPage>
<RefTotal>Moosbrugger H, Kelava A. Testtheorie und Fragebogenkonstruktion. 2. aktualisierte und überarbeitete Aufl. Berlin: Springer; 2012. (Springer-Lehrbuch).</RefTotal>
</Reference>
<Reference refNo="28">
<RefAuthor>Cohen RJ</RefAuthor>
<RefAuthor>Swerdlik ME</RefAuthor>
<RefAuthor>Sturman ED</RefAuthor>
<RefTitle></RefTitle>
<RefYear>2013</RefYear>
<RefBookTitle>Psychological testing and assessment: an introduction to tests and measurement</RefBookTitle>
<RefPage></RefPage>
<RefTotal>Cohen RJ, Swerdlik ME, Sturman ED. Psychological testing and assessment: an introduction to tests and measurement. 8. Aufl. New York, NY: McGraw-Hill; 2013. (McGraw Hill Education).</RefTotal>
</Reference>
<Reference refNo="29">
<RefAuthor>Crocker LM</RefAuthor>
<RefAuthor>Algina J</RefAuthor>
<RefTitle></RefTitle>
<RefYear>2008</RefYear>
<RefBookTitle>Introduction To Classical And Modern Test Theory</RefBookTitle>
<RefPage></RefPage>
<RefTotal>Crocker LM, Algina J. Introduction To Classical And Modern Test Theory. Mason, OH: Cengage Learning; 2008.</RefTotal>
</Reference>
<Reference refNo="30">
<RefAuthor>McElreath R</RefAuthor>
<RefTitle></RefTitle>
<RefYear>2020</RefYear>
<RefBookTitle>Statistical rethinking: a Bayesian course with examples in R and Stan</RefBookTitle>
<RefPage></RefPage>
<RefTotal>McElreath R. Statistical rethinking: a Bayesian course with examples in R and Stan. 2. Aufl. Boca Raton: CRC Press; 2020. (Chapman & Hall/CRC texts in statistical science series).</RefTotal>
</Reference>
<Reference refNo="31">
<RefAuthor>von Elm E</RefAuthor>
<RefAuthor>Altman DG</RefAuthor>
<RefAuthor>Egger M</RefAuthor>
<RefAuthor>Pocock SJ</RefAuthor>
<RefAuthor>Gøtzsche PC</RefAuthor>
<RefAuthor>Vandenbroucke JP</RefAuthor>
<RefAuthor> STROBE Initiative</RefAuthor>
<RefTitle>The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) statement: guidelines for reporting observational studies</RefTitle>
<RefYear>2008</RefYear>
<RefJournal>J Clin Epidemiol</RefJournal>
<RefPage>344-9</RefPage>
<RefTotal>von Elm E, Altman DG, Egger M, Pocock SJ, Gøtzsche PC, Vandenbroucke JP; STROBE Initiative. The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) statement: guidelines for reporting observational studies.
J Clin Epidemiol. 2008 Apr;61(4):344-9.
DOI: 10.1016/j.jclinepi.2007.11.008</RefTotal>
<RefLink>https://doi.org/10.1016/j.jclinepi.2007.11.008</RefLink>
</Reference>
<Reference refNo="32">
<RefAuthor>Bundesministerium für Gesundheit (BMG)</RefAuthor>
<RefTitle></RefTitle>
<RefYear></RefYear>
<RefBookTitle>Ärztliche Versorgung</RefBookTitle>
<RefPage></RefPage>
<RefTotal>Bundesministerium für Gesundheit (BMG). Ärztliche Versorgung. [zugegriffen 2. November 2024]. Verfügbar unter: https://www.bundesgesundheitsministerium.de/themen/krankenversicherung/ambulante-versorgung/aerztliche-versorgung.html</RefTotal>
<RefLink>https://www.bundesgesundheitsministerium.de/themen/krankenversicherung/ambulante-versorgung/aerztliche-versorgung.html</RefLink>
</Reference>
<Reference refNo="33">
<RefAuthor>Gao M</RefAuthor>
<RefAuthor>Kortum P</RefAuthor>
<RefAuthor>Oswald FL</RefAuthor>
<RefTitle>Multi-Language Toolkit for the System Usability Scale</RefTitle>
<RefYear>2020</RefYear>
<RefJournal>International Journal of Human-Computer Interaction</RefJournal>
<RefPage>1883-901</RefPage>
<RefTotal>Gao M, Kortum P, Oswald FL. Multi-Language Toolkit for the System Usability Scale. International Journal of Human-Computer Interaction. 2020;36:1883-901.</RefTotal>
</Reference>
<Reference refNo="34">
<RefAuthor>Sauro J</RefAuthor>
<RefAuthor>Lewis JR</RefAuthor>
<RefTitle></RefTitle>
<RefYear>2016</RefYear>
<RefBookTitle>Quantifying the user experience: practical statistics for user research</RefBookTitle>
<RefPage></RefPage>
<RefTotal>Sauro J, Lewis JR. Quantifying the user experience: practical statistics for user research. 2. Aufl. Cambridge, MA: Elsevier/Morgan Kaufmann; 2016.</RefTotal>
</Reference>
<Reference refNo="35">
<RefAuthor>Peres SC</RefAuthor>
<RefAuthor>Pham T</RefAuthor>
<RefAuthor>Phillips R</RefAuthor>
<RefTitle>Validation of the System Usability Scale (SUS): SUS in the Wild</RefTitle>
<RefYear>2013</RefYear>
<RefJournal>Proceedings of the Human Factors and Ergonomics Society Annual Meeting</RefJournal>
<RefPage>192-6</RefPage>
<RefTotal>Peres SC, Pham T, Phillips R. Validation of the System Usability Scale (SUS): SUS in the Wild. Proceedings of the Human Factors and Ergonomics Society Annual Meeting. 2013;57(1):192-6. DOI: 10.1177/1541931213571043</RefTotal>
<RefLink>https://doi.org/10.1177/1541931213571043</RefLink>
</Reference>
<Reference refNo="36">
<RefAuthor>Fuhrmann L</RefAuthor>
<RefAuthor>Schargus M</RefAuthor>
<RefTitle>National survey of user-reported usability of electronic medical record software in ophthalmology in Germany</RefTitle>
<RefYear>2023</RefYear>
<RefJournal>Graefes Arch Clin Exp Ophthalmol</RefJournal>
<RefPage>3325-34</RefPage>
<RefTotal>Fuhrmann L, Schargus M. National survey of user-reported usability of electronic medical record software in ophthalmology in Germany. Graefes Arch Clin Exp Ophthalmol. 2023 Nov;261(11):3325-34. DOI: 10.1007/s00417-023-06139-5</RefTotal>
<RefLink>https://doi.org/10.1007/s00417-023-06139-5</RefLink>
</Reference>
<Reference refNo="37">
<RefAuthor>Balaz P</RefAuthor>
<RefAuthor>Balaz V</RefAuthor>
<RefTitle>Vergleich der Schnelligkeit und Effizienz der Praxisverwaltungssysteme: Eine neue Testmethode</RefTitle>
<RefYear>2023</RefYear>
<RefJournal>Zeitschrift für Allgemeinmedizin</RefJournal>
<RefPage>415-21</RefPage>
<RefTotal>Balaz P, Balaz V. Vergleich der Schnelligkeit und Effizienz der Praxisverwaltungssysteme: Eine neue Testmethode. Zeitschrift für Allgemeinmedizin. 2023;99:415-21.</RefTotal>
</Reference>
<Reference refNo="38">
<RefAuthor>Anonym</RefAuthor>
<RefTitle>KBV: Gemischte Bewertung des Gesundheits-Digital-Agentur-Gesetzes</RefTitle>
<RefYear>2024</RefYear>
<RefJournal>Deutsches Ärzteblatt News</RefJournal>
<RefPage></RefPage>
<RefTotal>KBV: Gemischte Bewertung des Gesundheits-Digital-Agentur-Gesetzes. Deutsches Ärzteblatt News. 6. Juni 2024 [zugegriffen 12. Juni 2024]. Verfügbar unter: https://www.aerzteblatt.de/nachrichten/151976/KBV-Gemischte-Bewertung-des-Gesundheits-Digital-Agentur-Gesetzes</RefTotal>
<RefLink>https://www.aerzteblatt.de/nachrichten/151976/KBV-Gemischte-Bewertung-des-Gesundheits-Digital-Agentur-Gesetzes</RefLink>
</Reference>
<Reference refNo="39">
<RefAuthor>Gomes KM</RefAuthor>
<RefAuthor>Ratwani RM</RefAuthor>
<RefTitle>Evaluating Improvements and Shortcomings in Clinician Satisfaction With Electronic Health Record Usability</RefTitle>
<RefYear>2019</RefYear>
<RefJournal>JAMA Netw Open</RefJournal>
<RefPage>e1916651</RefPage>
<RefTotal>Gomes KM, Ratwani RM. Evaluating Improvements and Shortcomings in Clinician Satisfaction With Electronic Health Record Usability. JAMA Netw Open. 2019 Dec 2;2(12):e1916651. DOI: 10.1001/jamanetworkopen.2019.16651</RefTotal>
<RefLink>https://doi.org/10.1001/jamanetworkopen.2019.16651</RefLink>
</Reference>
<Reference refNo="40">
<RefAuthor>Kassenärztliche Bundesvereinigung (KBV)</RefAuthor>
<RefTitle></RefTitle>
<RefYear></RefYear>
<RefBookTitle>Gesetz zur Schaffung einer Digitalagentur für Gesundheit – Gesundheits-Digitalagentur-Gesetz (GDAG)</RefBookTitle>
<RefPage></RefPage>
<RefTotal>Kassenärztliche Bundesvereinigung (KBV). Gesetz zur Schaffung einer Digitalagentur für Gesundheit – Gesundheits-Digitalagentur-Gesetz (GDAG). [zugegriffen 12. Juni 2024]. Verfügbar unter: https://www.kbv.de/html/69921.php</RefTotal>
<RefLink>https://www.kbv.de/html/69921.php</RefLink>
</Reference>
<Reference refNo="41">
<RefAuthor>Eklund R</RefAuthor>
<RefAuthor>Eisma MC</RefAuthor>
<RefAuthor>Boelen PA</RefAuthor>
<RefAuthor>Arnberg FK</RefAuthor>
<RefAuthor>Sveen J</RefAuthor>
<RefTitle>The self-help app My Grief: Bereaved parents’ experiences of helpfulness, satisfaction and usability</RefTitle>
<RefYear>2024</RefYear>
<RefJournal>Internet Interv</RefJournal>
<RefPage>100712</RefPage>
<RefTotal>Eklund R, Eisma MC, Boelen PA, Arnberg FK, Sveen J. The self-help app My Grief: Bereaved parents’ experiences of helpfulness, satisfaction and usability. Internet Interv. 2024 Jan 17;35:100712. DOI: 10.1016/j.invent.2024.100712</RefTotal>
<RefLink>https://doi.org/10.1016/j.invent.2024.100712</RefLink>
</Reference>
<Reference refNo="42">
<RefAuthor>Belanche D</RefAuthor>
<RefAuthor>Casaló LV</RefAuthor>
<RefAuthor>Guinalíu M</RefAuthor>
<RefTitle>Website usability, consumer satisfaction and the intention to use a website: The moderating effect of perceived risk</RefTitle>
<RefYear>2012</RefYear>
<RefJournal>Journal of Retailing and Consumer Services</RefJournal>
<RefPage>124-32</RefPage>
<RefTotal>Belanche D, Casaló LV, Guinalíu M. Website usability, consumer satisfaction and the intention to use a website: The moderating effect of perceived risk. Journal of Retailing and Consumer Services. 2012;19:124-32.</RefTotal>
</Reference>
<Reference refNo="43">
<RefAuthor>Kumar A</RefAuthor>
<RefAuthor>Bala PK</RefAuthor>
<RefAuthor>Chakraborty S</RefAuthor>
<RefAuthor>Behera RK</RefAuthor>
<RefTitle>Exploring antecedents impacting user satisfaction with voice assistant app: A text mining-based analysis on Alexa services</RefTitle>
<RefYear>2024</RefYear>
<RefJournal>Journal of Retailing and Consumer Services</RefJournal>
<RefPage>103586</RefPage>
<RefTotal>Kumar A, Bala PK, Chakraborty S, Behera RK. Exploring antecedents impacting user satisfaction with voice assistant app: A text mining-based analysis on Alexa services. Journal of Retailing and Consumer Services. 2024;76(12):103586.
DOI: 10.1016/j.jretconser.2023.103586</RefTotal>
<RefLink>https://doi.org/10.1016/j.jretconser.2023.103586</RefLink>
</Reference>
<Reference refNo="44">
<RefAuthor>Anonym</RefAuthor>
<RefTitle>Umbau der Gematik beschlossen, PVS-Wechsel soll leichter werden. Deutsches Ärzteblatt News. 17. Jul 2024</RefTitle>
<RefYear>2024</RefYear>
<RefTotal>Umbau der Gematik beschlossen, PVS-Wechsel soll leichter werden. Deutsches Ärzteblatt News. 17. Juli 2024 [zugegriffen 22. Juli 2024]. Verfügbar unter: https://www.aerzteblatt.de/nachrichten/152954/Umbau-der-Gematik-beschlossen-PVS-Wechsel-soll-leichter-werden</RefTotal>
<RefLink>https://www.aerzteblatt.de/nachrichten/152954/Umbau-der-Gematik-beschlossen-PVS-Wechsel-soll-leichter-werden</RefLink>
</Reference>
</References>
<Media>
<Tables>
<Table format="png">
<MediaNo>1</MediaNo>
<MediaID>1</MediaID>
<Caption><Pgraph><Mark1>Tabelle 1: Beschreibung der erhobenen Maße und der Stichprobe</Mark1></Pgraph></Caption>
</Table>
<Table format="png">
<MediaNo>2</MediaNo>
<MediaID>2</MediaID>
<Caption><Pgraph><Mark1>Tabelle 2: Vorhersage des SUS-Werts, NPS-Rohwerts (lineare Regressionen) sowie der PVS-Wechselbereitschaft (logistische Regression)</Mark1></Pgraph></Caption>
</Table>
<Table format="png">
<MediaNo>3</MediaNo>
<MediaID>3</MediaID>
<Caption><Pgraph><Mark1>Tabelle 3: Vorhersage des individuell eingeschätzten NPS-Rohwerts (lineare Regression)</Mark1></Pgraph></Caption>
</Table>
<NoOfTables>3</NoOfTables>
</Tables>
<Figures>
<Figure format="png" height="788" width="1488">
<MediaNo>1</MediaNo>
<MediaID>1</MediaID>
<Caption><Pgraph><Mark1>Abbildung 1: Anzahl und Verteilung der Bewertungen über 39 PVS mit je mindestens 20 Bewertungen hinsichtlich SUS-Wert, NPS-Rohwert, NPS sowie PVS-Wechselbereitschaft</Mark1></Pgraph></Caption>
</Figure>
<NoOfPictures>1</NoOfPictures>
</Figures>
<InlineFigures>
<NoOfPictures>0</NoOfPictures>
</InlineFigures>
<Attachments>
<Attachment>
<MediaNo>1</MediaNo>
<MediaID filename="mibe000269.a1.pdf" mimeType="application/pdf" origFilename="Anhang1_mibe000269.pdf" size="3292128" url="">1</MediaID>
<AttachmentTitle>Fragebogen</AttachmentTitle>
</Attachment>
<NoOfAttachments>1</NoOfAttachments>
</Attachments>
</Media>
</OrigData>
</GmsArticle>]]></plaintext></textgroup></pgraph></textblock></origdata></gmsarticle>