Interview zum Einsatz von Systemen wie ChatGPT im Medizinwesen
(Bild: thinkhubstudio/Shutterstock.com)
Die KI-Verordnung soll für mehr Rechtssicherheit beim Einsatz von KI-Systemen wie ChatGPT sorgen. Rechtsanwalt Philipp Müller-Peltzer gibt eine Einschätzung.
(Bild: Schürmann Rosenthal Dreyer Rechtsanwälte / Robert Recker)
Die bevorstehende KI-Verordnung soll Anwendern und Herstellern mehr Rechtssicherheit bei der Verwendung von sich rasch entwickelnden KI-Systemen wie ChatGPT geben. Erst kürzlich hat Microsoft neue Datenanalyse-Tools in Microsoft Fabric und Azure AI [1] für Organisationen im Gesundheitswesen angekündigt, die Daten aus Quellen wie elektronischen Patientenakten und medizinischen Geräten extrahieren sollen, damit sich Ärzte auf die Versorgung konzentrieren können. Vor wenigen Tagen sprach auch Gesundheitsminister Karl Lauterbach über den möglichen Einsatz von Microsoft-Produkten [2] und dem neuesten Sprachmodell GPT-4, das auch im deutschen Gesundheitswesen die Bürokratie verringern könnte. Für eine erste Einschätzung solcher Anwendungsszenarien im medizinischen Bereich haben wir mit dem Rechtsanwalt Philipp Müller-Peltzer gesprochen.
Dies ist der letzte Teil einer dreiteiligen Interview-Serie.
Was ist Ihrer Ansicht wichtig bei dem Einsatz von Large Language Models im Medizinbereich?
Die Large Language Models (LLM) haben sich unglaublich schnell entwickelt. Sie sind so marktreif geworden, dass wirklich jeder damit seine Erfahrungen machen kann und sollte. Es ist wichtig, zu sehen, was möglich ist. Allerdings müssen auch die Risiken gesehen werden. Im Endeffekt ist es vor allem eine Frage der Sensibilisierung.
Die Einsatzweisen von ChatGPT im Medizinbereich werden derzeit diskutiert. In Israel wurde ChatGPT [6] beispielsweise auch schon in einem Krankenhaus zur Triage eingesetzt. Wäre das in Deutschland auch denkbar?
Theoretisch könnte es möglich sein, aber in Deutschland und im übrigen EU-Raum wird es unter der neuen KI-Verordnung wohl nicht erlaubt sein. Dies hängt aber wesentlich davon ab, ob in Medizinprodukten künftig kontinuierlich lernende KI-Systeme enthalten sein dürfen. ChatGPT ist als generative, also als dynamische KI, keine sogenannte statische Black-Box-KI im Sinne der Medical Device Regulation (MDR) und würde daher nach aktuellem Stand keine Zertifizierung nach der MDR erhalten.
Selbst wenn man die vorstehenden Erwägungen ausklammert, wäre ein Triage-ChatGPT ein KI-System, das bestimmungsgemäß für die Entsendung oder Priorisierung des Einsatzes von Not- und Rettungsdiensten, einschließlich Feuerwehr und medizinischer Nothilfe, verwendet werden soll und damit eine Hochrisiko-KI (nach Anhang III Nr. 5 lit. c KI-Verordnung). Aus regulatorischer Sicht wird hier eine Art Textgenerator in einem medizinischen Kontext eingesetzt, ohne dass das Produkt als Medizinprodukt konzipiert ist. OpenAI hat ChatGPT nicht für diesen Einsatzzweck vorgesehen. Es ist nicht primär dafür geeignet, medizinische Diagnosen zu bewerten oder auszugeben. Auch technisch ist ChatGPT dafür ungeeignet. In dem Beispiel aus Israel hat die KI auch nicht allein die Entscheidung getroffen, sondern vorselektiert.
Die europäische Medizinprodukte-Verordnung (Medical Device Regulation, MDR) gilt seit 2021 und hat das bis dahin geltende Medizinproduktegesetz (MPG) abgelöst. Die Verordnung betrifft vor allem Hersteller von Medizinprodukten, aber auch weitere, wie Medizinprodukte nutzende Krankenhäuser, Praxen, Händler und Importeure.
Die MDR ist eine europäische Verordnung. Das bedeutet, dass sie unmittelbar in allen europäischen Mitgliedstaaten gilt. Die MDR regelt – vereinfacht dargestellt –, unter welchen Umständen derartige Produkte eingesetzt beziehungsweise auf den Markt gebracht werden können. In den USA ist für derartige Zulassungen die Food and Drug Administration (FDA) zuständig, in Deutschland maßgeblich das Bundesinstitut für Arzneimittel und Medizinprodukte (BfArM). Software fällt unter die Definition eines Medizinproduktes, wenn sie für einen medizinischen Zweck verwendet wird. Für KI-basierte Software gilt hierbei nichts anderes als für traditionell programmierte Software. Damit ist auch die „intelligente“ Software ein Medizinprodukt, wenn sie zu medizinischen Zwecken eingesetzt wird. Für die Qualifikation einer KI-Software als Medizinprodukt ist die subjektive Zweckbestimmung (Widmung) des Herstellers, also zum Beispiel die des Medical-App-Anbieters, maßgeblich.
Kann dann auch Software wie ChatGPT eine Zulassung für den Einsatz in Praxen und Kliniken erhalten?
Hier ist wichtig, inwiefern ein sogenanntes generatives, also Inhalte generierendes KI-System wie ChatGPT in gewissen Kontexten auch als Medizinprodukt einzustufen sein könnte. Grundsätzlich gilt für Medizinprodukte, dass es auf die Zweckbestimmung ankommt, die der Hersteller vorgibt. Dabei entscheidet nicht der Nutzer, was für ihn funktioniert, sondern der Hersteller dieses Produktes. Maßgeblich ist also seine subjektive Zweckbestimmung.
Die Arztbrieferstellung soll kommendes Jahr in einer Essener Klinik [7] getestet werden. Ist das bedenkenlos möglich?
Die Form eines Schriftsatzes ist nicht entscheidend. Wichtig ist, dass das Ergebnis sachgerecht, rechtssicher und sinnvoll ist. Ärztinnen und Ärzte müssen prüfen, ob wichtige Inhalte fehlen oder Fehler vorhanden sind, die zu Missverständnissen oder Behandlungsfehlern führen könnten. Solche Fehler könnten andernfalls haftungsrechtliche Folgen haben.
Transparenz beim Einsatz von KI-Systemen wichtig
Die Verantwortung wird aber immer beim Arzt bleiben?
Ja, es geht nicht darum, den Menschen zu ersetzen, sondern ihn zu unterstützen. Wenn die KI-unterstützte Arztbrieferstellung funktioniert, kann dies zu einer Zeit- und Kostenersparnis führen. Es kann sogar sein, dass der Brief dann für den Patienten viel verständlicher geschrieben ist als bisher. Am Ende muss immer noch der Arzt dahinterstehen und sich das Geschriebene noch einmal anschauen. Der KI kommt also primär eine assistierende Funktion zu. Fehlentscheidungen, die in diesem Kontext als Behandlungsfehler zu werten sind, können haftungsrechtliche Konsequenzen für den Arzt nach sich ziehen.
Der intelligente Einsatz einer KI-Assistenz kann dazu führen, dass sich Menschen besser auf ihre eigentlichen Aufgaben konzentrieren können. Ärzte müssen empathisch mit Menschen umgehen und Vertrauen in ihre Kompetenz entwickeln. Das macht Ärzte aus, nicht das Abarbeiten eines bürokratischen Backlogs.
Welche Hürden gibt es beim Einsatz von KI-Assistenten?
Es gibt viele praktische Hindernisse. Eines ist das Datenschutzrecht. Die Datenschutz-Grundverordnung (DSGVO) stellt relevante regulatorische Vorgaben für den Umgang mit Patientendaten, die von den Ärzten kommen. Die Frage ist: Wie können wir KI-Tools rechtskonform einbinden? Haben wir die vertraglichen und technischen Maßnahmen sichergestellt, um am Ende des Tages sagen zu können, dass die Daten nach europäischen Standards verarbeitet werden? Die Daten dürfen nicht einfach weiterverwendet werden, um entsprechende Algorithmen zu trainieren oder neu zu modellieren. Welche Sicherheiten habe ich als verantwortlicher Nutzer oder als Krankenhausträger? Hieran knüpfen sich weitere Fragen an.
Die KI-Verordnung steht hierarchisch gleichberechtigt neben der DSGVO. Letztere gilt für die gesamte Datenverarbeitung, also immer dann, wenn Daten von Personen betroffen sind. Die KI-Verordnung bezieht sich spezifisch auf die Entwicklung, das Inverkehrbringen, den Einsatz, die Nutzung von KI-Systemen in der EU. Und es geht nicht ausschließlich um KI-Systeme, die in irgendeiner Weise Daten von natürlichen Personen verarbeiten. Vielmehr geht es um die Risiken, die sich aus dem Einsatz der KI ergeben.
Was ändert sich bei Arztpraxen denn beispielsweise, wenn sie einen KI-gestützten Anrufbeantworter einsetzen?
Es kommt darauf an: Wenn KI-Systeme beispielsweise administrative Tätigkeiten übernehmen, werden sie nicht unbedingt als Hochrisiko-KI klassifiziert. Nach der KI-Verordnung ist auch maßgeblich, dass der Anwender beziehungsweise die Praxis, die das System nutzt, bestimmte Transparenzpflichten einhält.
Bei einem KI-gestützten Anrufbeantworter könnte eine klare Ansage über die KI-Nutzung abgespielt werden, um Transparenz zu gewährleisten. Einige KIs, die auf LLMs basieren, bestehen den Turing-Test oder werden dies in Zukunft tun. Je nach zukünftigen Funktionen könnten neben der Transparenzpflicht für Chatbots auch weitere Anforderungen entstehen, besonders wenn das System als Hochrisiko-KI eingestuft wird.
Weitere Risiken beim Einsatz von KI-Systemen im Medizinbereich
Welche weiteren Risiken beim Einsatz von KI gibt es?
Da ist zum Beispiel die Frage der Voreingenommenheit (sogenannter KI-Bias). Oder die Frage, welche Informationen der Entwickler des KI-Systems den Nutzern zur Verfügung stellen muss, damit die Ergebnisse der KI interpretiert werden können (Gebrauchsanweisungen).
Für bildgebende Systeme im medizinischen Bereich muss der Systemhersteller ein Handbuch bereitstellen. Ärztinnen und Ärzte müssen wissen, wie das System verwendet und die Ergebnisse interpretiert werden dürfen.
Es ist wichtig, den Zweck des Systems und seine Zuverlässigkeit zu kennen, einschließlich möglicher Fehler. Ebenso muss klargestellt sein, unter welchen Bedingungen das System nicht zuverlässig funktioniert.
Welche Konsequenzen sind das beispielsweise bei einem Verstoß beim Einsatz von Medizinprodukten?
Bei Medizinprodukten gibt es strenge Vorgaben für Hersteller und Ärzte. Die KI-Verordnung verlangt, dass die Nutzer das Handbuch befolgen. Wenn sie dies nicht tun, können Fehler auftreten. Verstöße können nach der KI-Verordnung mit Bußgeldern belegt werden, da die unsachgemäße Nutzung zu Fehlbehandlungen führen kann.
Wer am Ende entgegen bestimmter datenschutzrechtlicher Verpflichtungen Patientendaten in einem KI-System verarbeiten lässt, begeht einen Verstoß, der gleichrangig neben anderen Verstößen gegen die KI-Verordnung steht. Es besteht damit die Gefahr der doppelten Bußgeldbelegung. Dies gilt sowohl für Hersteller als auch für Anwender.
Gibt es noch weitere Dinge, die zu beachten sind?
Neben den Pflichten der Hersteller regelt die KI-Verordnung auch ein umfangreiches Pflichtenprogramm für Nutzer, also etwa für Ärzte.
Angesichts des Charakters von KI-Systemen und der Risiken für die Sicherheit und die Grundrechte, die mit ihrer Verwendung verbunden sein können, ist insbesondere Pflicht der Nutzer maßgeblich, eine angemessene Überwachung der Leistung des KI-Systems unter realen Bedingungen sicherzustellen. Nutzer sollen Hochrisiko-KI-Systeme zudem nur gemäß der beigefügten Gebrauchsanweisung verwenden. Zudem gilt es, spezifische Aufbewahrungspflichten für KI-Protokolle zu beachten.
Nutzer müssen das KI-System also sachgerecht anwenden und jederzeit die menschliche Kontrolle, also das Letztentscheidungsrecht wahren können. Es darf nicht einfach ein System zum Einsatz gebracht werden, dessen Ergebnis anschließend an den Patienten ausgegeben wird. Genau diese Pflichten werden dezidiert in der KI-Verordnung geregelt.
Wird die Datenschutzerklärung dann länger, die man beim Arzt unterschreiben muss?
Ja, die datenschutzrechtlichen Verpflichtungen, die bereits jetzt nach der DSGVO bestehen, gelten auch in Zukunft beziehungsweise werden Stück für Stück erweitert. Beim Chatbot muss man dann auch einwilligen, dass die Stimme während des Telefonats aufgezeichnet wird. Auf diese Verarbeitung muss transparent hingewiesen werden. Auch die Rechtsgrundlage muss erklärt werden. Außerdem muss die Praxis die Datenverarbeitung überwachen. Die Umsetzung muss angemessen, technisch und rechtlich sicher sein. Damit überlange Datenschutzerklärungen die Verständlichkeit und damit die Transparenz nicht gefährden, sind adressatengerechte und gut strukturierte Texte wichtig. Praxen sollten die Datenschutzerklärung sachgerecht erweitern.
Bereits jetzt müssen beispielsweise von einem KI-System erzeugte Logfiles erfasst werden. Die einzelnen Anwendungen werden protokolliert, um den Betriebsablauf nachvollziehbar zu gestalten und damit dem Black-Box-Phänomen ein Stück weit entgegenzutreten.
Müssen die Log-Dateien aufbewahrt werden?
Der Anwender ist verpflichtet, diese Log-Dateien für einen angemessenen Zeitraum aufzubewahren. Die Ärztinnen und Ärzte sind schon jetzt dazu verpflichtet, Dokumentationen wie Patientenakten aufzubewahren. Praxen sollten das System nicht für alle Zeit unbewacht laufen lassen, sondern grundsätzlich sicherstellen, dass Fehler erkannt werden. Die bisherigen Anforderungen an die technische Datenverarbeitung gelten auch für KI-Systeme. Da sind Ärzte auch bei anderen Softwareangeboten üblicherweise in der Pflicht – je nach Vertrag. Je nach Konstellation kann auch eine sogenannte gemeinsame Verantwortlichkeit in Betracht kommen. Gerade das, was mit der Telematikinfrastruktur zu tun hat, ist nochmal besonders kompliziert.
Eine gemeinsame Verantwortlichkeit liegt vor, wenn beide Parteien die Zwecke und Mittel der Verarbeitung gemeinsam bestimmen. Dies richtet sich nach faktischen Gegebenheiten und nicht danach, wie man das selbst vertraglich bestimmt. Wo die Verantwortlichkeit der Ärzte aufhört und die anderer Beteiligter anfängt, ist damit einzelfallbezogen zu erörtern und kann nicht allgemein beantwortet werden. Für Praxen ist das Wissen über den Verlauf der Veranwortlichkeitssphären jedoch in besonderem Maße relevant.
(mack [8])
URL dieses Artikels:
https://www.heise.de/-9328041
Links in diesem Artikel:
[1] https://blogs.microsoft.com/blog/2023/10/10/microsoft-introduces-new-data-and-ai-solutions-to-help-healthcare-organizations-unlock-insights-and-improve-patient-and-clinician-experiences/
[2] https://www.heise.de/news/Gesundheitsdaten-Lauterbach-will-Crawler-beim-Forschungsdatenzentrum-9338574.html
[3] https://www.heise.de/hintergrund/eHealth-Interview-KI-Verordnung-und-DSGVO-Risiken-und-Co-9327885.html
[4] https://www.heise.de/hintergrund/eHealth-KI-Verordnung-EU-Gesundheitsdatenraum-und-Co-aus-rechtlicher-Sicht-9328037.html
[5] https://www.heise.de/hintergrund/eHealth-Interview-KI-Verordnung-und-DSGVO-Risiken-und-Co-9327885.html
[6] https://nocamels.com/2023/08/tel-aviv-hospital-first-ever-to-use-ai-including-chatgpt-triage/
[7] https://www.fraunhofer.de/de/forschung/aktuelles-aus-der-forschung/ki-in-der-medizin.html
[8] mailto:mack@heise.de
Copyright © 2023 Heise Medien