Rechtsrahmen Künstliche Intelligenz: Strenger EU-Plan für KI-Einsatz im Klinikalltag

Mit ihrem Rechtsrahmen für KI-Systeme will die EU Maßstäbe setzen. Ein Verordnungs-Entwurf liegt vor. Welche Pflichten kommen auf Anwender im Klinikalltag zu? Was gilt für Systeme, die bereits betrieben werden? Klinikverantwortliche sollten sich rechtzeitig vorbereiten.

Künstliche Intelligenz im OP — Symbolfoto

Endlich ist es soweit: Der neue Operationsroboter kann kommen. Ein besonderer Helfer für die Klinik – smart, selbstlernend, ausgestattet mit künstlicher Intelligenz (KI). Die Auswahl ist getroffen, das Budget steht, die internen Prozesse sind vorbereitet. Aber was ist rechtlich zu bedenken? Welche Anforderungen muss das KI-Gerät erfüllen? Welche Pflichten treffen den Anwender? Und: Welche Risiken drohen?

Antworten auf diese Fragen soll bald ein neuer Rechtsrahmen der EU liefern. Zwar enthält auch die EU-Medizinprodukteverordnung (MDR) Regelungen für Software, aber für einige Besonderheiten KI-gesteuerter Produkte gibt es bisher keine adäquaten rechtlichen Regeln. Das soll sich ändern. Im vergangenen Jahr hat die EU-Kommission ihre Vision für die Zukunft des Rechtsrahmens von KI bereits in einem Weißbuch präsentiert. Jetzt wird sie konkret: Am 21. April 2021 veröffentlichte die Kommission den Entwurf einer Verordnung über künstliche Intelligenz. Das ist eine Weltpremiere. Die geplante Verordnung wäre der erste konsolidierte Rechtsrahmen für Systeme mit künstlicher Intelligenz überhaupt.

Je höher das Risiko, desto strenger die Regeln

Die EU-Kommission verfolgt dabei einen gefahrenbasierten Ansatz. Das bedeutet, es gibt unterschiedliche Regelungen, je nachdem, welches Gefährdungspotenzial für zentrale Rechtsgüter wie Gesundheit, Sicherheit und Grundrechte besteht. Sie unterscheidet zwischen KI-Anwendungen mit inakzeptablem, hohem und geringem oder minimalem Risiko.

Die KI muss sich offenbaren

Besonders gefährliche KI-Anwendungen werden verboten. Die Verbotsliste umfasst alle KI-Systeme, deren Verwendung ein inakzeptables Risiko birgt. Verbote gelten etwa für Systeme, die geeignet sind, Menschen körperliche oder psychische Schäden zuzufügen, oder die ein erhebliches Potenzial haben, Personen zu manipulieren oder auszunutzen. Für KI-Systeme, die nur ein geringes Risiko darstellen, gilt der Grundsatz: Die KI muss sich offenbaren. Für sie bestimmt die Verordnung entsprechende Transparenzpflichten. Am Beispiel von Chatbots erklärt bedeutet das: Den Nutzern muss bewusst sein, dass sie mit künstlicher Intelligenz agieren. Sie sollen selbst entscheiden können, ob und wie sie die Anwendungen nutzen wollen. Derartige KI-Systeme stellen in der Praxis die größte Gruppe dar. Der Entwurf sieht für sie eine freie Nutzung vor.

Spannend wird es bei KI-Systemen, die ein hohes Risiko für die Gesundheit und Sicherheit oder die Grundrechte natürlicher Personen darstellen. Für sie sieht die Verordnung spezifische Regeln vor. In der Praxis dürfte dies der Bereich sein, in dem die Regulierung die größten Auswirkungen hat und in dem sich die meisten Abgrenzungs- und Auslegungsprobleme ergeben. Für die Gesundheitsbranche relevant ist, dass zu den Hochrisiko-Systemen insbesondere Sicherheitskomponenten von Produkten sowie Produkte gehören, die unter sektorale Rechtsvorschriften der Union fallen.

Dies erfasst sowohl die MDR als auch die EU-Verordnung für In-Vitro-Diagnostika (IVDR). Die Folge ist, dass voraussichtlich ein Großteil der im Gesundheitswesen angewandten und gerade entwickelten KI-Anwendungen als Hochrisiko-KI-Systeme gelten werden. Ambitioniertes Ziel dieser Regelungen ist, Europa zum globalen Zentrum für vertrauenswürdige künstliche Intelligenz zu machen und gleichzeitig die europäische Wettbewerbsfähigkeit zu steigern. Die KI-Verordnung soll also einerseits sicherstellen, dass die EU-Bürger dem vertrauen können, was KI-Systeme leisten, und andererseits Innovationen und technischen Fortschritt innerhalb Europas nicht durch übermäßige Regulierung hemmen. Dies soll nach Auffassung der Kommission durch flexible und verhältnismäßige Vorschriften gewährleistet werden, die die spezifischen Risiken adressieren, die von KI-Systemen ausgehen. Was überhaupt ein KI-System ist, hat die Kommission möglichst neutral und zukunftssicher definiert. So sollen auch die schnellen technischen Entwicklungen berücksichtigt werden.

Geldbußen in Millionenhöhe

Der neue Rechtsrahmen soll für öffentliche und private Akteure sowohl innerhalb als auch außerhalb der EU gelten, sofern das KI-System in der Union in Verkehr gebracht wird oder Menschen in der EU von seiner Verwendung betroffen sind. Bei Verstößen drohen Geldbußen in Millionenhöhe. Werden KI-Systeme, die den Anforderungen der Verordnung nicht genügen, in Verkehr gebracht oder in Betrieb genommen, können Bußgelder bis zu 30 Millionen Euro oder sechs Prozent des gesamten weltweiten Vorjahresumsatzes fällig werden. Das sind gravierende Rechtsfolgen, die an Kartellrechtsstrafen und Sanktionen nach der Datenschutzgrundverordnung erinnern. Haftungsregelungen sieht der Entwurf dagegen nicht vor. Bis auf Weiteres ist daher auf das nationale Haftungsregime zurückzugreifen.

Krankenhäuser in der Rolle des Herstellers

Im Wesentlichen bestimmt der Entwurf pauschal, dass von KI-Systemen, die gleichzeitig ein Produkt im Sinne der MDR oder der IVDR darstellen, ein hohes Risiko ausgeht. Deshalb gelten für solche Systeme strenge Anforderungen. Dazu zählen beispielsweise die Durchführung eines Konformitätsbewertungsverfahrens und bestimmte Prüfpflichten. Nach dem risikobasierten Ansatz sind derartige Hochrisiko-KI-Systeme zulässig, sofern bestimmte verbindliche Anforderungen erfüllt werden und eine Konformitätsbewertung durchgeführt wird. Darüber hinaus müssen sie strenge verbindliche Vorgaben in Bezug auf die Qualität der verwendeten Datensätze, die technische Dokumentation und das Führen von Aufzeichnungen, die Transparenz und die Bereitstellung von Informationen für die Nutzer, die menschliche Aufsicht sowie die Robustheit, Genauigkeit und Cybersicherheit erfüllen.

Der Entwurf normiert auch bestimmte Pflichten der Anwender von Hochrisiko- Systemen. Sie dürfen diese beispielsweise nur gemäß der Gebrauchsanweisung verwenden. Außerdem müssen sie den Betrieb des KI-Systems überwachen und mögliche Risiken, Vorfälle oder Funktionsstörungen dem Hersteller beziehungsweise Händler mitteilen. Aber damit nicht genug: Für Krankenhäuser können auch Herstellerpflichten relevant werden. Anbieter im Sinne des Entwurfes ist nicht nur, wer ein KI-System auf den Markt bringt. Die Entwicklung und Anwendung unter eigenem Namen reicht bereits aus. Auch bei einer Zweckänderung oder substanziellen Modifikationen kann der Anwender zum Anbieter werden. Unter Umständen kann einem Krankenhaus auch bei Investitionen in KI-Systeme die Rolle des Herstellers zukommen.

Beschränkter Marktzugang

Eine erhebliche praktische Folge der neuen Regelungen ist die Beschränkung des Marktzugangs: Bevor Hochrisiko-KI-Systeme in der EU in Verkehr gebracht werden dürfen, müssen sie erfolgreich ein Konformitätsbewertungsverfahren durchlaufen. Geprüft werden dabei qualitativ hochwertige Datensätze, Dokumentation, Transparenz und Bereitstellung von Informationen, menschliche Aufsicht, Robustheit, Genauigkeit und Sicherheit. Um die Konformität zu kennzeichnen, müssen die KI-Systeme mit einer CE-Kennzeichnung versehen werden.

Wie weit reicht die Regulierung?

Bei vielen Fragen herrscht noch Unsicherheit. Das gilt vor allem für Hersteller von medizinischen Produkten, die unter die Definition von KI-Systemen fallen. Müssen die Konformitätsbewertungsverfahren nach der MDR beziehungsweise der IVDR parallel zu den Verfahren nach den neuen KI-Regelungen durchlaufen werden, und wird dem Hersteller dadurch eine Doppelbelastung auferlegt? Schließlich prüfen die Bewertungsverfahren nach der MDR und der IVDR die sektorspezifische Gefahr bereits. Eine Doppelbelastung für den Hersteller sollte grundsätzlich verhindert werden. Die Regelungen müssen aufeinander abgestimmt werden. Der europäische Gesetzgeber sollte dazu das Verhältnis zwischen den Konformitätsbewertungsverfahren für Medizinprodukte beziehungsweise In-Vitro-Diagnostika und dem Verfahren für KI spezifizieren. Das ist nicht nur wünschenswert, sondern erforderlich.

Von praktischem Interesse ist auch die Frage des Bestandschutzes: Dürfen bereits in Betrieb genommene KI-Systeme weiterhin genutzt werden? Häufig werden in EU-Verordnungen Übergangszeiten für den Abverkauf oder die Weiternutzung bestimmt. Auch dieser Verordnungsentwurf legt Regeln für bereits auf den Markt gebrachte KI-Systeme fest. Sonderregeln gibt es für KI-Systeme, die Teil eines IT-Großsystems sind. Ansonsten ist die Verordnung nur dann auf bereits in den Verkehr gebrachte Systeme anzuwenden, wenn diese nach dem Geltungsbeginn der Verordnung wesentliche Änderungen im Design oder in ihrer Zweckbestimmung erfahren haben.

Krankenhäuser sollten sich jetzt schon vorbereiten

Für Wirtschaftsakteure bedeutet die geplante Verordnung weitreichende Verpflichtungen in Bezug auf alle KI-Systeme. Sie verbietet bestimmte KI-Praktiken vollständig, statuiert besondere Verpflichtungen in Bezug auf KI-Systeme mit hohem Risiko und schafft einen neuen Rahmen von Regulierungsbehörden sowie Test-, Überwachungs- und Compliance- Prozessen. Das Regelwerk muss noch vom Europäischen Parlament und vom Europäischen Rat in einem umfangreichen Verfahren debattiert und abgestimmt werden. Die Vorschläge der Kommission können dabei noch einige Änderungen erfahren. Das neue Governance- und Durchsetzungsregime hat eine weitere Verstärkung der Regulierungsintensität zur Folge. Eine Nachjustierung, insbesondere mit Blick auf Doppelprüfungen – vor allem im Bereich der Medizinprodukte – wäre sinnvoll. Der Rat an auf KI spezialisierte Hersteller und Anwender lautet daher: Behalten Sie diese Entwicklungen genau im Blick und stellen Sie sich frühzeitig auf Änderungen des Rechtsrahmens ein.

Erschienen in kma 07-08/21 Jetzt kaufen!