Krankenhäuser in der Rolle des Herstellers

Im Wesentlichen bestimmt der Entwurf pauschal, dass von KI-Systemen, die gleichzeitig ein Produkt im Sinne der MDR oder der IVDR darstellen, ein hohes Risiko ausgeht. Deshalb gelten für solche Systeme strenge Anforderungen. Dazu zählen beispielsweise die Durchführung eines Konformitätsbewertungsverfahrens und bestimmte Prüfpflichten. Nach dem risikobasierten Ansatz sind derartige Hochrisiko-KI-Systeme zulässig, sofern bestimmte verbindliche Anforderungen erfüllt werden und eine Konformitätsbewertung durchgeführt wird. Darüber hinaus müssen sie strenge verbindliche Vorgaben in Bezug auf die Qualität der verwendeten Datensätze, die technische Dokumentation und das Führen von Aufzeichnungen, die Transparenz und die Bereitstellung von Informationen für die Nutzer, die menschliche Aufsicht sowie die Robustheit, Genauigkeit und Cybersicherheit erfüllen.

Der Entwurf normiert auch bestimmte Pflichten der Anwender von Hochrisiko- Systemen. Sie dürfen diese beispielsweise nur gemäß der Gebrauchsanweisung verwenden. Außerdem müssen sie den Betrieb des KI-Systems überwachen und mögliche Risiken, Vorfälle oder Funktionsstörungen dem Hersteller beziehungsweise Händler mitteilen. Aber damit nicht genug: Für Krankenhäuser können auch Herstellerpflichten relevant werden. Anbieter im Sinne des Entwurfes ist nicht nur, wer ein KI-System auf den Markt bringt. Die Entwicklung und Anwendung unter eigenem Namen reicht bereits aus. Auch bei einer Zweckänderung oder substanziellen Modifikationen kann der Anwender zum Anbieter werden. Unter Umständen kann einem Krankenhaus auch bei Investitionen in KI-Systeme die Rolle des Herstellers zukommen.

Beschränkter Marktzugang

Eine erhebliche praktische Folge der neuen Regelungen ist die Beschränkung des Marktzugangs: Bevor Hochrisiko-KI-Systeme in der EU in Verkehr gebracht werden dürfen, müssen sie erfolgreich ein Konformitätsbewertungsverfahren durchlaufen. Geprüft werden dabei qualitativ hochwertige Datensätze, Dokumentation, Transparenz und Bereitstellung von Informationen, menschliche Aufsicht, Robustheit, Genauigkeit und Sicherheit. Um die Konformität zu kennzeichnen, müssen die KI-Systeme mit einer CE-Kennzeichnung versehen werden.

Wie weit reicht die Regulierung?

Bei vielen Fragen herrscht noch Unsicherheit. Das gilt vor allem für Hersteller von medizinischen Produkten, die unter die Definition von KI-Systemen fallen. Müssen die Konformitätsbewertungsverfahren nach der MDR beziehungsweise der IVDR parallel zu den Verfahren nach den neuen KI-Regelungen durchlaufen werden, und wird dem Hersteller dadurch eine Doppelbelastung auferlegt? Schließlich prüfen die Bewertungsverfahren nach der MDR und der IVDR die sektorspezifische Gefahr bereits. Eine Doppelbelastung für den Hersteller sollte grundsätzlich verhindert werden. Die Regelungen müssen aufeinander abgestimmt werden. Der europäische Gesetzgeber sollte dazu das Verhältnis zwischen den Konformitätsbewertungsverfahren für Medizinprodukte beziehungsweise In-Vitro-Diagnostika und dem Verfahren für KI spezifizieren. Das ist nicht nur wünschenswert, sondern erforderlich.

Von praktischem Interesse ist auch die Frage des Bestandschutzes: Dürfen bereits in Betrieb genommene KI-Systeme weiterhin genutzt werden? Häufig werden in EU-Verordnungen Übergangszeiten für den Abverkauf oder die Weiternutzung bestimmt. Auch dieser Verordnungsentwurf legt Regeln für bereits auf den Markt gebrachte KI-Systeme fest. Sonderregeln gibt es für KI-Systeme, die Teil eines IT-Großsystems sind. Ansonsten ist die Verordnung nur dann auf bereits in den Verkehr gebrachte Systeme anzuwenden, wenn diese nach dem Geltungsbeginn der Verordnung wesentliche Änderungen im Design oder in ihrer Zweckbestimmung erfahren haben.

Krankenhäuser sollten sich jetzt schon vorbereiten

Für Wirtschaftsakteure bedeutet die geplante Verordnung weitreichende Verpflichtungen in Bezug auf alle KI-Systeme. Sie verbietet bestimmte KI-Praktiken vollständig, statuiert besondere Verpflichtungen in Bezug auf KI-Systeme mit hohem Risiko und schafft einen neuen Rahmen von Regulierungsbehörden sowie Test-, Überwachungs- und Compliance- Prozessen. Das Regelwerk muss noch vom Europäischen Parlament und vom Europäischen Rat in einem umfangreichen Verfahren debattiert und abgestimmt werden. Die Vorschläge der Kommission können dabei noch einige Änderungen erfahren. Das neue Governance- und Durchsetzungsregime hat eine weitere Verstärkung der Regulierungsintensität zur Folge. Eine Nachjustierung, insbesondere mit Blick auf Doppelprüfungen – vor allem im Bereich der Medizinprodukte – wäre sinnvoll. Der Rat an auf KI spezialisierte Hersteller und Anwender lautet daher: Behalten Sie diese Entwicklungen genau im Blick und stellen Sie sich frühzeitig auf Änderungen des Rechtsrahmens ein.

Erschienen in kma 07-08/21  Jetzt kaufen!