Außerdem ist die Zahl der öffentlich mandatierten Zertifizierungsstellen überschaubar: Neun Benannte Stellen nach MDR gibt es derzeit für ganz Europa, vier davon in Deutschland, darunter der TÜV Süd, der TÜV Rheinland und die Dekra. Für die schwierige Aufgabe fehlt überdies qualifiziertes Personal. Vor allem der TÜV stockt in diesen Tagen nach Kräften auf: „Wir haben die Mitarbeiterzahl in diesem Bereich innerhalb der vergangenen drei bis vier Jahre verdoppelt“, sagt Andreas Purde, beim TÜV Süd Leiter des Fokus-Teams digitale Anwendungen. Das Anforderungsprofil ist hoch: Notwendig sind technische Kompetenz, Methodensicherheit und Kenntnis der einschlägigen gesetzlichen Anforderungen.

Kann ein lernendes System überhaupt zugelassen werden?

Damit nicht genug, konfrontiert der Siegeszug intelligenter Software die Zertifizierungsexperten auch mit neuen ethischen Fragen: Welchen Einfluss hat es auf die Zulassung eines Produktes, wenn sich das zu prüfende Objekt ständig verändert, wenn das System lernt? „Wenn sich die Tools ständig weiterentwickeln, heißt das, dass sie ihren Zustand zum Zeitpunkt der Zertifizierung nicht beibehalten“, warnt der Branchenverband bvitg. Was also zertifiziert ein Prüfer und wann? „Nach geltender Rechtslage bedingen Software-Updates ein neues Release-Verfahren“, betont auch TÜV-Manager Andreas Purde. „Unkontrolliert lernende Medizinprodukte würden wir als TÜV Süd bislang nicht zulassen. Das System darf nicht von allein lernen.“

Systeme, die sich ohne Einwirkung des Herstellers nicht selbstständig verändern, seien dagegen mit dem modernen Regelwerk der MDR kompatibel, ist sich Siemens Healthineers sicher. Konsequent weitergedacht bedeute die Zulassung für den europäischen Markt dann aber auch, dass das Produkt nicht über Elemente des maschinellen Lernens verfüge, kritisierte die Aachener Beratungsgesellschaft Synagon prompt, kurz nachdem Siemens Healthineers die Zertifizierung seiner neuen Software bekanntgegeben hatte.

Die Begriffe KI oder „maschinelles Lernen“ implizierten einen Veränderungsprozess, argumentieren die Synagon-Berater. Bestandteil der Zertifizierung sei die Validierung der Funktionsweise – und die dürfe sich nach der Zulassung nicht mehr ändern: „Wer also jetzt hofft, ein sich ständig verbesserndes Werkzeug an die Hand zu bekommen, wird enttäuscht."

Es herrscht Begriffs-Wirrwarr

Zur Crux werden in diesem Zusammenhang die unscharfen Definitionen von Künstlicher Intelligenz: „Die Vielfalt an Begriffsbestimmungen macht es allen Beteiligten nicht leicht, das Thema zu fassen,“ bemängelt Tobias Schreiegg, Director Regulatory Affairs bei Siemens Healthineers. Auch für Carla Hustedt, die bei der Bertelsmann-Stiftung ein Projekt zum Thema Ethik der Algorithmen leitet, beginnt die Auseinandersetzung schon mit dem Begriff „Lernen“: „Wissenschaftler unterscheiden zwischen regel- und lernbasierten Systemen,“ erklärt sie. Bei letzterem suche die Software trotz vorgegebener Datensätze eigenständig einen Lösungsweg. „Der Mensch definiert das Ziel, nicht die Vorgehensweise“.

Gelerntes kann so auf neue Daten und Zusammenhänge angewendet werden. Die Software interagiert mit dem Nutzer. Für den Markt sei diese Form des Machine Learning bislang von untergeordneter Bedeutung: „Ein großer Teil der in Betrieb befindlichen Systeme lernt nach Zulassung nicht mehr weiter,“ sagt Hustedt. „Software, die ihre grundlegende Eigenschaft durch das Training mittels Daten erhält, wird schon seit vielen Jahren – wir sprechen von circa zehn bis zwölf Jahren – sicher und zuverlässig auf den Europäischen und internationalen Markt gebracht“, betont Siemens-Manager Schreiegg. Auch die Datenethikkommission der Bundesregierung hat sich in ihren jüngsten Empfehlungen mit der Zertifizierung lernender Software beschäftigt. Dabei unterscheidet die Kommission vor allem nach der Aufgabenverteilung zwischen Menschen und Maschine.

Im Zentrum steht das Maß, in dem die Vorschläge des Algorithmus‘ in die Entscheidungsfreiheit des Menschen eingreifen. Wissenschaftler der Universitäten Bonn und Köln erarbeiten derzeit unter der Federführung des Fraunhofer-Instituts für Intelligente Analyse- und Informationssysteme (IAIS) und unter Mitwirkung des Bundesamtes für Sicherheit in der Informationstechnik (BSI) einen Prüfkatalog zur Zertifizierung von KI-Anwendungen. „Es muss geklärt werden, welche Anforderungen an KI-Anwendungen sich aus den Grundwerten und Prinzipien eines freiheitlich geordneten Rechtsstaates ergeben“, sagt Frauke Rostalski, Professorin für Rechtswissenschaft an der Universität Köln.

Neue Risikoklassifizierung erforderlich

„Notwendig wären feiner abgestufte Risikoklassifizierungen – analog etwa zur Zulassung von Biologicals oder Gentherapien“, fordert Charité-Professor von Kalle: „Die Risiken unterscheiden sich je nach dem geplanten Einsatzgebiet vollkommen“. Auch die Ethikkommission rät zu einer Regulierung algorithmischer Systeme in Stufen, die sich an der Wahrscheinlichkeit und der Schwere eines zu befürchtenden Schadens orientieren. „Wir müssen differenzieren nach dem Einfluss auf das Leben von Menschen“, fordert Bertelsmann-Expertin Hustedt. Dabei geht es der Wissenschaftlerin auch um die Möglichkeiten eines Individuums, sich dem System zu entziehen.

Wenn etwa eine Recruiting-Software Bewerber einer bestimmten Hautfarbe aussortiert, greift sie tief in das Leben der Betroffenen ein, ohne dass diesen die Manipulation überhaupt bewusst wird. „Bevor hochautonome Systeme ohne menschliche Kontrolle, die durch stetige Änderungen bestimmt sind, zertifiziert werden können, sind eine Reihe von Fragen zu klären,“ sagt Siemens-Regulatory Affairs-Manager Schreiegg: „Wie soll ein Hersteller den Nachweis auf Funktionsfähigkeit und Sicherheit im klinischen Einsatz erbringen, wenn sich das System während der Nutzung ändert?“

Absehbare Veränderungen vorab dokumentieren

Er zieht einen Vergleich zur Labordiagnostik. Auch hier unterlägen die Analyseprodukte – innerhalb einer spezifizierten und klinischen anerkannten Bandbreite – produktionsbedingten Schwankungen, sagt er. Wenn durch den Hersteller sichergestellt sei, dass sich das System nur innerhalb solcher klinisch akzeptierten Rahmenbedingungen verändere, und wenn der Hersteller sicherstellen könne, dass ein Ergebnis nur nach Prüfung dieser Performancegrenzen ausgegeben wird, seien begrenzt selbstadaptive Systeme denkbar.

In den USA lässt die Federal Drug Administration (FDA) bislang nur Produkte zu, die mit „locked“ Algorithmen arbeiten, also Software, die gewissermaßen im Zustand der Zertifizierung „eingefroren“ wurde.

Doch hat die Behörde das Problem immerhin erkannt. Im April vergangenen Jahres veröffentlichte die FDA ein „Proposed Regulatory Framework for Modifications to Artificial Intelligence and Machine Learning“, also einen Vorschlag zur besseren Regulierung selbstlernender Systeme. Demnach könnten Hersteller in Zukunft sogenannte Software Pre-Specifications (SPS) einreichen, welche einen Plan aufzeigen, wie sich das Produkt weiterentwickeln soll. Die Änderungen müssten vorher festgelegten Validierungsmaßnahmen unterliegen und in einem Change Protocol dokumentiert werden.