Wissenschaftler des Massachusetts Institute of Technology (MIT) haben womöglich ein neues, leistungsstarkes Antibiotikum entdeckt. In Labortests wirke die Substanz sogar gegen einige Bakterienstämme, die gegen alle bekannten Antibiotika resistent sind, gaben die Bostoner Forscher vor wenigen Wochen bekannt. Möglich machte die bahnbrechende Entwicklung ein Algorithmus für maschinelles Lernen, so das MIT (siehe dazu S. 13, „KI findet neues Antibiotikum“).

Diese Ankündigung erreicht die Medizinwelt in einer Zeit, in der die Antibiotika-Entwicklung praktisch auf der Stelle zu treten scheint und in der vor allem Krankenhäuser mit den Folgen von Antibiotika-Resistenzen kämpfen. Screeningverfahren sind teuer und langwierig, und sie beschränken sich zumeist auf ein enges Wirkungsspektrum. Algorithmen dagegen können in kurzer Zeit eine Vielzahl an Merkmalen miteinander ins Verhältnis setzen.

Aus unzähligen Korrelationen entstehen Muster, das System lernt. Dieser Lernvorgang als Ergebnis eines ultraschnellen Datenabgleichs, auf dem auch KI-basierte Mustererkennungssysteme in der Diagnostik aufbauen, wird zunehmend zur Herausforderung für die Marktzulassung von Medizinprodukten. Die Industrie befürchtet Engpässe und Verzögerungen im Zulassungsprozess.

Experten sehen in KI ein riesiges Wachstumspotenzial

Im vergangenen Sommer konnte Siemens Healthineers immerhin die Zulassung einer Software zur Klassifizierung radiologischer Befunde für den europäischen Markt bekannt geben. Der „AI-Rad Companion Chest CT“ habe die CE-Kennzeichnung erhalten, meldete der Konzern. Der neue digitale Assistent könne CT-Aufnahmen des Brustkorbs auswerten, pathologische Auffälligkeiten kennzeichnen und vermessen. Siemens wolle künftig mehr intelligente Algorithmen für weitere Organe zur Verfügung stellen und sein Portfolio an KI-basierter Software zur Unterstützung klinischer Entscheidungen erweitern.

Mit diesem Vorsatz stehen die Süddeutschen nicht allein. An KI knüpfen sich immense Erwartungen, es entwickelt sich ein riesiger Markt: Der auf Basis neuronaler Netze arbeitenden Analytik-Technologie „Deep Learning“ schrieb die Beratungsgesellschaft McKinsey bereits vor knapp zwei Jahren ein jährliches Wertschöpfungspotenzial von bis zu 5,8 Billionen US-Dollar weltweit zu. Das Veränderungspotenzial übersteige das der Dampfmaschine. KI ist als Begriff positiv besetzt und für die Vermarktung von hohem Wert.

Zertifizierung weiterentwickeln

Doch dem erheblichen wirtschaftlichen und medizinischen Potenzial steht zunächst ein beträchtlicher Zertifizierungsaufwand gegenüber. Präzision und Zuverlässigkeit KI-basierter Entscheidungsunterstützungssysteme sind in hohem Maße abhängig von der Methodik und der Qualität der dem Training der Algorithmen zugrunde liegenden Daten. Beide sind für die Zertifizierer schwierig einzusehen. Die Prüfer, monieren Kritiker des Verfahrens, richteten ihr Augenmerk deshalb zu sehr auf formale Aspekte: „Die Qualität der Datensätze und die einem Algorithmus zugrunde liegende Methodik sind für die Prüfer häufig eine Blackbox“, sagt Christoph von Kalle, Chair für Klinisch-Translationale Wissenschaften am Berlin Institute of Health und der Charité. Der Einfluss neuer Technologien erfordere eine ständige Weiterentwicklung auch der Zertifizierungsprozesse.

Nachweispflicht für Hersteller nimmt erheblich zu

Dabei kämpfen die staatlich autorisierten Prüfungseinrichtungen, die so genannten Benannten Stellen, ohnehin schon mit einer überbordenden Aufgabenpalette – unter anderem auf dem Gebiet der Cybersicherheit – und zunehmender technischer Komplexität. Ab Ende Mai gilt überdies die neue Medical Device Regulation (MDR) der Europäischen Union (EU). Die für alle EU-Staaten rechtswirksame Verordnung wurde 2017 mit einer dreijährigen Übergangsfrist in Kraft gesetzt, um die Sicherheit von Medizinprodukten sowie ihre Zulassung zu verbessern. Das neue Regelwerk verschärft die Nachweispflichten der Hersteller erheblich.

Außerdem ist die Zahl der öffentlich mandatierten Zertifizierungsstellen überschaubar: Neun Benannte Stellen nach MDR gibt es derzeit für ganz Europa, vier davon in Deutschland, darunter der TÜV Süd, der TÜV Rheinland und die Dekra. Für die schwierige Aufgabe fehlt überdies qualifiziertes Personal. Vor allem der TÜV stockt in diesen Tagen nach Kräften auf: „Wir haben die Mitarbeiterzahl in diesem Bereich innerhalb der vergangenen drei bis vier Jahre verdoppelt“, sagt Andreas Purde, beim TÜV Süd Leiter des Fokus-Teams digitale Anwendungen. Das Anforderungsprofil ist hoch: Notwendig sind technische Kompetenz, Methodensicherheit und Kenntnis der einschlägigen gesetzlichen Anforderungen.

Kann ein lernendes System überhaupt zugelassen werden?

Damit nicht genug, konfrontiert der Siegeszug intelligenter Software die Zertifizierungsexperten auch mit neuen ethischen Fragen: Welchen Einfluss hat es auf die Zulassung eines Produktes, wenn sich das zu prüfende Objekt ständig verändert, wenn das System lernt? „Wenn sich die Tools ständig weiterentwickeln, heißt das, dass sie ihren Zustand zum Zeitpunkt der Zertifizierung nicht beibehalten“, warnt der Branchenverband bvitg. Was also zertifiziert ein Prüfer und wann? „Nach geltender Rechtslage bedingen Software-Updates ein neues Release-Verfahren“, betont auch TÜV-Manager Andreas Purde. „Unkontrolliert lernende Medizinprodukte würden wir als TÜV Süd bislang nicht zulassen. Das System darf nicht von allein lernen.“

Systeme, die sich ohne Einwirkung des Herstellers nicht selbstständig verändern, seien dagegen mit dem modernen Regelwerk der MDR kompatibel, ist sich Siemens Healthineers sicher. Konsequent weitergedacht bedeute die Zulassung für den europäischen Markt dann aber auch, dass das Produkt nicht über Elemente des maschinellen Lernens verfüge, kritisierte die Aachener Beratungsgesellschaft Synagon prompt, kurz nachdem Siemens Healthineers die Zertifizierung seiner neuen Software bekanntgegeben hatte.

Die Begriffe KI oder „maschinelles Lernen“ implizierten einen Veränderungsprozess, argumentieren die Synagon-Berater. Bestandteil der Zertifizierung sei die Validierung der Funktionsweise – und die dürfe sich nach der Zulassung nicht mehr ändern: „Wer also jetzt hofft, ein sich ständig verbesserndes Werkzeug an die Hand zu bekommen, wird enttäuscht."

Es herrscht Begriffs-Wirrwarr

Zur Crux werden in diesem Zusammenhang die unscharfen Definitionen von Künstlicher Intelligenz: „Die Vielfalt an Begriffsbestimmungen macht es allen Beteiligten nicht leicht, das Thema zu fassen,“ bemängelt Tobias Schreiegg, Director Regulatory Affairs bei Siemens Healthineers. Auch für Carla Hustedt, die bei der Bertelsmann-Stiftung ein Projekt zum Thema Ethik der Algorithmen leitet, beginnt die Auseinandersetzung schon mit dem Begriff „Lernen“: „Wissenschaftler unterscheiden zwischen regel- und lernbasierten Systemen,“ erklärt sie. Bei letzterem suche die Software trotz vorgegebener Datensätze eigenständig einen Lösungsweg. „Der Mensch definiert das Ziel, nicht die Vorgehensweise“.

Gelerntes kann so auf neue Daten und Zusammenhänge angewendet werden. Die Software interagiert mit dem Nutzer. Für den Markt sei diese Form des Machine Learning bislang von untergeordneter Bedeutung: „Ein großer Teil der in Betrieb befindlichen Systeme lernt nach Zulassung nicht mehr weiter,“ sagt Hustedt. „Software, die ihre grundlegende Eigenschaft durch das Training mittels Daten erhält, wird schon seit vielen Jahren – wir sprechen von circa zehn bis zwölf Jahren – sicher und zuverlässig auf den Europäischen und internationalen Markt gebracht“, betont Siemens-Manager Schreiegg. Auch die Datenethikkommission der Bundesregierung hat sich in ihren jüngsten Empfehlungen mit der Zertifizierung lernender Software beschäftigt. Dabei unterscheidet die Kommission vor allem nach der Aufgabenverteilung zwischen Menschen und Maschine.

Im Zentrum steht das Maß, in dem die Vorschläge des Algorithmus‘ in die Entscheidungsfreiheit des Menschen eingreifen. Wissenschaftler der Universitäten Bonn und Köln erarbeiten derzeit unter der Federführung des Fraunhofer-Instituts für Intelligente Analyse- und Informationssysteme (IAIS) und unter Mitwirkung des Bundesamtes für Sicherheit in der Informationstechnik (BSI) einen Prüfkatalog zur Zertifizierung von KI-Anwendungen. „Es muss geklärt werden, welche Anforderungen an KI-Anwendungen sich aus den Grundwerten und Prinzipien eines freiheitlich geordneten Rechtsstaates ergeben“, sagt Frauke Rostalski, Professorin für Rechtswissenschaft an der Universität Köln.

Neue Risikoklassifizierung erforderlich

„Notwendig wären feiner abgestufte Risikoklassifizierungen – analog etwa zur Zulassung von Biologicals oder Gentherapien“, fordert Charité-Professor von Kalle: „Die Risiken unterscheiden sich je nach dem geplanten Einsatzgebiet vollkommen“. Auch die Ethikkommission rät zu einer Regulierung algorithmischer Systeme in Stufen, die sich an der Wahrscheinlichkeit und der Schwere eines zu befürchtenden Schadens orientieren. „Wir müssen differenzieren nach dem Einfluss auf das Leben von Menschen“, fordert Bertelsmann-Expertin Hustedt. Dabei geht es der Wissenschaftlerin auch um die Möglichkeiten eines Individuums, sich dem System zu entziehen.

Wenn etwa eine Recruiting-Software Bewerber einer bestimmten Hautfarbe aussortiert, greift sie tief in das Leben der Betroffenen ein, ohne dass diesen die Manipulation überhaupt bewusst wird. „Bevor hochautonome Systeme ohne menschliche Kontrolle, die durch stetige Änderungen bestimmt sind, zertifiziert werden können, sind eine Reihe von Fragen zu klären,“ sagt Siemens-Regulatory Affairs-Manager Schreiegg: „Wie soll ein Hersteller den Nachweis auf Funktionsfähigkeit und Sicherheit im klinischen Einsatz erbringen, wenn sich das System während der Nutzung ändert?“

Absehbare Veränderungen vorab dokumentieren

Er zieht einen Vergleich zur Labordiagnostik. Auch hier unterlägen die Analyseprodukte – innerhalb einer spezifizierten und klinischen anerkannten Bandbreite – produktionsbedingten Schwankungen, sagt er. Wenn durch den Hersteller sichergestellt sei, dass sich das System nur innerhalb solcher klinisch akzeptierten Rahmenbedingungen verändere, und wenn der Hersteller sicherstellen könne, dass ein Ergebnis nur nach Prüfung dieser Performancegrenzen ausgegeben wird, seien begrenzt selbstadaptive Systeme denkbar.

In den USA lässt die Federal Drug Administration (FDA) bislang nur Produkte zu, die mit „locked“ Algorithmen arbeiten, also Software, die gewissermaßen im Zustand der Zertifizierung „eingefroren“ wurde.

Doch hat die Behörde das Problem immerhin erkannt. Im April vergangenen Jahres veröffentlichte die FDA ein „Proposed Regulatory Framework for Modifications to Artificial Intelligence and Machine Learning“, also einen Vorschlag zur besseren Regulierung selbstlernender Systeme. Demnach könnten Hersteller in Zukunft sogenannte Software Pre-Specifications (SPS) einreichen, welche einen Plan aufzeigen, wie sich das Produkt weiterentwickeln soll. Die Änderungen müssten vorher festgelegten Validierungsmaßnahmen unterliegen und in einem Change Protocol dokumentiert werden.