FDA-Zulassung: Fast die Hälfte der KI-Geräte basieren nicht auf echten Patientendaten

Eine Gruppe von Forschern der Universität North Carolina hat Zulassungen KI-unterstützter medizinischer Geräte durch die FDA aus drei Jahrzehnten ausgewertet. Diese habe Fragen nach der Sicherheit und Verlässlichkeit aufgeworfen, so die Autoren. Grund dafür sei, dass nur ein Teil der zugrunde liegenden Daten von realen Patienten stamme.

Die Geschichte des Einsatzes Künstlicher Intelligenz bei der Entwicklung von Medizinprodukten reicht bis in die 2000er-Jahre zurück. Auf der Grundlage von Deep-Learning-Modellen entstanden damals die ersten derartigen Geräte. Diese wurden beispielsweise im Bereich der Gastroenterologie oder der Endoskopie eingesetzt.

Simulierte Bilder bei Validierung von KI-gestützten Produkten verwendet

Gemäß der in der Fachzeitschrift „Nature Medicine“ veröffentlichten Studie vollzog sich die klinische Validierung der Geräte jedoch nur teilweise nach üblichen Parametern. Üblicherweise verwende die zuständige Zulassungsbehörde, die Food and Drug Administration (FDA), dabei Daten aus Tests an echten Patienten.

In vielen Fällen seien es jedoch stattdessen simulierte Bilder gewesen, die im Zulassungsprozess zum Einsatz gekommen seien. Der Studie zufolge soll sogar in fast der Hälfte der untersuchten Zulassungen mit simulierten statt echten Daten gearbeitet worden sein. An der Arbeit haben Forscher aus akademischen Einrichtungen, aber auch Berater aus einschlägigen Unternehmen mitgewirkt. Die Entstehungsdauer betrug 18 Monate.

Im Interview mit der englischsprachigen Epoch Times erklärte Erstautor Sammy Chouffani El Fassi, dass KI-unterstützte Medizinprodukte nützliche Zwecke erfüllten. Zu diesen gehörten etwa die Erkennung von Krebs oder Schlaganfällen auf radiologischen Scans. Allerdings seien damit auch Risiken verbunden – und auf diese habe man nun auch die Verantwortlichen in der FDA aufmerksam gemacht.

Dynamischer Aufstieg Künstlicher Intelligenz in der Medizin

Der Durchbruch von Künstlicher Intelligenz in medizinischen Produkten ist auf breiter Ebene erst im Laufe der vergangenen Jahre erfolgt. Waren es im Jahr 2016 erst zwei Medizinprodukte mit KI-Unterstützung, die von der FDA zugelassen wurden, ist deren Zahl 2022 auf 69 gestiegen.

Dabei habe es in lediglich 56 Prozent der Fälle eine klassische klinische Validierung gegeben, so Chouffani El Fassi. Von den zugelassenen Geräten waren allein 75 Prozent für die Radiologie bestimmt. Es handelte sich dabei fast ausschließlich um solche der Klasse II, die mittleres Risiko beschreibt.

In diese Kategorie fallen Diagnosegeräte etwa im Röntgenbereich, chirurgisches Material wie Katheter oder Nahtmaterial, aber auch therapeutische Geräte. Dazu gehören beispielsweise Herzschrittmacher oder Hörgeräte.

Die Autoren der Studie raten zu einer umfassenden Veröffentlichung der klinischen Validierungsdaten durch Behörden und Hersteller. Dies sei erforderlich, um das Vertrauen der Öffentlichkeit in die FDA-Zulassung als Indiz für die Wirksamkeit zu stärken.

KI kann Ärzte und ihre Expertise nur ergänzen – nicht ersetzen

Forschungsteamleiter Chouffani El Fassi geht auch davon aus, dass die Veröffentlichung von klinischen Validierungen Hürden für Produkteinführungen senken wird. Dies sei wichtig, da die Technologie viel Positives leisten könne:

„Es ist beeindruckend, was diese Technologie leisten kann. Sie kann den Ausbruch einer Krankheit vorhersagen, bevor sie überhaupt beginnt.“

Allerdings sei das Feld auch noch sehr neu, und es sei noch nicht abschätzbar, welche Risikopotenziale mit den Entwicklungen einhergingen. Wichtig wäre, sicherzustellen, dass die KI-gestützten Geräte die Arbeit der Ärzte unterstützten und ergänzten – aber nicht ersetzten.

Dies sei auch eine Bedingung für deren Zulassung. Die letztinstanzliche Überprüfung der Resultate durch Menschen solle eine Auswahl und Validierung von Ergebnissen, etwa von Organscans, ermöglichen. Es sei nachvollziehbar, dass Entwickler bestrebt seien, Tests an realen Patienten zu vermeiden, da diese mit einem streng kontrollierten und teuren Prozess verbunden seien.

Studienautor definiert prospektive Validierung als „Goldstandard“

Gerade deshalb, so Couffani El Fassi, sei es jedoch unabdingbar, einen „Goldstandard“ für Sicherheit und Wirksamkeit bezüglich des Validierungsprozesses einzuführen. Der Studienautor ließ dabei eine klare Präferenz für die sogenannte prospektive Validierung erkennen.

Im Unterschied zur derzeit am weitesten verbreiteten retrospektiven Validierung wird das KI-gestützte Gerät nicht anhand historischer Daten getestet. Stattdessen können Forscher kontrollierte Studien auf der Grundlage von Zufallsdaten durchführen und Gerätebenutzer mit einer Kontrollgruppe vergleichen.

Dies sei der Goldstandard in der Medizin, so Chouffani El Fassi,

„denn man vergleicht eine Gruppe von Gesundheitsexperten, die das Gerät verwendet haben, mit einer Kontrollgruppe, die das Gerät nicht verwendet hat.“