Diese KI-Technologien sind jetzt illegal – Kritiker warnen vor Schlupflöchern

Seit Sonntag, 2.2., ist der sogenannte AI Act der EU in Kraft. Er soll dazu beitragen, den Einsatz von Systemen Künstlicher Intelligenz (KI) „sicher, transparent und ethisch“ zu gestalten. Gleichzeitig soll Innovation in diesem Bereich, in dem vor allem die USA und China Maßstäbe setzen, auch in Europa möglich bleiben.

Der AI Act unterteilt Anwendungen aus dem Bereich der Künstlichen Intelligenz dazu grundsätzlich nach Risikoklassen. Als unannehmbares Risiko gelten Anwendungen, die als Bedrohung für Sicherheit, Lebensgrundlagen oder Rechte der Bürger gelten. Sie sind nach dem AI Act in der EU grundsätzlich untersagt.

Welche KI laut AI Act als besonders gefahrenträchtig gilt

Beispiele dafür sind Social Scoring durch Regierung, aber auch manipulative sogenannte Dark-Pattern-Anwendungen. Darunter versteht man die Anwendung von psychologischen Designs, die Nutzer zum Handeln gegen ihre Interessen bewegen. Einige von diesen Anwendungen sind jedoch bis heute weitverbreitet, etwa schwer auffindbare Rechnungen oder besonders komplizierte Kündigungsprozesse.

Als unannehmbare Risiken verboten sind zudem KI-Systeme, die auf biometrischen Kategorisierungssystemen beruhen. Diese erlauben Rückschlüsse auf sensible Merkmale wie Rasse, politische Überzeugung, Gewerkschaftszugehörigkeit, Religion oder sexuelle Neigung. Nicht gestattet ist auch die Verwendung von KI-Systemen zur Emotionserkennung, auch bekannt als Affective Computing.

Solche Emotionserkennungstools analysieren Gesichtsausdrücke, Stimmmuster, Körpersprache und andere physiologische Signale. Daraus ziehen sie Rückschlüsse auf den emotionalen Zustand einer Person. Außerdem darf keine KI in der EU zum Einsatz kommen, die ein Risiko, dass eine Person strafbare Handlungen begeht, ausschließlich auf Grundlage der Resultate solcher Instrumente einschätzt.

Ausnahmen für Strafverfolgungsbehörden oder in potenziellen Notfallsituationen

Untersagt sind als KI-Systeme der Kategorie 1 auch solche, die dazu dienen, aus Videoüberwachungsaufnahmen oder durch ungezieltes Auslesen von Online-Gesichtsbildern Gesichtserkennungsdatenbanken aufzubauen. Gleiches gilt für Tools, die es erlauben, am Arbeitsplatz oder in Bildungseinrichtungen Emotionen abzuleiten. Dies soll nur gestattet sein, sollte eine medizinische oder sicherheitstechnische Notwendigkeit bestehen.

Es gibt einige wenige Ausnahmen, in denen Sicherheitsbehörden oder das Militär KI-Systeme verwenden dürfen, die als unannehmbare Risiken eingeordnet sind. Ein Beispiel ist die biometrische Fernidentifizierung (RBI) in öffentlich zugänglichen Räumen für die Strafverfolgung. Dort sollen Beamte nach vermissten Personen, Entführungsopfern oder Personen suchen dürfen, die mutmaßlich Opfer von Menschenhandel oder sexueller Ausbeutung geworden sind.

Außerdem sollen Systeme dieser Art zur Anwendung kommen können, wenn es um die Verhinderung unmittelbar drohender terroristischer Angriffe oder Straftaten gegen Leib und Leben geht. Auch zur Identifizierung von Tatverdächtigen bei schweren Straftaten sollen Tools dieser Art zur Anwendung kommen können.

Migration als Testlabor für europäische Entwicklungspotenziale?

Faktisch soll es dadurch etwa der Polizei möglich sein, in bestimmten Fällen Gesichtserkennung zu nutzen. Dies soll etwa zulässig sein, um Tatverdächtige und Gefährder im Bereich von Terrorismus und schwerer Kriminalität zu identifizieren und lokalisieren. Beamte können dazu dann auf Bildmaterial zurückgreifen – etwa Videos, die IS-Mitglieder zeigen, oder Bilder in sozialen Netzwerken.

In Grenznähe gibt es in Deutschland auch jetzt schon Systeme, um mittels Gesichtserkennung Personen zu identifizieren. Diese sollen weiterhin, sofern es eine innerstaatliche Rechtsgrundlage gibt, zum Einsatz kommen können. Gleiches gilt für Gesichtserkennungssoftware zur Identifizierung von Tatverdächtigen durch Abgleich von Bildern mit bestehenden Datenbanken.

Im Bereich der Migration sollen auch Fingerabdruck-Scanner oder Tools zur Prognose, Einschränkung oder Verhinderung von Bewegungen zur Anwendung kommen können. Dort sollen auch Transparenzpflichten ausgesetzt werden, erklärt „AlgorithmWatch“. Einige der dort zur Anwendung kommenden Systeme seien weder als unannehmbares noch als hohes Risiko eingestuft.

Hochrisiko-KI im AI Act am dichtesten reguliert

Die zweite Risikostufe gemäß der Klassifizierung im AI Act sind Hochrisiko-KI-Systeme. Ihnen gilt der größte Teil der Richtlinie. Als hoch risikobehaftet gelten unter anderem solche Anwendungen, die Profile von Personen erstellen. Das umfasst die automatisierte Verarbeitung von Daten, um bestimmte Aspekte des Lebens einer Person zu bewerten.

Dies kommt nach dem AI Act in Bezug auf Faktoren wie Arbeitsleistung, wirtschaftliche Lage, Gesundheit, Vorlieben, Interessen oder Eigenschaften wie Zuverlässigkeit zum Tragen. Im Kern geht es um KI-Systeme, die potenziell erhebliche Auswirkungen auf Sicherheit oder Grundrechte haben. KI in kritischer Infrastruktur zählt dazu ebenso wie in Bildung, Beschäftigung oder Strafverfolgung.

Ein Richter dürfte etwa theoretisch auf KI zurückgreifen, um Beweise zu analysieren. Deren Würdigung muss er jedoch am Ende selbst vornehmen. Ähnlich ist es auch in anderen Bereichen, die als hoch risikobehaftete Systeme eingestuft werden. Am Ende muss es stets eine menschliche Endkontrolle darüber geben.

Umfangreiches Pflichtenheft für Betreiber

Betreiber von KI-Systemen mit hohem Risiko müssen eine Vielzahl von Vorkehrungen dafür treffen, dass dies auch in einer angemessenen Weise vonstattengeht. So ist ihnen die Einrichtung eines Risikomanagementsystems über den gesamten Lebenszyklus vorgeschrieben. Zudem trifft sie eine Pflicht zur Durchführung von Data Governance, um die Qualität der verwendeten Datensätze sicherzustellen.

Wer ein sogenanntes Hochrisiko-KI-System betreibt, ist außerdem verpflichtet, die erforderlichen technischen Unterlagen zu erstellen, um Behörden den Nachweis der Gesetzeskonformität zu ermöglichen. Das System muss außerdem so gestaltet sein, dass es bestimmte gravierende Ereignisse oder wesentliche Änderungen während seines gesamten Lebenszyklus automatisch aufzeichnen kann.

Dazu kommt die Pflicht zur Bereitstellung von Gebrauchsanweisungen für nachgeschaltete Verteiler, um diesen die Einhaltung der Vorschriften zu ermöglichen. Einsatzkräfte müssen stets die Möglichkeit bekommen, eine menschliche Aufsicht zu implementieren. Außerdem gibt es noch weitere Vorgaben hinsichtlich Genauigkeit, Robustheit und Cybersicherheit. Last but not least verlangt der AI Act der EU für Hochrisiko-KI auch die Einrichtung eines Qualitätsmanagementsystems zur Gewährleistung der Einhaltung der Vorschriften.

„Amerika entwickelt, Europa reguliert“?

KI-Anwendungen mit begrenztem Risiko unterliegen geringeren Vorgaben. Hauptsächlich müssen Transparenzanforderungen gewährleistet sein. Es muss etwa Nutzern erkennbar sein, dass sie es mit einer KI zu tun haben. Zu diesen gehören alle gängigen Chatbots wie ChatGPT oder Perplexity. KI-Systeme mit minimalem Risiko, beispielsweise in Videospielen, werden kaum Regulierungen unterworfen.

US-Techmilliardär Elon Musk quittierte den Umgang der EU mit neuen Technologien jüngst spöttisch mit den Worten: „Amerika entwickelt, Europa reguliert.“ Demgegenüber befürchten Analysten wie jene von „AlgorithmWatch“, dass von KI-Systemen erhebliche Gefahren ausgehen, die vom AI Act weiterhin nicht erfasst seien.

So seien die Ausnahmen zur „nationalen Sicherheit“ so weit gefasst, dass Massenüberwachung und die Verletzung von Grundrechten zu befürchten seien. Außerdem könnten die Staaten in diesem Bereich auch private Unternehmen einbinden. Immerhin haben Bürger ein individuelles Beschwerderecht, wenn sie sich durch einen möglichen Verstoß gegen den AI Act verletzt fühlen.