300 Wissenschaftler lehnen anlasslose Chatkontrolle der EU-Kommission ab

Die anlasslose Chatkontrolle, mit der die Europäische Kommission vorgibt, Darstellungen von sexuellem Missbrauch bekämpfen zu wollen, stößt auf Widerstand in der Wissenschaft. 300 Wissenschaftlerinnen und Wissenschaftler aus mehr als 30 Ländern haben nun in einem offenen Brief an die Kommission „ernsthafte Vorbehalte“ geäußert. Sie haben vor allem technische Argumente gegen die geplante systematische Überwachung, schreibt „Netzpolitik.org“.

Experten warnten schon 2021 vor Client-Side-Scanning

Die Verordnung, die die Kommission auf der Agenda hat, nennt sich international Child Sexual Abuse Regulation (CSAR), im hiesigen Sprachgebrauch hat sich der Begriff anlasslose Chatkontrolle etabliert. Die Kommission möchte Internetdienstleister dazu verpflichten, nach illegalen Inhalten zu suchen, die Gewalt und Missbrauch von Kindern zeigen.

Werden sie fündig, sollen sie diese Inhalte an ein EU-Zentrum senden. Dafür müssen die Dienstleister zuvor auf behördliche Anordnung massenhaft Nachrichten, Bilder, E-Mails oder Sprachnachrichten von Nutzern scannen.

Für den Fall von Ende-zu-Ende-verschlüsselten Diensten wie WhatsApp oder Signal muss diese Rasterung auf den Geräten der Nutzer selbst vollzogen werden. Der technische Begriff dafür ist Client-Side-Scanning (CSS).

Den offenen Brief haben namhafte internationale Wissenschaftler der Informatik und angrenzender Fachgebiete sowie profilierte Verschlüsselungsforscher unterschrieben.

Dazu gehören etwa der Brite Ross Anderson, die Australierin Vanessa Teague, die Schweizerin Carmela Troncoso und preisgekrönte US-Forscher wie Ron Rivest, Bruce Schneier, Susan Landau oder Matt Blaze.

Sie hatten bereits 2021 eindringlich und mit technischem Blick vor den Risiken des Client-Side-Scannings gewarnt.

Kurzfristig keine brauchbare Technik zu erwarten

Sie betonen nun in dem offenen Brief erneut die Gefährlichkeit von CSS. Diese Technologie sei weder sicher noch effektiv, um verbotenes Material zu finden. Die Wissenschaftler schreiben, dass es keine Software gäbe, die eine sinnvolle technische Lösung wäre. Eine entsprechende Entwicklung sei auch „in den nächsten zehn bis zwanzig Jahren“ nicht zu erwarten. Zudem entstünden substanzielle Gefahren sowohl für die Privatsphäre als auch für die Sicherheit von Menschen.

Die vorgeschlagene Verordnung würde einen „globalen Präzedenzfall“ für die Filterung des Internets schaffen. Sie würde kontrollieren, wer darauf zugreifen kann und den Menschen einige der wenigen Instrumente nehmen, mit denen sie ihr Recht auf ein Privatleben im digitalen Raum schützen können.

Dies werde einen Abschreckungseffekt („chilling effect“) auf die Gesellschaft haben und sich vermutlich negativ auf Demokratien auf der gesamten Welt auswirken, schreiben die Wissenschaftler.

Sie weisen zudem darauf hin, dass vorhandene Technologien zur Suche nach Fotos oder Filmen extrem anfällig für Angriffe und Manipulationen seien.

So sei es möglich, reihenweise falsch positive Medien zu erzeugen, die Nutzer fälschlicherweise in den Fokus von Ermittlern rücken könnten. Diese wären dann gebunden und stünden für Ermittlungen im Kampf gegen Missbrauch von Kindern nicht zur Verfügung.

Verstoß gegen Datenschutz und Menschenrechte

Der Vorschlag der Europäischen Kommission sieht aber auch vor, dass „Child Sexual Abuse Material“ (CSAM) von Werkzeugen der Künstlichen Intelligenz (KI) erkannt werden.

Darüber hinaus sieht der Vorschlag vor, dass mit ähnlichen Technologien Grooming (die Kontaktaufnahme Erwachsener mit Minderjährigen in Missbrauchsabsicht) in Kommunikationsdiensten erkannt werden soll, die sowohl Text als auch Audio enthalten.

Einige kommerzielle Anbieter behaupteten zwar, dass sie auf diesem Gebiet technische Fortschritte gemacht hätten, ihre Entwürfe blieben jedoch geheim, die Wirksamkeit sei nicht belegt. Der Stand der Technik beim maschinellen Lernen lässt außerdem vermuten, dass so etwas weit über das hinausgehe, was heutzutage machbar ist.

Auch stelle sich stets heraus, dass CSS-Entwürfe weder wirksam noch mit dem Datenschutz oder den Menschenrechten vereinbar seien.

KI-Werkzeuge könnten darauf trainiert werden, bestimmte Muster mit hoher Präzision zu erkennen. Allerdings machen sie regelmäßig Fehler, weil ihnen Zusammenhänge und „der gesunde Menschenverstand“ fehlen.

Es gibt Aufgaben, für die KI-Systeme gut geeignet seien. Die Suche nach einer sehr nuancierten, sensiblen Straftat – und darum handele es sich beim Grooming-Verhalten – gehört jedoch nicht dazu.

Täglich Millionen fehlerhafter Meldungen

Bei dem Ausmaß, in dem private Kommunikation online ausgetauscht werde, würde selbst das Scannen der in der EU ausgetauschten Nachrichten bei nur einem einzigen App-Anbieter jeden Tag Millionen Fehler erzeugen.

Daraus folge, dass beim Scannen von Milliarden von Bildern, Videos, Texten und Sprachnachrichten pro Tag die Zahl der Fehlalarme in die Hunderte Millionen gehen könnte.

Auch sei es wahrscheinlich, dass es sich bei vielen dieser Fehlalarme um sehr private, möglicherweise intime und völlig legale Bilder handele, die sich Erwachsene einvernehmlich schickten.

Das CSS als das Zugreifen auf Nachrichten mit Ende-zu-Ende-Verschlüsselungen birgt aus Sicht der Experten ebenfalls Gefahren. Sie wiesen darauf hin, dass Apple damit 2021 gescheitert war.

Das Unternehmen hatte seinerzeit behauptet, ihr CSS befinde sich auf dem neuesten Stand der Technik. Nach zwei Wochen aber brach Apple den Versuch ab, weil das System gekapert und manipuliert worden war. Grundsätzlich gab es auch datenschutzrechtliche Bedenken.

Täter finden neue Wege zum Austausch kriminellen Materials

Abschließend äußerten die Wissenschaftler „ernsthafte Bedenken“, ob die in der Verordnung beschriebenen Technologien wirksam wären.

Potenzielle Täter würden auf neue Techniken, Dienste und Plattformen ausweichen, um CSAM-Informationen auszutauschen und dabei der Entdeckung zu entgehen.

Die vorgeschlagene Verordnung beeinträchtige auch die Meinungsfreiheit von Kindern, da ihre Gespräche ebenfalls Alarme auslösen könnten. Diese Technologien verändern die Beziehung zwischen den Menschen und ihren Geräten. Die Wissenschaftler äußerten große Bedenken durch die Abschreckungseffekte, die die Präsenz dieser Erkennungsmechanismen haben würde.

Schließlich erfordere die zu erwartende große Zahl falsch positiver Ergebnisse einen erheblichen Ressourceneinsatz. Gleichzeitig bestehe die Gefahr der falschen Verdächtigung. Die Ressourcen könnten besser für andere Maßnahmen zum Schutz von Kindern vor sexuellem Missbrauch eingesetzt werden, resümieren die Verfasser des Briefes.

Demnach müssten die meisten Maßnahmen zum Schutz von Kindern vor Ort ergriffen werden. Dennoch könnte eine Gesetzgebung auf Basis der bestehenden Befugnisse (DMA/DSA) helfen, um von den sozialen Netzwerkdiensten zu verlangen, den Nutzern die Beschwerde über Missbrauch zu erleichtern.

In der Praxis seien es eher die Nutzer als eine KI, wenn es um die Identifikation von Missbrauchsmaterial gehe.