„Halluzination“ und Genderstereotypen – Österreichs KI-Jobberater sorgt für Ärger

In Österreich ist seit dem 3. Januar 2024 der sogenannte Berufsinfomat des Arbeitsmarktservice (AMS) im Einsatz. Jobsuchenden und Menschen, die sich über Karrieremöglichkeiten informieren wollen, sollen im Arbeitsamt eine generative KI zur Verfügung haben, die auf dem System ChatGPT von OpenAI basiert.

Unterschiedliche Antworten an Männer und Frauen

Was manche als vernünftigen und zeitgemäßen Ansatz zur Arbeitssuche begrüßen, erregt andernorts erheblichen Ärger. Vor allem auf X und in anderen sozialen Netzwerken bemängelten Nutzer, dass die KI unerwünschte Inhalte generiere – und sich auch recht einfach austricksen lasse.

Vor allem zeige die auf das Arbeitsamt und dessen Belange zugeschnittene KI eine Neigung zur Verfestigung vermeintlicher oder tatsächlicher Geschlechterstereotypen. Wie der „Standard“ berichtete, erhalten Nutzer, die sich als 18-jähriger Mann zu erkennen geben, anderer Karriereempfehlungen als 18-jährige Frauen.

Arbeitsamt-Chef klagt über Schwierigkeiten bei der Umprogrammierung

Bei einem Test wurde eine identische Frage nach Berufsempfehlungen für das Profil „18 Jahre, Matura (Abitur) mit Auszeichnung“ gestellt. Das KI-Tool empfahl daraufhin dem Mann Laufbahnen in Bereichen wie IT, internationale Betriebswirtschaft, Wirtschaftsingenieurwesen oder Flugzeug.

Die Frau hingegen erhielt Empfehlungen für Wirtschaftspsychologie, Gender Studies oder Philosophie – oder eine Lehrausbildung, unter anderem im Gastgewerbe oder der Küche. AMS-Chef Johannes Kopf hat die Probleme auf X bereits eingeräumt. Allerdings sei es „nicht trivial“, dem Berufsinfomat dieses Gebaren abzugewöhnen.

ja danke. Wissen wir.
ist nicht trivial, dass [sic] dem berufsinfomat ganz abzugewöhnen. vorallem wenn versucht wird, bewusst bias zu erzeugen. viel ist uns schon gelungen. sind weiter dran.

— Johannes Kopf (@JohannesKopf) January 3, 2024

Kopf suggeriert zudem, dass es Versuche gebe, den zum Ausdruck kommenden Bias bewusst zu erzeugen.

System Prompt sollte Abhilfe schaffen

Ob er damit meint, dass es zu gezielten Manipulationen des Arbeitsamt-Tools kommt, ist unklar. Wie der „Standard“ weiter berichtete, sei es ungeachtet entgegen lautender Ankündigungen möglich, Codes zu generieren oder Sicherheitssperren zu umgehen.

Das AMS hat mittlerweile den sogenannten System-Prompt angepasst. Als Grundregeln gelten nun für den KI-Bot beispielsweise, dass immer eine korrekte Genderanrede erfolgen müsse und zwischen Männern und Frauen bei Empfehlungen nicht unterschieden werden dürfe. Außerdem dürfe das Arbeitsamt eigentlich keine Codes erzeugen und müsse die Wörter „Arbeitsagentur“ und „Arbeitsamt“ durch „AMS“ ersetzen.

Anscheinend ist jetzt eine 4. Regel in den System Prompt aufgenommen worden 😀 @badlogicgames pic.twitter.com/wHT8rN2HDM

— Andre Savic (@andresavic_at) January 3, 2024

Auch die Arbeitsamt-KI neigt zum „Halluzinieren“

Die Wirksamkeit der neuen Grundregeln ist jedoch enden wollend. Das vom „Standard“ bestätigte Beispiel datiert mit einem Zeitpunkt nach deren Einführung. Überdies soll auch der Arbeitsamt-Bot – ähnlich wie bisherige KI-Modelle für die Allgemeinheit – zum „Halluzinieren“ neigen. So nennt man das Erfinden von Antworten, wenn ein KI-Bot an seine Grenzen stößt.

Bis dato ist es noch bei keinem KI-Bot gelungen, Kompromittierungen, unerwünschte Antworten oder Manipulationen vollständig auszuschließen. Das liegt nicht zuletzt daran, dass Tools wie ChatGPT immer die statistisch wahrscheinlichste Antwort generieren. Wie diese aussieht, hängt vom gesamten jeweiligen Internetbestand in der jeweiligen Sprache als Datengrundlage ab, mit dem die KI trainiert wird.

Es gibt zwar Möglichkeiten, den Bots gewisse Eigenheiten abzutrainieren – allerdings sind diese nicht unbegrenzt. Auch von einigen Sicherheitslücken im Code war im Fall der Arbeitsamt-KI die Rede. Dass es möglich gewesen wäre, den Bot zu kompromittieren, stellt das AMS jedoch in Abrede. Der Entwicklungspartner goodguys.ai habe das Cross-Site-Scripting einer TÜV-Prüfung unterzogen.

Anrede-Sie mit „She“ übersetzt

Dennoch soll es möglich sein, den Bot an einigen Stellen auszutricksen. So hätten es User geschafft, den „Infomaten“ dazu zu bringen, ein Pop-up darzustellen. Andere sollen es bewerkstelligt haben, über im Code aufgefundene Informationen Zugriff auf ChatGPT selbst zu erhalten – allerdings nur auf Version 3.5.

Unklar ist auch, wer für den Bug bei der Anredeoption in der englischsprachigen Fassung verantwortlich ist. Dort lässt sich auswählen, ob man mit „Sie“ oder „Du“ angesprochen werden will. Für die formale Anrede ist jedoch „She“ als automatische Übersetzung angegeben. Offenbar ist das jedoch trotz des vom AMS versicherten umfassenden Trainings niemandem aufgefallen.

Wer den Schaden hat, braucht auch im Fall des Arbeitsamts für den Spott nicht zu sorgen. Wie der „Standard“ wenige Tage nach seinem ursprünglichen Bericht darstellte, ist es dem Start-up Jobiqo gelungen, den KI-Bot des AMS nachzubauen. Der Aufwand für das Tool, das 300.000 Euro an öffentlichen Haushaltsmitteln verschlungen hatte: einige wenige Euro – und nur wenige Minuten.