Das österreichische AMS (Arbeitsmarktservice) hatte am Mittwoch mit dem „Berufsinfomat“ einen auf ChatGPT basierenden KI-Chatbot vorgestellt, der Arbeitssuchende bei der Jobsuche unterstützen soll. Das AMS, so rühmte sich dessen Chef Johannes Kopf bei der Präsentation, sei europaweit die erste Arbeitsvermittlungsbehörde, die ein solches Programm eingeführt habe.

Ziel sei es, schnell Antworten auf einfache Fragen zu bekommen – und die Berater:innen zu entlasten. Diese, so Kopf, hätten dann mehr Zeit für persönliche Beratungsgespräche. Eigentlich eine gute Idee.

Schon nach wenigen Stunden zeigten sich aber deutliche Defizite – und das AMS erntet derzeit Spott und Hohn, wie der Standard berichtet. Insbesondere im Fokus der massiven Kritik sind die Vorurteile, die der KI-Chatbot bei Vorschlägen für potenzielle Jobs reproduziert.

Wie online dokumentierte Anfragen in verschiedenen Ausführungen belegen, empfiehlt der „Berufsinfomat“ Mädchen und Frauen eher Jobs in den Bereichen Handel und Verkauf, Büro oder Gesundheit und Schönheitspflege. Männer sollen sich dagegen eher im IT-Bereich umschauen und Karriere machen.

Genau das hatte Kopf während der Vorstellung allerdings ausgeschlossen. Sogenannte Gender-Bias, also, dass etwa Mädchen vermehrt klassische Frauenberufe empfohlen würden, weil dies statistisch gesehen die wahrscheinlichere Berufswahl ist, habe man dem Program „aberzogen“, so Kopf.

Klar spiegeln die KI-Antworten letztlich lediglich die in der Gesellschaft vorhandenen Ungleichheiten und Vorurteile wider. Mit den neuen Technologien müsse man dem aber aktiv entgegensteuern, so Carina Zehetmaier, Präsidentin des Vereins „Women in AI Austria“.

Zehetmaier gegenüber der Futurezone: „Technologie alleine kann keine sozialpolitischen Probleme lösen, aber sie kann diese verstärken, weil wir Entscheidungen von KI-Systemen fälschlicherweise als neutral und objektiv wahrnehmen“.

Darüber hinaus wird das AMS kritisiert, weil sich die Kosten für den „Berufsinfomat“ auf 300.000 Euro belaufen. Dabei, so die Kritik, habe man eine Lösung „von der Stange“ gekauft, die nur minimal angepasst worden sei.

Der Software-Entwickler Mario Zechner hat in einem Thread auf X zudem dargelegt, dass der KI-Chatbot eine Reihe von Sicherheitslücken und Code-Fehler aufweise. Der Code, so Zechner, sehe aus, als sei er von ChatGPT selbst geschrieben.

Das AMS spielt die teils massive Kritik übrigens herunter, wie der Standard schreibt. So seien die Gender-Bias-Probleme bekannt, wie Kopf per X zugab. Aber: Man habe schon viel weitergebracht und werde weiter dranbleiben.

Zu den technischen Unzulänglichkeiten ließ das AMS wissen, dass es die Entscheidung des Auftragnehmers sei, wie er sein Produkt entwickle. Eine gefundene Sicherheitslücke sei bei einer Tüv-Überprüfung als nicht schädlich eingestuft worden.

Kopf erklärte, dass das Feedback der Nutzer:innen zu gefundenen Fehlern in das Tool eingearbeitet werde. Dadurch werde der „Berufsinfomat“ auch laufend verbessert.

Mittlerweile scheint das AMS es unterbunden zu haben, Vergleiche zwischen Männer- und Frauenberufen anstellen zu lassen. Auf die Frage nach 5 Berufen für Frauen und 5 Berufen für Männer spuckte der KI-Chatbot folgende Antwort aus:

„Gemäß den Informationen aus den bereitgestellten Quellen ist es wichtig zu betonen, dass die Fähigkeit, einen Beruf auszuüben, nicht vom Geschlecht abhängig ist. Frauen und Männer sind gleichermaßen in der Lage, in allen Berufsfeldern erfolgreich zu sein. Die Vorstellung, dass bestimmte Berufe besser für ein Geschlecht geeignet sind als für das andere, ist veraltet und wird durch zahlreiche Studien und die Realität des modernen Arbeitsmarktes widerlegt.“

Noch am Mittwoch hatte die Antwort auf eine ähnliche Anfrage noch ganz anders ausgesehen:

„Für Frauen und Männer gibt es eine Vielzahl von Berufen, die auf unterschiedliche Interessen, Fähigkeiten und Ausbildungen zugeschnitten sind. Hier sind fünf Berufsvorschläge für Frauen und Männer:

Für Frauen:
1. Diplomierte Gesundheits- und Krankenpflegerin
2. Sozialpädagogin
3. Lehrerin für die Sekundarstufe Allgemeinbildung – Fremdsprachen
4. Medizinische Fachangestellte
5. Eventmanagerin

Für Männer:
1. Softwareentwickler
2. Elektriker
3. Maschinenbauingenieur
4. Tischler
5. Technischer Zeichner

Diese Berufsvorschläge basieren auf verschiedenen Quellen, die die Vielfalt der Berufsfelder und die unterschiedlichen Interessen und Fähigkeiten von Frauen und Männern berücksichtigen.“

Wer das Ganze selbst einmal ausprobieren möchte, hat auf dieser Seite die Möglichkeit dazu.