Ehrlich gesagt, handelt es sich bei dem jüngst vorgestellten Tarnpullover um einen aus der Kategorie „Ugly Sweater“. Es ist dabei aber wohl vor allem das chaotische Design, das den Sweater so erfolgreich macht.

Der von Studierenden der Universität Maryland im gleichnamigen US-Bundesstaat entwickelte Tarnpulli wurde für einen einzigen Zweck ersonnen. Er soll eine KI, die nach Menschen sucht, um dann ihre Gesichter zu erkennen, dermaßen verwirren, dass sie kein Ergebnis vorschlagen kann.

Dabei ist der Forschungsansatz nicht etwa Ausdruck einer besonders revolutionär gestimmten Studierenden-Truppe. Vielmehr wollten die Erschaffer des ausnehmend hässlichen Tarnpullovers bestehende Systeme für maschinelles Lernen auf Schwachstellen untersuchen. Die Ergebnisse haben sie hier publiziert.

Wie muss die Eingabe sein, damit die Ausgabe der KI ins Sinnlose kippt oder gar nicht mehr möglich ist? Im hier dokumentierten Fall handelte es sich bei dem ML-System um ein YOLO-basiertes Bildverarbeitungssystem, dessen Ziel darin besteht, Menschen in einem beliebigen Bild zu finden. Wie die von den Studierenden veröffentlichten Medien zeigen, gelingt das dem ML-System praktisch mühelos.

Dann allerdings kommt das „adversarial Pattern“, also das von den Studierenden entwickelte Muster ins Spiel, das die KI um den Verstand bringen soll. Das wurde mithilfe einer großen Anzahl von Trainingsaufnahmen erzeugt, von denen einige Menschen abbilden.

Das scheint bereits der Erfolgsfaktor des Sweaters zu sein, denn das KI-System legt seinerseits jedes Mal, wenn ein Mensch erkannt wird, ein zufälliges Muster über das Bild und wertet die entstehenden Daten neu aus.

Das gegnerische (adversarial) Muster musste also so optimiert werden, dass die KI in eine Endlosschleife läuft, was letztlich die Erkennung von Menschen effektiv verhindert. Dass das Muster letzten Endes so ausnehmend hässlich sein musste, ist wahrscheinlich reiner Zufall – hoffentlich.