Schon länger ist bekannt, dass sich Bildgeneratoren schwer tun, Bilder von analogen Uhren zu generieren, die eine bestimmte vorgegebene Uhrzeit anzeigen. Meist zeigen die Uhren stattdessen 10:10 Uhr an.
Training von KI-Bildgeneratoren
Dabei handelt es sich um eine in der Uhrenwerbung aus ästhetischen Gründen gern verwendete Uhrzeit. Das Problem: Die KI-Bildgeneratoren werden genau mit solchen Daten trainiert – für sie ist das die normale Zeitdarstellung, heißt es dazu bei zdf.de.
Ein ähnliches Problem haben jetzt Forscher:innen der Edinburgh University unter die Lupe genommen. Sie haben untersucht, inwieweit große Sprachmodelle wie GPT-4o, Gemini 2.0 oder Claude 3.5 Sonnet in der Lage sind, die Uhr korrekt zu lesen.
Nur jede vierte Uhrzeit richtig erkannt
Das Ergebnis der auf dem Preprint-Server arxiv.org veröffentlichten Studie ist ernüchternd. In lediglich 25 Prozent der Fälle konnten die KI-Systeme die Frage, welche Uhrzeit eine Uhr auf dem vorgelegten Bild anzeigt, richtig beantworten.
Als besonders schwierig stellten sich Uhren mit römischen Ziffern und stilisierten Zeigern heraus. Auch, die Uhrzeit auf Uhren ohne Sekundenanzeiger abzulesen, war für die KI-Systeme demnach kaum zu bewältigen.
Komplikationen beim Erkennen der Zeiger
Den Forscher:innen zufolge deutet das daraufhin, dass es Komplikationen bei der Erkennung der Zeiger sowie der Interpretation der Winkel auf dem Ziffernblatt gibt. Googles Gemini 2.0 konnte laut den Forscher:innen übrigens am besten von allen getesteten KI-Systemen die Uhrzeit lesen.
GPT-o1 wiederum erzielte die besten Ergebnisse beim Erkennen von Kalenderdaten – mit 80-prozentiger Genauigkeit. Das heißt aber im Umkehrschluss, dass selbst das beste KI-System in 20 Prozent der Fälle bei Kalenderdaten danebenliegt, wie Gizmodo erklärt.
Forscher: Einfache Skills nicht vernachlässigen
Die Forscher:innen warnen derweil davor, diese für Menschen einfachen Skills zu vernachlässigen. Sollten KI-Systeme irgendwann in zeitsensitive Real-World-Anwendungen integriert werden, müssten die aktuellen Probleme angegangen werden.
Zu den möglichen Anwendungen der Zukunft, bei der es wichtig wäre, dass KI Uhrzeit und Datum erkennen kann, gehören demnach Terminplanung, Automatisierung oder Assistenztechnologien.
