Vor gut einer Woche hat Microsoft die Fähigkeiten seiner Bing-KI öffentlich präsentiert. Dabei hat der Konzern demonstriert, wie die Suchmaschine beispielsweise Staubsaugervergleichen, Reiseplanungen und den Vergleich von Daten in Finanzberichten übernehmen kann.

Wie der KI-Forscher Dmitri Brereton jetzt in seinem Blog veröffentlicht hat, macht die KI dabei jedoch Fehler. In der Präsentation ließ Microsoft die KI einen Finanzbericht der Bekleidungsmarke Gap für das dritte Quartal 2022 zusammenfassen.

Laut Gap-Bericht betrug die Bruttomarge 37,4 Prozent mit einer bereinigten Bruttomarge von 38,7 Prozent ohne Wertminderung. Bing gab die Bruttomarge fälschlicherweise mit 37,4 Prozent an, einschließlich der Anpassungs- und Wertminderungsaufwendungen. Danach fuhr Bing mit der Aussage fort, dass Gap eine gemeldete operative Marge von 5,9 Prozent hatte. Diese Zahl taucht jedoch nie in den originalen Finanzergebnissen des Unternehmens auf.

Anschließend verglich die KI die Finanzdaten von Gap mit den gleichen Ergebnissen von Lululemon im dritten Quartal 2022. Auch hier machte die KI laut Brereton eine Reihe von Fehlern, sodass der Vergleich am Ende voller Ungenauigkeiten war.

Dieser Fehler ist sich Microsoft durchaus bewusst. „Wir gehen davon aus, dass das System während dieser Vorschauphase Fehler machen könnte, und das Feedback ist entscheidend, um festzustellen, wo die Dinge nicht gut funktionieren, damit wir daraus lernen und die Modelle verbessern können“, so Caitlin Roulston, Director of Communications bei Microsoft, in einer Erklärung gegenüber The Verge.

Die KI-Fehler von Bing beschränken sich jedoch nicht nur auf die Demos auf der Bühne. Da jetzt Tausende Menschen Zugriff auf die KI-gestützte Suchmaschine erhalten, macht Bing offensichtlichere Fehler, wie ein Blick in die Threads auf Reddit zeigt. „Bing AI hat großartige Arbeit geleistet, um einen Medienhype zu erzeugen, aber ihr Produkt ist nicht besser als Googles Bard“, schreibt Brereton in seinem Fazit.