Anzeige
Anzeige
News

Apple Intelligence: Eigene KI-Ingenieure hatten vor Fehlern gewarnt

Apples KI-Versuche waren bislang nicht sonderlich überzeugend. Die KI-Nachrichtenzusammenfassungen hat der Hersteller sogar komplett zurückgezogen. Apples KI-Ingenieure wundert das nicht.

2 Min.
Artikel merken
Anzeige
Anzeige

Apple Intelligence überzeugt bislang nicht. (Bild: Apple)

Seltsame Überschriften, falsche Informationen – die KI-generierten Nachrichtenzusammenfassungen der KI-Funktion Apple Intelligence haben zu heftiger Kritik geführt. Apple hat diesen Teil seiner Intelligence-KI bereits komplett gestoppt und arbeitet an einer Lösung.

Anzeige
Anzeige

Apple-Studie hat Fehler in allen LLM nachgewiesen

Apples KI-Entwickler:innen hatten sich das indes nicht nur schon gedacht, sondern bestehende Mängel in großen Sprachmodellen (LLM) sogar bereits nachgewiesen. In einer eigenen Studie hatten die Apple-Forscher:innen dargestellt, dass „in Sprachmodellen keine Hinweise auf formales Denken gefunden“ werden können.

Vielmehr lasse sich das Verhalten der LLM-basierten KI „besser durch ausgeklügelte Mustervergleiche erklären“. Die seien indes so fehleranfällig, dass bereits „die Änderung von Namen die Ergebnisse verändern kann“. Im Grunde täten die Sprachmodelle nicht anderes, als zu versuchen, „die in ihren Trainingsdaten beobachteten Denkschritte zu replizieren.“

Anzeige
Anzeige

Dabei hatten sich die Forscher:innen alle großen Sprachmodelle vorgenommen und überall ähnliche Fehler, wenn auch in unterschiedlichem Ausmaß gefunden. Einfach gestellte Aufgaben konnten die KI-Bots zwar sämtlich recht zuverlässig lösen. Sobald die Aufgaben jedoch komplexer formuliert oder mit irrelevanten Zusatzinformationen angereichert wurden, nahm die Genauigkeit der Antwort um bis zu 65 Prozent ab.

Einfache Rechenaufgabe führt LLM an den Rand des Versagens

Besonders gut veranschaulichen konnten die Apple-KI-Expert:innen das Problem mit einer Rechenaufgabe, die echtes Verständnis der Frage erforderte. Die an die KI gestellte Anfrage begann mit einfachen Informationen, die zur Ermittlung eines Ergebnisses benötigt wurden. „Oliver pflückt am Freitag 44 Kiwis. Dann pflückt er am Samstag 58 Kiwis. Am Sonntag pflückt er doppelt so viele Kiwis wie am Freitag.“

Anzeige
Anzeige

Nun fügten die Wissenschaftler:innen ein Detail hinzu, das letztlich gänzlich irrelevant war und aussortiert werden sollte. Sie formulierten nämlich, dass von den am Sonntag gepflückten Kiwis „fünf etwas kleiner als der Durchschnitt waren“.

Schlussendlich sollte die KI die einfache Frage beantworten: „Wie viele Kiwis hat Oliver?“ Sowohl das Modell von OpenAI als auch Metas Llama3-8b zogen die fünf kleineren Kiwis vom Gesamtergebnis ab.

Anzeige
Anzeige

Alle LLM machen Fehler, manche mehr

Insgesamt gab es zwar durchaus Unterschiede in den immerhin 20 getesteten LLM, aber selbst das cleverste Modell, OpenAIs o1-preview, brach bei dieser Aufgabe um 17,5 Prozent ein, während der Vorgänger GPT-4o sogar um 32 Prozent abfiel. Weniger schwerwiegend, aber immerhin messbar war der Leistungsrückgang bereits dann, wenn bei der gleichen Frage nur die Zahlen ausgetauscht wurden.

„Dies offenbart einen kritischen Fehler in der Fähigkeit der Modelle, relevante Informationen zur Problemlösung zu erkennen, wahrscheinlich weil ihre Argumentation nicht formal im Sinne des allgemeinen Sprachgebrauchs ist und hauptsächlich auf Mustererkennung basiert“, schrieben die Forscher:innen. Apple hinderte diese, immerhin im eigenen Hause gefundene Erkenntnis, indes nicht daran, sein eigenes Modell auf seine riesige Nutzergemeinde loszulassen und wundert sich nun über das Ergebnis.

Denn die Verkaufszahlen hebt die KI-Integration nicht. Stattdessen hagelt es harsche Kritik.

Fast fertig!

Bitte klicke auf den Link in der Bestätigungsmail, um deine Anmeldung abzuschließen.

Du willst noch weitere Infos zum Newsletter? Jetzt mehr erfahren

Anzeige
Anzeige
Kommentare

Community-Richtlinien

Bitte schalte deinen Adblocker für t3n.de aus!
Hallo und herzlich willkommen bei t3n!

Bitte schalte deinen Adblocker für t3n.de aus, um diesen Artikel zu lesen.

Wir sind ein unabhängiger Publisher mit einem Team von mehr als 75 fantastischen Menschen, aber ohne riesigen Konzern im Rücken. Banner und ähnliche Werbemittel sind für unsere Finanzierung sehr wichtig.

Schon jetzt und im Namen der gesamten t3n-Crew: vielen Dank für deine Unterstützung! 🙌

Deine t3n-Crew

Anleitung zur Deaktivierung
Artikel merken

Bitte melde dich an, um diesen Artikel in deiner persönlichen Merkliste auf t3n zu speichern.

Jetzt registrieren und merken

Du hast schon einen t3n-Account? Hier anmelden

oder
Auf Mastodon teilen

Gib die URL deiner Mastodon-Instanz ein, um den Artikel zu teilen.

Community-Richtlinien

Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.

Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.

Dein t3n-Team

Kommentar abgeben

Melde dich an, um Kommentare schreiben und mit anderen Leser:innen und unseren Autor:innen diskutieren zu können.

Anmelden und kommentieren

Du hast noch keinen t3n-Account? Hier registrieren

Anzeige
Anzeige