Tim Cook über Apple Intelligence: Nicht zu 100 Prozent frei von Halluzinationen – aber besser als die Konkurrenz
Als Halluzination werden KI-Antworten bezeichnet, die faktisch falsch sind, aber von der künstlichen Intelligenz wiedergegeben werden, als wären sie richtig. Dadurch kann es nicht nur zu Fehlinformationen kommen. Zu den Halluzinationen zählen auch Antworten, die Menschen potenziell schaden könnten.
Apple Intelligence: So wenig Halluzinationen wie möglich
Nach der Ankündigung von Apple Intelligence kam die Frage auf, wie akkurat die Apple-KI antworten kann. Apple-CEO Tim Cook betont im Interview mit der Washington Post, dass auch Apple Intelligence nicht zu 100 Prozent frei von Halluzinationen ist. Das Unternehmen tue alles dafür, so nah wie möglich an die Perfektion heranzukommen. Allerdings würde sich Cook nie so weit aus dem Fenster lehnen und behaupten, dass Apple Intelligence nur korrekte Antworten liefert.
In einem Beitrag von Apples Machine Learning Research gibt das Tech-Unternehmen tieferen Einblick in die möglichen Halluzinationen von Apple Intelligence. Apples KI und andere Modelle wurden im Rahmen der Tests mit Prompts gefüttert, die absichtlich auf schädliche Antworten und Halluzinationen hinleiten sollten.
Das Ergebnis laut Apple: Im Vergleich zu vielen anderen künstlichen Intelligenzen hat Apple Intelligence deutlich seltener gegen seine Regeln verstoßen. Bei On-Device-Anfragen soll die Verstoßrate bei etwa 8,2 Prozent aller Anfragen gelegen haben, gingen die Anfragen an den Apple Server, also in die Cloud, soll die Rate sogar nur noch bei 6,6 Prozent betragen haben.
Apple hat noch Arbeit vor sich
Andere On-Device-Modelle wie Gemma-7B hatten laut Apple in 13,7 Prozent der Fälle Halluzinationen, Mistral-7B sogar in 44,6 Prozent der Fälle. Andere Cloud-Modelle wie GPT-3.5-Turbo kämen auf einen Wert von 15,5 Prozent, während GPT-4-Turbo mit 20,1 Prozent falscher Aussagen sogar etwas schlechter abgeschnitten habe.
Künftig will Apple weiter am KI-Modell arbeiten, um die Anzahl falscher und schädlicher Informationen noch weiter zu reduzieren. Dazu bedient sich Apple des sogenannten „Red Teaming“. Dabei wird die KI gezielt auf Schwachstellen geprüft. Sobald diese offenliegen, können sie genauso gezielt von Apple geschlossen werden.
