Text-zu-Bild-KI wie Stable Diffusion sind in der Regel recht groß und benötigen viel Rechenpower, um aus Text-Prompts Bilder zu erstellen. Ingenieuren des Halbleiterherstellers Qualcomm ist es nun aber gelungen, Stable Diffusion offline mit dem Chip des Smartphones zu betreiben.
Das Unternehmen ist vor allem für seine Systems-on-a-Chip (SoC) bekannt, die sich in vielen aktuellen Smartphones wiederfinden. In diesem Test hat das Team Bilder mit Stable Diffusion auf einem Snapdragon 8 Gen 2 generiert, wie das Unternehmen in einer Pressemitteilung schreibt.
Damit das überhaupt möglich ist, musste das Team die Software der KI stark optimieren. Mit der optimierten Version kann ein Smartphone Bilder in 10 bis 20 Sekunden generieren. Mit der nächsten Generation Snapdragon-Prozessoren soll es sogar noch schneller gehen.
Vorteile der Generierung auf dem Smartphone
Bisher war es nur möglich, auf dem Smartphone mit einer Bild-KI Bilder zu generieren, indem man die Cloud genutzt hat. Laut Qualcomm hat die Generierung direkt mit der Hardware des Smartphones allerdings große Vorteile.
So können Bilder zuverlässiger generiert werden, da keine Internetverbindung mehr nötig ist. Zudem bietet es mehr Privatsphäre, da alles auf dem Gerät geschieht. Es müssen keine Daten, Prompts oder Bilder an externe Server geleitet werden. Schließlich sei es auch schlicht günstiger, als die Cloud für die Generierung zu nutzen.
Außerdem stellt Qualcomm heraus, dass Stable Diffusion noch mehr kann, als nur Bilder generieren, und die weiteren Funktionen ebenfalls auf dem Smartphone nutzbar sein werden. Dazu gehören Bildbearbeitung, Stilübertragung und Super Resolution.
Nur der Anfang
Der Betrieb von generativen KI wie Stable Diffusion auf kleinen handlichen Chips öffnet zudem ganz neue Möglichkeiten. So kann der Generator nicht nur auf Smartphones, sondern auch auf anderen Geräten wie VR-Headsets, Laptops und allen weiteren Geräten genutzt werden, die mit einem Qualcomm-Prozessor angetrieben werden.
Die Optimierung des KI-Modells für Smartphones ist auf jeden Fall eine erstaunliche Leistung. Wir sind gespannt, wohin die Reise mit generativen KI uns noch führt.