Disappearing People: Dieses Tensorflow-Projekt entfernt Personen aus einem Webcam-Live-Bild per KI
Jason Mayes hat ein interessantes Experiment für euch, das ihr auf Glitch selber ausprobieren könnt. Alternativ steht das Projekt auch für die Eigenimplementation auf GitHub unter dem Namen „Real-Time-Person-Removal“ bereit.
Wenn deine Webcam dich nicht mehr zeigt, obwohl du da bist
Mayes hat einen Algorithmus auf Basis des Machine-Learning-Frameworks Tensorflow aus dem Hause Google entwickelt, der in der Lage ist, Personen aus dem Live-Bild einer Webcam zu entfernen. Dazu lernt die KI in Echtzeit. Die einzige Voraussetzung ist, dass sich die zu entfernende Person bewegt und die Umgebung ansonsten statisch ist. Komplexe Hintergründe verschlechtern zwar das Ergebnis ein wenig, stellen aber kein gravierendes Hindernis dar.
Im folgenden Video zeigt Mayes sein eigenes Experiment. Im oberen Teilbild seht ihr Mayes ohne aktivierte KI, im unteren Teilbild seht ihr die KI in Aktion. Mayes bewegt sich zunächst recht nah vor der Kamera und kommt dann weiter hinten erneut ins Bild. Klar zu erkennen ist, dass die KI umso besser funktioniert, je weiter die Person von der Kamera entfernt ist.
Mayes Code lernt schnell
Mayes Code braucht scheinbar nur wenige Sekunden, um die sich vor der Kamera bewegende Person zu erkennen. Tatsächlich kümmert sich der Algorithmus aber gar nicht um die Person, sondern um den Hintergrund und rechnet alles heraus, was nicht Hintergrund ist.
Das Ergebnis wird schnell sichtbar und soll mit zunehmender Ausführung immer besser werden. Die besten Ergebnisse sollen erzielt werden, wenn sich neben der Person weitere Elemente im Hintergrund bewegen. Dabei müsste allerdings darauf geachtet werden, dass sich die Bewegungspfade nicht kreuzen.
Mehr als rund 250 Zeilen JavaScript hat Mayes zusätzlich zum Tensorflow-Framework nicht benötigt, um das gezeigte Experiment zu realisieren. Probiert es selbst aus. Das funktioniert auf dem bereits oben genannten Glitch, sowie auf Codepen. Ihr müsst der Website logischerweise Zugriff auf eure Webcam geben.