Der US-Hersteller Axon aus Scottsdale im US-Bundesstaat Arizona ist vornehmlich für seine Taser und Bodycams bekannt. Inzwischen bietet er Polizeibehörden zudem ein neues KI-Werkzeug namens Draft One an. Die Software nutzt ein Sprachmodell von OpenAI, um aus den Audioaufzeichnungen von Bodycams erste Entwürfe für offizielle Polizeiberichte zu verfassen.

Bürgerrechtler:innen schlagen nun Alarm. Eine umfassende Untersuchung der Electronic Frontier Foundation (EFF) aus dem kalifornischen San Francisco legt nahe, dass das System gezielt so konzipiert wurde, dass eine externe Kontrolle oder die gerichtliche Überprüfung der KI-Leistung nahezu unmöglich wird. Der zentrale Kritikpunkt ist eine simple, aber folgenschwere Funktion: Draft One speichert den ursprünglich von der KI erstellten Text nicht.

Sobald ein:e Beamt:in den Textentwurf bearbeitet oder in das finale Berichtssystem kopiert, wird die ursprüngliche Version unwiderruflich gelöscht. Das macht es unmöglich nachzuvollziehen, welche Passagen eines Berichts von einem Menschen und welche von einer Maschine formuliert wurden.

Diese fehlende Protokollierung gibt Anlass zu großer Sorge. Problematisch wird es etwa, wenn ein Bericht sachliche Fehler, voreingenommene Sprache oder gar Falschaussagen enthält. Beschuldigte Beamt:innen könnten sich vor Gericht leicht entlasten, indem sie die Verantwortung auf die KI schieben. Ohne den Originalentwurf als Beweismittel lässt sich eine solche Behauptung weder beweisen noch widerlegen. Die EFF bezeichnet dies als einen potenziellen „Rauchvorhang“ für Fehlverhalten.

Axon selbst argumentiert, das Löschen der Entwürfe sei eine bewusste Designentscheidung. Wie die EFF unter Berufung auf eine Diskussionsrunde berichtet, erklärte ein Axon-Produktmanager, man wolle den Kund:innen – also den Polizeibehörden und Staatsanwaltschaften – „Kopfschmerzen bei der Offenlegung“ ersparen. Die Software soll also explizit keine Spuren hinterlassen, die später in Gerichtsverfahren oder bei Anfragen auf Basis des Informationsfreiheitsgesetzes offengelegt werden müssten.

Gegenüber der Öffentlichkeit betont das Unternehmen hingegen das „Officer-in-the-Loop“-Prinzip. Demnach behalten menschliche Beamt:innen stets die volle Kontrolle und Verantwortung. Sie müssten jeden Entwurf prüfen, bearbeiten und freigeben. Zudem verweist Axon auf eine von ihnen beauftragte Studie, laut der die KI-gestützten Berichte in puncto Kohärenz und Terminologie sogar besser abschnitten als rein menschlich verfasste.

Die Debatte ist keine rein theoretische. In den USA wird die Software bereits eingesetzt und wirft für Strafverteidiger:innen ernste Fragen auf. Sie befürchten, dass die Kreuzverhöre von Polizist:innen erschwert werden, wenn diese sich jederzeit hinter der angeblichen Fehlerhaftigkeit einer nicht überprüfbaren KI verstecken können.

Einige Gerichtsbarkeiten reagieren bereits. Im King County im US-Bundesstaat Washington haben die Staatsanwälte den Einsatz von KI für Polizeiberichte verboten, da sie befürchten, dass die Technologie „Fälle gefährden“ könnte. In Kalifornien wird ein Gesetz diskutiert, das die Speicherung der ersten KI-Entwürfe vorschreiben würde – was Draft One in seiner jetzigen Form illegal machen würde.

Der Fall Axon Draft One steht damit exemplarisch für eine der größten Herausforderungen beim Einsatz von KI im öffentlichen Sektor. Der Verlockung von Effizienz und Zeitersparnis steht die unbedingte Notwendigkeit von Transparenz und Rechenschaftspflicht gegenüber. Wenn eine Technologie so gestaltet wird, dass sie die Kontrolle aktiv verhindert, muss ihre Rolle in einem demokratischen Rechtsstaat fundamental hinterfragt werden.