Wie Forscher verhindern, dass KI toxische Antworten gibt – und warum das so wichtig ist
Ein großes Problem von künstlichen Intelligenzen ist es, korrekte Antworten zu geben. Als wäre das nicht schon Herausforderung genug, muss die KI aber auch noch einige Antworten komplett vermeiden.
Etwa dann, wenn Nutzer:innen fragen, wie sie eine Bombe bauen können. Solche Informationen können potenziell Schaden anrichten.
Was ist Red-Teaming?
Um diese Antworten zu verhindern, gibt es einen Prozess namens „Red-Teaming“ für KI. Programmierer:innen versuchen, mit Prompts toxische Antworten von der KI zu bekommen. So soll der KI im Anschluss beigebracht werden, dass sie diese nicht beantworten soll.
Das ist ein langwieriger und aufwendiger Prozess in der Entwicklung einer KI. Forscher:innen von Improbable AI am MIT haben es sich zur Aufgabe gemacht, Red-Teaming deutlich zu verkürzen.
Wenn KI eine andere KI trainiert
Wie Science Daily berichtet, haben die Forscher:innen ein KI-Modell erstellt, das das Red-Teaming übernimmt. Die Red-Teaming-KI (RT-KI) trainiert die andere künstliche Intelligenz mit Prompts, die direkt darauf abzielen, verbotene Antworten zu erhalten.
Die RT-KI nutzt dazu ein Bewertungssystem. Je toxischer die Antwort der trainierten KI, desto höher ist der Score, mit dem die Red-Teaming-KI „belohnt“ wird. Die RT-KI ist dazu angehalten, immer zufälligere Prompts einzugeben, die von den vorherigen abweichen. Damit sie dabei keinen Unsinn schreibt, sondern sich an verständliche Prompts hält, haben die Forscher:innen eine Bonus-Wertung für natürliche Sprache eingefügt.
So gut ist die neue Methode
In ersten Tests zeigt sich, dass die neue Red-Teaming-Methode Erfolg haben könnte. So haben die Forscher:innen die Red-Teaming-KI auf eine künstliche Intelligenz losgelassen, die von Menschen dazu trainiert wurde, keine toxischen Antworten zu geben.
Innerhalb kürzester Zeit war die RT-KI in der Lage, knapp 200 Prompts zu finden, die eine verbotene Antwort hervorgebracht haben.
Künftig wollen die Forscher:innen die Idee weiter verfolgen und die Themengebiete der RT-KI noch erweitern. Denkbar wäre für sie auch, dass sie künftig ein großes Sprachmodell für die Arbeit nutzen. Dieses wäre etwa in der Lage, ein Dokument über Firmenrichtlinien zu verarbeiten und so das Red-Teaming einer neuen KI auf Verstöße gegen die Richtlinien zu fokussieren.
