Wie Forscher verhindern, dass KI toxische Antworten gibt – und warum das so wichtig ist
Ein großes Problem von künstlichen Intelligenzen ist es, korrekte Antworten zu geben. Als wäre das nicht schon Herausforderung genug, muss die KI aber auch noch einige Antworten komplett vermeiden.
Etwa dann, wenn Nutzer:innen fragen, wie sie eine Bombe bauen können. Solche Informationen können potenziell Schaden anrichten.
Was ist Red-Teaming?
Um diese Antworten zu verhindern, gibt es einen Prozess namens „Red-Teaming“ für KI. Programmierer:innen versuchen, mit Prompts toxische Antworten von der KI zu bekommen. So soll der KI im Anschluss beigebracht werden, dass sie diese nicht beantworten soll.
Das ist ein langwieriger und aufwendiger Prozess in der Entwicklung einer KI. Forscher:innen von Improbable AI am MIT haben es sich zur Aufgabe gemacht, Red-Teaming deutlich zu verkürzen.
Wenn KI eine andere KI trainiert
Wie Science Daily berichtet, haben die Forscher:innen ein KI-Modell erstellt, das das Red-Teaming übernimmt. Die Red-Teaming-KI (RT-KI) trainiert die andere künstliche Intelligenz mit Prompts, die direkt darauf abzielen, verbotene Antworten zu erhalten.
Die RT-KI nutzt dazu ein Bewertungssystem. Je toxischer die Antwort der trainierten KI, desto höher ist der Score, mit dem die Red-Teaming-KI „belohnt“ wird. Die RT-KI ist dazu angehalten, immer zufälligere Prompts einzugeben, die von den vorherigen abweichen. Damit sie dabei keinen Unsinn schreibt, sondern sich an verständliche Prompts hält, haben die Forscher:innen eine Bonus-Wertung für natürliche Sprache eingefügt.
So gut ist die neue Methode
In ersten Tests zeigt sich, dass die neue Red-Teaming-Methode Erfolg haben könnte. So haben die Forscher:innen die Red-Teaming-KI auf eine künstliche Intelligenz losgelassen, die von Menschen dazu trainiert wurde, keine toxischen Antworten zu geben.
Innerhalb kürzester Zeit war die RT-KI in der Lage, knapp 200 Prompts zu finden, die eine verbotene Antwort hervorgebracht haben.
Künftig wollen die Forscher:innen die Idee weiter verfolgen und die Themengebiete der RT-KI noch erweitern. Denkbar wäre für sie auch, dass sie künftig ein großes Sprachmodell für die Arbeit nutzen. Dieses wäre etwa in der Lage, ein Dokument über Firmenrichtlinien zu verarbeiten und so das Red-Teaming einer neuen KI auf Verstöße gegen die Richtlinien zu fokussieren.
Bitte beachte unsere Community-Richtlinien
Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.
Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.
Dein t3n-Team