Anfang Januar kündigte Mark Zuckerberg an, dass Meta seine Bemühungen um die Moderation von Inhalten stark reduzieren wird. Die direkte Überprüfung von Fakten durch bezahlte Faktenchecker soll durch einen „demokratischeren“ Ansatz ersetzt werden, zunächst in den USA. Der Meta-CEO verwies dabei auf den Ansatz von X mit seinen Community Notes. Im gleichen Atemzug teilte er mit, man habe bisherige Faktenchecks und Anti-Hatespeech-Maßnahmen auch auf Druck der Regierung und der Medien umgesetzt.

Der Plan lässt bei Netzaktivisten die Alarmglocken schrillen. Meta hat über die vergangenen Jahrzehnte eine Reihe von Kontroversen um das Thema Inhaltemoderation hinter sich. Das reicht von der Löschung von Bildern stillender Frauen (Overmoderation) bis hin zur Verbreitung von Hassinhalten in Myanmar (Undermoderation), die, so Vorwürfe von Menschenrechtlern, zum Völkermord an den Rohingya-Muslimen beigetragen haben könnten. Die Abschaffung der professionellen Faktenüberprüfung bei Facebook und Instagram birgt also die Gefahr, dass sich Fehlinformationen und Hass noch unkontrollierter verbreiten können.

Der Einsatz von Freiwilligen ist nicht neu. Es ist die Art und Weise, wie die Inhaltemoderation im Internet begann, lange bevor die Giganten der sozialen Medien erkannten, dass zentralisierte Bemühungen notwendig waren. Und freiwillige Moderation kann auch erfolgreich sein, da sie die Entwicklung maßgeschneiderter Regelungen ermöglicht, die auf die Bedürfnisse bestimmter Communitys abgestimmt sind. Aber ohne ein erhebliches Engagement und die Aufsicht durch den Plattformbetreiber kann ein solches System nicht bewältigen, was an Inhalten geteilt wird – und vor allem nicht schnell genug. Tatsächlich ist nicht einmal klar, wie gut das bei X funktioniert, das von 21 Prozent der Amerikaner:innen genutzt wird. Metas Plattformen sind wesentlich beliebter – allein Facebook wird laut Untersuchung von Pew von 70 Prozent der Amerikaner:innen genutzt.

Community Notes, das 2021 unter dem Codennamen Birdwatch startete, ist ein von der X-Gemeinschaft betriebenes Moderationssystem, das es Nutzer:innen, die sich für das Programm anmelden, ermöglicht, Beiträge mit einem weiteren Kontext zu versehen. Es ist relativ neu, dass regelmäßige Nutzer:innen öffentlich Fakten überprüfen, und bisher waren die Ergebnisse gemischt. Forscher:innen haben beispielsweise festgestellt, dass die Teilnehmer eher bereit sind, Inhalte, mit denen sie politisch nicht einverstanden sind, zu hinterfragen. Werden Inhalte als falsch gekennzeichnet, verringert sich das Engagement mit diesen nicht unbedingt. Jedoch scheint es so zu sein, dass die Community Notes in der Regel korrekt sind und tatsächlich dazu beitragen können, die Verbreitung irreführender Beiträge zu verringern. Ich bin selbst eine Moderatorin von Communitys, beschäftige mich aber auch beruflich mit dem Thema. Aus meiner Erfahrung heraus erwarte ich drei Entwicklungen beim Einsatz von Community Notes:

Bei Metas neuer Art der Moderation besteht ein echtes Risiko, dass nur Beiträge über Dinge, die vielen Leuten bekannt sind, rechtzeitig – oder überhaupt – als falsch markiert werden. Stell dir beispielsweise vor, wie ein Beitrag mit einem Bild eines Knollenblätterpilzes und der Überschrift „lecker“ bei einer Moderation im Stil von Community Notes behandelt werden könnte: Wenn ein/e Experte:in für Mykologie den Beitrag nicht sieht oder ihn erst sieht, nachdem er sich stark verbreitet hat, wird er vielleicht nicht gar nicht erst als „giftig, nicht essen“ gekennzeichnet – zumindest nicht, bevor es zu spät ist. Themenbereiche, die eher esoterisch sind, erhalten eine Undermoderation, also weniger Aufmerksamkeit bei der Moderation. Dies könnte schwerwiegende Auswirkungen sowohl auf einzelne Personen (die einen giftigen Pilz essen könnten) als auch auf die Gesellschaft (wenn sich eine Unwahrheit stark verbreitet) haben.

Entscheidend ist weiterhin, dass die Community Notes von X für die Leser nicht sichtbar sind, wenn sie zum ersten Mal hinzugefügt wurden. Ein Hinweis wird nur dann für die breite Öffentlichkeit sichtbar, wenn genügend Personen dafür stimmen. Und nicht alle Stimmen zählen: Wenn eine Community Note nur von Leuten bewertet wird, die sich gegenseitig zustimmen, wird sie nicht angezeigt. X macht einen Hinweis erst dann sichtbar, wenn auch Personen zustimmen, die bei früheren Bewertungen uneins waren. Dies ist ein Versuch, die intrinsische Voreingenommenheit zu verringern, aber es ist auch nicht narrensicher. Es stützt sich immer noch auf die Meinung der Menschen zu einer Community Note und nicht auf tatsächliche Fakten. Oft ist Fachwissen gefragt.

Ich moderiere selbst eine Gemeinschaft auf Reddit namens r/AskHistorians. Es handelt sich um eine frei zugängliche Geschichtsseite mit über zwei Millionen Mitgliedern, die sehr streng moderiert wird. Wir sehen immer wieder, dass sich Leute bei den Fakten irren. Manchmal sind es ganz simple Fehler. Aber manchmal gibt es auch Hassinhalte, die nur von Expert:innen erkannt werden können. Einmal entging eine Frage, die eine Holocaust-Leugnung enthielt, stundenlang der Überprüfung und sammelte schließlich Hunderte von „Upvotes“, bevor sie von Expert:innen in unserem Team entdeckt wurde. Hunderte Personen – wahrscheinlich mit sehr unterschiedlichem Abstimmungsverhalten und sehr unterschiedlichen Meinungen zu vielen Themen – hatten nicht nur die problematische Natur dieses Inhalts übersehen, sondern ihn auch noch durch Upvotes gefördert. Das passiert auch bei Antworten auf Fragen. Leute, die keine Geschichtsexpert:innen sind, werden bereits veraltete, nur nach der Wahrheit klingende Antworten hochstufen, die eigentlich nicht korrekt sind. Umgekehrt werden gute Antworten herabgestuft, wenn sie Ansichten widerspiegeln, die für Menschen schwer zu schlucken sind.

r/AskHistorians funktioniert deshalb, weil die meisten seiner Moderatoren erfahrene Historiker sind. Wenn Meta möchte, dass sein Programm im Stil der Community Notes funktioniert, sollte es dafür sorgen, dass die Leute mit dem nötigen Wissen, um Bewertungen abzugeben, die Beiträge sehen. Es muss Fachwissen bei der Abstimmung berücksichtigt werden, besonders wenn es eine Diskrepanz zwischen dem allgemeinen Verständnis eines Problems und dem Fachwissen gibt.

2. Unterstützung für Freiwillige muss her

Die bezahlten Moderatoren von Meta prüfen bislang die schlimmsten Inhalte: darunter Grausamkeit und Blut, sexueller Missbrauch, Ausbeutung anderer Menschen und Gewalt. Infolgedessen haben viele von ihnen so schwere Traumata erlitten, dass es zu Klagen und gewerkschaftlichen Organisierungsbemühungen kam. Wenn Meta die Ressourcen für die zentrale Moderation kürzt, wird es zunehmend an unbezahlten Freiwilligen liegen, die Plattform sicher zu halten.

Community-Moderatoren haben keinen leichten Job. Sie sind nicht nur potenziell furchtbaren Inhalten ausgesetzt, sondern als identifizierbare Mitglieder ihrer Gemeinschaft auch Opfer von Belästigungen und Missbrauch – etwas, das wir täglich auf r/AskHistorians erleben. Die Moderatoren moderieren jedoch nur, was sie bewältigen können. Während ich zum Beispiel routinemäßig mit Hassrede und gewalttätiger Sprache zu tun habe, bin ich als Moderatorin einer textbasierten Community nur selten gewalttätigen Bildern ausgesetzt. Community-Moderator:innen arbeiten auch als Team. Wenn ich mit etwas konfrontiert werde, das mich beunruhigt, oder wenn mich jemand beleidigt, übernehmen meine Kolleg:innen und bieten emotionale Unterstützung. Auch die Community, die ich moderiere, liegt mir sehr am Herzen. Die Sorge um die Gemeinschaft, unterstützende Kollegen und eine sich dadurch ergebende Selbstauswahl tragen dazu bei, dass die Moral der freiwilligen Moderator:innen hoch bleibt.

Es ist unklar, wie das neue Moderationssystem von Meta aufgebaut sein wird. Wenn Freiwillige selbst entscheiden, welche Inhalte sie kennzeichnen, wird sich dann das Problem von X wiederholen, bei dem Parteilichkeit Einfluss darauf hat, welche Beiträge wie gekennzeichnet werden?

Es ist auch unklar, welche Art von Unterstützung die Plattform ihrer Gemeinschaft bieten wird. Wird Meta – das Unternehmen, das derzeit verklagt wird, weil es die psychische Gesundheit seiner bezahlten Moderatoren geschädigt haben soll – soziale und psychologische Hilfe anbieten, wenn die Freiwilligen mit Inhalten konfrontiert werden, die sie als beunruhigend empfinden? Um dabei erfolgreich zu sein, muss das Unternehmen sicherstellen, dass die Freiwilligen Zugang zu solchen Ressourcen haben und die Art der Inhalte, die sie moderieren, selbst auswählen können (und gleichzeitig dafür sorgen, dass diese Selbstauswahl die Wertung nicht übermäßig beeinflusst).

Online-Communities können gedeihen, wenn sie von Menschen geleitet werden, denen sie am Herzen liegen. Aber das kann nicht alles an Freiwilligen liegen. Bei der Moderation geht es nicht nur darum, zu entscheiden, was „wahr“ oder „falsch“ ist. Es geht auch darum, andere Arten schädlicher Inhalte zu identifizieren und darauf zu reagieren. Zuckerbergs Strategiewechsel ist mit anderen Änderungen der Community-Standards verbunden, die insbesondere die Regeln für hasserfüllte Inhalte schwächen. Die Moderation von Communitys ist Teil eines umfassenderen Ökosystems, und es wird deutlich schwieriger, dies zu tun, wenn dieses Ökosystem durch toxische Inhalte vergiftet wird.

Ich habe 2020 im Rahmen eines Forschungsprojekts mit der Moderation von r/AskHistorians begonnen, um mehr über die Erfahrungen von freiwilligen Moderator:innen hinter den Kulissen zu erfahren. Während Reddit damit begonnen hatte, einige der extremsten Hassbotschaften auf seiner Plattform zu bekämpfen, indem gelegentlich ganze Gemeinschaften gesperrt wurden, durften viele Gemeinschaften, die Frauenfeindlichkeit, Rassismus und alle anderen Formen von Bigotterie propagierten, weiter existieren und wachsen. Infolgedessen sind meine frühen Feldnotizen mit Beispielen für extreme Hassreden sowie Belästigungen und Beschimpfungen von Moderatoren gefüllt. Es war schwer, Schritt zu halten.

Doch Mitte 2020 geschah etwas. Nach einer langweiligen Erklärung von CEO Steve Huffman zum Thema Rassismus schlossen die Moderatoren der Website ihre Communitys aus Protest. Und es ist Reddit hoch anzurechnen, dass die Plattform zugehört hat. Reddit aktualisierte seine Community-Standards, um Hassreden ausdrücklich zu verbieten, und begann, die Richtlinie aktiver durchzusetzen. Hass ist zwar immer noch ein Thema auf Reddit, aber ich sehe jetzt viel weniger davon als in den Jahren 2020 und 2021. Die Moderation der Community braucht starke Unterstützung, denn Freiwillige können nicht alles allein bewältigen. Es ist nur ein Werkzeug im Werkzeugkasten.

Wenn Meta sicherstellen will, dass seine Nutzer:innen nicht nur vor Hass, sondern auch vor Betrug, Ausbeutung und Manipulation geschützt sind, kann es sich nicht allein auf die Faktenprüfung durch die Community verlassen. Aber die Sicherheit der Nutzerbasis ist nicht das Ziel dieser Entscheidung. Es ist ein politischer Schachzug, um sich bei der neuen Regierung einzuschmeicheln. Meta könnte das perfekte Community-Faktencheck-Programm erstellen, aber da diese Entscheidung mit einer Schwächung der allgemeinen Moderationspraktiken einhergeht, wird es für die Nutzer:innen eher schlimmer als besser werden.