Datensammeln zum KI-Training kann untersagt werden. (Foto: Carl DMaster / Shutterstock)
Googles Crawler durchforsten das Web, um Inhalte für ihre Suchmaschine zu indexieren. Kürzlich hat Google neue Parameter vorgestellt, mit denen Webmaster Google untersagen können, diese Daten für das Training der KI-Systeme Bard und Vertex AI zu nutzen.
Bard ist Googles mächtiges Sprachmodell, vergleichbar mit ChatGPT, während Vertex AI eine umfangreiche Suite von KI- und Machine-Learning-Tools ist. Wenn ihr nicht wollt, dass eure Daten für Googles KI-Training verwendet werden, bietet das Unternehmen nun Google-Extended an, um die Nutzung eurer Daten zu kontrollieren.
Crawler sperren mit Disallow-Parameter
Die Kontrolle darüber, welche Bereiche einer Website der Google-Crawler erfassen darf, wird über die Datei robots.txt geregelt. Mit dem Disallow-Parameter können Webmaster nun auch Google untersagen, die Daten ihrer Website für das KI-Training zu verwenden.
Google möchte damit nach eigenen Angaben Transparenz schaffen und den Website-Betreibern mehr Kontrolle bieten. Für die Zukunft plant das Unternehmen, weitere maschinenlesbare Lösungen zur Auswahl und Kontrolle für Web-Publisher zu erforschen. Bis dahin ist der Zugriff auf Basis der neuen Parameter die empfohlene Methode.
OpenAI hat bereits ähnliche Maßnahmen ergriffen
Auch OpenAI, Schöpfer von ChatGPT, hat einen ähnlichen Schritt unternommen und einen eigenen Crawler namens GPTBot eingeführt, der das Internet durchsucht und Daten sammelt. Der genaue Verwendungszweck dieser Daten ist jedoch unklar. Laut OpenAI können die von GPTBot gecrawlten Websites „möglicherweise zur Verbesserung künftiger Modelle verwendet werden“.
Wer nicht möchte, dass Daten von seiner Website durch GPTBot gesammelt werden, kann dies in der robots.txt über einen Disallow-Parameter für den User-Agent GPTBot untersagen. Dieser Schritt hat jedoch keinen Einfluss auf die bestehende Datengrundlage von GPT-4.
Bitte beachte unsere Community-Richtlinien
Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.
Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.
Dein t3n-Team