Google sucht eine Alternative zu robots.txt. (Foto: Shutterstock / Sundry Photography)
In letzter Zeit scheint künstliche Intelligenz das Internet auf den Kopf zu stellen. Google reagiert nun auf diesen Wandel und regt eine Diskussion über die robots.txt an, die seit fast 30 Jahren als Standard für Web-Publisher gilt.
Die robots.txt einer Website ermöglicht es den Besitzern, den Crawlern von Google und anderen Suchmaschinen mitzuteilen, welche Seiten der Website durchsucht werden dürfen und welche nicht.
Angesichts der fortschreitenden Entwicklung von KI-Technologien sieht Google jedoch die Notwendigkeit, diesen Standard zu überdenken. Das Unternehmen möchte daher gemeinsam mit der KI-Community nach einer Alternative zur robots.txt suchen, wie es in einem Blogpost mitteilt.
KI brauchen ebenfalls Crawler
Ein zentraler Aspekt besteht darin, dass künstliche Intelligenzen Trainingsdaten benötigen, um große Sprachmodelle zu entwickeln. Allerdings kann die robots.txt dem Crawler lediglich mitteilen, welche Seiten gecrawlt werden dürfen, nicht aber, ob diese Daten auch für das Training von KI verwendet werden dürfen.
Forscher haben erst kürzlich herausgefunden, dass KI nicht mit KI-generierten Daten trainiert werden sollten, da dies zum Modellkollaps führen kann. Beim Modellkollaps erzeugen KI eine parallele Realität, die von der tatsächlichen Welt abweicht.
Aus diesem Grund sollten ausschließlich Texte von echten Menschen für das Training verwendet werden. Ein möglicher Lösungsansatz für dieses Problem könnte in einem Nachfolgestandard der robots.txt liegen.
Google lädt ein
Die genauen Details der Diskussion und die zu besprechenden Themen sind noch nicht festgelegt. Interessierte Personen können sich jedoch auf einer Website in die entsprechende Mailingliste eintragen und werden über den weiteren Verlauf der Diskussion informiert.
Google strebt eine öffentliche Diskussion an, um eine zeitgemäße Alternative zur etablierten robots.txt zu finden. Es ist wichtig, dass die verschiedenen Stakeholder aus der KI-Community ihre Expertise einbringen und gemeinsam nach Lösungen suchen.
Bitte beachte unsere Community-Richtlinien
Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.
Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.
Dein t3n-Team