Anzeige
Anzeige
News
Artikel merken

Google unterstützt Noindex in der Robots.txt nicht mehr

Ab 1. September gelten neue Regeln für den Suchmaschinen-Einweiser. Google unterstützt dann einige Anweisungen in der Robots.txt nicht mehr. Sie werden angeblich zu selten verwendet.

Von Anton Weste
1 Min. Lesezeit
Anzeige
Anzeige

Google hat angekündigt, wie es die Robots.txt künftig behandeln will. (Bild: Searchengineland)

Die Robots.txt, genauer gesagt das Robots-Exklusion-Standard-Protokoll (REP), ist seit 25 Jahren der De-facto-Standard, um Crawlern der Suchmaschinen vorzugeben, welche Bereiche einer Website sie durchsuchen oder auslassen sollen. Vor kurzem hat Google angekündigt, REP zu einem echten Internet-Standard zu machen, der unter Open-Source-Bedingungen einsehbar ist.

Anzeige
Anzeige

Nun hat Google nachgelegt, und einige Details zum künftigen Handling des REP veröffentlicht. In Zukunft sollen einige bisher angewandte Regeln in der Robots.txt nicht mehr unterstützt werden. Ab 1. September 2019 sollen sie durch den Google-Bot keine Beachtung mehr finden. Betroffen sind die Anweisungen:

  • Noindex
  • Nofollow
  • Crawl-delay

Als Begründung gibt Google an, dass die genannten Anweisungen nur eine sehr geringe Verbreitung besitzen. Angeblich verwenden sie lediglich 0,001 Prozent aller Robots.txt-Dateien im Internet. Außerdem habe Google diese Anweisungen nie offiziell dokumentiert.

Anzeige
Anzeige

Änderung für Robots.txt: Google bietet Alternativen

Als Alternativen für die betroffenen Anweisungen nennt Google folgende Vorgehensweisen:

Anzeige
Anzeige
  • Die Noindex-Anweisung in den X-Robots-Tag im HTTP-Header oder die Meta Robots-Tags setzen. Hier gelten sie weiterhin. Das ist der effektivste Weg, einzelne Websites aus dem Google-Index herauszuhalten, wenn Crawlen generell erlaubt ist.
  • 404- oder 410-Status-Codes setzen: Das gaukelt dem Bot vor, dass die Seiten nicht existieren, also werden sie aus dem Google-Index herausfallen.
  • Passwortschutz nutzen: Inhalte hinter einen Login zu setzen, schützt sie davor, vom Google-Index erfasst zu werden.
  • Disallow in der Robots.txt einsetzen: Suchmaschinen können nur Seiten indexieren, von denen sie wissen. Setzt man den Crawlern ein Stoppschild vor die Nase, wird der Seiteninhalt üblicherweise nicht indexiert. Zwar kann die Suche eine URL selbst auf den Index stellen, bedingt durch Links von anderen Seiten, aber wenn sie keinen durchsuchbaren Inhalt enthält, soll die betreffende Seite künftig deutlich weniger sichtbar in den SERP sein, so Google.
  • In der Google Search Console das Tool Remove URL verwenden: Eine einfache und schnelle Methode, um eine URL temporär aus den Google Suchergebnissen zu entfernen.
Mehr zu diesem Thema
Fast fertig!

Bitte klicke auf den Link in der Bestätigungsmail, um deine Anmeldung abzuschließen.

Du willst noch weitere Infos zum Newsletter? Jetzt mehr erfahren

Anzeige
Anzeige
11 Kommentare
Bitte beachte unsere Community-Richtlinien

Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.

Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.

Dein t3n-Team

Matthias Haltenhof

Einerseits finde ich es gut, dass Google da mal versucht nen Standard zu schaffen. Auf der anderen Seite haben viele SEOs den Noindex Befehl in der robots.txt eingesetzt, weil sich damit ohne Programmieraufwand Seiten aus dem Index befördern ließen. Durch die Umstellung entstehen nun insbesondere Shops Kosten, weil eine Noindex-Möglichkeit im Backend über meta Noindex implementiert werden muss.

Antworten
Thomas Mammitzsch

Noindex, Nofollow nur bei 0,001% aller robots.txt? Kann ich mir nicht vorstellen, sorry.

Antworten
Max

Ein bisschen Recherche hätte auch dem Artikel gut getan. Google schafft natürlich nicht das noindex ab. Lediglich in der robots txt, wo ein Gebrauch äußerst selten war, wird das abgeschafft. Natürlich wird es weiterhin als Meta-Tag unterstützt – neben X-Robots im HTTP-Header…

Antworten
Onfabrik

Och, der Artikel ist doch eigentlich ganz „ok“ – kurz und knackig eben. Es geht ja auch um keine größere Änderung, allerdings sind die „..0,001 Prozent aller Robots.txt-Dateien…“ bezogen auf „nofollow“ sicherlich nicht korrekt. Höchstens hinsichtlich „crawl-delay“ wäre diese geringe Nutzung denkbar – weil diese Anweisung (und Ihre Auswirkungen) eben eher unbekannt ist. Naja, und die Überschrift….ich denke Anton Weste ist einfach kein SEO und hat´s nicht richtig verstanden…shit happens.

Antworten
Onfabrik

Yep, die Überschrift ist definitv falsch, die „..0,001 Prozent..“ können so auch nicht stimmen, aber wir wissen jetzt, dass sich demnächst etwas in/an der „robots.txt“ ändern wird…immerhin! :-)

Antworten
Max

Doch, die 0,001 könnten schon hinkommen. Weil in der robots.txt normalerweise ein „Disallow:“ gesetzt wird und DORT eine „Noindex“ nur sehr selten zu finden ist. Die meisten wussten wohl gar nicht, dass man ein „Noindex“ auch außerhalb des HTML-Head verwenden kann. Bing hat, so glaube ich, ein „Noindex“ in der robots.txt-Datei nie respektiert.
Die Überschrift leitet natürlich fehl…

Antworten
Webdesigner Köln

Auch wenn ich wie meine Vorredner auch die Zahl für die nofollows in der robots.txt nicht glauben kann, definitiv gut zu wissen, da wird für viele größere Seiten einiges an Arbeit kommen.

Antworten
Brauki

Schön, wenn noch jemand den Überblick behält. Google wird immer undurchsichtiger, unberechenbarer und einfach zu mächtig. Ein „Normalo-Webseitenbetreiber“ hat doch keine Chance mehr, dort noch durchzublicken und nicht jeder Kleinunternehmer oder Beginner hat das Geld, sich teure Agenturen leisten zu können oder sich wochenlang in SEO fortzubilden. Es nimmt einfach Überhand mit dem SEO.

Antworten
Daniela

Das wäre ja zu schön! Mir erzählt die Google Search Console nämlich seit einiger Zeit, es gäbe einen „no index“ Befehl. Der aber gar nicht existiert.

Antworten
Bachsau

Etabliert gibt es in der robots.txt nur zwei gültige Anweisungen: „User-agent“ und „Disallow“. Mehr braucht es auch nicht, wenn Firmen wie Google nicht versuchen würden, die Datei so auszulegen, dass sie sich um ihre Vorgaben herummogeln können. „Disallow“ ist eigentlich eine klare Ansage, die all das beinhalten sollte, was hier so spitzfindig in weitere Anweisungen auszulagern versucht wurde: Nicht abrufen, nicht indexieren, nicht folgen. Einfach: Finger weg.

Antworten
Daniel

Die Umstellung hat Vor- und Nachteile zugleich. Aber grundsätzliche stimme ich dem Kommentar von Brauki vollends zu.

Antworten

Melde dich mit deinem t3n Account an oder fülle die unteren Felder aus.

Bitte schalte deinen Adblocker für t3n.de aus!
Hallo und herzlich willkommen bei t3n!

Bitte schalte deinen Adblocker für t3n.de aus, um diesen Artikel zu lesen.

Wir sind ein unabhängiger Publisher mit einem Team von mehr als 75 fantastischen Menschen, aber ohne riesigen Konzern im Rücken. Banner und ähnliche Werbemittel sind für unsere Finanzierung sehr wichtig.

Schon jetzt und im Namen der gesamten t3n-Crew: vielen Dank für deine Unterstützung! 🙌

Deine t3n-Crew

Anleitung zur Deaktivierung
Artikel merken

Bitte melde dich an, um diesen Artikel in deiner persönlichen Merkliste auf t3n zu speichern.

Jetzt registrieren und merken

Du hast schon einen t3n-Account? Hier anmelden

oder
Auf Mastodon teilen

Gib die URL deiner Mastodon-Instanz ein, um den Artikel zu teilen.

Anzeige
Anzeige