News

Google unterstützt Noindex in der Robots.txt nicht mehr

Google hat angekündigt, wie es die Robots.txt künftig behandeln will. (Bild: Searchengineland)

Ab 1. September gelten neue Regeln für den Suchmaschinen-Einweiser. Google unterstützt dann einige Anweisungen in der Robots.txt nicht mehr. Sie werden angeblich zu selten verwendet.

Die Robots.txt, genauer gesagt das Robots-Exklusion-Standard-Protokoll (REP), ist seit 25 Jahren der De-facto-Standard, um Crawlern der Suchmaschinen vorzugeben, welche Bereiche einer Website sie durchsuchen oder auslassen sollen. Vor kurzem hat Google angekündigt, REP zu einem echten Internet-Standard zu machen, der unter Open-Source-Bedingungen einsehbar ist.

Nun hat Google nachgelegt, und einige Details zum künftigen Handling des REP veröffentlicht. In Zukunft sollen einige bisher angewandte Regeln in der Robots.txt nicht mehr unterstützt werden. Ab 1. September 2019 sollen sie durch den Google-Bot keine Beachtung mehr finden. Betroffen sind die Anweisungen:

  • Noindex
  • Nofollow
  • Crawl-delay

Als Begründung gibt Google an, dass die genannten Anweisungen nur eine sehr geringe Verbreitung besitzen. Angeblich verwenden sie lediglich 0,001 Prozent aller Robots.txt-Dateien im Internet. Außerdem habe Google diese Anweisungen nie offiziell dokumentiert.

Änderung für Robots.txt: Google bietet Alternativen

Als Alternativen für die betroffenen Anweisungen nennt Google folgende Vorgehensweisen:

  • Die Noindex-Anweisung in den X-Robots-Tag im HTTP-Header oder die Meta Robots-Tags setzen. Hier gelten sie weiterhin. Das ist der effektivste Weg, einzelne Websites aus dem Google-Index herauszuhalten, wenn Crawlen generell erlaubt ist.
  • 404- oder 410-Status-Codes setzen: Das gaukelt dem Bot vor, dass die Seiten nicht existieren, also werden sie aus dem Google-Index herausfallen.
  • Passwortschutz nutzen: Inhalte hinter einen Login zu setzen, schützt sie davor, vom Google-Index erfasst zu werden.
  • Disallow in der Robots.txt einsetzen: Suchmaschinen können nur Seiten indexieren, von denen sie wissen. Setzt man den Crawlern ein Stoppschild vor die Nase, wird der Seiteninhalt üblicherweise nicht indexiert. Zwar kann die Suche eine URL selbst auf den Index stellen, bedingt durch Links von anderen Seiten, aber wenn sie keinen durchsuchbaren Inhalt enthält, soll die betreffende Seite künftig deutlich weniger sichtbar in den SERP sein, so Google.
  • In der Google Search Console das Tool Remove URL verwenden: Eine einfache und schnelle Methode, um eine URL temporär aus den Google Suchergebnissen zu entfernen.

Dazu könnte dich auch interessieren:

Bitte beachte unsere Community-Richtlinien

Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.

Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.

Dein t3n-Team

6 Kommentare
Matthias Haltenhof

Einerseits finde ich es gut, dass Google da mal versucht nen Standard zu schaffen. Auf der anderen Seite haben viele SEOs den Noindex Befehl in der robots.txt eingesetzt, weil sich damit ohne Programmieraufwand Seiten aus dem Index befördern ließen. Durch die Umstellung entstehen nun insbesondere Shops Kosten, weil eine Noindex-Möglichkeit im Backend über meta Noindex implementiert werden muss.

Antworten
Thomas Mammitzsch
Thomas Mammitzsch

Noindex, Nofollow nur bei 0,001% aller robots.txt? Kann ich mir nicht vorstellen, sorry.

Antworten
Max

Ein bisschen Recherche hätte auch dem Artikel gut getan. Google schafft natürlich nicht das noindex ab. Lediglich in der robots txt, wo ein Gebrauch äußerst selten war, wird das abgeschafft. Natürlich wird es weiterhin als Meta-Tag unterstützt – neben X-Robots im HTTP-Header…

Antworten
Onfabrik
Onfabrik

Och, der Artikel ist doch eigentlich ganz „ok“ – kurz und knackig eben. Es geht ja auch um keine größere Änderung, allerdings sind die „..0,001 Prozent aller Robots.txt-Dateien…“ bezogen auf „nofollow“ sicherlich nicht korrekt. Höchstens hinsichtlich „crawl-delay“ wäre diese geringe Nutzung denkbar – weil diese Anweisung (und Ihre Auswirkungen) eben eher unbekannt ist. Naja, und die Überschrift….ich denke Anton Weste ist einfach kein SEO und hat´s nicht richtig verstanden…shit happens.

Antworten
Onfabrik
Onfabrik

Yep, die Überschrift ist definitv falsch, die „..0,001 Prozent..“ können so auch nicht stimmen, aber wir wissen jetzt, dass sich demnächst etwas in/an der „robots.txt“ ändern wird…immerhin! :-)

Antworten
Max

Doch, die 0,001 könnten schon hinkommen. Weil in der robots.txt normalerweise ein „Disallow:“ gesetzt wird und DORT eine „Noindex“ nur sehr selten zu finden ist. Die meisten wussten wohl gar nicht, dass man ein „Noindex“ auch außerhalb des HTML-Head verwenden kann. Bing hat, so glaube ich, ein „Noindex“ in der robots.txt-Datei nie respektiert.
Die Überschrift leitet natürlich fehl…

Antworten

Melde dich mit deinem t3n Account an oder fülle die unteren Felder aus.

Bitte schalte deinen Adblocker für t3n.de aus!

Hey du! Schön, dass du hier bist. 😊

Bitte schalte deinen Adblocker für t3n.de aus, um diesen Artikel zu lesen.

Wir sind ein unabhängiger Publisher mit einem Team bestehend aus 65 fantastischen Menschen, aber ohne riesigen Konzern im Rücken. Banner und ähnliche Werbemittel sind für unsere Finanzierung sehr wichtig.

Danke für deine Unterstützung.

Digitales High Five,
Stephan Dörner (Chefredakteur t3n.de) & das gesamte t3n-Team

Anleitung zur Deaktivierung