Anzeige
Anzeige
Ratgeber
Artikel merken

Was ist eigentlich die Robots.txt-Datei?

Die robots.txt – gesehen haben wir sie alle schon mal, aber was macht sie eigentlich und wofür ist sie zuständig?

Von Jessy Kösterke
1 Min. Lesezeit
Anzeige
Anzeige

(Grafik: twillo.com)

Die robots.txt, genauer gesagt das Robots-Exlusion-Standard-Protokoll, ist eine Textdatei, die vorgibt, welche Verzeichnisse gelesen werden dürfen und welche nicht. Die Crawler suchen beim Aufruf einer Website zuerst nach der robots.txt und interpretieren diese. In der robots.txt stehen also Bestimmungen, die die Suchmaschinen-Bots, die unter anderen für die Indexierung und Analyse der Website zuständig sind, befolgen sollen. Damit die robots.txt gefunden wird, muss sie sich im Domain-Root befinden.

Inhalt der robots.txt

Anzeige
Anzeige

Der Inhalt einer robots.txt besteht einfach gesagt aus zwei Angaben: Einer Spezifikation des Bots und der Beschreibung der Dateien, die der Bot ignorieren soll. Der Bot wird mit user-agent: angesprochen und kann dann eine anschließende, genaue Bezeichnung erhalten oder mit * gekennzeichnet werden, was dann alle Bots betrifft. Das Ausschließen von Dateien erfolgt mit dem Tag disallow: und dem entsprechenden Indexpfad. Hier ein Beispiel:

# Das könnte ein Kommentar sein
User-agent: UniversalRobot/1.0
User-agent: mein-Robot
Disallow: /quellen/dtd/

User-agent: *
Disallow: /fotos/
Disallow: /temp/
Disallow: /fotoalbum.html 

In den ersten drei Zeilen werden der UniversalRobot und der mein-Robot angesprochen, die Dateien aus dem Verzeichnis /quellen/dtd/ und alles, was sich dadrunter befindet, zu ignorieren. Ab der vierten Zeile werden alle Bots angesprochen, das Verzeichnis fotos, temp, und die fotoalbum.html Datei zu ignorieren.

Anzeige
Anzeige

Was mit der robots.txt nicht geht

Es ist ausgeschlossen, mit der robots.txt Dateien vor Zugriffen zu schützen – hier sollte der Passwortschutz des Webservers verwendet werden. Die meisten Bots halten sich zwar an den Exlusion-Standard, aber da es keine Pflicht ist, gibt es immer wieder Ausnahmen. Ebenfalls ist ausgeschlossen, mit der robots.txt auf bestimmte Verzeichnisse zu verweisen und sie zu indexieren. Lediglich die Anweisung, Verzeichnisse nicht zu indexieren, ist möglich.

Anzeige
Anzeige
Mehr zu diesem Thema
Fast fertig!

Bitte klicke auf den Link in der Bestätigungsmail, um deine Anmeldung abzuschließen.

Du willst noch weitere Infos zum Newsletter? Jetzt mehr erfahren

Anzeige
Anzeige
5 Kommentare
Bitte beachte unsere Community-Richtlinien

Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.

Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.

Dein t3n-Team

egal

Mich würd nur mal interessieren wie ich nicht nur Verzeichnise auf Dateiebene, sondern auch auf URL Ebene von einer Indexierung ausschließen kann (also z.B. domain.tld/news nicht indexieren, auch wenn /news/ kein echter Ordner ist sondern nur ein virtueller Pfad der Domain).

Antworten
Ruslan

Zunächst einmal sei gesagt, dass ein Robots.txt disallow eine Indexierung nicht automatisch mit sich bringt, lediglich das nicht-Crawlen. Die einzig garantierte Methode ist es, über die Metatags zu gehen:

Antworten
Ruslan

meta name=“robots“ content=“noindex“

egal

Ah, an einen Meta-Tag hatte ich garnicht gedacht. Danke!

Davis Brown

Was ein SEO über die robots.txt wissen sollte
http://blog.templatetoaster.com/robots-txt-file-work/

Antworten
Abbrechen

Melde dich mit deinem t3n Account an oder fülle die unteren Felder aus.

Bitte schalte deinen Adblocker für t3n.de aus!
Hallo und herzlich willkommen bei t3n!

Bitte schalte deinen Adblocker für t3n.de aus, um diesen Artikel zu lesen.

Wir sind ein unabhängiger Publisher mit einem Team von mehr als 75 fantastischen Menschen, aber ohne riesigen Konzern im Rücken. Banner und ähnliche Werbemittel sind für unsere Finanzierung sehr wichtig.

Schon jetzt und im Namen der gesamten t3n-Crew: vielen Dank für deine Unterstützung! 🙌

Deine t3n-Crew

Anleitung zur Deaktivierung
Artikel merken

Bitte melde dich an, um diesen Artikel in deiner persönlichen Merkliste auf t3n zu speichern.

Jetzt registrieren und merken

Du hast schon einen t3n-Account? Hier anmelden

oder
Auf Mastodon teilen

Gib die URL deiner Mastodon-Instanz ein, um den Artikel zu teilen.

Anzeige
Anzeige