Die robots.txt, genauer gesagt das Robots-Exlusion-Standard-Protokoll, ist eine Textdatei, die vorgibt, welche Verzeichnisse gelesen werden dürfen und welche nicht. Die Crawler suchen beim Aufruf einer Website zuerst nach der robots.txt und interpretieren diese. In der robots.txt stehen also Bestimmungen, die die Suchmaschinen-Bots, die unter anderen für die Indexierung und Analyse der Website zuständig sind, befolgen sollen. Damit die robots.txt gefunden wird, muss sie sich im Domain-Root befinden.

Der Inhalt einer robots.txt besteht einfach gesagt aus zwei Angaben: Einer Spezifikation des Bots und der Beschreibung der Dateien, die der Bot ignorieren soll. Der Bot wird mit user-agent: angesprochen und kann dann eine anschließende, genaue Bezeichnung erhalten oder mit * gekennzeichnet werden, was dann alle Bots betrifft. Das Ausschließen von Dateien erfolgt mit dem Tag disallow: und dem entsprechenden Indexpfad. Hier ein Beispiel:

# Das könnte ein Kommentar sein
User-agent: UniversalRobot/1.0
User-agent: mein-Robot
Disallow: /quellen/dtd/

User-agent: *
Disallow: /fotos/
Disallow: /temp/
Disallow: /fotoalbum.html 

In den ersten drei Zeilen werden der UniversalRobot und der mein-Robot angesprochen, die Dateien aus dem Verzeichnis /quellen/dtd/ und alles, was sich dadrunter befindet, zu ignorieren. Ab der vierten Zeile werden alle Bots angesprochen, das Verzeichnis fotos, temp, und die fotoalbum.html Datei zu ignorieren.

Es ist ausgeschlossen, mit der robots.txt Dateien vor Zugriffen zu schützen – hier sollte der Passwortschutz des Webservers verwendet werden. Die meisten Bots halten sich zwar an den Exlusion-Standard, aber da es keine Pflicht ist, gibt es immer wieder Ausnahmen. Ebenfalls ist ausgeschlossen, mit der robots.txt auf bestimmte Verzeichnisse zu verweisen und sie zu indexieren. Lediglich die Anweisung, Verzeichnisse nicht zu indexieren, ist möglich.