Die `robots.txt´ ist eine ausgelagerte Textdatei, in welcher man dem Crawler der verschiedenen Suchmaschinen gezielte Anweisungen geben kann.

So kann man bestimmte Seiten, Dateien oder ganze Verzeichnisse für die Indexierung bei bestimmten Suchmaschinen sperren.

Inwieweit die robots.txt von den einzelnen Suchmaschinen berücksichtigt wird, lässt sich nur schwer sagen. Wenn bestimmte Teile einer Webseite definitiv nicht in den Ergebnislisten aufgeführt werden sollen, ist die Auslagerung in ein passwortgeschütztes Verzeichnis der robots.txt vorzuziehen.