Robots.txt

‚robots.txt‘ ist der Name einer auf dem Server einer Webseite ausgelagerten Textdatei, in welcher man den Crawlern einzelner Suchmaschinen gesonderte Anweisungen darüber geben kann, wie genau sie eine Webseite zu durchsuchen haben. Die robots.txt ist immer das erste, was sich der Crawler einer Suchmaschine anschaut.