SISTRIX Toolbox
SISTRIX Toolbox

Mehr erfahren
Brands, KMU, wir machen den Unterschied!
Mehr erfahren

Einzelne Dateien per robots.txt sperren

SEO  |   |  , 18:25 Uhr  |  4 Kommentare

Da ich gerade auf dem Weg nach Dresden bin und nicht wirklich etwas zu tun habe, möchte ich kurz auf die Bitte aus einem der Kommentare zu meinem letzen Beitrag „Der gläserne Webmaster“ eingehen.

Dort wurde gefragt, wie man sich ein wenig gegen das Ausspionieren schützen kann, indem man das Impressum via robots.txt vom Spidern und so dem Indexieren in die Suchmaschinen ausschließt.
Damit lässt sich natürlich nicht nur das Impressum ausschließen, sondern auch sämtliche andere Dateien. Aber nun dazu, wie es funktioniert. Die robots.txt ist eine einfache Textdatei, die im Rootverzeichnis der Website liegt.

Oft wird die Datei genutzt, um ganze Verzeichnisse vom Indexieren auszuschließen. Dies funktioniert, indem einfach der folgende Code in die Datei geschrieben wird:

user-agent: *
Disallow: /admin/

In diesem Fall wird die Suchmaschine angewiesen, den Ordner „admin“ nicht zu indexieren.

Soll nun eine einzelne Datei von der Indexierung ausgeschlossen werden, ist einfach folgender Text einzufügen:

User-agent: *
Disallow: /impressum.php

In diesem Fall würde die Indexierung der Datei impressum.php verhindert werden.

Sollen mehrere Anweisungen kombiniert werden, können diese einfach untereinander weg niedergeschrieben werden. Sollen also die beiden Beispiele von oben kombiniert werden, sieht das so aus:

user-agent: *
Disallow: /admin/
Disallow: /impressum.php

Ausführliche Informationen finden sich auf den Seiten von Self-Html.

Constantin

Sie befinden sind hier: Einzelne Dateien per robots.txt sperren



Ihre Agentur noch nicht dabei?


Ihre Agentur noch nicht dabei?