Ryte

Mehr erfahren
Brands, KMU, wir machen den Unterschied!
Mehr erfahren

Einzelne Dateien per robots.txt sperren

SEO  |   |  , 18:25 Uhr  |  4 Kommentare

Da ich gerade auf dem Weg nach Dresden bin und nicht wirklich etwas zu tun habe, möchte ich kurz auf die Bitte aus einem der Kommentare zu meinem letzen Beitrag „Der gläserne Webmaster“ eingehen.

Dort wurde gefragt, wie man sich ein wenig gegen das Ausspionieren schützen kann, indem man das Impressum via robots.txt vom Spidern und so dem Indexieren in die Suchmaschinen ausschließt.
Damit lässt sich natürlich nicht nur das Impressum ausschließen, sondern auch sämtliche andere Dateien. Aber nun dazu, wie es funktioniert. Die robots.txt ist eine einfache Textdatei, die im Rootverzeichnis der Website liegt.

Oft wird die Datei genutzt, um ganze Verzeichnisse vom Indexieren auszuschließen. Dies funktioniert, indem einfach der folgende Code in die Datei geschrieben wird:

user-agent: *
Disallow: /admin/

In diesem Fall wird die Suchmaschine angewiesen, den Ordner „admin“ nicht zu indexieren.

Soll nun eine einzelne Datei von der Indexierung ausgeschlossen werden, ist einfach folgender Text einzufügen:

User-agent: *
Disallow: /impressum.php

In diesem Fall würde die Indexierung der Datei impressum.php verhindert werden.

Sollen mehrere Anweisungen kombiniert werden, können diese einfach untereinander weg niedergeschrieben werden. Sollen also die beiden Beispiele von oben kombiniert werden, sieht das so aus:

user-agent: *
Disallow: /admin/
Disallow: /impressum.php

Ausführliche Informationen finden sich auf den Seiten von Self-Html.

Constantin

Sie befinden sind hier: Einzelne Dateien per robots.txt sperren

Kommentare zu Einzelne Dateien per robots.txt sperren:

  1. Franz says:

    @pr-sniper: freut mich das du meinen Hinweis mit dem Bild als Impressum aufgegriffen hast *gg* den Zusammenhang zu Spammern erkenn ich zar nicht, aber ich freu mich auf eine Erklärung.

    Zur robots.txt, sicher ist das Anlegen einer solchigen ein erster und durchaus zu beachtender Schritt, jedoch sollte einem auch immer klar seien das dies maximal „die halbe Miete“ ist und das wenn ich Content habe, den ich möglichst unter keinen Umständen gespydert haben will, ich mit anderen Techniken aufwarten muss.

    Grüßle

  2. Gerald says:

    Ich möcht hier nochmals darauf hinweisen das ettliche Bots sich auch kompl. sperren lassen. Was ist bei ettlichen auch nur empfehlen kann.
    Aber seht selbst:

  3. pr_sniper says:

    Es ist natürlich Unsinn, die Sicherheit einer Seite mit robots.txt -lediglich eine Empfehlung- zu regeln. Einige Bots und selbst gelegentlich Google, missachten diese „Bitte“. Garantiert „verhindert“ wird also nix.

    @wandhalter: nimm besser das korrekte Beispiel von Constantin …

    Absolute Sicherheit aber für eine Seite wird mittels .htaccess oder CGI-Scripten (auch PHP, Psswort etc.)erreicht.

    Typisch für Spammer ist jedoch, dass das Impressum als Bilddatei, die Bots bisher nicht interpretieren kann, angelegt ist – das wäre der richtige Tipp gewesen.

  4. Wandhalter says:

    Wie verhindert man aber, dass

    /shop_content.php/coID/4/content/Impressum

    indexiert wird?

    Disallow: /Impressum und
    Disallow: /shop_content.php/coID/4/content/Impressum

    funktioniert beides nicht :(

    Liegt das evtl. an dem Mod_Rewrite von xtCommerce?

Jetzt zu "Einzelne Dateien per robots.txt sperren" kommentieren:




Ihre Agentur noch nicht dabei?


Ihre Agentur noch nicht dabei?