SISTRIX Toolbox
SISTRIX Toolbox

Mehr erfahren
Brands, KMU, wir machen den Unterschied!
Mehr erfahren

Die lustigsten robots.txt Dateien der Welt!

Internet  |   |  , 11:10 Uhr  |  10 Kommentare

robots.txtWie in dem kürzlich auf onlinemarketing.de veröffentlichten Artikel `Wie Bots den Ruf der Online Advertising Industrie zerstören´ nach-zulesen, sind sogenannte Bots (?) mittlerweile für mehr als die Hälfte des Internet-Traffics verantwortlich. Da es zum einen irgendwie lustig ist, zum anderen aber auch eine Menge über die Beziehung bzw. Rivalität einzelner Webseiten aussagt, haben wir von SEO-united.de uns im Folgenden einmal die Mühe gemacht, uns die robots.txt Dateien einiger bekannter Seiten etwas genauer anzuschauen. Mit Hilfe einer robots.txt Datei kann man einzelnen Bots genauere Hinweise geben, was sie auf einer bestimmten Webseite zu tun oder zu lassen haben. Nachfolgend eine Liste der unserer Meinung nach lustigsten robots.txt Dateien überhaupt:

1. YouTube

Die robots.txt Datei von YouTube scheint bereits weit vor der Existenz des Internets erstellt worden zu sein und beinhaltet tatsächlich einen Hinweis, dass sämtliche noch existierenden Bots womöglich bereits voll-kommen sinnlos im Internet unterwegs sein könnten:

robots.txt Datei von YouTube

2. Twitter

Der Microblogging-Dienst Twitter weist in seiner robots.txt lustigerweise explizit darauf hin, dass die Twitter-interne Suche nach der Zahl `23´ für alle Bots erlaubt ist und verdient alleine schon aus Gründen der `Ner-digkeit´ eine gute Platzierung in unserer Liste hier:

robots.txt Datei von Twitter

3. Apple

Bei Apple gibt man sich gar nicht erst damit ab, irgendwelchen anderen Bots außer dem Fräulein Siri großartige Hinweise zu geben und erlaubt quasi allen anderen alles zu tun oder zu lassen, was sie denn gerade so vorhaben:

robots.txt Datei von Apple

4. ebay

Die robots.txt Datei von ebay ist hervorzuheben, weil sie einen Text beinhaltet, den wahrscheinlich weder die meisten Menschen, noch irgendwelche Roboter beim ersten Lesen sofort verstehen können: Notwith-standing the foregoing, eBay may permit automated access to access certain eBay pages but soley for the limited purpose of including content in publicly available search engines:

robots.txt Datei von ebay

5. PayPal

Die Betreiber der Internet-Bank PayPal setzen in ihrer Verzweiflung robots.txt ganz auf Höflichkeit und erlauben das Besuchen der Seite durch irgendwelche Robots nur zu ganz bestimmten Geschäftszeiten:

robots.txt Datei von PayPal

6. Google

Die robots.txt Datei von Google verdient sich ihre gute Platzierung hauptsächlich nur über ihre Größe. Die Datei ist sage und schreibe 299 Zeilen lang und wiegt genau 7.70 KB:

robots.txt Datei von Google

7. Facebook

Facebook weist in seiner robots.txt Datei natürlich noch einmal explizit darauf hin, dass sämtliche Robots die Seite nur mit einer schriftlichen Genehmigung von Mark Zuckerberg höchstpersönlich crawlen dürfen, erlaubt bzw. verbietet möglicherweise wild gewordenen Bots im Anschluss daran sicherheitshalber aber auch noch, sich auf der Seite totzucrawlen:

robots.txt Datei von Facebook

8. Amazon

Die robots.txt von Amazon ist ebenfalls nicht großartig spannend, verdient aber eine Erwähnung, weil sie zumindest einmal den Versuch unternimmt, die Bewertung einzelner Produkte durch irgendwelche Bots bestmöglich auszuschließen:

robots.txt Datei von Amazon

8. Microsoft

Microsoft verzichtet gänzlich auf irgendwelche spaßigen Hinweise in der robots.txt Datei und gibt stattdessen sämtlichen im Internet gerade aktiven Robots ganz konkrete Hinweise, wo es für sie nach-folgend schwierig werden könnte:

robots.txt Datei von Microsoft

.
.
.

9. Matt Cutts

Eigentlich ja nicht wirklich eine große Webseite, darf auf einem SEO Blog natürlich auch die robots.txt von Matt Cutts nicht fehlen. Matt verbietet sämtlichen Robots das Crawlen bzw. anschließende Indexieren des WordPress-Ordners /blog/wp-content. Macht natürlich auch Sinn:

robots.txt Datei von Matt Cutts

Eure SEO-united.de Blogger

P.S.: Danke an Thomas Merkel für die Idee zu dem Artikel. Wenn Ihr sonst noch eine lustige robots.txt Datei kennt bzw. findet, schreibt einfach einen kurzen Kommentar!

Sie befinden sind hier: Die lustigsten robots.txt Dateien der Welt!

Kommentare zu Die lustigsten robots.txt Dateien der Welt!:

  1. Anon says:

    Auch schön nerdig die frühere robots.txt von David Naylor (leider nur noch im backup einsehbar):

    http://blog.docx.org/wp-content/uploads/2011/12/robots.txt

    • Ralf says:

      Die ist echt gut. Fast ist der Kaffee auf dem Bildschirm gelandet. Wenn ich Zeit habe werde ich bei meinen Projekten auch mal die robots.txt etwas pimpen :-)

      Gruß

      Ralf

    • Tim says:

      Die robots.txt ist wirklich gut. Die Idee dort etwas lustiges reinzupacken hatte ich BISHER noch nicht. Nachdem ich mir nun einige Beispiele hier angeschaut hat, werde ich da aber echt mal drüber nachdenken. :)

      Der Blogbeitrag hat mir richtig Spaß gemacht!

  2. David says:

    Hm, ich glaub ich änder meine robots.txt auch ab, verpacke darin schnell ein paar AGBs und Vertragsbedingungen und sobald der Robot zu besuch kommt gilt das dann als angenommen :-D

  3. Michael says:

    Hab auch was Nettes gefunden:

  4. Flo says:

    Bei Twitter – mit %23 ist die # (raute) also der Hashtag gemeint :)

Jetzt zu "Die lustigsten robots.txt Dateien der Welt!" kommentieren:




Ihre Agentur noch nicht dabei?


Ihre Agentur noch nicht dabei?