SISTRIX Toolbox
SISTRIX Toolbox

Mehr erfahren
Brands, KMU, wir machen den Unterschied!
Mehr erfahren

Die lustigsten robots.txt Dateien der Welt!

Internet  |   |  , 11:10 Uhr  |  10 Kommentare

robots.txtWie in dem kürzlich auf onlinemarketing.de veröffentlichten Artikel `Wie Bots den Ruf der Online Advertising Industrie zerstören´ nach-zulesen, sind sogenannte Bots (?) mittlerweile für mehr als die Hälfte des Internet-Traffics verantwortlich. Da es zum einen irgendwie lustig ist, zum anderen aber auch eine Menge über die Beziehung bzw. Rivalität einzelner Webseiten aussagt, haben wir von SEO-united.de uns im Folgenden einmal die Mühe gemacht, uns die robots.txt Dateien einiger bekannter Seiten etwas genauer anzuschauen. Mit Hilfe einer robots.txt Datei kann man einzelnen Bots genauere Hinweise geben, was sie auf einer bestimmten Webseite zu tun oder zu lassen haben. Nachfolgend eine Liste der unserer Meinung nach lustigsten robots.txt Dateien überhaupt:

1. YouTube

Die robots.txt Datei von YouTube scheint bereits weit vor der Existenz des Internets erstellt worden zu sein und beinhaltet tatsächlich einen Hinweis, dass sämtliche noch existierenden Bots womöglich bereits voll-kommen sinnlos im Internet unterwegs sein könnten:

robots.txt Datei von YouTube

2. Twitter

Der Microblogging-Dienst Twitter weist in seiner robots.txt lustigerweise explizit darauf hin, dass die Twitter-interne Suche nach der Zahl `23´ für alle Bots erlaubt ist und verdient alleine schon aus Gründen der `Ner-digkeit´ eine gute Platzierung in unserer Liste hier:

robots.txt Datei von Twitter

3. Apple

Bei Apple gibt man sich gar nicht erst damit ab, irgendwelchen anderen Bots außer dem Fräulein Siri großartige Hinweise zu geben und erlaubt quasi allen anderen alles zu tun oder zu lassen, was sie denn gerade so vorhaben:

robots.txt Datei von Apple

4. ebay

Die robots.txt Datei von ebay ist hervorzuheben, weil sie einen Text beinhaltet, den wahrscheinlich weder die meisten Menschen, noch irgendwelche Roboter beim ersten Lesen sofort verstehen können: Notwith-standing the foregoing, eBay may permit automated access to access certain eBay pages but soley for the limited purpose of including content in publicly available search engines:

robots.txt Datei von ebay

5. PayPal

Die Betreiber der Internet-Bank PayPal setzen in ihrer Verzweiflung robots.txt ganz auf Höflichkeit und erlauben das Besuchen der Seite durch irgendwelche Robots nur zu ganz bestimmten Geschäftszeiten:

robots.txt Datei von PayPal

6. Google

Die robots.txt Datei von Google verdient sich ihre gute Platzierung hauptsächlich nur über ihre Größe. Die Datei ist sage und schreibe 299 Zeilen lang und wiegt genau 7.70 KB:

robots.txt Datei von Google

7. Facebook

Facebook weist in seiner robots.txt Datei natürlich noch einmal explizit darauf hin, dass sämtliche Robots die Seite nur mit einer schriftlichen Genehmigung von Mark Zuckerberg höchstpersönlich crawlen dürfen, erlaubt bzw. verbietet möglicherweise wild gewordenen Bots im Anschluss daran sicherheitshalber aber auch noch, sich auf der Seite totzucrawlen:

robots.txt Datei von Facebook

8. Amazon

Die robots.txt von Amazon ist ebenfalls nicht großartig spannend, verdient aber eine Erwähnung, weil sie zumindest einmal den Versuch unternimmt, die Bewertung einzelner Produkte durch irgendwelche Bots bestmöglich auszuschließen:

robots.txt Datei von Amazon

8. Microsoft

Microsoft verzichtet gänzlich auf irgendwelche spaßigen Hinweise in der robots.txt Datei und gibt stattdessen sämtlichen im Internet gerade aktiven Robots ganz konkrete Hinweise, wo es für sie nach-folgend schwierig werden könnte:

robots.txt Datei von Microsoft

.
.
.

9. Matt Cutts

Eigentlich ja nicht wirklich eine große Webseite, darf auf einem SEO Blog natürlich auch die robots.txt von Matt Cutts nicht fehlen. Matt verbietet sämtlichen Robots das Crawlen bzw. anschließende Indexieren des WordPress-Ordners /blog/wp-content. Macht natürlich auch Sinn:

robots.txt Datei von Matt Cutts

Eure SEO-united.de Blogger

P.S.: Danke an Thomas Merkel für die Idee zu dem Artikel. Wenn Ihr sonst noch eine lustige robots.txt Datei kennt bzw. findet, schreibt einfach einen kurzen Kommentar!

Sie befinden sind hier: Die lustigsten robots.txt Dateien der Welt!



Ihre Agentur noch nicht dabei?


Ihre Agentur noch nicht dabei?