[Markus Eidam]

Gibt es irgendwo eine Übersicht der Namen aller Crawler, die von SEO-Tools genutzt werden?

[Stefan Wienströer]

Schau mal hier: http://www.user-agents.org/. Musst dir nur die einzelnen Tools heraussuchen.

[Markus Eidam]

Danke, Stefan. Die Liste ist aber leider sehr schlecht oder sehr alt. Den Crawler von Sistrix findet man dort zum Beispiel nicht. Habt ihr noch weitere Ideen?

[Consi]

Hallo Markus,

Sistrix crawled als Google-Bot 😀

[Marcus Woyciechowski]

Für was benötigst du die Liste? Solltest du die Crawler ausschließen wollen, z.B. Sistrix:

User-agent: sistrix 
Disallow: / 

[Markus Eidam]

Ich will Crawler ausschließen, aber halt nicht nur Sistrix, sondern auch andere SEO-Tools, weil es mich stört, dass die Konkurrenz, sobald wir (nach langem Brainstorming) einen coolen Link gesetzt haben, sofort (und ohne langes Brainstorming) nachzieht.

Nur gibt es neben Sistrix halt auch andere Tools, auf welche die Konkurrenz, sobald Sistrix geblockt ist, natürlich zurückgreifen wird.

[Consi]

Hallo Markus,

wie willst du das in deinem Fall umsetzen? Die Links wären doch eher auf externen Seiten und diese kannst du doch gar nicht beeinflussen was das Crawling angeht.

[Autor]

Beiträge