[Marcus Woyciechowski]

Für was benötigst du die Liste? Solltest du die Crawler ausschließen wollen, z.B. Sistrix:

User-agent: sistrix 
Disallow: / 

[Marcus Woyciechowski]

Moin Shen,

sollte dein Problem noch aktuell sein, übermittel bitte einige URLs als Beispiel, dann kann ich unter Umständen die Regel schreiben, welche du suchst.

Mfg Woy

[Marcus Woyciechowski]

Mittag,

1. Sollten die Meldungen auf einzelnen Unterseiten sein, könnte auch ein canoncial tag und/oder rel author tag  pro Artikel Abhilfe schaffen.

2.  Wird die Seite nicht im Google Index benötigt, setze die Seite(n) auf  „noindex“. Robots Anweisungen verhindern nicht, dass die Seite dennoch indexiert wird.

Mfg

[Marcus Woyciechowski]

Moin, gleich eine Kritik hinterher. Es ist scheiße, dass man sich nur per Facebook einloggen kann. Gerade  beim neuen Start finde ich das fail 😉

[Autor]

Beiträge