Bevor eine Seite ranken kann, muss sie überhaupt gefunden, abgerufen und indexiert werden können. Sorgen Sie dafür, dass wichtige Seiten über crawlbare Links erreichbar sind und nicht versehentlich blockiert werden.
Die robots.txt steuert, welche Bereiche ein Crawler abrufen darf – sie ist jedoch kein Mittel, um Seiten aus dem Index herauszuhalten. Soll eine Seite nicht in den Suchergebnissen erscheinen, verwenden Sie das Meta-Tag robots mit dem Wert noindex oder einen Passwortschutz.
Prüfen Sie den Indexierungsstatus einzelner Adressen mit der URL-Prüfung in der Google Search Console. Grundlagen zur Steuerung: Einführung zu robots.txt.