Googlebot

‚Googlebot‘ ist der Name des Crawlers der Suchmaschine Google. Crawler, Bots bzw. Spider sind Programme, welche das World Wide Web nach neuen Inhalten durchsuchen. Der Googlebot verfügt über die Kennung „Googlebot“ und lässt sich über einen entsprechenden Eintrag in der Robots.txt gezielt ansprechen.