Ein ‚Crawler‘, Bot oder auch Spider ist ein Programm welches das World Wide Web nach neuen Inhalten durchsucht. Crawlers werden von Suchmaschinen genutzt, um neue Webseiten zu finden oder die bereits von ihnen im Index geführten Webseiten nach neuen Informationen bzw. Links zu durchsuchen.
SEO-Glossar › Crawler
SEO-Glossar