Robot

Ein ‚Robot‘, Crawler oder auch Spider ist ein Programm welches das World Wide Web nach neuen Inhalten durchsucht. Robots werden von Suchmaschinen genutzt, um neue Webseiten zu finden oder die bereits von ihnen im Index geführten Webseiten nach neuen Informationen bzw. Links zu durchsuchen.