Ein Spider, auch Robot oder Crawler genannt, ist ein Programm, welches die bei Suchmaschinen angemeldeten bzw. eingetragenen Webseiten aufruft, deren Inhalte abruft, und diese an die Suchmaschinen weiterleitet.  
Die Spider wandeln dabei jede Url in eine IP-Adresse um, damit sie mit den jeweiligen Servern in Verbindung treten können.
Um die Dauer der Übertragung zu verkürzen, bzw. um die Server nicht zu überlasten, öffnet ein Spider oftmals mehrere hundert Verbindungen gleichzeitig. Treten bei einer Verbindung Probleme auf, kann er ohne großen Zeitverlust auf die nächste Verbindung zugreifen. Durch dieses Rotationsverfahren kann nur ein Crawler bis zu 30 Seiten pro Sekunde erfassen.