Bots sind Programme, die die Inhalte der bei Suchmaschinen eingetragen Webseiten aufrufen und deren Inhalte abruft um diese an die Suchmaschinen weiterzuleiten. Dabei wandelt das Programm jede URL in eine IP-Adresse um, weil sie dann mit den jeweiligen Servern in Verbindung treten können.

Um die Zeit der Übertragung zu möglichst kurz zu halten öffnen Bots oft mehrere Verbindungen gleichzeitig. Wenn bei einer Verbindung Probleme auftreten, können die Bots ohne einen großen Zeitverlust auf die nächste Verbindung zugreifen. Mit diesem Verfahren können die Bots ca. 30 Seiten pro Sekunde erfassen.