Spider sammeln Daten von Ihr Internetseite und speichern diese in Datenbanken, damit die Suchmaschine diese Information durchsuchen können.

Spider sind Programme, die von Suchmaschinenbetreibern ins Internet verschickt werden, um unterschiedlichste Webseiten aufzurufen, die bei ihnen in der Suchmaschine angemeldet wurden. Die Software dieser Programme überprüft die ausgewählte Seite samt ihrer Ebenen und Unterkategorien und sendet die so gewonnenen Informationen an eine Datenbankn der jeweiligen Suchmaschinenbetreiber. Sollte ein Spider eine Website zum wiederholten Male aufrufen, vergleicht er die aktuelle Version mit der, die er auf der Datenbank gespeichert hatte und erkennt so neu hinzugefügte oder veränderte Contents der Seite.

Auf der anderen Seite gibt es auch sogenannte Spider-Suchmaschinen, also solche speziellen Suchmaschinen, die über ein eigenes Spider-Programm verfügen.

Für Webseitenbetreiber ist es sehr interessant, wenn ihre Seite von einem oder gleich mehreren Spidern aufgesucht wird. Genau in dem Moment, in dem der Spider auf der Seite aktiv ist, wird das neue Ranking der betreffenden Website entschieden.

Wenn Sie eine Website also für eine Suchmaschine optimieren möchten, sollten Sie ihren Inhalt besonders freundlich für das Spiderprogramm gestalten. Um einen Spider-Besuch sichtbar zu machen, können Sie in den Logfiles oder den Logdateien aufrufen und mithilfe einer sogenannten Logfile-Analyse einsehen.