Spider

Uno spider (anche un crawler o un robot) è un programma automatizzato che i motori di ricerca usano per trovare e indicizzare le pagine web. «Esplora» il Web visitando una pagina, analizzandone il contenuto e seguendo i collegamenti che contiene. Ogni nuova pagina scoperta dallo spider viene aggiunta all'indice del motore di ricerca, contribuendo ad ampliare e aggiornare il Web consultabile tramite ricerca.

Quando uno spider visita una pagina web, in genere trova collegamenti ad altre pagine. In un sito web tipico, la maggior parte dei collegamenti porta a pagine dello stesso sito (collegamenti interni), mentre un numero minore porta a pagine di altri siti web (collegamenti esterni). Seguire questi collegamenti consente allo spider di passare da un sito all'altro e continuare a creare l'indice. Poiché le strutture dei collegamenti sono interconnesse, gli spider tornano regolarmente a pagine già visitate. Esplorare nuovamente le pagine aiuta i motori di ricerca a rilevare nuovi contenuti, tenere traccia degli aggiornamenti delle pagine e misurare quante altre pagine contengono un collegamento a ciascuna pagina.

NOTE: La parola «spider» può essere usata anche come verbo, ad esempio: «Ieri lo spider del motore di ricerca ha esplorato il mio sito».[/n]