Spider

Een spider (ook een crawler of robot) is een geautomatiseerd programma dat zoekmachines gebruiken om webpagina's te vinden en te indexeren. Het programma "crawlt" het web door een pagina te bezoeken, de inhoud ervan te analyseren en de links erin te volgen. Elke nieuwe pagina die de spider ontdekt, wordt toegevoegd aan de index van de zoekmachine. Zo wordt het doorzoekbare web uitgebreid en bijgewerkt.

Wanneer een spider een webpagina bezoekt, komt het programma meestal links naar andere pagina's tegen. Op een typische website verwijst het merendeel van de links naar pagina's op dezelfde site (interne links), terwijl een kleiner aantal links verwijst naar pagina's op andere websites (externe links). Door deze links te volgen kan de spider tussen sites springen en de index verder opbouwen. Omdat linkstructuren met elkaar verbonden zijn, keren spiders regelmatig terug naar pagina's die ze al hebben bezocht. Door pagina's opnieuw te crawlen kunnen zoekmachines nieuwe inhoud detecteren, updates van pagina's bijhouden en meten hoeveel andere pagina's naar elke pagina linken.

NOTE: Het woord "spider" kan ook als werkwoord worden gebruikt, bijvoorbeeld: "De spider van de zoekmachine heeft mijn site gisteren gecrawld."