Robô de mecanismo de busca

Um robô de mecanismo de busca (também chamado de rastreador ou robô) é um programa automatizado que os mecanismos de busca usam para encontrar e indexar páginas da web. Ele "rastreia" a web visitando uma página, analisando seu conteúdo e seguindo os links que ela contém. Cada nova página descoberta pelo robô é adicionada ao índice do mecanismo de busca, ajudando a expandir e atualizar a web pesquisável.

Quando um robô visita uma página da web, normalmente encontra links para outras páginas. Em um site típico, a maioria dos links aponta para páginas no mesmo site (links internos), enquanto uma quantidade menor aponta para páginas em outros sites (links externos). Seguir esses links permite que o robô passe de um site para outro e continue criando o índice. Como as estruturas de links são interconectadas, os robôs retornam regularmente a páginas que já visitaram. Rastrear novamente as páginas ajuda os mecanismos de busca a detectar novos conteúdos, acompanhar atualizações das páginas e medir quantas outras páginas contêm links para cada página.

NOTE: A palavra "spider" também pode ser usada como verbo, como em "O robô do mecanismo de busca rastreou meu site ontem."