Robot d’indexation

Un robot d’indexation (également appelé explorateur ou robot) est un programme automatisé que les moteurs de recherche utilisent pour trouver et indexer des pages web. Il « explore » le Web en visitant une page, en analysant son contenu et en suivant les liens qu’elle contient. Chaque nouvelle page découverte par le robot est ajoutée à l’index du moteur de recherche, ce qui contribue à étendre et à mettre à jour le Web consultable.

Lorsqu’un robot visite une page web, il rencontre généralement des liens vers d’autres pages. Sur un site web standard, la majorité des liens renvoient vers des pages du même site (liens internes), tandis qu’un nombre plus réduit de liens renvoie vers des pages d’autres sites web (liens externes). Le fait de suivre ces liens permet au robot de passer d’un site à l’autre et de continuer à créer l’index. Comme les structures de liens sont interconnectées, les robots reviennent régulièrement sur des pages qu’ils ont déjà visitées. L’exploration répétée des pages aide les moteurs de recherche à détecter les nouveaux contenus, à suivre les mises à jour des pages et à mesurer le nombre d’autres pages qui renvoient vers chaque page.

NOTE: Le mot « robot » peut également être utilisé comme verbe, comme dans « Le robot du moteur de recherche a exploré mon site hier. »