Robot indeksujący

Robot indeksujący (nazywany także crawlerem lub robotem) to automatyczny program używany przez wyszukiwarki do znajdowania i indeksowania stron internetowych. „Przemierza” sieć WWW, odwiedzając stronę, analizując jej zawartość i korzystając z zawartych na niej łączy. Każda nowa strona wykryta przez robota jest dodawana do indeksu wyszukiwarki, co pomaga rozszerzać i aktualizować przeszukiwalną część sieci.

Gdy robot odwiedza stronę internetową, zazwyczaj znajduje na niej łącza do innych stron. W typowej witrynie internetowej większość łączy prowadzi do stron w tej samej witrynie (łącza wewnętrzne), a mniejsza liczba łączy prowadzi do stron w innych witrynach (łącza zewnętrzne). Korzystanie z tych łączy pozwala robotowi przechodzić między witrynami i kontynuować tworzenie indeksu. Ponieważ struktury łączy są ze sobą połączone, roboty regularnie wracają na odwiedzone już strony. Ponowne indeksowanie stron pomaga wyszukiwarkom wykrywać nową zawartość, śledzić aktualizacje stron i określać, ile innych stron prowadzi do każdej z nich.

NOTE: Słowo „robot” może być także używane jako czasownik, na przykład: „Wczoraj wyszukiwarka zindeksowała moją witrynę”.