크롤러

스파이더(또한 크롤러 또는 로봇이라고도 함)는 검색 엔진이 웹페이지를 찾고 색인하는 데 사용하는 자동화된 프로그램입니다. 스파이더는 페이지를 방문하고 콘텐츠를 분석한 다음 페이지에 포함된 링크를 따라가며 웹을 "크롤링"합니다. 스파이더가 발견하는 새로운 각 페이지는 검색 엔진의 색인에 추가되어 검색 가능한 웹을 확장하고 최신 상태로 유지하는 데 도움이 됩니다.

스파이더가 웹페이지를 방문하면 일반적으로 다른 페이지로 연결되는 링크를 만납니다. 일반적인 웹사이트에서는 대부분의 링크가 같은 사이트의 페이지를 가리키고(내부 링크), 더 적은 수의 링크가 다른 웹사이트의 페이지를 가리킵니다(외부 링크). 이러한 링크를 따라가면 스파이더는 사이트 사이를 이동하며 색인을 계속 구축할 수 있습니다. 링크 구조는 서로 연결되어 있으므로 스파이더는 이미 방문한 페이지로 정기적으로 돌아갑니다. 페이지를 다시 크롤링하면 검색 엔진이 새로운 콘텐츠를 감지하고, 페이지 업데이트를 추적하며, 각 페이지로 연결되는 다른 페이지가 몇 개인지 측정할 수 있습니다.

NOTE: "스파이더"라는 단어는 동사로도 사용할 수 있습니다. 예를 들어 "어제 검색 엔진이 내 사이트를 스파이더링했다"와 같이 말할 수 있습니다.