クローラー

スパイダー（クローラーまたはロボットとも呼ばれます）は、検索エンジンがWebページを見つけてインデックスに登録するために使用する自動化プログラムです。スパイダーは、ページにアクセスしてその内容を分析し、ページに含まれるリンクをたどることでWebを「クロール」します。スパイダーが新しいページを発見するたびに、そのページは検索エンジンのインデックスに追加され、検索可能なWebの範囲を広げたり、更新したりするのに役立ちます。

スパイダーがWebページにアクセスすると、通常はほかのページへのリンクに出会います。一般的なWebサイトでは、リンクの大半が同じサイト内のページを指し（内部リンク）、少数のリンクがほかのWebサイトのページを指します（外部リンク）。これらのリンクをたどることで、スパイダーはサイト間を移動し、インデックスの作成を続けることができます。リンク構造は相互に結び付いているため、スパイダーはすでにアクセスしたページに定期的に戻ります。ページを再クロールすることで、検索エンジンは新しいコンテンツを検出し、ページの更新を追跡し、各ページにリンクしているほかのページの数を測定できます。

NOTE:「スパイダー」という言葉は動詞としても使えます。たとえば、「検索エンジンが昨日、私のサイトをスパイダーした」のように使います。