Crawler

Ein Crawler (auch ein Spider oder Roboter) ist ein automatisiertes Programm, das Suchmaschinen verwenden, um Webseiten zu finden und zu indexieren. Er „durchsucht“ das Web, indem er eine Seite besucht, deren Inhalte analysiert und den darin enthaltenen Links folgt. Jede neue Seite, die der Crawler entdeckt, wird dem Index der Suchmaschine hinzugefügt und trägt dazu bei, das durchsuchbare Web zu erweitern und zu aktualisieren.

Wenn ein Crawler eine Webseite besucht, findet er normalerweise Links zu anderen Seiten. Auf einer typischen Website verweisen die meisten Links auf Seiten derselben Website (interne Links), während eine kleinere Anzahl von Links auf Seiten anderer Websites verweist (externe Links). Das Folgen dieser Links ermöglicht es dem Crawler, zwischen Websites zu wechseln und den Index weiter aufzubauen. Da Linkstrukturen miteinander verbunden sind, kehren Crawler regelmäßig zu Seiten zurück, die sie bereits besucht haben. Das erneute Durchsuchen von Seiten hilft Suchmaschinen, neue Inhalte zu erkennen, Seitenaktualisierungen zu verfolgen und zu messen, wie viele andere Seiten auf die jeweilige Seite verlinken.

NOTE: Das Wort „Spider“ kann auch als Verb verwendet werden, etwa in „Der Suchmaschinen-Spider hat meine Website gestern durchsucht.“