Scraping

Scraping oder „Web Scraping“ ist der Vorgang, große Mengen an Informationen von einer Website zu extrahieren. Dies kann das Herunterladen mehrerer Webseiten oder der gesamten Website umfassen. Die heruntergeladenen Inhalte können nur den Text der Seiten, das vollständige HTML oder sowohl das HTML als auch die Bilder jeder Seite enthalten.

Es gibt viele verschiedene Methoden, eine Website zu scrapen. Die einfachste besteht darin, Webseiten manuell herunterzuladen. Dazu kann man entweder den Inhalt jeder Seite kopieren und in einen Texteditor einfügen oder den Befehl Datei → Speichern unter… des Browsers verwenden, um lokale Kopien einzelner Seiten zu speichern. Scraping kann auch automatisch mithilfe von Web-Scraping-Software durchgeführt werden. Dies ist die üblichste Methode, eine große Anzahl von Seiten einer Website herunterzuladen. In einigen Fällen können Bots verwendet werden, um eine Website regelmäßig zu scrapen.

Web Scraping kann für verschiedene Zwecke durchgeführt werden. Beispielsweise möchten Sie möglicherweise einen Bereich einer Website für den Offline-Zugriff archivieren. Indem Sie mehrere Seiten auf Ihren Computer herunterladen, können Sie sie zu einem späteren Zeitpunkt lesen, ohne mit dem Internet verbunden zu sein. Webentwickler scrapen manchmal ihre eigenen Websites, wenn sie jede Seite auf fehlerhafte Links und Bilder testen. Scraping kann auch für rechtswidrige Zwecke eingesetzt werden, etwa zum Kopieren einer Website und erneuten Veröffentlichen unter einem anderen Namen. Diese Art von Scraping gilt als Urheberrechtsverletzung und kann rechtliche Konsequenzen haben.

NOTE: Das Scrapen einer Website zum Zweck der erneuten Veröffentlichung von Informationen ist zwar immer falsch, aber Scraping für andere Zwecke kann dennoch gegen die Nutzungsbedingungen der Website verstoßen. Daher sollten Sie vor dem Herunterladen von Inhalten einer Website immer deren Nutzungsbedingungen lesen.