Scraping

Scraping, of 'webscraping', is het proces waarbij grote hoeveelheden informatie uit een website worden gehaald. Hierbij kunnen meerdere webpagina's of de hele website worden gedownload. De gedownloade inhoud kan alleen de tekst van de pagina's bevatten, de volledige HTML, of zowel de HTML als de afbeeldingen van elke pagina.

Er zijn veel verschillende methoden om een website te scrapen. De eenvoudigste methode is het handmatig downloaden van webpagina's. Dit kan door de inhoud van elke pagina te kopiëren en in een teksteditor te plakken, of door de opdracht File → Save As… van je browser te gebruiken om lokale kopieën van afzonderlijke pagina's op te slaan. Scraping kan ook automatisch worden uitgevoerd met software voor webscraping. Dit is de meest gebruikelijke manier om een groot aantal pagina's van een website te downloaden. In sommige gevallen kunnen bots worden gebruikt om een website regelmatig te scrapen.

Webscraping kan voor verschillende doeleinden worden uitgevoerd. Je kunt bijvoorbeeld een gedeelte van een website archiveren voor offline gebruik. Door meerdere pagina's naar je computer te downloaden, kun je ze later lezen zonder met het internet verbonden te zijn. Webontwikkelaars scrapen hun eigen websites soms om te testen op verbroken links en afbeeldingen op elke pagina. Scraping kan ook voor onwettige doeleinden worden gebruikt, zoals het kopiëren van een website en het opnieuw publiceren ervan onder een andere naam. Dit type scraping wordt beschouwd als een schending van het auteursrecht en kan leiden tot juridische vervolging.

NOTE: Hoewel het scrapen van een website met als doel informatie opnieuw te publiceren altijd verkeerd is, kan het scrapen van een website voor andere doeleinden nog steeds in strijd zijn met de gebruiksvoorwaarden van de website. Lees daarom altijd de gebruiksvoorwaarden van een website voordat je inhoud van de website downloadt.