Scrapowanie

Scrapowanie, czyli „web scraping”, to proces wyodrębniania dużej ilości informacji z witryny internetowej. Może obejmować pobieranie kilku stron internetowych lub całej witryny. Pobrana zawartość może zawierać sam tekst ze stron, pełny kod HTML albo zarówno kod HTML, jak i obrazy z każdej strony.

Istnieje wiele różnych metod scrapowania witryny internetowej. Najbardziej podstawową jest ręczne pobieranie stron internetowych. Można to zrobić, kopiując i wklejając zawartość każdej strony do edytora tekstu albo używając w przeglądarce polecenia Plik → Zapisz jako…, aby zapisać lokalne kopie poszczególnych stron. Scrapowanie można również wykonywać automatycznie za pomocą oprogramowania do scrapowania stron internetowych. Jest to najczęstszy sposób pobierania dużej liczby stron z witryny internetowej. W niektórych przypadkach do scrapowania witryny można używać botów w regularnych odstępach.

Scrapowanie stron internetowych może być wykonywane w kilku różnych celach. Na przykład można chcieć zarchiwizować część witryny internetowej, aby uzyskać do niej dostęp offline. Pobierając kilka stron na komputer, można przeczytać je później bez połączenia z Internetem. Deweloperzy stron internetowych czasami scrapują własne witryny, sprawdzając, czy na poszczególnych stronach nie ma niedziałających łączy i obrazów. Scrapowanie może być również wykonywane w niezgodnych z prawem celach, takich jak kopiowanie witryny i publikowanie jej ponownie pod inną nazwą. Taki rodzaj scrapowania jest uznawany za naruszenie praw autorskich i może prowadzić do postępowania sądowego.

NOTE: Chociaż scrapowanie witryny internetowej w celu ponownego opublikowania informacji jest zawsze niewłaściwe, scrapowanie witryny w innych celach może nadal naruszać jej warunki użytkowania. Dlatego przed pobraniem zawartości witryny należy zawsze zapoznać się z jej warunkami użytkowania.