スクレイピング
スクレイピング、つまり「Webスクレイピング」とは、Webサイトから大量の情報を抽出する処理です。これには、複数のWebページまたはサイト全体をダウンロードする作業が含まれる場合があります。ダウンロードした内容には、ページのテキストだけでなく、完全なHTML、または各ページのHTMLと画像の両方が含まれることがあります。
Webサイトをスクレイピングする方法は、数多くあります。最も基本的な方法は、Webページを手動でダウンロードすることです。これは、各ページの内容をコピーしてテキストエディターに貼り付けるか、ブラウザーのコマンドを使って、個々のページのローカルコピーを保存することで実行できます。Webスクレイピングソフトウェアを使って自動的に行うこともできます。これは、Webサイトから大量のページをダウンロードする最も一般的な方法です。場合によっては、ボットを使ってWebサイトを定期的にスクレイピングすることもできます。
Webスクレイピングは、さまざまな目的で行われます。たとえば、オフラインで利用できるように、Webサイトの一部を保存したい場合があります。複数のページをコンピューターにダウンロードしておけば、インターネットに接続していないときでも、後で読むことができます。Web開発者は、各ページ内の壊れたリンクや画像をテストするために、自分のWebサイトをスクレイピングすることがあります。Webサイトをコピーして別の名前で再公開するなど、違法な目的でスクレイピングが行われることもあります。このようなスクレイピングは著作権侵害と見なされ、法的な訴追につながる可能性があります。
NOTE:Webサイトの情報を再公開する目的でスクレイピングすることは常に間違いですが、それ以外の目的でサイトをスクレイピングする場合でも、そのWebサイトの利用規約に違反する可能性があります。そのため、サイトからコンテンツをダウンロードする前に、必ずWebサイトの利用規約を読む必要があります。[/n]
知識をテストする