特定のコンテンツを見つけるためにスパイダー（webcrawler）を実行する

Question

まず、この質問のための適切な場所であるかどうかわかりません。そうでない場合は申し訳ありません:)

ウェブを特定の埋め込みファイルを見つけるためにクモを書くことを考えています。

しかし、私は、ISPがスパイダーを動かすことが許可されているかどうかは、速いペースで多くの要求をするだろうと思っていました。

リクエストを遅らせる必要がありますか？

私のISPの契約書を読みましたが、クロールに関する具体的な情報は見つかりませんでした。

Answer 1

wgetをご覧ください。役に立つアイデアがあります。クロールするサイトのROBOTS.txtに注意する必要があります。また、サービス拒否条件を作成しないように、リクエスト間に遅延を残す必要があります。

Answer 2

あなたのクロールを禁止することはできません。通常のユーザー操作とは異なります。たくさんの写真があるページを開くと、ブラウザは一度に多くのリクエストを行います。

転送制限があります。ダウンロードしたデータの量だけをメモしてください。

あなたが考慮する必要があることは、多くのページをクロールすることはDoS攻撃と見なされるか、ページオペレータによって禁止されることです。彼らのルールに従ってください。 1台のコンピュータから毎日N回以上の要求が行われないようにする必要がある場合は、それを尊重してください。サイトへのアクセスをブロックしないようにいくつかの遅延を行います。