スクラブで広範囲にクロールする

Question

私はスパイラルで広範なクローラを構築しようとしていますが、同時に多数のスパイダーを同時に実行できますが、同時に同じドメインをクロールすることはできません。

Answer 1

複数のスパイダーを同じドメインで実行する目的は何ですか？ クロールプロセスを高速化したい、またはスパイダーが異なるロジックを持っていますか？

1. まず、docsをご覧ください。 settings.pyファイルでCONCURRENT_REQUESTS = 100を増やす必要があります。 1つのスパイダーで十分です。

2. スパイダーのロジックが異なる場合は、スパイダーごとに個別のクラスを作成してください。

Answer 2

私はどこから来ているのか分かります。単一のWebサイトごとに制限を遵守しながら、多数のクロールを並行して実行できるように、ドメインごとに分散調整が必要です。これを行うには、クモの間で共有される何か（データベース？）と会話するミドルウェアを開発する必要があります。

このようなシステムの1つは​​です。

ご覧のとおり、すべてのドメインに「ハード」な仕方で細分化された分散制御をサポートしています。

これはまた、あなたが探しているものと同様のデュープ除去機能を持っています（here参照）。主な相違点は、Itemではなくデリートされていませんが、これはさらに優れているはずです。

Answer 3

また、必要なものが分散型クローラの場合は、代わりにNutchまたはStormCrawlerを使用できます。どちらも分散クラスタ上で動作するように設計されています。前者はApache Hadoopと後者のApache Stormを使用しています。