複数のスパイダーをscrapyで管理する

Question

私はアグリゲーターを作成しています。私は最初のツールセットとしてscrapyから始めました。 最初に私はいくつかのスパイダーしか持っていませんでしたが、プロジェクトが成長するにつれて、私は数多くのサイトを掻き集めるので、何百、何千もの異なるスパイダーがあるようです。 これらのスパイダーを管理するには、一度クロールする必要があるウェブサイトと、定期的にクロールする必要があるウェブサイトがあります。 非常に多くのサイトを扱う際には、まだ治療法は優れていますか、他の技術をお勧めしますか？

Answer 1

scrapelyというプロジェクトは、スクラピーの作成者からチェックアウトすることができます。しかし、私が知る限り、javascriptを含むサイトの解析には適していません（正確には、解析されたデータがjavascriptによって生成されない場合）。