scrapyすべてのドメインを許可する

投稿はthis投稿が許可されたドメインの制限なしに任意のサイトをスクロールクロールすることを確認しました。scrapyすべてのドメインを許可する

allowed_domains = ["*"]

私はこれを行うにはscrapyフレームワークにハッキングよりも他のいくつかの方法があると思いますlike-

ように許可されているドメイン変数に正規表現を使用したとして、それを行うための任意のより良い方法はあり、。

2012-03-03 riship89

allowed_domainsをまったく設定しないでください。このscrapyファイル内get_host_regex（）関数で

ルック：

2012-03-03 04:29:11

ありがとうございました。しかし、私はallowed_domainsをすべてに設定したいです、それは可能ですか？ – riship89

allowed_domainsを設定しないと、すべてのドメインがデフォルトで許可されます。 –

あなたはscrapyでクモのミドルウェアで構築されたオフサイトmiddlwareをdiactivate必要があります。詳細については、 http://doc.scrapy.org/en/latest/topics/spider-middleware.html

2013-08-24 23:56:55

答えて