0
A
答えて
1
あなたが参照しているコンフィグはmidleware sourceで述べているように見える:
class AjaxCrawlMiddleware(object):
"""
Handle 'AJAX crawlable' pages marked as crawlable via meta tag.
For more info see https://developers.google.com/webmasters/ajax-crawling/docs/getting-started.
"""
def __init__(self, settings):
if not settings.getbool('AJAXCRAWL_ENABLED'):
raise NotConfigured
だからあなたの質問に答えるために、どのようなそれがないと、それはAJAXを使用してthe google specsを実装するウェブサイトのサポートをクロール可能にするということです。有効にする必要がある場合もあります。downloader middleware
関連する問題
- 1. Scrapy CrawlSpiderはScrapy 1.4.0使用
- 2. Scrapy:いscrapyでSQLAlchemyの使用:scrapyでSQLAlchemyのを使用して
- 3. scrapy-splashでプロキシを使用する
- 4. 回転プロキシでscrapy-splashを使用するには?
- 5. Selenium + Scrapyの使用
- 6. linkedinにScrapy shellを使用するには?
- 7. scrapy-cluster:socket.error:[Errno 98]アドレスはすでに使用中です
- 8. instagramのユーザログインにscrapyを使用
- 9. SQLAlchemyを使用してScrapy用にpg_trgmインデックスを作成するには?
- 10. Scrapyでproxymeshを設定するには?
- 11. Scrapy:なぜパイプラインを使用するのですか?
- 12. Scrapyを使用してWebサイトを段階的にクロールする
- 13. Scrapyのプロジェクトで複数のスパイダーを使用する
- 14. ScrapyのLinkExtractorで "allow"キーワードを使用する
- 15. scrapy-jsonrpcとScrapyを併用する方法
- 16. Pythonのscrapyパッケージを使用したデータクロール
- 17. Scrapyを使用したページのアーカイブ
- 18. Scrapy-Splashを使用したプロキシサーバー
- 19. Djangoクラス内でScrapy関数を使用できますか
- 20. scrapy - XMLFeedSpiderを使用してxmlからURLを抽出するには?
- 21. scrapyを使用して職務説明を取得するには?
- 22. リンク項目は、私は住宅の広告をこすりscrapyを使用してscrapy
- 23. Scrapy Tor Privoxy&UserAgentを使用して匿名でスクラップする方法は? (Windows 10)
- 24. scrapy xpath使い方は?
- 25. Scrapyを使ってイメージをダウンロードするには?
- 26. Scrapy FormRequest.from_response()メソッドを使用してフォームを送信する方法
- 27. Scrapyを使用してWebページのURLをクロールする
- 28. scrapy mongodbを使用して情報を保存する
- 29. ScrapyとSeleniumを使用したPython JavaScriptを取得する
- 30. データを抽出するScrapyを使用したJSON応答