1
私はデータを掻き出して抽出する必要がある長いURLのストリームを持っています。1つのページをスクラップで掻き集める
はそれがそれらを処理しますので、私はクモにURLを送ることができる方法はあります私はツイスト原子炉を設定していると私はクモ
runner = CrawlerRunner(scrapy_settings)
d = runner.crawl(spider_cls)
を作成すると言いますか？
A
答えて
1
crawl() methodは、追加の引数を取ることができます：
d = runner.crawl(spider_cls, start_urls=["url"])
関連する問題
- 1. ASP.NETベースのウェブサイトのコンテンツをスクラップで掻き集める
- 2. 多くの静的html.gzファイルをスクラップで掻き集める
- 3. 開始URLにある1つのURLの全ページを掻き集めて
- 4. ノードを掻き集める
- 5. Pythonを掻き集める
- 6. VIEWSTATEを掻き集める
- 7. Netflixを掻き集める
- 8. Web Pythonで特定のページを掻き集める
- 9. すべてのGroupon取引を掻き集めるための1つのノコギリレーキタスク？
- 10. Javaのページを掻き集めるのに役立ついくつか
- 11. スパイダーで掻き集めたページ数を調べるには
- 12. ページ番号をpythonで掻き集める方法BeautifulSoup
- 13. Google AnalyticsをScrapで掻き集める
- 14. Pythonでテーブルを掻き集めるWeb
- 15. jsonをPythonリクエストで掻き集める
- 16. WebをPython 3で掻き集める
- 17. beautifulsoupでウェブを掻き集める
- 18. Phantomjsでサイトを掻き集める
- 19. 複数のページとリンクからデータを掻き集める
- 20. Beautifulsoup掻き集め本カタログ
- 21. jsonのウェブページを掻き集める
- 22. シングルページのウェブサイトを掻き集める
- 23. ウィキペディアのテーブルを掻き集めるr
- 24. クラス内のクラスを掻き集める
- 25. 画面のデータベースを掻き集める
- 26. python3＆beautifulsoup 4で掻き集めるウェブサイト
- 27. パンダスWeb複数ページを掻き集める
- 28. Wikipediaを掻き集めて解析するページ
- 29. htmlテーブルをデータフレームに掻き集める
- 30. アマゾンウェブを掻き集めるR
はクモを再利用する方法はありますか？新しいURLを取得したときに再び作成されないようにするには？ – AlexV
@AlexVこれは興味深い質問です！必要なすべての詳細を提供する別の質問を作成してください。ありがとうございました！ – alecxe