linkedinにScrapy shellを使用するには？

-1

私はScrapyを使用している初心者で、linkedinで使用するのに問題があります。例えばlinkedinにScrapy shellを使用するには？

：

scrapyシェル "https://www.linkedin.com/jobs/search?keywords=Communications&location=Los%20Angeles%2C%20CA&locationId=PLACES.us.7-1-0-19-57&trk=jobs_jserp_search_button_execute&searchOrigin=JSERP&applyLogin="

応答はNoneです。有効なオブジェクトを取得するにはどうすればよいですか？あなただけのtry例を作っている場合

出典

2017-05-22 TastyFeets

ジャストヒント：[LinkedInの - きさげソフトウェアの禁止]（https://www.linkedin.com/help/linkedin/answer/56347/scraping-software？lang = en） –

私はLinkedInのメンバーではありません。 – TastyFeets

あなたのリクエストがフィルタされている可能性があります。あなたのボットはいくつかの方法で検出できます。このフィルタを克服しなければならない代替手段は、いくつかのWebクローラ倫理を破ります。 – Kruser

、次の操作を行います。

import requests 
from scrapy.http import TextResponse 

r = requests.get('https://www.linkedin.com/jobs/search?keywords=Communications&location=Los%20Angeles%2C%20CA&locationId=PLACES.us.7-1-0-19-57&trk=jobs_jserp_search_button_execute&searchOrigin=JSERP&applyLogin=') 

response = TextResponse(r.url, body=r.text, encoding='utf-8')

出典

2017-05-22 17:28:36

linkedinにScrapy shellを使用するには？

答えて

関連する問題