1
response.xpathを使用するたびにScrapyがウェブサイトにpingを実行しますか?または、要求ごとにメモリーに1つの応答値が保管され、それ以降のすべてのxpath照会はローカルで実行されますか?Scrip xpathクエリの最適化
response.xpathを使用するたびにScrapyがウェブサイトにpingを実行しますか?または、要求ごとにメモリーに1つの応答値が保管され、それ以降のすべてのxpath照会はローカルで実行されますか?Scrip xpathクエリの最適化
レスポンスはメモリに保存されます。つまり、あなたがresponse.xpathを呼び出すたびに、それはウェブサイトの問題ではなくメモリにヒットします。
ありがとうございます!私は、ローカル変数に応答を割り当ててxpathクエリを実行しても、サーバの観点かローカルメモリのどちらからでもスクレーパの効率は実際には上がらないことを意味します。 –
はい。注意:ローカル変数に代入することなく 'response.xpath'を直接呼び出すことができます –
ありがとうAndres!これは正確に私の質問に答える。 –