scrapyを使用してプロキシ（2レイヤー）のプロキシを行う方法は？

Question

scrapyを使用してプロキシ（2レイヤー）をプロキシーする方法は？ここではhttp/httpsプロキシを想定しています。

たとえば、ローカルマシン - > proxy1 - > proxy2 - >クロールするサイト。 これをスクレイピーで行う方法は？

なぜ私はこれをしたいですか？

目的は私のIPアドレスを隠すことです。 proxy1は非常に信頼性が高いと思うが、クロールしたいサイトでブロックされている。 proxy2は信頼できませんが、クロールしたいサイトにアクセスできます。

私は自分のローカルマシン - > proxy2 - >私がクロールしたいサイトを行うことができます。しかし、proxy2は信頼できないので、私はクロールしたいサイトに私のIPアドレスを公開することができます。だから私はそれを保護するproxy2の前に別のレイヤーを追加したい。

Answer 1

あなたのIPアドレスを隠すために、高匿名プロキシを使用することができます。 高匿名プロキシはあなたのIPをマスクし、それ自身のIPで置き換えます。しかし、あなたが行くサーバはあなたの本当のIPをまだ検出できるかもしれません。これはありそうもありませんが、基礎となるIPアドレスを検出するコードを追加したサーバーがIPを検出する可能性があります。