2017-04-10 26 views
0

API/WebサーバーにHTTP要求を匿名で送信できるかどうかは疑問です。いくつかのグーグルリングの直後。私はそれが可能な場合は、任意の答えを見つけることができません。匿名でサーバーにhttp要求を送信する

私は自分のサーバーからデータをスクラップするコードを書いていますが、データのAPI監視機能があると思います。

今はAxiosでノードを使用していますが、私が使用しているスクリプトは1分あたり〜10k件の要求をほぼフェッチしています。サーバーが爆発する可能性があるためです。

私はグーグルを試みましたが、私の問題に対する答えは見つかりませんでした。

+1

私は自分のキャリアの中で2回以上、コントロール外のスクレーパーを受け取りましたので、私が提供するのはアドバイスです。ウェブサイトのオーナーに連絡することもできます彼らのデータの使用に関する何らかの合意に至るでしょうか?多くの国で、ウェブサイトを掻き集めることは、灰色の法的領域であり、時には絶対に禁じられています(特に、それが停止、つまり金銭的な損害を引き起こした場合)。 – robertklep

+0

「毎分10kリクエスト」はい、それは悪いです。本当に悪いです。 – Veve

+1

おそらく私はあなたのリンクをクリックするたびに自分のウェブサイトのように間隔を作る必要があります。 ありがとう! – Hitori

答えて

2

HTTPプロトコルは、基礎となるトランスポートプロトコルとしてTCPを使用して匿名で

サーバにHTTPリクエストを送信します。 TCPプロトコルは、3方向ハンドシェイクを使用して接続を確立します。理論的には、伝統的なメールの封筒に送信者として誰かのアドレスを書くことができるように、送信元アドレスや他人のアドレスなしでパケットを送信することができます。

3ウェイハンドシェイクは次のように動作します。最初のSYNパケットを送信した後、サーバはSYN-ACKパケットを誰に送信するのですか?あなたのアドレスが最初のSYNパケットにない場合、サーバは2番目のパケットを送信できません。また、SYN-ACKパケットを取得できない場合でも、接続を確立することすらできません。これは、接続がないので、TCP接続でHTTPリクエストを送信することを考える前にすべてです。

答えは:いいえ。匿名でTCP接続を確立できないため、HTTP要求を匿名で送信することはできません。

もちろん、プロキシ、VPN、トンネル、NATなどを使用して、リクエストがあなたのものではないように見えるようにすることもできますが、プロキシがあなたに応答を渡すためにはあなたのアドレスを知る必要があるあなたは完全に匿名ではなく、誰かがあなたの人物を知っているだけで、誰かが何かトラブルを起こすとすぐにあなたの身元を明らかにすることを躊躇しないでしょう。

+1

ありがとうございます! おそらく私は彼らのウェブサイトをシミュレートするために彼らのサーバーへのすべてのHTTPリクエストを間隔を取る必要があります。 cURL、javascriptを使用してhttpリクエストを送信すると、私は不思議に思っていました。 PHPまたは何か。サーバー側またはクライアント側。 これらのアドレスはどのようなアドレスですか? – Hitori

関連する問題