は302のリダイレクト後... bit.ly、fb.meなどの最終URLにあなたを得るでしょう使用する最も効率的な方法またはライブラリで何リンクhttp://bit.ly/2994js最終的なURLへのリンクを302にする最速の方法は何ですか?
を与えられましたか?これらの規模は1日に10万以上になると仮定し、サーバー間で規模を調整できます。
Java HttpClient? cURL付きPHP? 他?
は302のリダイレクト後... bit.ly、fb.meなどの最終URLにあなたを得るでしょう使用する最も効率的な方法またはライブラリで何リンクhttp://bit.ly/2994js最終的なURLへのリンクを302にする最速の方法は何ですか?
を与えられましたか?これらの規模は1日に10万以上になると仮定し、サーバー間で規模を調整できます。
Java HttpClient? cURL付きPHP? 他?
bit.lyの場合は、短縮URLからターゲットURLを取得するAPI呼び出し(expand)があります。他のURL短縮サービスも同様のAPI呼び出しを持つ可能性があります。そのような場合、リダイレクトを処理する必要はありません。
cURLが最も高速です。したがって、絶対的なスピードが必要な場合は、cURLで実行するbashスクリプトを作成してください。
しかし、1,000万件のリクエストを作成すると、すぐにIPアドレスが禁止される可能性があります。
私はcURLでも良い経験をしています – user489041
実装言語は、パフォーマンス面ではあまりうまくいかない可能性はほとんどありません。それはすべてネットワーク遅延です。カスタマイズされたネットワークスタックを使用すると可能性があります。助けてもらえますが、本当に必要がなければ気にしません。
302の応答がまだHTTP 1.1との接続を維持できるかどうかはわかりませんが、可能であれば、それは本当に恩恵になるかもしれません。 cURLをバッチモードにする方法がない限り、これはまたに対してに対して、cURL(これは新しいプロセスを開始し、新しい接続が必要です)を使用してURLごとに使用されます。 (調査の価値があるかもしれません)
重要なことは、どんなサーバーにも当てないようにすることです。あなたはDDoS攻撃を開始すると思いますが、同時に多くの要求をあなたはその限界内にすることができます。
1日当たり10,000,000件は1秒あたり約116件のリクエストにすぎないことに注意してください。十分なネットワーク接続があり、ターゲットサーバがあなたをブロックしていない場合、達成するのは難しいことではありません。
+1:それは完全に釘付けです。 :) – shamittomar
このメソッドは、一度に複数のURLを渡すこともサポートしています – dflems
また、このアプローチには制限があることに言及する価値があります(http://code.google.com/p/bitly-api/wiki/ApiDocumentation#Rate_Limiting) – dflems
私が働いているリンクのほとんどがbit.lyなので、ここで投票をしようと思います。これは素晴らしい発見でした!一度に15のURLを呼び出すことができて、いいですね。 – James