10000K + URLを確認してください

Question

さて、私はLinuxで100000k + urlをチェックしたいと思います。

これらのリンクについては、実際には私のアンドロイドのOTA [zip]です。

これらのリンクのうち、有効なリンク・レストは404エラーのみを与えます。

LinuxサーバーやWebサーバー[apache]では、すべてのリンクを短時間でチェックする方法を教えてください。 URLの

構造：

http://link.com/updateOTA_1.zip

http://link.com/updateOTA_2.zip

http://link.com/updateOTA_999999999.zip

私は

を試してみました何オーケー

私はこのスクリプトを作成しましたが、実際には遅いです。 http://pastebin.com/KVxnzttAは私も500件までスレッドを増やし、その後私のサーバーがクラッシュした：[

#!/bin/bash 
for a in {1487054155500..1487055000000} 
do 
    if [ $((a%50)) = 0 ] 
    then 
    curl -s -I http://link.com/updateOTA_$((a)).zip | head -n1 & 
    curl -s -I http://link.com/updateOTA_$((a+1)).zip | head -n1 & 
    curl -s -I http://link.com/updateOTA_$((a+2)).zip | head -n1 & 
    curl -s -I http://link.com/updateOTA_$((a+3)).zip | head -n1 & 
    curl -s -I http://link.com/updateOTA_$((a+4)).zip | head -n1 & 
... 
    curl -s -I http://link.com/updateOTA_$((a+49)).zip | head -n1 & 
    curl -s -I http://link.com/updateOTA_$((a+50)).zip | head -n1 
    wait 
    echo "$((a))" 
    fi 
done 

私はaria2と試みたが、aria2上で最も高いスレッドが16であるので、再び失敗しました。

いくつかのオンラインツールで試してみましたが、100UR制限があります。

Answer 1

実行中curl 100,000回以上は遅くなります。代わりに、curlを開始するオーバーヘッドを減らすために、URLのバッチをcurlの単一インスタンスに書き込んでください。

# This loop doesn't require pre-generating a list of a million integers 
for ((a=1487054155500; a<=1487055000000; a+=50)); do 
    for(k=0; k<50; k++)); do 
    printf 'url = %s\n' "http://link.com/updateOTA_$((a+k)).zip" 
    done | curl -I -K - -w 'result: %{http_code} %{url_effective}' | grep -F 'result:' > batch-$a.txt 
done 

-wオプションは、あなたがそれを望むならば、その結果を各URLを関連付ける出力を生成するために使用されます。

Answer 2

は、しかし、私は今では毎分7K URLをスキャンaria2c

を使用して解決策を見つけました。あなたがこれまでに試してみました何すべて

aria2c -i url -s16 -x16 --max-concurrent-downloads=1000