Bash/Shell：時間の節約

Question

私はPythonスクリプトdomaincheck.pyとjsonファイルdomain.jsonを持っています。私はdomainnameの参照を行うことができ、私には照会されたドメインのnameが与えられます。

#Usage 1 : python domaincheck.py cnn.com 
#Usage 2 : python domaincheck.py bbc.com  

#Result 1 : CNN 
#Result 2: BBC 

は今、私は、入力ファイルset_3.txtを持っているし、ドメインのおよそ65000行です。私はバッチ処理に小さなシェルロジックを書きました。

$for i in $(cat set_3.txt); do python domaincheck.py $i;done 

は私が6時間前のようなスクリプトを実行し、今までそれだけで約2万のドメインを処理しました。

これを効率的に実行し、Bash/shellを使用して時間消費を削減する方法を教えてください。処理の時間を最小限に抑えるために使用できる並列実行メソッドはbashにありますか？

Answer 1

、J + 0は、NUMを意味します。 numに等しい並列ジョブの数。

-k並列にマルチコアを使用して行うことができる入力

GNUの並列の順と同じ出力のシーケンスを保持コア。しかし、Pythonのプロセスは毎回実行されます。

プロセス作成オーバーヘッドの非効率性があります。

とにかくOSはすべてのコアを使用し、最も単純なので、シングルプロセスより高速です。

そして、並列化については、別の簡単な方法があり、http://www.parallelpython.com/

Answer 2

出力を表示するか、出力にリダイレクトしますか？

いずれかの方法で、（リダイレクト用）これを試してみてください。

for i in $(cat set_3.txt) 
do 
echo "$i $(python domaincheck.py $i)" >> temp.csv & 
sleep 1 
done 

これを行うには良い方法があるかもしれません。十分なRAMとCPUがあれば、同時のPythonプロセス（あなたの場合は65000）を開始することもできます。コアのGNU parallel

$cat set_3.txt | parallel -j+0 -k "python domaincheck.py {}" 

-j番号を使用して

Answer 3

ハン権利です。 Pythonコードを使用して入力ファイルを解析し、複数のスレッド/プロセスを起動してタスクを実行します。