Bashの並行ジョブがスタックする

Question

hereのように、並列ジョブをbashで実行する方法を実装しました。

私は約13000行のファイルをループしています。私はちょうどのような、それぞれのラインをテストし、印刷しています：

#!/bin/bash 
max_bg_procs(){ 
    if [[ $# -eq 0 ]] ; then 
     echo "Usage: max_bg_procs NUM_PROCS. Will wait until the number of background (&)" 
     echo "   bash processes (as determined by 'jobs -pr') falls below NUM_PROCS" 
     return 
    fi 
    local max_number=$((0 + ${1:-0})) 
    while true; do 
     local current_number=$(jobs -pr | wc -l) 
     if [[ $current_number -lt $max_number ]]; then 
       echo "success in if" 
       break 
     fi 
     echo "has to wait" 
     sleep 4 
    done 
} 

download_data(){ 
    echo "link #" $2 "["$1"]" 
} 

mapfile -t myArray < $1 

i=1 
for url in "${myArray[@]}" 
do 
    max_bg_procs 6 
    download_data $url $i & 
    ((i++)) 
done 
echo "finito!" 

私はまた、thisやthisなどの他の解決策を試してみたが、私の問題は、永続的である：

「ランダム」は、与えられたステップ通常は2000番目と5000番目の反復の間に、単に詰まってしまいます。私はコードの中にさまざまなものを入れて、どこに行き詰まっているのかを確認しましたが、最後に印刷するのは$url $iです。

私は単純なテストを行って並列性を取り除き、ファイルの内容をループさせました。すべてうまく行き、最後までループしました。

だから、私は並列性にいくつかの制限がないと思うし、誰かがそれを理解するのを手伝ってくれるのだろうかと思う。

多くの感謝！

Answer 1

ここでは、最大6つのパラレルbashプロセス（download_data）を呼び出しています。これらのプロセスのそれぞれは、呼び出しごとに最大16個のURLが渡されます。自分のチューニングごとに調整します。

bash（エクスポートされた関数のサポート）とGNU xargsの両方が必要であることに注意してください。 GNUを使用

#!/usr/bin/env bash 
#    ^^^^- not /bin/sh 

download_data() { 
    echo "link #$2 [$1]" # TODO: replace this with a job that actually takes some time 
} 
export -f download_data 
<input.txt xargs -d $'\n' -P 6 -n 16 -- bash -c 'for arg; do download_data "$arg"; done' _ 

Answer 2

この

cat input.txt | parallel echo link '\#{#} [{}]' 

{＃}はジョブ番号
は{}引数

それはCPUごとにプロセスを起動します= =ように見える平行です。あなたが機能を実行することを好む場合

cat input.txt | parallel -j6 echo link '\#{#} [{}]' 

：あなたの代わりに、並列使用-jで6をしたい場合は

download_data(){ 
    echo "link #" $2 "["$1"]" 
} 
export -f download_data 
cat input.txt | parallel -j6 download_data {} {#}