gnuさまざまなインスタンスで複数のファイルを並列処理する

Question

多くのデータベースインスタンスで多くのファイルを処理したい。インスタンスはさまざまなコンピュータ上にあり、1台のコンピュータで最大4つのインスタンスをホストできます。

プロセスは、bashシェルを経由してインスタンス上で実行されます。

process-on.sh <file_to_process> <instance_name> 

process-on.shがinstance_nameからインスタンス（サーバー、スクリプト名など）にアクセスする方法を知っています。同じUNIXクライアントを使用して、1つのホスト上のすべてのインスタンスのプロセスを実行します。リモートスクリプト名だけが異なります。

私はインスタンスをプロセッサのプールとして機能させ、gnu-parallelをインスタンス間のファイルの配布者として使用したいと考えています。

私は、GNU-パラレルを使用したいが、それはコンピュータではなく、isntancesの間で分配し、主である...多分プールで作業することができ、別のツールがあります...

任意のヒントは非常に理解されるであろう。ルックアップテーブルのかもしれないいくつかの並べ替え -

ベスト

、 クリストフ

Answer 1

あなたはインスタンスに番号を変換する方法が必要になります。

instances=13 
parallel -j$instances 'sleep 0.$RANDOM; echo this is file {} being processed on instance {%}' ::: {1..100}