糸 - 複数のジョブのspark-submit

糸で複数のspark-submitジョブを提出したいと思います。それが今であると私は糸 - 複数のジョブのspark-submit

spark-submit --class myclass --master yarn --deploy-mode cluster blah blah

を実行すると、私は私がより多くの雇用を提出するためにジョブが完了するのを待たなければなりません。私はすべて同じ端末から別のジョブをピックアップして糸を伝えることができますどのように

16/09/19 16:12:41 INFO yarn.Client: Application report for application_1474313490816_0015 (state: RUNNING) 16/09/19 16:12:42 INFO yarn.Client: Application report for application_1474313490816_0015 (state: RUNNING)

：私は、ハートビートを参照してください。最終的には、私が一度に何百ものジョブを送信するスクリプトから実行できるようにしたい。

ありがとうございます。

出典

2016-09-19 ab3

これは簡単に実行できるはずです。このジョブをバックグラウンドで実行しようとしましたか？ '＆' – tesnik03

すべてのユーザーは、糸構成で指定された固定容量を持っています。あなたが割り当てられているNのエグゼキュータは、（通常、あなたがvcoresのいくつかの固定数が割り当てられます）、そしてあなたが100個のジョブを実行したい場合は、各ジョブに割り当てを指定する必要があります。

spark-submit --num-executors N/100 --executor-cores 5

それ以外の場合、ジョブは受け入れられます。

すべての呼び出しの最後に&を使用して、複数のジョブを並行して起動できます。 FIFOが FAIRあなたが計画しているどのよう

に変更し場合、糸で使用されているものをスケジューラ

for i in配列20 ; do spark-submit --master yarn --num-executors N/100 --executor-cores 5 blah blah &; done

出典

2016-09-19 20:59:53 axiom

ありがとうございました@axiomはい私はその部分を得ました。問題は、一度に1つしか提出できないことです。例： '' seq 20'のiの '' '; spark-submitをしなさい - マスター糸のblahのblah; done''は、spark-submitからの終了シグナルを待っているため、一度に1つのみを送信し、20は送信しません。 – ab3

チェック動的割り当てを

出典

2016-09-21 20:50:18 avrsanjay

ダイナミックアロケーションは、一度に複数のジョブを実行し、アプリケーションがクラスターの負荷に応じてサイズを再調整する必要があるため役立ちます。 – avrsanjay

糸 - 複数のジョブのspark-submit

答えて

関連する問題