2016-07-11 20 views
0

私は開発段階でJavaアプリケーションを持っています。また、2つのプロセッサコアを搭載したマシンを1つしか含まないクラスタスタンドアロンモードのリモートスパーククラスタもあります。 「クラスター」には、マスターと1人のワーカーが含まれます。アプリケーションは長時間実行されているジョブを送信し、ジョブはCPU作業を必要とせず、リモートサービスへの多くの呼び出しを行います。つまり、私はsparkのようなタスクスケジューラを使用します。 テスト中に、アプリケーションは同じ時間に5つのタスクを送信しますが、2つは並行して動作し、別の3つはキューに入ります。 2つの物理コアを持つ1つのインスタンスで、この構成で並列タスクの数を増やすことは可能ですか?スタンドアロンモードで並列タスク数を増やす

+0

'spark.executor.cores'をより高い値に設定しようとしましたか? – Dikei

+0

@Dikeiこのプロパティをアプリケーション側のJavaSparkContextに渡すことを意味しますか?もし私がそれを行うと、エラーなしでジョブを送信することはできません – Nawa

答えて

0

並列タスクの数を増やすには、物理​​コアを増やす必要があります。あなたは2コアを持っているので、2つのタスクは並行して動作し、他の3つは待ち行列に入っています。

+0

ハイパースレッドが有効になっている場合はどうなりますか? – kaza

関連する問題