複数のスパークジョブをクラスタモードの糸で並列に実行するにはどうすればよいですか？

たとえば、最初のジョブを糸クラスターに提出すると、ジョブが実行されてから2番目のジョブが実行され、2番目のジョブ状態は、最初のジョブが成功または失敗するまで実行されません。複数のスパークジョブをクラスタモードの糸で並列に実行するにはどうすればよいですか？

クラスタモードの糸で複数のスパークジョブを並列実行する方法はありますか？

出典

2017-10-09 jason zhang

あなたのキューの設定はすべてです。 --queue QUEUE_NAMEを使用してジョブキューを明示的に指定しないと、糸はデフォルトキューで起動します。そうでない場合（指定キューにジョブを送信中にパラメータ--queue systemを追加した場合） YARN/Configs/Advanced/Scheduler（私はAmbariを使用しています）のパラメータyarn.scheduler.capacity.<queue-path>.maximum-applicationsで、キューを構成（新規作成、最大アプリケーション数の設定、キュー間のリソースの分割など）できます。

も読んでくださいhttps://hadoop.apache.org/docs/r2.7.4/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html

出典

2017-10-09 12:31:34

私は既にyarn.scheduler.capacityを設定しています。 max-applications to 10、それでも動作しません –

@jasonzhang、どのキューですか？ 10にyarn.scheduler.capacity.system.maximum-applicationsを試して、あなたのアプリケーションを起動している間にspark-submitパラメータ '--queue system'を追加してください。複数のジョブを実行するのに十分なリソースがあることを確認してください。 –

@jasonzhangとシステムキューのスケジューリングポリシーをチェックすると、複数のジョブを起動できます –

複数のスパークジョブをクラスタモードの糸で並列に実行するにはどうすればよいですか？

答えて

関連する問題