スケジューラプールでのスパークジョブの送信

Question

クラスタモードでスパークストリーミングジョブを実行しています。私は200GBのメモリ（CDH）を持つプールを作成しました。私はそのプールでジョブをストリーミング私の火花を実行したい、私はコードで

sc.setLocalProperty("spark.scheduler.pool", "pool") 

を設定しようとしたが、そのが動作していないと私はそれがデフォルトのプールに入るジョブを実行するたびに、私はまた、 spark.scheduler.pool seems not working in spark streamingを試してみました。考えられる問題は何でしょうか？ジョブを送信している間に追加できる設定はありますか？

Answer 1

糸で私達は​​コマンドに

--conf spark.yarn.queue="que_name" を追加することができます。次に、特定のキューとそのリソースだけを使用します。