動的割り当てがtrueに設定されている場合、手動でコア数を割り当てます。

Question

3ノードクラスタがあります。各ノードには20コアと100GBのメモリがあります。動的リソース割り当てがtrueに設定されています。

私の希望に応じてリソースを微調整したい。例えば

：

1. ​​のみ1コアを使用します。デフォルトでは、4-6コアが選択されています。
2. 私はspark-submitを実行するたびにこの値を設定します。

私の要求をどのように達成できますか？

Answer 1

spark.dynamicAllocation.enabledは、アプリケーションのプロパティです。

• --confオプションをSpark送信に渡すと、各送信時に設定できます。
• spark.dynamicAllocation.enabledをSparkConfオブジェクトに設定します。
• configの方法をSparkSessionBuilderとする。