Dataproc（Spark v2）の糸箱の例

Question

DataprocのSpark 2.xの糸にデフォルトキューを追加することはできますか？クラスタの作成時に失敗

試み：さらに

capacity-scheduler:yarn.scheduler.capacity.root.queues=alpha,beta,default yarn:yarn.scheduler.capacity.root.queues=alpha,beta,default

、また失敗した動的なキューを有効にするには上記の構成プレフィックスのいずれかにyarn.scheduler.fair.allow-undeclared-pools=trueを設定します。

すべてのケースでデーモンが失敗し、起動時にリソースマネージャが死んでしまうことがあります。

Answer 1

各キューには、容量が指定されている必要があります。あなたの例に必要なプロパティは以下の通りです：

capacity-scheduler:yarn.scheduler.capacity.root.queues=alpha,beta,default 
capacity-scheduler:yarn.scheduler.capacity.root.alpha.capacity=20 
capacity-scheduler:yarn.scheduler.capacity.root.beta.capacity=20 
capacity-scheduler:yarn.scheduler.capacity.root.default.capacity=60 

ここで、指定されたすべての容量はルートキューリソースの100％になります。容量スケジューラの設定オプションのフルセットは、Hadoop documentationにあります。