1つの大きなスパンクラスターを2つのスパンクラスター内に定義することはできますか？ Sparn in Yarn mode私はもちろん、Sparkをスタンドアロンモードで展開することができます。シングルスパンクラスター内の2つのスパーククラスター
数字はラックを表します。 hで私はHDFSを持っています。kはKafkaを持っていますが、Sparkをインストールしたいです。すべてのマシンに糸があります。特に、クラスタにはラックの局所性という概念があります。
私はsマシンとtマシンに2つの隔離されたSparkクラスタを持っています。そのため、マシンをYマシンで実行した場合には、マシンにはタスクが割り当てられません。
これは可能ですか？ ありがとう、E.
これは不可能であり、正直言っても意味がありません。
Yarnはリソースマネージャーであり、s *およびt *はそのリソースです。 いずれかのノードからスパークジョブを送信できるので、糸はそれらを区別しないため、パラメータを設定すると、動的に求められるリソースが割り当てられます。
ジョブが3ノードで終了するのに2時間かかり、6ノードで終了するのにわずか1時間かかることがあるため、リソースを分割するのは意味がありません。糸には待ち行列があり、着信ジョブ要求を追跡しているため、実行中のジョブに割り当てられたメモリを動的に減らしたり増やすことができます。
答えをくれてありがとう、私はもっと探求しようとします - あなたの例では、その仕事が2時間かかっても大丈夫ですが、最初の仕事が遅れないように、それはすべきではない。これは少なくとも私が達成したいと思うものですが、それはまだ実行可能であるかどうかは不明です。 – ecesena
できます。糸には複数のキューがあり、優先度はそれぞれ異なります。したがって糸が実行されている場合、優先度の低いキューでジョブが実行され、優先度の高いキューに新しいジョブが表示されます。現在の実行中のジョブリソースは、現在のサイクルが終了した後（ダイナミックメモリ割り当てでサブミットされている場合）に減少し、糸はより優先度の高いジョブを並行して実行します。 –
糸に2つのジョブを並行して提出することを意味しますか？クラスターはマシンのグループです。 – eliasah
いいえ、私はマシンのグループとしてクラスタを意味します - 私は大きな糸クラスターを持っており、その中に2つの隔離されたスパークを作成したいと思います。 – ecesena