Mesosクラスタ上で複数のSparkジョブを実行中

Question

Mesosクラスタ上で複数のスパークジョブを実行し、すべてのスパークジョブが同じスパークフレームワークを共有したいとします。これは可能ですか？ 私はMesosClusterDispatcherを実行し、スパークジョブをディスパッチャに接続させましたが、各スパークジョブは独自の「Spark Framework」を起動します（クライアントモードとクラスタモードの両方を実行しようとしました）。 これは正常な動作ですか？ 複数のスパークジョブ間で同じスパークフレームワークを共有することはできますか？

Answer 1

これは正常な動作です。

私が知る限り、SparkDispatcherはフレームワークとして動作するSpark Driverのリソースを割り当てます。 Sparkドライバが割り当てられると、Mesosとの会話を担当し、実行されるエグゼキュータを割り当てるためのオファーを受け入れます。