私はApache Sparkを実行するためにMesosクラスタを構築しています。私は私のSparkエグゼキュータのためにDockerコンテナを使用することを好むでしょう。私はspark-submitのクライアントモード(--master mesos://mesosmaster:5050
と--conf spark.mesos.executor.docker.image=myimage:latest
)を使ってそれを行うことができますが、私はクラスタモードでも同じことをしたいと思います。Apache Spark:MesosClusterDispatcherはexecutorをDockerコンテナで実行できますか?
私はMesosClusterDispatcherを実行していて、それにジョブを提出することができます(--master mesos://clusterdispatcher:7077 --mode cluster --supervised
)が、executorが使用するドッカーイメージを指定すると、ディスパッチャがパラメータを無視してジョブを直接実行しようとしているようですMesos sandbox。
実際にはクラスタディスパッチャをspark.mesos.executor.docker.image
と組み合わせることはできますか?私はSparkをMesosからできるだけデカップルして、独立してアップグレードできるようにしたいと考えていましたが、クラスタのディスパッチャがドッカーイメージを使用できない場合は、私の戦略を再考する必要があります。
ありがとうございます!