2017-08-25 21 views
1

私はApache Sparkを実行するためにMesosクラスタを構築しています。私は私のSparkエグゼキュータのためにDockerコンテナを使用することを好むでしょう。私はspark-submitのクライアントモード(--master mesos://mesosmaster:5050--conf spark.mesos.executor.docker.image=myimage:latest)を使ってそれを行うことができますが、私はクラスタモードでも同じことをしたいと思います。Apache Spark:MesosClusterDispatcherはexecutorをDockerコンテナで実行できますか?

私はMesosClusterDispatcherを実行していて、それにジョブを提出することができます(--master mesos://clusterdispatcher:7077 --mode cluster --supervised)が、executorが使用するドッカーイメージを指定すると、ディスパッチャがパラメータを無視してジョブを直接実行しようとしているようですMesos sandbox。

実際にはクラスタディスパッチャをspark.mesos.executor.docker.imageと組み合わせることはできますか?私はSparkをMesosからできるだけデカップルして、独立してアップグレードできるようにしたいと考えていましたが、クラスタのディスパッチャがドッカーイメージを使用できない場合は、私の戦略を再考する必要があります。

ありがとうございます!

答えて

関連する問題