Apache SparkがスタンドアロンクラスタモードのDockerコンテナ

Question

Apache Sparkを含むドッカーイメージを構築しようとしています。 ITはopenjdk-8-jreの公式イメージに基づいて構築されています。

Sparkをクラスタモードで実行し、少なくとも1つのマスター（sbin/start-master.shで開始）と1つ以上のスレーブ（sbin/start-slave.sh）を持つことが目標です。 Dockerfileとentrypointスクリプトについては、spark-standalone-dockerを参照してください。

実際にビルド自体が進行していますが、問題は、コンテナを実行したいときにすぐに開始して停止することです。原因は、Sparkマスター起動スクリプトがマスターをデーモンモードで起動して終了することです。したがって、コンテナは終了します。プロセスがフォアグラウンドでもう実行されていないからです。

明白な解決策は、フォアグラウンドでスパークマスタープロセスを実行することですが、私はどのように（Googleはどちらも起動しませんでした）。私の「回避策 - 解決策」は、tails -fをSparkのログディレクトリで実行することです。

したがって、私の質問は以下のとおりです。

1. どのようにあなたがフォアグラウンドでApacheのスパークマスターを実行できますか？
2. コンテナを「生きている」状態に保つための推奨される（つまり、ベストプラクティスの）解決策は何ですか（無限ループとスリープコマンドを使用したくないのですが）。

Answer 1

どのようにフォアグラウンドでApache Spark Masterを実行できますか？

spark-classとMasterを使用できます。

bin/spark-class org.apache.spark.deploy.master.Master 

と労働者のための同じ事：

bin/spark-class org.apache.spark.deploy.worker.Worker $MASTER_URL 

本番準備ソリューションを探しているなら、あなたはdumb-initかtiniなどの適切な監督を使用して検討すべきです。