クラスタモードで提出されたSpark Appからの出力を得ることができますか？

Question

クラスタモードで送信されたSpark Appの出力を取得することはできますか？もしそうなら、どうですか？

私はPythonを使用して簡単なSparkアプリケーションを実行しています。プログラムはSpark Contextを設定し、画面にThis app ran successfullyを表示します。このアプリを提出すると、次のメッセージが表示されます。

spark-submit --deploy-mode client --master local[*] foo.py 

正常に実行され、メッセージが表示されます。私は同じアプリを実行すると

しかし、：

spark-submit --deploy-mode cluster --master yarn-cluster foo.py 

それが正常に実行されますが、私は何も出力を取得していません。

私は数ヶ月間Sparkを使用してきましたが、アプリをクラスタモードで提出するのは比較的新しいので、ヘルプやドキュメントはすばらしいでしょう。

Answer 1

あなたはを保存することができますこのアプリは、次のような外部ストレージシステムに正常に走っ：

sc.parallelize(['This app ran successfully'], 1).saveAsTextFile(path='hdfs:///somewhere/you/want')