スパークコードEclipseでのデバッグ

Question

EclipseでSpark Codeをデバッグしています。

1. を、私はそれ は、コンソールには何も印刷されていない、RDD内もののlogger.info/printlnでJSONオブジェクトを作成しています：次のように私は直面しています問題があります。
2. RDDに電話している方法については、logger.info("Record stream count " + rdd.count)の方法と他のRDDの方法の情報を印刷していますが、何も印刷していません。
3. 一度起動したスパークアプリケーションを停止する方法。私はSpark DStreamから入力を受け取り、ローカルに環境を設定するためのファイル.txtを読み込んでいます。

追加の質問や説明がありましたら教えてください。

Answer 1

質問の第1および第2のポイントについて しかし、まずアプリケーションがクラスタモードで動作していますか？今の代わりにエグゼキュータのstdoutに書き込んでいるhttp://spark.apache.org/docs/latest/programming-guide.html

ただし、クラスタモードでは、stdoutへの出力が 執行によって呼び出される引用し、その場合は、ドライバの運転手に1 、そうstdoutは勝っていませんこれらを見せないでください！すべての 要素をドライバに印刷するには、最初にcollect()メソッドを使用して、RDDをrdd.collect().foreach(println)に持っていくことができます。あなたの第三の点について

、あなたは

./bin/spark-class org.apache.spark.deploy.Client kill <master url> <driver ID> 

次のマスターとドライバIDを提供することにより、あなたのスパークアプリケーションを停止することができます