Eclipseリモートデバッグspark-submit

Question

Windowsのコマンドプロンプトを使用してSparkに送信されたアプリケーションのリモートデバッグを行います。手伝っていただけませんか？

リモートデバッグポートをSparkに提供できる場所です。

Answer 1

SparkとJava/scalaを使用していつでもRemote Debuggingを行うことができます。小さいdatasetでlocalmodeとチェックする場合は、ステップデバッガを使用できます。 Java Debuggerを見て、それがどのように最初に働くかを見てください。

Java step debugger

あなたはRemotemodeにSpark特定デバッグを使用したい場合、それは段階のプロセスバイステップで非常に良い例があり、このリンクをご確認ください。

spark-remote-debugging

は、ドライバをデバッグするために、あなたの​​コマンドに以下を追加することができます。次に、ドライバプログラムを起動したノードに接続するようにリモートデバッガを設定します。

--driver-java-options -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005 

必要に応じてportをカスタマイズできます。 この場合、リッスンモードでデバッガを起動し、スパークプログラムを起動し、エグゼキュータがデバッガに接続するまで待ちます。エグゼキュータの数を1に設定することが重要です。複数のエグゼキュータはすべてdebuggerに接続しようとしますが、問題が発生する可能性があります。上記の例で詳細を確認してください。

あなたがjetbrainsを使用している場合、あなたは手段をデバッグしたいSpark remote debugging