YourKitによるSparkアプリケーションのプロファイリング

Question

私はCloudera 5.10を持つクラスタを持っています。 プロファイリングのために私はパラメータで火花提出し実行しています：

--conf "spark.driver.extraJavaOptions= -agentpath:/root/yjp-2017.02/bin/linux-x86-64/libyjpagent.so=sampling" 
--conf "spark.executor.extraJavaOptions= -agentpath:/root/yjp-2017.02/bin/linux-x86-64/libyjpagent.so=sampling" 

そして、それが唯一のドライバーのために良い取り組んでいます。私はエグゼキュータのために、このオプションを使用していたとき、私は、私は任意の有用なログを見つけることができなかったと同じ例外は私がすべてのノードで持っている例外

Stack trace: ExitCodeException exitCode=1: 
     at org.apache.hadoop.util.Shell.runCommand(Shell.java:601) 
     at org.apache.hadoop.util.Shell.run(Shell.java:504) 
     at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:786) 
     at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:213) 
     at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302) 
     at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:82) 
     at java.util.concurrent.FutureTask.run(FutureTask.java:266) 
     at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) 
     at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) 
     at java.lang.Thread.run(Thread.java:748) 

を取得しています。 同じI'amは、このマニュアルenter link description here

そして、私はドライバーのための構成のみを残す場合は、すべてが正常に働いていると私はYourKitを使用することができますが、問題になる可能性がどのようなドライバ に接続するために使用した場合は？

Answer 1

実行者が32ビットJVMを起動することがありますか？ 32ビットのYourKitエージェントへのパスを指定する必要がありますか？