Spark用のスカラコードのプロファイリング

Question

Scalaと大規模なデータセットのプログラミングについては初めてです。ローカル環境でプロファイラを使用する必要があります。スカラのコードでは処理が遅すぎるかどうかを調べるために、ローカルノードとクラスタ環境の両方でSpark UIを試しましたが、十分ではありません。問題は、私のコードがScalaの "スクリプト"であるか、スパークシェルで直接実行されるコード行のシーケンスだけであることです。

一般的なプロファイラでは、jarファイルを生成してjarファイルを実行してプロファイラエージェントをアタッチするには、構造化されたScalaコードが必要です。 検索する場所がわかりません。何か案は？それは可能かどうか？

Answer 1

実行中のJVMにJavaプロファイラ（たとえば、JDKに付属のフリーjvisualvmなど）を添付することができます。私はそれを試していないが、私はあなたがSparkによって実行されるコードをプロファイリングできるはずだと信じています。

もちろん、コードが実行される正しいJVMに接続する必要があります。リモートで実行されている場合、Sparkシェルを実行しているローカルのJVMに接続することは役に立ちません。

また、適切なタイミングでプロファイルを作成する必要があります。