SparkR Javaバックエンドの失敗のログをデバッグ/取得するにはどうすればよいですか？

Question

スパークを使ってglmをフィッティングすると、私はNo status is returned. Java SparkR backend might have failed.エラーに悩まされます。ジョブは実際にはSpark web UIに基づいて完了まで実行されますが、モデル適合中のある時点（一貫性のある場所ではないようです）で、SparkRは上記のエラーメッセージを返してからR REPLに戻ります。私は問題を特定するためにどこにでも私が参照できるログを見ていない。 Question Answererがログに向かって私を指し示すのでしょうか、またはこの問題に関する他のフィードバックを提供しますか？

エラーを生成するコードがhereであることがわかります。おそらく、おそらくget(".sparkRCon", .sparkREnv)で指定された接続が存在しないか、計算中に空の文字列に疑似的に応答したように見えますか？私は迷っている。

Amazon EMR 5.0を使用して、2.0.0をスパークしています。

Answer 1

FWIW - このエラーで私の経験は、ドライバが通常OOMed（ドライバの故障の唯一の理由ではありません）であることを示しています。ノードはすべてオペレーションを完了しましたが、結果をコンパイルするとドライバは失敗しました。 SparkRは多くのエラーを隠しているので、この問題のトラブルシューティングは明白ではありませんでした...私はpysparkで同じクエリを実行し、そこにドライバのJava OOMエラーが表示されたことを発見しました。