OozieでSparkジョブを起動できません（エラーMetricsSystem）

Question

私はspark-submitで起動するスパークジャーを持っており、ファイルを読み込み、RDDを生成してhdfsに保存します。しかし、私はOozieの仕事の中で同じ瓶を起動しようとしたとき（oozie：spark-action）スパークジョブは失敗します。

私はログを見ると、最初にエラーが現れるには、次のとおりです。

エラーMetricsSystem：シンククラス org.apache.spark.metrics.sink.MetricsServletをインスタンス化することはできません。私はスパークスクリプトで遊んで始めたとき

さらに、私はこの問題は、saveAsText目的球に関係していることが分かりました。私がHDFSに書き込むことなく同じスパークジョブを昼食するとき、全体のワークフローはうまく動作します。

提案がありますか？

Answer 1

問題は、oozieジョブを実行しているクラスタの側にありました。キューHQ_IBNF --conf「spark.executor.extraJavaOptions = -Djava -

<火花-optsの>：

は、私は、彼らが考慮されていなかったという理由だけで、明示的にジョブワークフローに引数を追加するために必要な.library.path =/opt/application/Hadoop/current/lib/native "</spark-opts>