2017-10-31 4 views
0

HDFSレプリケーションに関するOozie Libpathの適切な設定は何ですか?次のジョブプロパティを持つoozieジョブのLIBPATH設定する場合

oozie.libpath=${nameNode}/user/usernamexxx/share/lib 
oozie.use.system.libpath=true 

を(クラスタのoozieジョブの多くは、この設定を使用)、HDFSの複製因子は、3よりもはるかに高いこと、さらには、すべてのノード間ですべきですか?

+0

私のケースでは、メインジャーはスパークアセンブリジャー(スパークアースフードマジックが発生する場所)で、221 MBです。 – codeaperature

答えて

0

このディレクトリはあまり大きくないため、ネットワークIOは重要ではありませんが、すべてのデータノードに完全なレプリカを作成することも犠牲になりません。

ところで、すべてのお仕事にこのプロパティは必要ありません。それが本当に必要かどうかを判断する必要があります。

関連する問題