WebHCatを使用しているHadoop Knoxが以前より遅い

Question

私のMapReduceジョブにKnoxを使用しようとしています。以前はKnoxを使用していませんでしたが、MapReduceの仕事には35秒かかります。

Knoxを使用した後、私は追加のジョブが表示されます - TempletonControllerJobが最初に実行され、元のMapReduceジョブが開始されます。

私は、MapReduceジョブが現在TempletonControllerJobのサブジョブであることを理解します。

• しかし、どうすれば速くすることができますか？
• なぜTempletonControllerJobは時間がかかりますか？

Answer 1

これは興味深い観察と質問です。残念ながら、これはApache KnoxではなくApache HiveプロジェクトとTempleton/WebHCatの問題です。 Knoxは、ジョブを送信するためのWebHCat APIをプロキシするだけです。私はもっ​​と助けてくれることを願っています。