低レベルでベンチマークHadoopジョブ

Question

ベンチマーク変数をいくつか記録する必要があります。残念ながら、変数の中には、ハープコード（map（）、reduce（）、InputFormatなど）内で測定を実行する必要があります。私はそれを行う "正しい"方法が何だろうと思っていた。グローバル変数を使用して、ベンチマーク変数を格納し、Tool.run（）が終了する直前にそれらをダンプすることができますが、これを実行するより良い方法があると思います。誰かがそれをやる方法を知っていますか、または何か考えがありますか？

更新

ベンチマークのコードでは、いくつかの制約のためにHadoop、内に埋め込むことがあります。私は、多くのhadoopジョブを実行し、ベンチマークの結果を収集する "テスター"アプリケーションを持っています。このアイデアは、ジョブを実行し、ジョブの実行から単一の「テスター」実行でベンチマーク・データを収集することです。

Answer 1

MapReduceとは別にそれらの方法をベンチマークすることを止めることはありません。 M/Rはマジックではありません。サーバー上でコードを実行しているJVMだけです。

MapとReduceの各機能に対して常にJUnitテストを実行します。それらのプロファイリングに関して実質的に異なるものはありません。