MapReduceプログラムパフォーマンステスト

Question

mapreduceプログラムでどのマップが遅く実行されているかをどのように確認できますか？仕事中と仕事を完了した後に？

MapReduceのパフォーマンステストで確認する必要があるパラメータは何ですか？

Answer 1

この質問は非常に広いですが、それでもある程度対処しようとしている。..

1）仕事は、アプリケーションのマスター

2で見ることができます実行されている間）は、ジョブが完了した後、あなたはで見ることができます職歴

map-reduceのジョブトラッカーとタスクトラッカーのドキュメントを参照してください。

パフォーマンステストのパラメータは非常に広範な用語です。ディストリビューションに同梱されるいくつかのデフォルトのテストケースがあります。

一般的に、上記のトラッカーを使用して、どのくらいの時間（地図と減速フェーズを含む）に各マップがどのくらいの時間を取っているかを確認します。

さらに、各マッパーのレコード数（inputsplit）も確認できます。サンプル画面からのさまざまな他のパラメータは、監視ジョブの後に

の後に撮影することができ、それを微調整することができます。 tips