ハイドープベンチマークのベストプラクティスは何ですか？

Question

私はTestDFSIOを使用して、hadoop I/Oパフォーマンスのベンチマークを行っています。 私が使用しているテストリグは、3つのデータノードと1つの名前ノードの小さな仮想クラスタです。 各VMには、6〜8 GBのRAMと100〜250 GBのHDDがあります。私のセットに関してパラメータ（ファイルサイズ）各ファイルのファイル数の値（nrFIles）と、ファイルサイズがどうあるべきか

1. アップなど、我々その：私は約2物事を知りたい

   私の小規模なクラスタの結果を、8-12 x 2 TBのハードディスクと64 GBのRAMと高い処理速度のような標準サイズのクラスタに関連付けることができます。そうするのも正しいですか？

2. 一般的に、ベンチマークハープのベストプラクティスは何ですか？同様に： 推奨クラスタ仕様（datanodesのスペック、namenodesは）何で、テストデータのサイズを推奨、テストベッドは、実生活のHadoopアプリケーション

に準拠します結果を持っているために、どのような構成/仕様を持っている必要があります

私は結果が本番クラスタに関連しているように、正しいhadoopテストリグのセットアップと正しいテスト方法について知りたいだけです。

実証済みの作業については参考になると便利です。

は私がマップタスクの数がnrFiles のために言及した数に等しくなります見つけ-nrFiles 15 -fileSize 1ギガバイト を持っていますが、どのように、彼らは3つのデータノードに分散しているとしているもう一つの問題？マップタスクの15の数は私には分かりません。それは15のファイルのように各ファイルは、1つのマッパーがそれに取り組んでいますか？

testDFSIOがどのくらい正確に動作しているかのドキュメントや説明は見つかりませんでした。

Answer 1

2つのクラスタの結果を比較することはできません。結果は、ノード上のマッパー数、レプリケーションファクタ、ネットワークなどによって異なる場合があります。 クラスタ仕様は、何を使用しようとしているかによって異なります。 -nrFiles 15 -fileSize 1000を指定すると、1GBごとに15個のファイルが作成されます。各マッパーは1つのファイルで動作するため、15のマップタスクが存在します。あなたの3ノードクラスタでは、ノード上に1マッパしかないと仮定すると、全データを書き込むための5波があります。 は、testDFSIOとその他のベンチマークツールの下のリンクを参照してください：http://www.michael-noll.com/blog/2011/04/09/benchmarking-and-stress-testing-an-hadoop-cluster-with-terasort-testdfsio-nnbench-mrbench/