マルチノードHadoopクラスタのHDFSストレステスト

Question

マルチノードHadoopクラスタをセットアップしました。私はMRを使わずにHDFSの性能をテストしようとしています。そのようなベンチマークはHadoopのテストjarにありますか？

おかげ

Answer 1

TestDFSIO：

1. デフォルトの出力ディレクトリは
2. ラン書き込みテスト読み取りテスト

書き込みを実行するための構文を前に/ TestDFSIO /ベンチマークでありますテストは次のとおりです。

TestDFSIO.0.0.4 
Usage: hadoop jar $HADOOP_HOME/hadoop-*test*.jar TestDFSIO -read | -write | -clean [-nrFiles N] [-fileSize MB] [-resFile resultFileName] [-bufferSize Bytes] 

例：10ギガバイトの合計サイズが1ギガバイトの10個の出力ファイルを生成する書き込みテストを実行するコマンドは次のとおり

$ hadoop jar hadoop-*test*.jar TestDFSIO -write -nrFiles 10 -fileSize 1000

は同様に、10の入力ファイルサイズ1ギガバイトのを使用して試験を読ん

$ hadoop jar hadoop-*test*.jar TestDFSIO -read -nrFiles 10 -fileSize 1000 

のクリーンアップと使用してテストデータを削除します：ある$ hadoop jar hadoop-*test*.jar TestDFSIO -clean

の通訳TestDFSIO結果：

サンプル：

----- TestDFSIO ----- : write 
      Date & time: Fri Apr 08 2011 
     Number of files: 1000 
Total MBytes processed: 1000000 
    Throughput mb/sec: 4.989 
Average IO rate mb/sec: 5.185 
IO rate std deviation: 0.960 
    Test exec time sec: 1113.53 

----- TestDFSIO ----- : read 
      Date & time: Fri Apr 08 2011 
     Number of files: 1000 
Total MBytes processed: 1000000 
    Throughput mb/sec: 11.349 
Average IO rate mb/sec: 22.341 
IO rate std deviation: 119.231 
    Test exec time sec: 544.842 

ここで最も注目すべき指標はスループットメガバイト/秒 /秒と平均IOレートメガバイトです。

Source