HadoopでHDFSのファイルに書き込む

Question

HadoopでI/Oアクティビティをテストするためにディスク集中型のHadoopアプリケーションを探していましたが、ディスク使用率を50％以上に保ったアプリケーションは見つかりませんでした実際にディスクをビジー状態に保つアプリケーション。私はランダムライターを試みましたが、それは驚くべきことにディスクI/O集約ではありません。

私はMapperでファイルを作成し、テキストを書き込むための小さなプログラムを作成しました。このアプリケーションは正常に機能しますが、マスターノードでも使用率が高くなります。マスターノードは、名前ノード、ジョブトラッカー、およびスレーブの1つです。他のタスクトラッカーでは、ディスク使用率はNILまたは無視されます。私はなぜディスクI/Oがタスクトラッカーで非常に低いのか理解できません。誰かが間違ったことをしているなら、誰も私を正しい方向に向かわせてください。前もって感謝します。ここで

は、私はそれぞれの行のセルごとのJavaオブジェクトを作成し、任意のメカニズムと思い、私は、ファイル -

Configuration conf = new Configuration(); 
FileSystem fs = FileSystem.get(conf); 
Path outFile; 
while (itr.hasMoreTokens()) { 
    word.set(itr.nextToken()); 
    context.write(word, one); 
    outFile = new Path("./dummy"+ context.getTaskAttemptID()); 
    FSDataOutputStream out = fs.create(outFile); 

    out.writeUTF("helloworld"); 
    out.close(); 
    fs.delete(outFile); 
    } 

Answer 1

OK。私は前にチェックしていないのは本当に馬鹿だったに違いない。実際の問題は、すべてのデータノードが実際には動作していないことでした。私はnamodeodeを再フォーマットし、すべてが元に戻った、私はWCに悪くない15-20％の利用率を得ていた。私はTestDFSIOのためにそれを実行し、ディスクをさらに利用できるかどうかを確認します。

Answer 2

にUTF文字列を作成し、書き込みにWordCount.javaファイルに書いた私のサンプルコードセグメントでありますディスクに保存する前にJavaオブジェクトのシリアライズを実行することはIOを利用する機会がほとんどありません。
私の経験では、シリアル化は毎秒数MBの速度で動作しますが、それ以上の速度は100MB /秒ではありません。
出力パスにhadoopレイヤーを避けたのはかなり正しいです。 HDFSへの書き込みがどのように機能するかを検討しましょう。データは、ローカルデータノードを介してローカルディスクに書き込まれ、次にレプリケーションファクタに応じてネットワーク内の他のノードに同期して書き込まれます。この場合、HDFSにデータを書き込んだ後、ネットワーク帯域幅を書き込むことはできません。あなたのクラスターが比較的小さい場合は価値があります。 3ノードクラスタと3重レプリケーションでは、すべてのデータをすべてのノードに渡すため、クラスタ全体のHDFS書き込み帯域幅は約1GBitになります。
私は次のように提案します：
a）複製係数を1に減らし、ネットワークにバインドされなくなりました。
b）マッパーへの1回の呼び出しで、より大きなデータチャンクを書き込む