SequenceFileへのHDFSの追加が遅い

Question

SequenceFilesへの追加が非常に遅いようです。私たちは、小さなファイルを含むフォルダをファイル名をキーとして、内容を値としてSequenceFilesに変換しています。ただし、スループットは約2MB /秒（約2〜3ファイル/秒）と非常に低いです。私たちはMioを持っています。小さなファイルと最大3つのファイル/秒の私たちの目的のために信じられないほど遅いです。私たちがやっていること

は単純です：

for(String file : files) { 
    byte[] data = Files.readAllBytes(Paths.get(dir.getAbsolutePath() 
        + File.separatorChar + file)); 
    byte[] keyBytes = l.getBytes("UTF-8"); 
    BytesWritable key = new BytesWritable(keyBytes); 
    BytesWritable val = new BytesWritable(data); 

    seqWriter.append(key, val); 
} 

任意のヒント、物事をスピードアップする方法についてのアイデア？

Answer 1

ほとんどの場合、犯人は圧縮されて書き込まれています（たとえば、gzipはネイティブlibをサポートしていません）。 seqWriterの設定方法については言及していないので、これは単なる推測です。

スピードアップのもう1つの点は、小さなファイルをダウンロードする待ち時間が実際の追加操作ではなく、ボトルネックになる可能性があるため、ファイルをバッチで、または非同期で並行してプリフェッチすることです。

appendがボトルネックの場合は、バッファサイズを増やすこともできます。 io.file.buffer.size（デフォルトは4k）を設定するか、BufferSizeOptionオプションを使用してライタービルダーに渡します。