hadoop-archive

1熱

1答えて

私は、何百万もの小さなファイルから1つのHadoopアーカイブファイルを作成するためのアプリケーションを開発しています。私は正常にコマンドライン（hadoop archive --archiveName foo.har -p/-r 2 test.txt /）でそれをテストしたが、私はプログラムでそれを行うためのリソースを見つけることができません。クライアントアプリケーションを使用してHadoop

0熱

1答えて

Hadoopアーカイブツールの出力を圧縮

私はHadoopクラスタのファイル数を減らすためにHadoop Archiveを使用していますが、データの保持にはできるだけ長くデータを保存したいと考えています。それから、問題はHadoop Archiveがフォルダサイズを小さくしないことです（私のフォルダには、小さなファイルと大きいファイルの両方のタイプがあり、シーケンスファイルを使用するのには適していません）。私は-D mapreduce.