小さなファイルhadoop

Question

私は小さなファイルをhdfsに結合しようとしています。これは単に歴史的な目的のためであり、必要に応じて大きなファイルが逆アセンブルされ、hadoopテーブルのデータを作成するプロセスが実行されます。これを簡単に達成する方法はありますか？たとえば、1日目は100個の小さなファイルを受け取り、ファイルに結合し、2日目に先に作成したファイルにさらに2つのファイルを追加/追加します。

Answer 1

ファイルがすべて「スキーマ」と同じ場合は、 CSVやJSONのように。次に、非常に基本的なPig/Sparkの仕事を書いて小さなファイルのフォルダ全体を読んだり、別の場所に書き込んだりすると、すべてのファイルをHDFSブロックサイズに基づいてより大きなサイズにマージする可能性が非常に高いでしょう。

また、Hiveについても言及しましたので、小さなファイルには外部テーブルを使用し、別のテーブルを作成するにはCTASクエリを使用して、Pigと同じようにMapReduceジョブを作成します。

IMO、可能であれば、最適な解決策は、小さなファイルをより大きなファイルにバッチしてHDFSにダンプする、システムをHadoopの "上流"にセットアップすることです。 Apache NiFiは、この目的に役立つツールです。