小さなファイルがたくさんあるということは、HadoopのNameNodeメモリがたくさんあるため、HDFSに保存されている小さなファイルがたくさんあることが問題になることがあります。Hadoop HDFSにたくさんの小さなファイルを保存するのはなぜですか？
しかし、各ブロックは名前付きノードにオブジェクトとして格納されているため、大きなファイルではどのように違いますか？メモリに1つのファイルから1000ブロック、または1000ファイルから1000ブロックを保存する場合でも、NameNodeメモリの使用量は同じですか？
マップジョブについても同様の質問です。彼らはブロック上で動作するので、ブロックが小さいファイルであるか、より大きなファイルであればどうしたらよいですか？
ハイレベルでは、Hadoop NameNodeは、HDFSに格納されている 'ファイル'を構成するブロックがある場所のトラッカーと考えることができます。ブロックは、HDFSクラスタに格納されたときに大きなファイルを小さな断片に分割するために使用されます。
大きなファイルがある場合、たとえば、これらのファイルをすべて大きなファイルにまとめると、最初にHDFSに格納されるファイルの数が少なくなり、ブロック数も少なくなります。
まず者は、ファイルサイズ、HDFSのブロック、および名前ノードのメモリがどのように関連するかについて議論しましょう：
これは例や数字で見ることが容易です。
この例のHDFS NameNodeのblock sizeは100 MBです。
1MBのファイルが1,000個あり、HDFSに保存しておきましょう。これら1,000個の1 MBファイルをHDFSに保存すると、HDFSクラスタ内にこれらのファイルを構成するブロックが1,000個もあります。
これら1,000個の1 MBファイルを1つの1,000 MBファイルに統合または連結し、その単一ファイルをHDFSに保存することを検討してください。 1,000 MBのファイルをHDFSに保存すると、HDFSのクラスタブロックサイズに基づいてブロックに分割されます。この例では、ブロックサイズは100 MBでした。これは、1,000 MBのファイルがHDFSクラスタに10 MBのブロックとして格納されることを意味します。
大きなファイルでは、同じデータがHDFSクラスタに保存されますが、小さなファイルが多い状況に比べてNameNodeメモリの1％が使用されます。
ジョブの入力ブロックとマップタスクの数は関連しています。
Mapタスクの場合、入力ブロックごとに通常1マップのタスクがあります。ここでの入力ブロックのサイズは重要です。なぜなら、新しいタスクの開始と終了によるオーバーヘッドがあるからです。すなわち、Mapタスクの処理が速すぎると、このオーバーヘッドの量が各タスクの完了時間の大部分になり、ジョブ全体が完了すると、同じジョブよりも遅くなりますが、入力ブロックは少なくなります。 MapReduce2ベースのジョブの場合、マップタスクには、リソース管理レイヤーでYARNコンテナーの開始と停止がタスクごとに行われ、オーバーヘッドが増加します。 （これらの非効率性のいくつかに対処するために、多くの小さな入力ブロックを処理する場合は、最小入力サイズのしきい値を使用するようMapReduceジョブに指示することもできます）