HDFSに画像ファイル（jpeg、png）を保存するための入力フォーマット

Question

HDFS（Hadoop File System）に画像ファイル（jpeg、pngなど）を保存します。

1. putコマンドを使用してHDFSに画像ファイルをそのまま（つまり同じ形式で）保存しました。完全なコマンドは：hadoop fs -put /home/a.jpeg /user/hadoop/でした。それはうまく配置されました。
2. これらの画像ファイルをHadoopのSequence Fileフォーマット&に変換し、putコマンドを使用してHDFSに保存しました。

HDFSで保存する形式を知りたいと思っています。
Sequence File形式を使用するメリットは何ですか？私が知っている利点の1つは、分割可能だということです。他に何かありますか？

Answer 1

イメージはHDFSストレージのブロックサイズに比べて非常に小さいです。小さなファイルの問題は処理のパフォーマンスに影響します。これはSequence Files、HAR、HBaseまたはマージソリューションを使用する理由です。これら2つのスレッドの詳細を参照してください。

effective way to store image files

How many files is too many on a modern HDP cluster?

1MBのファイルを処理することにオーバーヘッドがあります。したがって、128Mbのファイルを処理する場合、12835MBのファイルを処理する場合に比べて128時間以上の「管理上のオーバーヘッド」が発生します（ ）。プレーンテキストでは、1Mbファイルには1000個の 個のレコードが含まれます。 128 Mbファイルには128000レコードが含まれている可能性があります。