圧縮されたファイルVSは、mapreduceの非圧縮ファイルです。どちらが優れたパフォーマンスを与えるのですか？

Question

私は10 GBのcsvファイルを持っており、Hadoop MapReduceで処理したいと思っています。 私は15のノード（データノード）クラスタを持っており、スループットを最大化したいと考えています。

どのような圧縮形式を使用しますか？またはテキストファイルを圧縮しないと、圧縮されたテキストファイルより常に良い結果が得られます。理由を説明してください。

私は圧縮されていないファイルを使用していました。それはなぜそうですか？

Answer 1

スナッピー圧縮の問題点は、スプリットテーブルではないため、Hadoopは入力ファイルをチャンクに分割して入力用に複数のマッパーを実行できないことです。あなたの10Gbファイルは、単一のマッパーで処理される可能性が最も高いです（アプリケーション履歴UIで確認してください）。 hadoopは大きなファイルを別々のマシンの別々のブロックに保存するので、このファイルの一部はマッパーマシンにも存在せず、ネットワーク経由で転送する必要があります。これは、Snappy圧縮ファイルがプレーンテキストよりも遅く動作する主な理由と思われます。

問題を回避するには、bzip2圧縮を使用するか、ファイルを手動でチャンクに分割し、各パーツをスナップで圧縮します。