Gzipファイルの処理時にマップメソッドがスキップされる

Mapreduceを使用してXmlファイルを処理しています。私はhttp://thinkbigdataanalytics.com/xmlinputformat-hadoop/のコードに従ってカスタム入力フォーマットを書いています。ジョブを実行すると、XMLファイルで成功します。しかし、Xmlを含むgzipファイルに対して同じコードを実行すると、mapメソッドは呼び出されません。Gzipファイルの処理時にマップメソッドがスキップされる

それは私が（マップ内のいくつかのロガーを持っている）と、彼らはあまりにも表示されない

Map-Reduce Framework 

Map input records=0

、と言います。解決策を提案してください！

これらのファイルの拡張子は？ – franklinsijo

サンプルファイル - IND_9500_001.xml.gzもしそれをIND_9500_001.xmlに解凍するとうまくいきます。 –

これらのファイルは、ジョブに与えられた入力パスのすぐ内側にありますか？ – franklinsijo

解決策は、ファイルコーデックを取得し、CompressionCodecFactoryクラスを使用して適切な圧縮コーデックを使用することでした。参照してくださいhttp://www.javased.com/index.php?source_dir=Cloud9/src/dist/edu/umd/cloud9/collection/XMLInputFormat.java

2017-02-09 12:25:41

提案のための@franklinsijoに感謝 –

ハハ...私は答えとしてそれを追加し、コメントを削除すると思った。あなたはそれを実装しました。 – franklinsijo

答えて