2017-03-01 17 views
0

hadoop hdfsに格納されているファイルの生の内容をバイト単位で読み取る方法はありますか?gzipを圧縮してhdfsに保存されているファイルの生の内容を取得するにはどうすればよいですか?

通常、-inputパラメータを持つストリーミングジョブを提出するときに、.gzファイル(-input hdfs://host:port/path/to/gzipped/file.gzなど)を指しています。

私のタスクは、1行ずつ解凍された入力を受け取りました。これはではなく、です。

答えて

0

あなたはそれぞれのHadoopの構成でFileSystemを初期化することができます

FileSystem.get(conf); 

それは、原理的にはあなたが生のデータを読み取ることができるようにすべき方法openを持っています。

関連する問題