hadoopクラスタ環境で.gzファイルを抽出するには？

Question

hadoopクラスタ環境で.gzファイルを抽出するには、ファイルをローカルにコピーせずにjavaコードを使用します（コードを使ってhadoopで直接抽出する）？

Answer 1

"gunzip -k file.gz"は、.gzファイルを解凍するのに通常使用されます。元の.gzファイルも同じですが、探していたものですか？

Answer 2

は、あなたがこのように行うことができ、あなたの.gzファイルが1つのファイルを持って考えてみましょう：

Configuration conf = new Configuration(); 
FileSystem fs = FileSystem.get(conf); 
Path inFile = new Path(argv[0]); 
Path outFile = new Path(argv[1]); 

FSDataInputStream in = fs.open(inFile); 
org.apache.hadoop.io.compress.GzipCodec.GzipInputStream gis = new org.apache.hadoop.io.compress.GzipCodec.GzipInputStream(in); 
FSDataOutputStream out = fs.create(outFile); 

doCopy(gis, out); 

public static void doCopy(FSDataInputStream is, FSDataOutputStream os) throws Exception { 
    int oneByte; 
    while ((oneByte = is.read()) != -1) { 
     os.write(oneByte); 
    } 
    os.close(); 
    is.close(); 
} 

Answer 3

あなたが必要な時はいつでも同じスクリプトをシェルスクリプトを作成して実行することができ、これを行うための他の方法。あなたのコードに端末コマンドを実装しようとすると、

あなたは、端末からそれを実行したい場合は、このコマンド

のgzip [-acdfhlLnNrtvV19] [-S接尾辞] [名前...] はgunzip [-acfhlLnNrtvV] [-S接尾辞] [名前を実行することができます...]

ソース：https://www.techonthenet.com/linux/commands/gzip.php