最初にローカルファイルシステムにコピーすることなく、Javaを使用してHDFSに保存されたファイルを解凍する方法は？

Question

XMLファイルを含むzipファイルをHDFSに保存しています。プログラムでファイルを解凍し、Javaを使用してXMLファイルをストリームアウトする必要があります。 FileSystem.openはFSDataInputStreamを返しますが、ZipFileコンストラクターはFileまたはStringのみをパラメーターとして取ります。私は本当にFileSystem.copyToLocalFileを使用する必要はありません。

zipファイルをローカルファイルシステムに最初にコピーせずに、HDFSに保存されたzipファイルの内容をストリーミングすることはできますか？もしそうなら、どのように？

Answer 1

こんにちは、ここではHadoopのストリーミングを活用に関する

public static Map<String, byte[]> loadZipFileData(String hdfsFilePath) { 
      try { 
       ZipInputStream zipInputStream = readZipFileFromHDFS(new Path(hdfsFilePath)); 
       ZipEntry zipEntry = null; 
       byte[] buf = new byte[1024]; 
       Map<String, byte[]> listOfFiles = new LinkedHashMap<>(); 
       while ((zipEntry = zipInputStream.getNextEntry()) != null) { 
        int bytesRead = 0; 
        String entryName = zipEntry.getName(); 
        if (!zipEntry.isDirectory()) { 
         ByteArrayOutputStream outputStream = new ByteArrayOutputStream(); 
         while ((bytesRead = zipInputStream.read(buf, 0, 1024)) > -1) { 
          outputStream.write(buf, 0, bytesRead); 
         } 
         listOfFiles.put(entryName, outputStream.toByteArray()); 
         outputStream.close(); 
        } 
        zipInputStream.closeEntry(); 
       } 
       zipInputStream.close(); 
       return listOfFiles; 
      } catch (Exception e) { 
       e.printStackTrace(); 
      } 
     } 



protected ZipInputStream readZipFileFromHDFS(FileSystem fileSystem, Path path) throws Exception { 
    if (!fileSystem.exists(path)) { 
     throw new IllegalArgumentException(path.getName() + " does not exist"); 
    } 
    FSDataInputStream fsInputStream = fileSystem.open(path); 
    ZipInputStream zipInputStream = new ZipInputStream(fsInputStream); 
    return zipInputStream; 
}