JavaのHDFSから特定の名前で始まるディレクトリを削除する

Question

以下のコードを使用して、sparkからハイブステージファイルを削除しようとしています。このコードは、ディレクトリ内のファイルを削除できますが、 '.hive-staging_hive'で始まるすべてのファイルを削除します。

特定のテキストから始まるディレクトリを削除する方法を知っていますか。

Configuration conf = new Configuration(); 
      System.out.println("560"); 
      Path output = new Path("hdfs://abcd/apps/hive/warehouse/mytest.db/cdri/.hive-staging_hive_2017-06-08_20-45-20_776_7391890064363958834-1/"); 
      FileSystem hdfs = FileSystem.get(conf); 

      System.out.println("564"); 

      // delete existing directory 
      if (hdfs.exists(output)) { 
       System.out.println("568"); 
       hdfs.delete(output, true); 
       System.out.println("570"); 

      } 

Answer 1

簡単な方法は、プロセス・フォームのJavaプログラムを実行し、ディレクトリ内「.hive-staging_hive」で始まるすべてのファイルを削除するには、ワイルドカードを使用することです。

String command="hadoop fs -rm pathToDirectory/.hive-staging_hive*"; 
int exitValue; 
try { 
    Process process = Runtime.getRuntime().exec(command); 
    process.waitFor(); 
    exitValue = process.exitValue(); 
}catch (Exception e) { 
    System.out.println("Cannot run command"); 
    e.printStackTrace(); 
} 

次の方法は、ディレクトリ内のすべてのファイルを一覧表示することです。 ".hive-staging_hive"で始まるファイルをフィルタリングして削除します。

Configuration conf = new Configuration(); 

Path path = new Path("hdfs://localhost:9000/tmp"); 

FileSystem fs = FileSystem.get(path.toUri(), conf); 

FileStatus[] fileStatus = fs.listStatus(path); 

List<FileStatus> filesToDelete = new ArrayList<FileStatus>(); 

for (FileStatus file: fileStatus) { 

    if (file.getPath().getName().startsWith(".hive-staging_hive")){ 
     filesToDelete.add(file); 
    } 
} 


for (int i=0; i<filesToDelete.size();i++){ 
    fs.delete(filesToDelete.get(i).getPath(), true); 
}