Apache Sparkの単語で始まる複数のhdfsディレクトリを削除するには

Question

私はdstream.saveAsObjectFiles("/temObj")を使用してスパークストリーミングでオブジェクトファイルを保持しています。これはhdfsに複数のファイルを表示します。

temObj-1506338844000 
temObj-1506338848000 
temObj-1506338852000 
temObj-1506338856000 
temObj-1506338860000 

すべてを読んだ後、すべてのtemObjファイルを削除します。火花でそれをするための賭けの方法は何ですか。私は

val hdfs = org.apache.hadoop.fs.FileSystem.get(new java.net.URI("hdfs://localhost:9000"), hadoopConf) 
hdfs.delete(new org.apache.hadoop.fs.Path(Path), true) 

を試みたが、それだけの時間残念なことに

Answer 1

でANEフォルダを削除することができ、削除グロブをサポートしていません。

globStatusを使用して、ファイル/ディレクトリを1つずつ繰り返して削除できます。

val hdfs = FileSystem.get(sc.hadoopConfiguration) 

val deletePaths = hdfs.globStatus(new Path("/tempObj-*")).map(_.getPath) 

deletePaths.foreach{ path => hdfs.delete(path, true) } 

また、あなたはシェルが

import scala.sys.process._ 

"hdfs dfs -rm -r /tempObj*" !