hadoopで作成されたファイル名の変更 - Spark

Question

書き込みによってHDFSで作成されたファイルには、独自の命名規則があります。カスタム名に変更するには、スクリプトを使用したオプションがあります。hadoop fs -mv oldname newname

作成したファイルにカスタム名を付けるために、Spark/Hadoopで利用可能な他のオプションはありますか？

Answer 1

Apache Sparkは、hdfsのファイルシステム操作にApiを提供していません。ただし、HadoopファイルシステムAPIを使用して、HDFS内のファイルの名前を変更することはいつでも可能です。 Checkこれは利用可能なHadoopファイルシステムAPIの詳細です。名前を変更するには、次のように動作します。

val conf = new Configuration(); 
val fileSystem = FileSystem.get(conf); 
fileSystem.mkdir(new Path(newhdfs_dirPath)); 
fileSystem.rename(new Path(existinghdfs_dirpath+oldname), new Path(newhdfs_dirPath+newname));