ディレクトリ内のすべてのファイルをhadoop内の別のディレクトリに移動する方法

Question

spark scalaを使用して、ディレクトリからHDFS内の別のディレクトリにすべてのファイルを移動しようとしています。要するに、プログラム的な方法でhadoop fs -mvコマンドを使用する方法を見つける必要があります。私がhadoopに新しいので、誰かが助けることができれば素晴らしいだろう。

Answer 1

HDFS上の操作を行うためには、あなただけの、あなたはあなたがHDFS上でやりたい、そのメソッドを使用することができます

val fs = FileSystem.get(sparkContext.hadoopConfiguration) 

を経て、FileSystemインスタンスを取得する必要があります。ファイルを移動する場合は、methodという名前を変更してください。