2017-01-16 5 views
0

distcp:私は、次のコードをdistcp経由でS3にHDFSから巨大なファイルをコピーしようとしていS3にHDFSからコピーファイル(スカラまたはJavaで使用する方法)

val files:Array[String] = new Array[String](2) 
files(0) = "/****/in.zip" 

val in = new Path(new URI("/**/in.zip")) 
val out = new Path(new URI("***/out.zip")) 
var distcpOpt = new DistCpOptions(in,out) 
ToolRunner.run(new DistCp(new Configuration(),distcpOpt), files) 

私が何かをしようとしましたthis linkに似ています。

誰でもこれを前にしました、お手伝いください。

答えて

0

私は解決策が見つかりました:入力のための第1および出力のための第二1:

1-ファイルの配列は、2つの値を持っている必要があります。

2- distcpOptは、任意の値を有する必要がない(空の文字列で十分である)

3- S3路

から必ず
関連する問題