2017-04-11 18 views
0

sc.addFile(rscript)でRスクリプトを追加すると、以下のエラーが発生しました。sc.addFile()を使用してスパークするパイプ

java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 
at org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:278) 
at org.apache.hadoop.util.Shell.getWinUtilsPath(Shell.java:300) 
at org.apache.hadoop.util.Shell.<clinit>(Shell.java:293) 
at org.apache.hadoop.fs.FileUtil.chmod(FileUtil.java:867) 
at org.apache.hadoop.fs.FileUtil.chmod(FileUtil.java:853) 
at org.apache.spark.util.Utils$.fetchFile(Utils.scala:407) 
at org.apache.spark.SparkContext.addFile(SparkContext.scala:1386) 
at org.apache.spark.SparkContext.addFile(SparkContext.scala:1340) 
at kafkaStreaming.Stream$.main(Stream.scala:22) 
at kafkaStreaming.Stream.main(Stream.scala) 

答えて

0

リンク以下からファイルをダウンロードしてください:あなたはsparkContextを初期化する前に

https://github.com/srccodes/hadoop-common-2.2.0-bin

の操作を行います。

System.setProperty("hadoop.home.dir", """/path/to/hadoop-common-2.2.0-bin-master""") 
関連する問題