2016-10-18 11 views
1

私はSparkを初めて使い、EclipseでNaive Bayes Javaのサンプルを実行しようとしています。 このような方法はありませんモデルの保存時にエラーが発生しました。Spark Naive Bayesモデル - そのようなメソッドエラーはありません

SparkConf sparkConf = new SparkConf().setAppName("JavaNaiveBayesExample").setMaster("local"); 
JavaSparkContext jsc = new JavaSparkContext(sparkConf); 

String path = "SPARK_HOME\\data\\mllib\\sample_libsvm_data.txt"; 
JavaRDD<LabeledPoint> inputData = MLUtils.loadLibSVMFile(jsc.sc(), path).toJavaRDD(); 
JavaRDD<LabeledPoint>[] tmp = inputData.randomSplit(new double[]{0.6, 0.4}); 
JavaRDD<LabeledPoint> training = tmp[0]; // training set 
JavaRDD<LabeledPoint> test = tmp[1]; // test set 
final NaiveBayesModel model = NaiveBayes.train(training.rdd(), 1.0); 
JavaPairRDD<Double, Double> predictionAndLabel = 
    test.mapToPair(new PairFunction<LabeledPoint, Double, Double>() { 
     public Tuple2<Double, Double> call(LabeledPoint p) { 
     return new Tuple2(model.predict(p.features()), p.label()); 
    } 
    }); 
double accuracy = predictionAndLabel.filter(new Function<Tuple2<Double, Double>, Boolean>() { 
    public Boolean call(Tuple2<Double, Double> pl) { 
    return pl._1().equals(pl._2()); 
    } 
}).count()/(double) test.count(); 

// Save and load model  
model.save(jsc.sc(), "PATH_TO_FOLDER\\myNaiveBayesModel"); 
NaiveBayesModel sameModel = NaiveBayesModel.load(jsc.sc(), "PATH_TO_FOLDER\\myNaiveBayesModel"); 

jsc.close(); 

エラーがmodel.save()ラインで起こります。

スタックトレースは以下の通りです:

Exception in thread "main" java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror(Ljava/lang/ClassLoader;)Lscala/reflect/api/JavaMirrors$JavaMirror; 
at org.apache.spark.mllib.classification.NaiveBayesModel$SaveLoadV2_0$.save(NaiveBayes.scala:205) 
at org.apache.spark.mllib.classification.NaiveBayesModel.save(NaiveBayes.scala:170) 
at AppMain.main(AppMain.java:42) 

私はこれをどのように解決することができますか?どんな助けもありがとうございます。

Spark 2.0.1とScala 2.11.8を実行しています。

spark-core_2.11およびspark-mllib_2.10に依存関係が追加されました。

+2

なぜspark coreとspark mllibに異なるバージョンを使用しますか? –

答えて

2

spark-core_2.11およびspark-mllib_2.10に依存関係が追加されました。

Scala 2.11でコンパイルしたspark mllibを使用して問題を解決してください。

+0

spark-mllibのバージョンを2.11に変更すると解決しました。ありがとう。 – Fleur

関連する問題