2017-04-20 9 views
1

MongoDBのSparkコネクタをMongoDBから読み込もうとしています。私は、アプリケーションを起動する間にSpark confオブジェクトにDBとコレクションの詳細を提供しました。そして、次のコードを読んで読んでください。MongoDB Spark Connector:mongo-sparkがDBに接続できません

// create configuration 
SparkSession spark = SparkSession.builder() 
    .master("local") 
    .appName("MongoSparkConnectorIntro") 
    .config("spark.mongodb.input.uri", "mongodb://localhost:27017/Employee.zipcodes") 
    .config("spark.mongodb.output.uri", "mongodb://localhost:27017/Employee.test") 
    .getOrCreate(); 
// Create a JavaSparkContext using the SparkSession's SparkContext object 
JavaSparkContext jsc = new JavaSparkContext(spark.sparkContext()); 

/*Start Example: Read data from MongoDB************************/ 

JavaMongoRDD<Document> rdd = MongoSpark.load(jsc); 

/*End Example**************************************************/ 

// Analyze data from MongoDB 
System.out.println(rdd.count()); 
System.out.println(rdd.first().toJson()); 

しかし、これはローカルホストDBに接続できません。これは、次のエラーを示しています。

Exception in thread "main" java.lang.NoSuchMethodError: com.mongodb.spark.config.ReadConfig$.apply(Lorg/apache/spark/SparkConf;Lscala/collection/Map;)Ljava/lang/Object; 
at com.mongodb.spark.MongoSpark$Builder.build(MongoSpark.scala:259) 
at com.mongodb.spark.MongoSpark$.load(MongoSpark.scala:375) 
at com.mongodb.spark.MongoSpark.load(MongoSpark.scala) 
at com.mycompany.app.App2.main(App2.java:35) 

次のmaven依存関係を使用しています。

<dependency> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-core_2.11</artifactId> 
    <version>2.1.0</version>  
</dependency> 
<dependency> 
    <groupId>org.mongodb.spark</groupId> 
    <artifactId>mongo-spark-connector_2.11</artifactId> 
    <version>1.1.0</version> 
</dependency> 
<dependency> 
    <groupId>org.mongodb</groupId> 
    <artifactId>bson</artifactId> 
    <version>3.2.2</version> 
</dependency> 
<dependency> 
    <groupId>org.scala-lang</groupId> 
    <artifactId>scala-library</artifactId> 
    <version>2.11.7</version> 
</dependency> 
<dependency> 
    <groupId>org.apache.hadoop</groupId> 
    <artifactId>hadoop-client</artifactId> 
    <version>2.2.0</version> 
</dependency> 
+1

の可能性のある重複した[java.lang.ClassNotFoundExceptionが:org.apache.spark.sql.DataFrameエラーScalaのMongoDBのコネクタを実行しています] (http://stackoverflow.com/questions/42603049/java-lang-classnotfoundexception-org-apache-spark-sql-dataframe-error-when-runn) – zsxwing

+0

応答をありがとう。重複したjarファイルが問題を作り出していました。問題は解決しました。 –

答えて

0

はあなたのmongoスパークコネクターのバージョンを向上しようとすることができ、最新の

<dependency> 
    <groupId>org.mongodb.spark</groupId> 
    <artifactId>mongo-spark-connector_2.11</artifactId> 
    <version>2.2.1</version> 
</dependency> 
関連する問題