1
MongoDBのSparkコネクタをMongoDBから読み込もうとしています。私は、アプリケーションを起動する間にSpark confオブジェクトにDBとコレクションの詳細を提供しました。そして、次のコードを読んで読んでください。MongoDB Spark Connector:mongo-sparkがDBに接続できません
// create configuration
SparkSession spark = SparkSession.builder()
.master("local")
.appName("MongoSparkConnectorIntro")
.config("spark.mongodb.input.uri", "mongodb://localhost:27017/Employee.zipcodes")
.config("spark.mongodb.output.uri", "mongodb://localhost:27017/Employee.test")
.getOrCreate();
// Create a JavaSparkContext using the SparkSession's SparkContext object
JavaSparkContext jsc = new JavaSparkContext(spark.sparkContext());
/*Start Example: Read data from MongoDB************************/
JavaMongoRDD<Document> rdd = MongoSpark.load(jsc);
/*End Example**************************************************/
// Analyze data from MongoDB
System.out.println(rdd.count());
System.out.println(rdd.first().toJson());
しかし、これはローカルホストDBに接続できません。これは、次のエラーを示しています。
Exception in thread "main" java.lang.NoSuchMethodError: com.mongodb.spark.config.ReadConfig$.apply(Lorg/apache/spark/SparkConf;Lscala/collection/Map;)Ljava/lang/Object;
at com.mongodb.spark.MongoSpark$Builder.build(MongoSpark.scala:259)
at com.mongodb.spark.MongoSpark$.load(MongoSpark.scala:375)
at com.mongodb.spark.MongoSpark.load(MongoSpark.scala)
at com.mycompany.app.App2.main(App2.java:35)
次のmaven依存関係を使用しています。
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.1.0</version>
</dependency>
<dependency>
<groupId>org.mongodb.spark</groupId>
<artifactId>mongo-spark-connector_2.11</artifactId>
<version>1.1.0</version>
</dependency>
<dependency>
<groupId>org.mongodb</groupId>
<artifactId>bson</artifactId>
<version>3.2.2</version>
</dependency>
<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-library</artifactId>
<version>2.11.7</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.2.0</version>
</dependency>
の可能性のある重複した[java.lang.ClassNotFoundExceptionが:org.apache.spark.sql.DataFrameエラーScalaのMongoDBのコネクタを実行しています] (http://stackoverflow.com/questions/42603049/java-lang-classnotfoundexception-org-apache-spark-sql-dataframe-error-when-runn) – zsxwing
応答をありがとう。重複したjarファイルが問題を作り出していました。問題は解決しました。 –