2017-09-08 6 views
0

私は4つのノードを持つスパーククラスタを持っていると私はアプリ起動しよう: - :--jars /home/cassandra/jsr166e-1.1.0.jarjava.lang.NoClassDefFoundErrorが:COM /さえずり/ jsr166e/LongAdder

spark-submit --deploy-mode cluster --class "Init" --master spark://host /home/cassandra/spark2Cassandra-assembly-0.1.jarを私はこれを追加した場合でも、これは動作しません。これは私

どのようにするために動作しませんでした - また、私はcom/twitter/jsr166e/LongAdder

libraryDependencies += "com.twitter" % "jsr166e" % "1.1.0" 

をinckudingすべての依存関係を持つ私のアプリはまた、私はすべてのノードのスパーク\瓶のディレクトリにこのjarファイルを追加しようとしましたアセンブリに試してみました私は配布するこの瓶は私のクラスターに?

フル・エラー(同じメッセージを何度):

spark-shell --jars /data/tmp/spark-cassandra-connector-2.0.5-s_2.11.jar,/data/tmp/jsr166e-1.1.0.jar 

それは動作しますが、:

私はローカルモードを使用して経由で起動した場合に更新

java.lang.NoClassDefFoundError: com/twitter/jsr166e/LongAdder at org.apache.spark.metrics.OutputMetricsUpdater$TaskMetricsSupport$class.$init$(OutputMetricsUpdater.scala:107) at org.apache.spark.metrics.OutputMetricsUpdater$TaskMetricsUpdater.(OutputMetricsUpdater.scala:153) at org.apache.spark.metrics.OutputMetricsUpdater$.apply(OutputMetricsUpdater.scala:75) at com.datastax.spark.connector.writer.TableWriter.writeInternal(TableWriter.scala:174) at com.datastax.spark.connector.writer.TableWriter.insert(TableWriter.scala:162) at com.datastax.spark.connector.writer.TableWriter.write(TableWriter.scala:149) at com.datastax.spark.connector.RDDFunctions$$anonfun$saveToCassandra$1.apply(RDDFunctions.scala:36) at com.datastax.spark.connector.RDDFunctions$$anonfun$saveToCassandra$1.apply(RDDFunctions.scala:36) at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:87) at org.apache.spark.scheduler.Task.run(Task.scala:108) at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:335) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) at java.lang.Thread.run(Thread.java:748)

クラスタモードでも同じことはできません

答えて

0

問題がありますあなたはそれを持っていないと は(すべてのスパークノード上)SPARK_HOME/jars/からjsr166e.jarファイルをコピーして、again.itしようとした場合のMavenリポジトリからノード

0

ダウンロードjsr166e.jar上で定義されていませんでしたSPARK_HOME環境変数にsが私のための仕事です。

関連する問題