配備されたスパークジョブサーバエラーを起動できません。org.slf4j.LoggerFactoryが見つかりません。

CDH 5.11、スパークバージョン1.6.0のクラスタでスパークジョブサーバを使用しようとしています spark jobserverを起動しようとしました。デプロイされたマシンにこのエラーログが表示される配備されたスパークジョブサーバエラーを起動できません。org.slf4j.LoggerFactoryが見つかりません。

[ERROR] [06/02/2017 15:30:14.966] [JobServer-akka.actor.default-dispatcher-3] [ActorSystem(JobServer)] Uncaught error from thread [JobServer-akka.actor.default-dispatcher-3] shutting down JVM since 'akka.jvm-ex$ 
java.lang.NoClassDefFoundError: org/slf4j/LoggerFactory 
at akka.event.slf4j.Logger$.apply(Slf4jLogger.scala:30) 
at akka.event.slf4j.SLF4JLogging$class.log(Slf4jLogger.scala:19) 
at akka.event.slf4j.Slf4jLogger.log$lzycompute(Slf4jLogger.scala:54) 
at akka.event.slf4j.Slf4jLogger.log(Slf4jLogger.scala:54) 
at akka.event.slf4j.Slf4jLogger$$anonfun$receive$1.applyOrElse(Slf4jLogger.scala:80) 
at akka.actor.ActorCell.receiveMessage(ActorCell.scala:498) 
at akka.actor.ActorCell.invoke(ActorCell.scala:456) 
at akka.dispatch.Mailbox.processMailbox(Mailbox.scala:237) 
at akka.dispatch.Mailbox.run(Mailbox.scala:219) 
at akka.dispatch.ForkJoinExecutorConfigurator$AkkaForkJoinTask.exec(AbstractDispatcher.scala:386) 
at scala.concurrent.forkjoin.ForkJoinTask.doExec(ForkJoinTask.java:260) 
at scala.concurrent.forkjoin.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:1339) 
at scala.concurrent.forkjoin.ForkJoinPool.runWorker(ForkJoinPool.java:1979) 
at scala.concurrent.forkjoin.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:107) 
Caused by: java.lang.ClassNotFoundException: org.slf4j.LoggerFactory 
at java.net.URLClassLoader.findClass(URLClassLoader.java:381) 
at java.lang.ClassLoader.loadClass(ClassLoader.java:424) 
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:335) 
at java.lang.ClassLoader.loadClass(ClassLoader.java:357) 
... 14 more 

Uncaught error from thread [JobServer-akka.actor.default-dispatcher-3] shutting down JVM since 'akka.jvm-exit-on-fatal-error' is enabled for ActorSystem[JobServer] 
java.lang.NoClassDefFoundError: org/slf4j/LoggerFactory 
at akka.event.slf4j.Logger$.apply(Slf4jLogger.scala:30) 
at akka.event.slf4j.SLF4JLogging$class.log(Slf4jLogger.scala:19) 
at akka.event.slf4j.Slf4jLogger.log$lzycompute(Slf4jLogger.scala:54) 
at akka.event.slf4j.Slf4jLogger.log(Slf4jLogger.scala:54) 
at akka.event.slf4j.Slf4jLogger$$anonfun$receive$1.applyOrElse(Slf4jLogger.scala:80) 
at akka.actor.ActorCell.receiveMessage(ActorCell.scala:498) 
at akka.actor.ActorCell.invoke(ActorCell.scala:456) 
at akka.dispatch.Mailbox.processMailbox(Mailbox.scala:237) 
at akka.dispatch.Mailbox.run(Mailbox.scala:219) 
at akka.dispatch.ForkJoinExecutorConfigurator$AkkaForkJoinTask.exec(AbstractDispatcher.scala:386) 
at scala.concurrent.forkjoin.ForkJoinTask.doExec(ForkJoinTask.java:260) 
at scala.concurrent.forkjoin.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:1339) 
at scala.concurrent.forkjoin.ForkJoinPool.runWorker(ForkJoinPool.java:1979) 
at scala.concurrent.forkjoin.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:107) 
Caused by: java.lang.ClassNotFoundException: org.slf4j.LoggerFactory 
at java.net.URLClassLoader.findClass(URLClassLoader.java:381) 
at java.lang.ClassLoader.loadClass(ClassLoader.java:424) 
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:335) 
at java.lang.ClassLoader.loadClass(ClassLoader.java:357) 
... 14 more

誰かが同じ問題に直面したのですか？

出典

2017-06-02 Reuben Borrison

ここにはいくつかのものがあります。

どのように展開していますか？問題は、SLF4J jarがSJSクラスパスからどのように除外されているかのようです。その上にバージョンの競合が存在する可能性があります。

UIのスパークの依存関係を確認してください。（そこにSLF4Jが見つかります！）

スカラのバージョンを確認する必要があります。スパークバージョンとSpark-Job-Serverバージョンが競合している場合

あなたの場合、sparkバージョン1.6.0の場合、選択されたスカラのバージョンは2.10.4でなければなりません。（2.11や2.12のような他のバージョンはありません）

出典

2017-06-07 10:58:06

コメントありがとうございました。問題は既に解決されています！あなたが言ったのと同じエラーでしたが、spark classpath.txtを更新しなかったアップグレードを行ったので、CDHに不適切なクラスパスが設定されました。それを更新した後、何もうまくいった。また、いくつかのCDHバージョン用に構築されたスパークジョブサーバー（[bjoern's repo]（https://github.com/bjoernlohrmann/spark-jobserver））に別のレポを使用します。 –

配備されたスパークジョブサーバエラーを起動できません。org.slf4j.LoggerFactoryが見つかりません。

答えて

関連する問題