インポートがありませんか？

Question

> spark-submit --class "TwitterPopularTags" --master local[2]  >/home/raja/begin/target/scala-2.11/simple-project_2.11-1.0.jar 

> "Exception in thread "main" java.lang.NoClassDefFoundError:      >org/apache/spark/Logging 
>... 
>Caused by: java.lang.ClassNotFoundException: org.apache.spark.Logging 
>... 
>" 

マイSBTが細かい実行中：きれいに、コンパイル、リロード、パッケージが、私は上記火花提出を実行したとき、私は上記の世界的に有名なエラーが発生しました。

>My simple.sbt: 

> name := "Simple Project" 
> version := "1.0" 
> scalaVersion := "2.11.6" 

>libraryDependencies ++= Seq(
> "org.apache.spark" %% "spark-core" % "2.0.1", 
> "org.apache.spark" %% "spark-streaming" % "2.0.1", 
> "org.apache.spark" %% "spark-streaming-twitter" % "1.6.2", 
> "com.google.code.gson" % "gson" % "2.7", 
> "org.twitter4j" % "twitter4j-core" % "4.0.4", 
> "org.twitter4j" % "twitter4j-stream" % "4.0.4", 
>"org.apache.logging.log4j" % "log4j-slf4j-impl" % "2.7" 
>) 

>resolvers += "Maven Central" at "https://repo1.maven.org/maven2/" 
>resolvers += "Akka Repository" at "http://repo.akka.io/releases/" 

マイ輸入：

>import org.apache.spark.streaming.StreamingContext._ 
>import org.apache.spark.streaming.dstream.DStream 
>import org.apache.spark.streaming.twitter._ 
>import org.apache.spark.streaming.{Seconds, StreamingContext} 
>import org.apache.spark.{SparkConf, SparkContext} 

>import org.slf4j.{Logger, LoggerFactory} 
>import org.slf4j.impl.StaticLoggerBinder 
>import org.apache.log4j.{Level, LogManager, PropertyConfigurator} 
>import org.apache.log4j.Logger 
>import twitter4j.auth.OAuthAuthorization 
>import twitter4j.conf.ConfigurationBuilder 
>import twitter4j.Twitter 
>import twitter4j.Status 
>import twitter4j.auth.Authorization 
>import twitter4j.TwitterFactory 

バージョンを変更することを教えてはいけないしてください。私はlog4j.propertiesプロパティを設定しましたが、チャンスはありません。それはSLF4Jか、私が見なければならないLogbackですか？私はmavenからそのバージョンのspark-core jarを入手しようとしましたが、チャンスはありませんでした。

誰もが私を指し、ここで

おかげで、 ラジャ

Answer 1

を固定することができますあなたは間違って依存関係を持っている：

• スパーク2.0
• スパークTwitterのコネクタ1.6

TwitterのコネクタをSpark 2.0では削除されました。 Apache Bahirを使用するか、Sparkを1.6にダウングレードすることができます。