私は、スカラーを使用してスパークでストリーミングするtwitterを作成しようとしています。スパーク2.0.2 twitterストリーミングがapache bahirに見つかりません
- スパークバージョン:2.0.2
- スカラVerision:2.11.8
火花のために外部のjarファイルを追加する際に、私が持っているスパークストリーミング(スパークstreaming_2.11-2.0.2.jar )私のスパークのインストールフォルダからしかし、私は(spark-streaming-twitter_2.11-2.0.1.jar)として最近入手した、TwitterのストリーミングジャーをApache Bahirから追加しています。ランニングは日食
見つからないか、ロードクラスファイル「TwitterUtils.class」ながら検出され、無効な依存関係に以下のエラーを取得していますのでながら
。パッケージ内の用語twitter4jにアクセスできませんでした。パッケージ(またはその依存関係)が存在しないためです。ビルド定義で、欠落しているか矛盾する依存関係がないかチェックしてください。 (問題のあるクラスパスを確認するには、
-Ylog-classpath
で再実行してください。) 'TwitterUtils.class'が互換性のないバージョンに対してコンパイルされた場合、完全な再構築が役立ちます。 TwitterWordCount不明なScalaの問題
私は正しいjarを追加したり、コードを変更する必要がありますか?以下は
それ(またはその依存関係)が欠落しているので、私の輸入
import org.apache.spark.streaming.twitter._
import org.apache.spark.streaming.{StreamingContext,Seconds}