私はapche spark(streaming)の下でmavenと作業しています。そして、スカラプログラミングで。私はコードが正しい命令をひもで締める場合apache sparkストリーミングエラー
val sc= new StreamingContext(conf , Seconds(1))
: は実際には、私は次の命令の小さな問題を抱えています。
これは私の完全なコード(ネットワークワード数)である:スパークストリーミングカントで動作するので、あなたがマスターに「[2]ローカル」「[*]ローカル」与えることを試みるか、してくださいすることができます。ここ
import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.storage.StorageLevel
object WordCountStreaming {
def main(args: Array[String]): Unit = {
val conf = new SparkConf() .setMaster("local")
.setAppName("WordCountStreaming")
.set("spark.driver.allowMultipleContexts","true"); val sc= new
StreamingContext(conf , Seconds(1)) val lines =
sc.socketTextStream(args(0), args(1).toInt,
StorageLevel.MEMORY_AND_DISK_SER) sc.start() sc.awaitTermination()
}
}
エラーログとコード – Kartoch
インポートorg.apache.spark.SparkConf インポートorg.apache.spark.streamingを追加してください。{秒、StreamingContext} インポートorg.apache.spark.storage.StorageLevel オブジェクトWordCountStreaming {DEF .setAppName( "WordCountStreaming") .set( "spark.driver.allowMultipleContexts"、 "spark.driver.allowMultipleContexts"、 "spark.driver.allowMultipleContexts"真 "); val sc = new StreamingContext(conf、Seconds(1)) val行= sc.socketTextStream(args(0)、args(1).toInt、StorageLevel.MEMORY_AND_DISK_SER) sc.start() sc.awaitTermination } } –
質問に追加することができます(私はあなたのためにしました)。 – Kartoch