スパークストリーミングKafkaからコンソール上に出力を生成しない

Question

私はカフカの話題を聞き、スパークストリーミングを使用してそのままテキストを再現する以下のコードを持っています。しかし、私はコンソール上でテキストを見ることができません。コンソールにERRORメッセージが表示されません。私は間違っている可能性がありますが、私はカフカのトピックのテキストがコンソールに表示されることを期待しています。

object scalaSparkProcessor { 
def main(args: Array[String]) { 
    if (args.length < 3) { 
    System.err.println("Usage: scalaSparkProcessor <zkQuorum> topics> <numThreads>") 
    System.exit(1) 
    } 

    val Array(zkQuorum, topics, numThreads) = args 
    val sparkConf = new SparkConf().setAppName("scalaSparkProcessor") 
    val ssc = new StreamingContext(sparkConf, Seconds(5)) 
    ssc.checkpoint("checkpoint") 

    val topicMap = topics.split(",").map((_, numThreads.toInt)).toMap 

    val lines = KafkaUtils.createStream(ssc,zkQuorum,"spark-streaming-consumer", topicMap).map(_._2) 

    lines.foreachRDD{rdd => 
    rdd.foreach { println }}  

    ssc.start() 
    ssc.awaitTermination() 
} 
} 

Answer 1

printlnコードが実行者で実行されますので、あなたは、執行のコンソール出力に出力を見る必要があることに注意してください。 スパークのUIに行き、Executorsタブに移動してエグゼキュータを選択すると、そこで出力を見ることができるはずです。

など。仕事をローカルで実行している場合は、http://localhost:4040に行くことができます。 糸で走っている場合は、糸ResourceManager UIを介してスパークUIにナビゲートできます。