BluemixのSpark Contextがjsonペイロードにnullを追加する

Question

メッセージハブからBluemixのSparkインスタンスにメッセージをストリーミングしています。私は、Javaクライアントを使ってMessage Hubに簡単なjsonメッセージを送ります。

JSONメッセージ -

{"country":"Netherlands","dma_code":"0","timezone":"Europe\/Amsterdam","area_code":"0","ip":"46.19.37.108","asn":"AS196752","continent_code":"EU","isp":"Tilaa V.O.F.","longitude":5.75,"latitude":52.5,"country_code":"NL","country_code3":"NLD"} 

私はスパークでストリーミングを開始すると、私が受け取るメッセージは、先頭に余分なヌルを持っています。

(null,{"country":"Netherlands","dma_code":"0","timezone":"Europe\/Amsterdam","area_code":"0","ip":"46.19.37.108","asn":"AS196752","continent_code":"EU","isp":"Tilaa V.O.F.","longitude":5.75,"latitude":52.5,"country_code":"NL","country_code3":"NLD"}) 

なぜこのSparkコンテキストがこのnullを先頭に置くのかを教えてください。どうすれば削除できますか？

KafkaSenderコード -

KafkaProducer<String, String> kafkaProducer; 
    kafkaProducer = new KafkaProducer<String, String>(props); 
    ProducerRecord<String, String> producerRecord = new ProducerRecord<String, String>(topic,message); 

    RecordMetadata recordMetadata = kafkaProducer.send(producerRecord).get(); 
    //getting RecordMetadata is possible to validate topic, partition and offset 
    System.out.println("topic where message is published : " + recordMetadata.topic()); 
    System.out.println("partition where message is published : " + recordMetadata.partition()); 
    System.out.println("message offset # : " + recordMetadata.offset()); 
    kafkaProducer.close(); 

おかげ ラジ

Answer 1

あなたのキーがnullである - 最初の値は、あなたの鍵であり、第二は、もちろん、あなたの値です。

私は、より良い答えのためにメッセージを投稿するコードをKafka/MessageHubに投稿することをお勧めします。

あなたの問題を解決するには、目的を印刷するだけならば、代わりにこのようなことができます。データをstdoutに出力し、ヌルキーを無視します。

stream.foreachRDD(recordRDD => { 
    recordRDD.foreach(record => print(record._2)) 
})