は[SparkStreaming]カフカConsumerRecordはシリアライズではありません

Question

私のconfigが

val kafkaParams = Map[String, Object](
    "bootstrap.servers" -> "xxxxx", 
    "key.deserializer" -> classOf[StringDeserializer], 
    "value.deserializer" -> classOf[StringDeserializer], 
    "group.id" -> "xxx", 
    "fetch.message.max.bytes" -> "20971520", 
    "max.partition.fetch.bytes" -> "20971520", 
    "auto.offset.reset" -> "latest", 
    "enable.auto.commit" -> (false: java.lang.Boolean) 
) 

あるしかし、私は、このスパークストリーミング、 を実行したときに、私はこのエラーが

[JobGenerator] ERRORのorg.apache.spark.streamingを取得します。 kafka010.KafkaRDD [70] - Kafka ConsumerRecordは直列化できません。 .persistまたは.windowを呼び出す前に.mapを使用してフィールドを抽出する

この問題を解決するにはどうすればよいですか？

Answer 1

あなたのメッセージタイプに関する問題だと思います。メッセージのキーと値が文字列かどうか確認してください。