MapRストリームコンシューマのspark.kafka.poll.time

Question

私は直接のkafka APIコンシューマでMapRストリームとパラメータ "spark.kafka.poll.time"を設定しています。しかし、私はこのパラメータの意味を正確には知らないのですか？

Answer 1

MapRドキュメントによると、MapR Streams（http://maprdocs.mapr.com/home/Spark/Spark_IntegrateMapRStreams_Consume.html）上のコンシューマのクエリ間隔時間です。主に、Spark Streamingを使用してKafkaに接続する場合にのみ指定する必要があります。ポップアップ方式の標準的なJava Kafka Consumerでは、ミリ秒単位で指定する必要があるため、その2つの間に類推があります。 Java用

：マップのparamsとしてスパークストリーミング用

ConsumerRecords<String, String> records = kafkaConsumer.poll(consumerPoolTime); 

：

"spark.kafka.poll.time" -> "300", 
// other params 

KafkaUtils.createDirectStream[String, String](ssc, kafkaParams, topics)