MapRを使用したApache kafkaクラスタスパークストリーミングが動作しない

Question

MapR Sparkストリーミング（1.6.1）を使用してApache kafkaクラスタに接続する際に問題が発生しています。セットアップの詳細は以下の通りです：

スパークとMAPRクラスタ1.6.1（3ノードクラスタ）のApacheカフカクラスタv0.8.1.1（5ノードクラスタ）私たちは '使用している

•

•

spark-streaming-kafka 'ライブラリをmapr v1.6.1-ampr-1605から入手してください。私たちはまた、apache spark（mapr sparkではなく）でローカルモードで実行しようとしましたが、これはうまくいきます。以下は

エラーのスタックトレースです：

Exception in thread "main" org.apache.kafka.common.config.ConfigException: No bootstrap urls given in bootstrap.servers 
     at org.apache.kafka.clients.ClientUtils.parseAndValidateAddresses(ClientUtils.java:57) 
     at org.apache.kafka.clients.consumer.KafkaConsumer.initializeConsumer(KafkaConsumer.java:606) 
     at org.apache.kafka.clients.consumer.KafkaConsumer.partitionsFor(KafkaConsumer.java:1563) 
     at org.apache.spark.streaming.kafka.v09.KafkaCluster$$anonfun$getPartitions$1$$anonfun$1.apply(KafkaCluster.scala:54) 
     at org.apache.spark.streaming.kafka.v09.KafkaCluster$$anonfun$getPartitions$1$$anonfun$1.apply(KafkaCluster.scala:54) 
     at scala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala:251) 
     at scala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala:251) 
     at scala.collection.immutable.Set$Set1.foreach(Set.scala:74) 
     at scala.collection.TraversableLike$class.flatMap(TraversableLike.scala:251) 
     at scala.collection.AbstractTraversable.flatMap(Traversable.scala:105) 
     at org.apache.spark.streaming.kafka.v09.KafkaCluster$$anonfun$getPartitions$1.apply(KafkaCluster.scala:53) 
     at org.apache.spark.streaming.kafka.v09.KafkaCluster$$anonfun$getPartitions$1.apply(KafkaCluster.scala:52) 
     at org.apache.spark.streaming.kafka.v09.KafkaCluster.withConsumer(KafkaCluster.scala:164) 
     at org.apache.spark.streaming.kafka.v09.KafkaCluster.getPartitions(KafkaCluster.scala:52) 
     at org.apache.spark.streaming.kafka.v09.KafkaUtils$.getFromOffsets(KafkaUtils.scala:421) 
     at org.apache.spark.streaming.kafka.v09.KafkaUtils$.createDirectStream(KafkaUtils.scala:292) 
     at org.apache.spark.streaming.kafka.v09.KafkaUtils$.createDirectStream(KafkaUtils.scala:397) 
     at org.apache.spark.streaming.kafka.v09.KafkaUtils.createDirectStream(KafkaUtils.scala) 
     at com.cisco.it.log.KafkaDirectStreamin2.main(KafkaDirectStreamin2.java:111) 
     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
     at java.lang.reflect.Method.invoke(Method.java:606) 
     at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:742) 
     at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:181) 
     at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:206) 
     at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:121) 
     at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) 

PS：私たちは、接続を作成しながら、「metadata.broker.list」を渡しています。 スパークストリーミングアプリケーションがZKに接続できず、ブートストラップURLを取得できません。これが私の理解です。あるいは、map-rとkafka jarの正しいバージョンがないという問題かもしれません。私たちはMap-r側からjarファイルを取り出しましたが、まだ動作していません。

私たちはapache sparkで正常にテストできますが、それをmaprで動作させることはできません。

任意のヘルプはappericated。

Answer 1

スタックトレースには、org.apache.spark.streaming.kafka.v09への参照があります。これは、新しい消費者APIを使用した実装であり、Kafka 0.9で利用できるようになり、Kafka 0.8.1.1で動作しなくなることを意味します。おそらく、代わりにMapR's spark-streaming-kafka_2.10からライブラリの1つを試してください。