Spark StreamingでRDD.cartesianを使用する際のバグはありますか？

Question

マイコード：

ks1 = KafkaUtils.createStream(ssc, zkQuorum='localhost:2181', groupId='G1', topics={'test': 2}) 
ks2 = KafkaUtils.createStream(ssc, zkQuorum='localhost:2181', groupId='G2', topics={'test': 2}) 

d1 = ks1.map(lambda x: x[1]).flatMap(lambda x: list(x)).countByValue() 
d2 = ks2.map(lambda x: x[1]).flatMap(lambda x: list(x)).countByValue() 

d3 = d1.transformWith(lambda t, x, y: x.cartesian(y), d2) 

そして、私はいくつかのエラーを取得：

とjava.lang.ClassCastExceptionを：org.apache.spark.api.java.JavaPairRDD はorg.apacheにキャストすることはできません.spark.api.java.JavaRDD

ps Python2.7.11 +スパーク2.0.2

あなたは

Answer 1

はい、既知のバグがありありがとうございます。ここにJIRAがあります：

https://issues.apache.org/jira/browse/SPARK-17756