キーがbitarray型の場合、reduceByKeyが期待どおりに機能しない

Question

以下は、pysparkシェルで試しているコードです。予想

from bitarray import bitarray 
a = bitarray('0') * 5 
b = bitarray('1') * 5 
c = [a.copy() for x in range(3)] 
d = [b.copy() for x in range(5)] 
e = c + d 
rdd = sc.parallelize(e).map(lambda x : (x, 1)).reduceByKey(lambda x, y : x + y).collect() 
print(rdd) 

：

[(bitarray('11111'), 5), (bitarray('00000'), 3) 

実際の出力：

[(bitarray('11111'), 1), (bitarray('00000'), 1), (bitarray('11111'), 1), (bitarray('11111'), 1), (bitarray('00000'), 1), (bitarray('11111'), 1), (bitarray('00000'), 1), (bitarray('11111'), 1)] 

なぜ異なるbitarray値を区別することができ、エンジンを点火されていませんか？

Answer 1

この問題を回避する方法の1つは、tobytesを使用してbitarrayをすべてバイトに変換することです。また、問題の原因は、ビット配列がハッシュ不変を維持しない@mtotoによって提供されるリンクで説明されています。

from bitarray import bitarray 

def back2Bit(U): 
     res = bitarray() 
     res.frombytes(U) 
     return res 

a = bitarray('0') * 5 
b = bitarray('1') * 5 
c = [a.copy() for x in range(3)] 
d = [b.copy() for x in range(5)] 
e = c + d 
rdd = sc.parallelize([x.tobytes() for x in e]).map(lambda x : (x, 1)).reduceByKey(lambda x, y : x + y).collect() 
rdd = [(back2Bit(x[0]), x[1]) for x in rdd]