ブロードキャスト変数の内容を表示するには

Question

pysparkシェルにブロードキャスト変数を作成しましたが、その中のwhatsを簡単に調べたいと思います。

しかし、RDDの印刷や表示に通常使用する関数は、ブロードキャスト変数では使用できません。

つまり、.collect()と.take(5)などはすべて、恐れを持ってBroadcast object has no property ...というエラーを投げます。

ブロードキャストのvarに保存されているデータを表示するにはどうすればよいですか？

Answer 1

私はPythonで似ていると思います。私はあなたにScalaの例を示します。あなたがbroadcastVar.valueの結果を保存する場合

scala> val broadcastVar = sc.broadcast(Array(1, 2, 3)) 
broadcastVar: org.apache.spark.broadcast.Broadcast[Array[Int]] = Broadcast(0) 

scala> broadcastVar.value 
res0: Array[Int] = Array(1, 2, 3) 

、あなたがTを取得します、変数にあなたはそれを印刷することができますまたは任意の型T