スパークデータフレームのフラット化

Question

スパークの開始方法flatmapまたはexplodeのデータフレームの作成方法をご希望ですか？

それはdf.groupBy("columName").countを使用して作成され、私はそれを収集する場合は、以下の構造を有した：

[[Key1, count], [Key2, count2]] 

しかし、私はむしろ何かを達成するための適切なツールである何

Map(bar -> 1, foo -> 1, awesome -> 1) 

のようなものを持っていると思いますこのような？フラットマップ、爆発など何か？

コンテキスト：spark-jobserverを使用します。後者の形式でデータを提供する場合に意味のある結果（例：json serializationなど）があるようです

Answer 1

DataFrameでcollectまたはcollectAsListと呼んでいるとしますか？それはArray[Row]/List[Row]を返します。

def counted = df.groupBy("columName").count() 
// obviously, replace "keyColumn" and "valueColumn" with your actual column names 
def result = counted.rdd.map(r => (r.getAs[String]("keyColumn"), r.getAs[Long]("valueColumn"))).collectAsMap() 

resultが期待通りにMap[String, Long]を入力しています - もしそうなら

マップにこれらを変換する最も簡単な方法は、根本的なRDDを使用して、キーと値のタプルにそのrecrodsをマッピングし、collectAsMapを使用することです。