RDD [Array [Row]]をRDD [Row]に変換する

Question

RDD [Array [Row]]をRDD [Row]に変換する方法は？

詳細：

私は私の解析関数は、いくつかのデータの型アレイ[行]を返し、いくつかのデータの行、いくつかのユースケースを持っています。これらを両方ともRDD [行]に変換して、今後どのように使用しますか？

コードサンプル

private def getRows(rdd: RDD[String], parser: Parser): RDD[Row] = { 

var processedLines = rdd.map { line =>  
    map(p => parser.processBeacon(line) } 

val rddOfRowsList = processedLines.map { x => 
    x match { 
    case Right(obj) => obj.map { p =>   
     MyRow.getValue(p) 
    }//I can use flatmap here 
    case Left(obj) =>   
     MyRow.getValue(obj) 
    }//Cant use flatmap here 
} 

// Here I have to convert rddOfRowsList to RDD[Row] 
//????? 
val rowsRdd =????? 
// 


rowsRdd 

}

def processLine(logMap: Map[String, String]):Either[Map[String, Object], Array[Map[String, Object]]] = 
     { 
      //process 
     } 

Answer 1

使用flatMap。

rdd.flatMap(identity) 

Answer 2

フラットマップを使用して新しいrddを取得し、次にunionを使用して作成します。

Answer 3

フラットマップを使用してRDDの内容を整える