スパークRDDマッピング質問

Question

私は

 
no1  1|3|4 
no2  4|5|6 

以下のようにテキストデータを持っていると私は、スパークRDDとScalaの言語を使用して以下のように上記のデータを変換したいです。

 
no1  1 
no1  3 
no1  4 
no2  4 
no2  5 
no2  6 

私はSparkとScalaの新機能です。そして私はこれを行う例を見つけることができません。

Answer 1

RDD APIよりも将来のスパークバージョンでAPIを重視するデータフレームとしてファイルを読み込むことをお勧めします。あなたのコメントのための

val df = Seq(("no1", "1|3|4"), ("no2", "4|5|6")).toDF("A", "B") 
// df: org.apache.spark.sql.DataFrame = [A: string, B: string] 

df.show 
+---+-----+ 
| A| B| 
+---+-----+ 
|no1|1|3|4| 
|no2|4|5|6| 
+---+-----+ 


df.withColumn("B", explode(split($"B", "\\|"))).show 
+---+---+ 
| A| B| 
+---+---+ 
|no1| 1| 
|no1| 3| 
|no1| 4| 
|no2| 4| 
|no2| 5| 
|no2| 6| 
+---+---+