spark scalaの1列を3列に分割します

Question

Sparkには分割が必要な列を持つscalaを使用してデータフレームがあります。

+--------------+ 
|col1|col2|col3| 
| a| b| c| 
| d| e| f| 
+--------------+ 

私はスパークに2.0.0

おかげ

Answer 1

てみ使用しています：

df.withColumn("_tmp", split($"columnToSplit", "\\.")).select(
    $"_tmp".getItem(0).as("col1"), 
    $"_tmp".getItem(1).as("col2"), 
    $"_tmp".getItem(2).as("col3") 
).drop("_tmp") 

Answer 2

を、私はこのコラムはこのように見てアウト分割必要

scala> test.show 
+-------------+ 
|columnToSplit| 
+-------------+ 
|  a.b.c| 
|  d.e.f| 
+-------------+ 

セレスを回避する溶液CT部分。あなただけの新しい列を追加したい場合に便利です：

case class Message(others: String, text: String) 

val r1 = Message("foo1", "a.b.c") 
val r2 = Message("foo2", "d.e.f") 

val records = Seq(r1, r2) 
val df = spark.createDataFrame(records) 

df.withColumn("col1", split(col("text"), "\\.").getItem(0)) 
    .withColumn("col2", split(col("text"), "\\.").getItem(1)) 
    .withColumn("col3", split(col("text"), "\\.").getItem(2)) 
    .show(false) 

+------+-----+----+----+----+ 
|others|text |col1|col2|col3| 
+------+-----+----+----+----+ 
|foo1 |a.b.c|a |b |c | 
|foo2 |d.e.f|d |e |f | 
+------+-----+----+----+----+ 

Answer 3

プログラムでこれを行うには、あなたが(0 until 3).map(i => col("temp").getItem(i).as(s"col$i"))と表現のシーケンスを作成します（結果として3つの列を必要とすると仮定）し、その後でselectに適用することができます: _*構文：

df.withColumn("temp", split(col("columnToSplit"), "\\.")).select(
    (0 until 3).map(i => col("temp").getItem(i).as(s"col$i")): _* 
).show 
+----+----+----+ 
|col0|col1|col2| 
+----+----+----+ 
| a| b| c| 
| d| e| f| 
+----+----+----+ 

---

すべての列を維持するために：

df.withColumn("temp", split(col("columnToSplit"), "\\.")).select(
    col("*") +: (0 until 3).map(i => col("temp").getItem(i).as(s"col$i")): _* 
).show 
+-------------+---------+----+----+----+ 
|columnToSplit|  temp|col0|col1|col2| 
+-------------+---------+----+----+----+ 
|  a.b.c|[a, b, c]| a| b| c| 
|  d.e.f|[d, e, f]| d| e| f| 
+-------------+---------+----+----+----+