SparkSQLの文字列を分割する

Question

私はいくつかの行のファイルを持っています。例

A    B  C  
awer.ttp.net Code 554 
abcd.ttp.net Code 747 
asdf.ttp.net Part 554 
xyz.ttp.net  Part 747 

のために私はテーブルのちょうど列を分割するSparkSQL文を作りたいと私は値の畏敬の念、ABCD、空自、およびXYZとテーブルDに追加された新しい行を、したいです。

Answer 1

あなたはsplit機能を使用して、ここで新しい列D

のための最初の要素を取得することができますすることは簡単な例です

val spark = SparkSession.builder().master("local").getOrCreate() 
import spark.implicits._ 
val data = spark.sparkContext.parallelize(Seq(
    ("awer.ttp.net","Code", 554), 
    ("abcd.ttp.net","Code", 747), 
    ("asdf.ttp.net","Part", 554), 
    ("xyz.ttp.net","Part", 747) 
)).toDF("A","B","C") 

data.withColumn("D", split($"A", "\\.")(0)).show(false) 

//using SQL 

data.createOrReplaceTempView("tempTable") 
data.sqlContext.sql("SELECT A, B, C, SUBSTRING_INDEX(A, '.', 1) as D from tempTable") 

出力：

+------------+----+---+----+ 
|A   |B |C |D | 
+------------+----+---+----+ 
|awer.ttp.net|Code|554|awer| 
|abcd.ttp.net|Code|747|abcd| 
|asdf.ttp.net|Part|554|asdf| 
|xyz.ttp.net |Part|747|xyz | 
+------------+----+---+----+