私はハイブから、このような電子メールアドレスのデータフレームを使用している場合はデータフレーム

Question

のサブセットを作成します。

email_address user_id 

test@test.com 2134 
null    2133 
test4@test.com 2132 
test5@test.com 21 
test6@test.com 213 
test7@test.com 21388 
null    22 
null    2134 

を私がnullの2つのデータフレーム（電子メールですべてのuser_idは年代を持つ1つのデータフレームを作成したいとnullではない電子メールですべてのUSER_IDさんを持っている他のデータフレーム）は、このような何か：

val sparkConf = new SparkConf().setAppName("YOUR_APP_NAME").setMaster("local[10]") 
val sc = new SparkContext(sparkConf) 
val sqlContext = new SQLContext(sc) 
val hiveContext = new HiveContext(sc) 

hiveContext.setConf("hive.metastore.uris", "METASTORE_URI_NAME_HERE") 

val df = hiveContext.sql("SELECT email,user_id FROM USERS") 

df.map{ row => 
    if row.getString(0).length > 0 { 
     //ADD INTO "First Dataframe" 
     //row.getString(0) = email, row.getString(1) = user_id 
    }else { 
     //ADD INTO "First Dataframe" 
     //row.getString(0) = email, row.getString(1) = user_id 
    } 
} 

：

First Dataframe:    Second Dataframe: 

test@test.com 2134   null    22 
test4@test.com 2132   null    2134 
test5@test.com 21   null    2133 
test6@test.com 213 
test7@test.com 21388 

私は以下のコードを持っています

全く新しいDataframeを作成する必要があるかどうか、あるいは最初にどのように行うかはわかりません。すべてのポインタ？

Answer 1

この場合、データフレーム機能isNull()を使用する方が簡単です。

df_no_nulls = df.where(col("email_address").isNull()) 

df_nulls = df.where(col("email_address").isNotNull())