2016-07-14 13 views
0
df: 

-----------+ 
|  word| 
+-----------+ 
|  1609| 
|   | 
|  the| 
| sonnets| 
|   | 
|   by| 
| william| 
|shakespeare| 
|   | 
|   fg| 

これは私のデータフレームです。 'where'句を使用して空の行を削除する方法( 'が含まれている行を削除する方法)'どこでapacheのスパークで

code: 

df.where(trim(df.word) == "").show() 

output: 

----+ 
|word| 
+----+ 
| | 
| | 
| | 
| | 
| | 
| | 
| | 
| | 
| | 

助けていただければ幸いです。

答えて

1

結果が空の場合は、トリミングしてチェックすることができます。時間のため

>>> from pyspark.sql.functions import trim 
>>> df.where(trim(df.word) != "") 
+0

感謝を。解決策は機能しませんでした。データフレームのすべての行を空にしました。結果を示すために質問部分を更新します。 –

+0

申し訳ありません。 –

+0

それは働いてくれてありがとう。 –

関連する問題