スパークfillNaがnull値を置き換えない

Question

私は以下のデータセットを持っており、いくつかのnull値を含んでいます。sparkのfillnaを使用してnull値を置き換える必要があります。

DATAFRAME：

df = spark.read.format("com.databricks.spark.csv").option("header‌​","true").load("/sam‌​ple.csv") 

>>> df.printSchema(); 
root 
|-- Age: string (nullable = true) 
|-- Height: string (nullable = true) 
|-- Name: string (nullable = true) 

>>> df.show() 
+---+------+-----+ 
|Age|Height| Name| 
+---+------+-----+ 
| 10| 80|Alice| 
| 5| null| Bob| 
| 50| null| Tom| 
| 50| null| null| 
+---+------+-----+ 

>>> df.na.fill(10).show() 

私はNAが同じデータフレームが再び登場変わっdosen'tそれを値あげます。

+---+------+-----+ 
|Age|Height| Name| 
+---+------+-----+ 
| 10| 80|Alice| 
| 5| null| Bob| 
| 50| null| Tom| 
| 50| null| null| 
+---+------+-----+ 

新しいデータフレームを作成し、その値をデータフレームに保存しようとしましたが、結果は変更されていません。

>>> df2 = df.na.fill(10) 

null値を置き換える方法は？ fill naを使用して可能な方法を教えてください。 ありがとうございました。

Answer 1

Heightの列は数値ではないようです。 df.na.fill(10)と呼ぶと、sparkは数値型の列である10という種類に一致する列でヌルのみを置き換えます。

Height列を文字列にする必要がある場合は、df.na.fill('10').show()を試してください。それ以外の場合はIntegerType()にキャストする必要があります。

Answer 2

必要に応じて、各列に特定のデフォルト値を指定することもできます。

df.na.fill({'Height': '10', 'Name': 'Bob'})