Spark DataFrameのヌル値を置き換えます

Question

私はここで解決策を見ましたが、試してみるとうまくいきません。

まず私はcars.csvファイルのインポート：

df.na.fill("e",Seq("blank")) 

しかし、null値のdidn：その後、私はこれを行う

+----+-----+-----+--------------------+-----+ 
|year| make|model|    comment|blank| 
+----+-----+-----+--------------------+-----+ 
|2012|Tesla| S|   No comment|  | 
|1997| Ford| E350|Go get one now th...|  | 
|2015|Chevy| Volt|    null| null| 

：

val df = sqlContext.read 
       .format("com.databricks.spark.csv") 
       .option("header", "true") 
       .load("/usr/local/spark/cars.csv") 

次のようになります。変わらない。

誰でも手伝ってもらえますか？

Answer 1

これは基本的には非常に簡単です。新しいDataFrameを作成する必要があります。前に定義したDataFrame dfを使用しています。

val newDf = df.na.fill("e",Seq("blank")) 

DataFrame sが不変構造です。 保存する必要がある変換を実行するたびに、変換後のDataFrameに新しい値を適用する必要があります。

Answer 2

あなたはこのよう

Dataset<Row> filteredData = dataset.na().fill(0);