Pyspark2を交換しますか？データ内

Question

質問マークがありますか？ "私のデータに。 "名前"と呼ばれる私の欄に。これらの疑問符 "？"私のデータではnull値として動作します。どうすれば交換できますか？ NaNとpyspark2を使用して

、私は

from pyspark.sql.functions import regexp_replace, col 

data = data.select(regexp_replace(col("Name"), "?", "NaN")) 

は、おそらくユーザー定義関数を使用して別の方法がありますしようとしましたか？

Answer 1

文字 '？'正規表現には特別な意味があります。エスケープシーケンスを使用します。これが役に立てば幸いです。

data = data.select(regexp_replace(col("Name"), "\?", "NaN"))