Pysparkの欠損値を取り除く方法

Question

私はこの列に欠損値を含むサンプルデータを使用していますが、欠損値を含むすべての行を削除したいとします。

データの説明は次のとおりです。

私はオンライン検索とdropnaのみデータフレームのために働くように思えるしました。私はデータフレームを作成するときしかし、私はNAの、私はデータフレームを作成することができないからだと推測するエラーメッセージ

auto_DF_prep = auto_RDD.map(lambda e: Row(mpg = float(e[0]), cylinders = int(e[1]), displacement = float(e[2]), horsepower = float(e[3]), weight = float(e[4]), acceleration = float(e[5]), year = int(e[6]), origin = int(e[7]), name = e[8])) 

を得ました。私はどのように進めるべきですか？前もって感謝します！ autoを想定し

Answer 1

はDataFrame

auto.na.drop()

です参照してください：あなたのcsvファイルでDataFrame.dropna()

Answer 2

NAを非数値を表すないstr('NA')にちょうど等しいです。 auto_RDD =自動：

null値は、だからここ