Javaスパークを使用して最後の良好な観測でNaN値を埋める方法は？

Question

最後の良好な観測結果でNaN値を埋めようとしています。

私はDataFrameを使用していません。sparkcontextでdatファイルを読み込むだけです。私の例では

NaN値のすべてはあなたがフィルタリング（または交換）することができます104

Answer 1

の値である必要がありDataFrameNaFunctionsオブジェクトを使用してデータセットからNaN値：

例：

Dataset<Row> yourDataSet = sparkSession.createDataFrame(yourJavaRDDCollection, yourSchema); 
Dataset<Row> dfNaNFilter = new DataFrameNaFunctions(yourDataSet); 

// If you want to remove all of them: 
Dataset<Row> nonNaNValues = dfNaNFilter.drop(); 

// If you want to replace them with a numeric value (e.g. 104): 
Dataset<Row> replacedNaNValues = dfNaNFilter.fill(104);