Spark DataFrame相当のpandas.DataFrame.set_index/drop_duplicatesとdropDuplicatesとの比較

Question

Spark DataFramesのドロップ重複メソッドは機能していません。私のデータセットの一部であるインデックス列がデータの列として扱われていると思います。そこには重複がありますが、インデックス以外のすべての列でCOUNT()とCOUNT(DISTINCT())を比較して確認しました。 Spark DataFramesの新機能ですが、この時点でPandasを使用していた場合は、その列にpandas.DataFrame.set_indexを追加します。

誰もこのような状況を処理する方法を知っていますか？

第2に、Spark DataFrameには、drop_duplicatesとdropDuplicatesの2つのメソッドがあるようです。彼らは同じですか？

Answer 1

個別のレコードを確認しながらインデックス列を考慮しない場合は、次のコマンドを使用して列を削除するか、必要な列のみを選択します。

df = df.drop('p_index') // Pass column name to be dropped 

df = df.select('name', 'age') // Pass the required columns 

drop_duplicates（）は、dropDuplicates（）のエイリアスです。

https://spark.apache.org/docs/latest/api/python/pyspark.sql.html#pyspark.sql.DataFrame.dropDuplicates