SparkContext.addFileを使用して追加したファイルを上書きする方法は？

Question

私はすべてのワーカーノードにファイルを追加するためにsc.addFileを使用しようとしています。しかし、私はそれが同じファイルを上書きすることができないことがわかった。 sc.addFileでファイルを上書きする方法はありますか？

Answer 1

spark.files.overwriteで構成されています

SparkContext.addFile（を通じて追加されたファイルを上書きするかどうか）、対象ファイルが存在し、その内容がソースのものと一致しないとき。

だから

spark.files.overwrite true 

またはセッション

spark = SparkSession.builder.conf("spark.files.overwrite", "true").getOrCreate() 
sc = spark.sparkContext 

またはSparkConf

conf = SparkConf().set("spark.files.overwrite", "true") 
sc = SparkContext(conf=conf) 

あなたの設定で trueに設定