pysparkジョブに追加されたファイルを削除または上書きする方法は？

私はいくつかの変更を加えたし、私の卵のファイルを再構築する場合は、しかし、pysparkジョブに追加されたファイルを削除または上書きする方法は？

sc.addPyFile('/path/to/my_file.egg')

を使用してコンテキストをpysparkする卵のファイルを追加しました。もう一度追加することはできません。スパークは、ファイルがすでに私はagain.Hereは、スタックトレース

org.apache.spark.SparkException: File /tmp/spark-ddfc2b0f-2897-4fac-8cf3-d7ccee04700c/userFiles-44152f58-835a-4d9f-acd6-f841468fa2cb/my_file.egg exists and does not match contents of file:///path/to/my_file.egg 
    at org.apache.spark.util.Utils$.copyFile(Utils.scala:489) 
    at org.apache.spark.util.Utils$.doFetchFile(Utils.scala:595) 
    at org.apache.spark.util.Utils$.fetchFile(Utils.scala:394) 
    at org.apache.spark.SparkContext.addFile(SparkContext.scala:1409)

それを上書きするために火花を伝える方法がありますされて追加できないことに存在していることを言いましたか？

おかげで、

出典

2016-11-09 Sean Nguyen

私もこの問題に取り組んでいます。バージョン2では 'sc.clearFiles（）'が[削除されました]（https://issues.apache.org/jira/browse/SPARK-17525）でした。 –

私にとってもうまくいきません。私はスパーク1.6を使用しています – Rags