0
私は非常に大きなデータセットを扱っているため、中間データフレームを削除する必要があります。必要のないデータフレームがメモリ/ディスクから削除されるようにするにはどうすればよいですか？Pysparkデータフレームを削除
A
答えて
0
あなたはspark.catalog.clearCache
https://spark.apache.org/docs/2.1.0/api/java/org/apache/spark/sql/catalog/Catalog.html
関連する問題
- 1. Pyspark：データフレーム
- 2. 削除データフレーム列
- 3. pysparkデータフレームのフィルタリング
- 4. pysparkデータフレーム列名
- 5. 削除データフレームの列
- 6. Pyspark：私は次のようなpysparkのデータフレームを持つpysparkのデータフレームから
- 7. PySparkデータフレームは、重複
- 8. Zeppelin：pyspark.rdd.RDDをデータフレームに変換する（pysparkデータフレーム）
- 9. Pyspark S3にデータフレームを保存
- 10. pysparkデータフレームのcollect_setをフラットマップ
- 11. PYSPARK：データフレームを扱うには？
- 12. 除外によるisinを使用したpysparkデータフレームのフィルタリング
- 13. は、私がpysparkでデータフレームを持ってpysparkにデータフレームと更新へ
- 14. PySparkのデータフレームのパイプラインがpysparkのデータフレームを前処理した後MetastoreRelationエラー
- 15. 私が使用してPySparkのデータフレームを構築していpysparkのデータフレーム
- 16. Pysparkデータフレーム操作のユニットテストケース
- 17. PySparkデータフレームの操作効率
- 18. spark csvデータフレームの列を削除する
- 19. データフレーム内の 'NaN'値を削除する
- 20. データフレームからストップワードを削除する
- 21. データフレームを削除する方法BigR？
- 22. データフレームから重複を削除
- 23. Pandasで別のデータフレームを削除する
- 24. Rのデータフレームの "x"を削除R
- 25. spark sqlデータフレームで機能を削除
- 26. pandasデータフレームからヘッダー列を削除
- 27. R - データフレーム内の単語の削除が削除されます
- 28. pysparkデータフレームのパーセンテージを計算する
- 29. dict_valuesからpysparkデータフレームを作成する
- 30. pysparkのデータフレームをハイブにする
を使用する必要がありますがNoneに参照を設定してみてくださいましたか？ –