スパークシェルを終了すると、すべてのデータフレームデータがなくなります。これは正常ですか？

Question

私はApache Sparkを学んでいます。 CSVデータをデータフレームにロードしています。これには約5分（多くのデータ）がかかります。私がspark-shellを終了してspark-shellに戻ってログすると、データはなくなります。これは正常な動作ですか？私はこの文書で何も見つけられません。どのようにしてセッション間でデータを保持できますか？

Answer 1

はい、ipythonシェルでも同様に、シェルを終了すると保存されない配列を作成すると予想されます。それを格納するには、行うことができます：あなたはあなたのシェルを再起動したら

import spark.implicits._ 
val df = spark.range(10).map(l => l.toInt).toDF() // create a mock data frame 
df.write.parquet("outputfile.parquet") // save it to a file, consider s3 with s3://yourbucket/yourfile.parquet if it is too large 

、あなたが戻ってあなたのデータフレームを取得することができます：

spark.read.parquet("outputfile.parquet").collect