RDDまたはデータフレームがキャッシュされているかどうかを確認するにはどうすればよいですか？

Question

データフレームdf1を作成しました。私はこれをdf1.cache（）を使ってキャッシュしました。これがキャッシュされているかどうかをどのように確認できますか？ キャッシュされたRDDやデータフレームをすべて見ることができる方法もあります。

Answer 1

getStorageLevel.useMemoryをRDDで呼び出して、データセットがメモリ内にあるかどうかを調べることができます。たとえば：

scala> val rdd = sc.parallelize(Seq(1,2)) 
rdd: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[1] at parallelize at <console>:21 

scala> rdd.getStorageLevel.useMemory 
res9: Boolean = false 

scala> rdd.cache() 
res10: rdd.type = ParallelCollectionRDD[1] at parallelize at <console>:21 

scala> rdd.getStorageLevel.useMemory 
res11: Boolean = true 

Answer 2

@Arnab、

あなたは、Pythonで関数を見つけましたか？ここ
は、データフレームDFのための例です：

DF.cache() 
print DF.is_cached 

は、この情報がお役に立てば幸いです。この方法は、すべての永続RDDSを見つけるために使用することができ、次のJavaとScalaで
ラム

Answer 3

、この方法を利用できないように https://spark.apache.org/docs/2.0.2/api/java/org/apache/spark/SparkContext.html#getPersistentRDDs()

ルックス：ここ sparkContext.getPersistentRDDs（）
では、ドキュメントへのリンクがあります
https://issues.apache.org/jira/browse/SPARK-2141
しかし、一つは、この短期的なハックを使用することができます：まだのpythonインチsparkContext._jsc.getPersistentRDDs（）の項目（）

ありがとう。スパーク（スカラ）2.1.0以降開始

Answer 4

、この次のようにデータフレームをチェックすることができます。

dataframe.storageLevel.useMemory