2016-10-12 16 views

答えて

1

RDDSとデータセットは

ただし、データグリッドに興味がある可能性があり(少なくとも、メモリを共有するための公式APIが存在しない)アプリケーション間で共有することはできません。 Apache Igniteを見てください。つまり、データをSparkに読み込み、前処理してグリッドに保存することができます。次に、他のアプリケーションでは、Igniteキャッシュからデータを読み取るだけです。

IgniteRDDという名前の特別なタイプのRDDがあります。IgniteRDDは他のデータソースと同様にIgniteキャッシュを使用できます。もちろん、他のRDDのように、このようなものになるだろう

をデータセットに変換することができます:

val rdd = igniteContext.fromCache("igniteCache") 
val dataFrame = rdd.toDF 

IgniteContextとIgniteRDDについての詳しい情報は、あなたが見つけることができるhere

関連する問題