apache ignite rddをscalaのspdd rddに変換することは可能ですか？

Question

私はapache igniteとsparkの新機能です... いずれかの方法で、ignite rddをscalaのspdd rddに変換することができます。

更新---- ユースケース： 私はHBaseのテーブルのデータフレームを受信します..私は、それからレポートを作成するためにいくつかのロジックを実行するのIgnite RDDに保存...と同じ発火のRDDますでしょう各テーブルごとに更新する...すべてのテーブルが最後に実行されたらignute rddはsparkまたはjava rddに変換され、最後のルールはそのrddで実行されます...そのルールを実行するにはrddをデータフレームに変換する必要があります。そのデータフレームはハイブの最終レポートとして保存されます...

Answer 1

変換するとどういう意味ですか？ IgniteRDD is a Spark RDDは、技術的にはRDD特性のサブタイプです。

スパークは内部で多くのタイプのRDDを持っています：MappedRDD、HadoopRDD、LogicalRDD。 IgniteRDDは、可能なタイプのRDDの1つだけであり、いくつかの変換の後、他のRDDタイプ、すなわちMappedRDDによってもラップされる。あなたはまた、独自のRDDを書くことができ

:) documentationから

例：

val cache = igniteContext.fromCache("partitioned") 
val result = cache.filter(_._2.contains("Ignite")).collect() 

キャッシュRDDを濾過した後、タイプが異なるものになります - IgniteRDDはFilteredRDDにラップされます。しかし、それはまだRDDの特性の実装です。コメントの後

更新：

1. まず、あなたは暗黙をインポートしましたか？それはまだ、あなたを助けてくれDATAFRAMEとコード例を作成中に取得しているエラーを提供してくださいされていない場合import spark.implicits._
2. はSparkSessionでは、データフレーム/データセット

にあなたのRDDを変換する様々なcreateDataFrame方法を持っています