IngiteRDD
があります。これは、基になるキャッシュへの変更を反映することができ、SparkのRDDの不変性の欠点を克服することができます。Igniteは統合ビューからSparkでどのように動作するのですか
ANSI sql (not spark sql)
を実行するIgniteRDD.sql
メソッドがあります。このメソッドは、spark sqlの概念であるDataFrameを返します。このDataFrameオブジェクトを取得すると、通常のDataFrameとして使用できますか?Igniteワールドからのものではないと思いますか?つまり、私は一時テーブルを登録してから、他のDataFrameとの分散結合を行うことができます。 sql like distributed joinが実行されると、IgniteはSQLを実行するためにSpark SQL EngineまたはIgnite Engineを使用しますか?
説明のために@Valentinありがとうございます。データがドライバ側に取り込まれたら、私はデータが十分に小さくなければならないと思います... 'IgniteRDD.sql'は小さなデータセットにのみ適していますか? – Tom
データセット全体がドライバに転送されず、結果セットのみが転送されます。クエリ自体は、ギガバイトのデータを格納できるスケーラブルな分散キャッシュ上で実行されます。 –