2016-12-13 2 views
0

IngiteRDDがあります。これは、基になるキャッシュへの変更を反映することができ、SparkのRDDの不変性の欠点を克服することができます。Igniteは統合ビューからSparkでどのように動作するのですか

ANSI sql (not spark sql)を実行するIgniteRDD.sqlメソッドがあります。このメソッドは、spark sqlの概念であるDataFrameを返します。このDataFrameオブジェクトを取得すると、通常のDataFrameとして使用できますか?Igniteワールドからのものではないと思いますか?つまり、私は一時テーブルを登録してから、他のDataFrameとの分散結合を行うことができます。 sql like distributed joinが実行されると、IgniteはSQLを実行するためにSpark SQL EngineまたはIgnite Engineを使用しますか?

答えて

0

クエリを実行した後でDataframe APIを使用できますが、この場合は配信されません。私。すでにドライバにフェッチされたローカル結果セットで動作します。

IgniteでのフルサポートDataframeは来年に利用可能になります。

+0

説明のために@Valentinありがとうございます。データがドライバ側に取り込まれたら、私はデータが十分に小さくなければならないと思います... 'IgniteRDD.sql'は小さなデータセットにのみ適していますか? – Tom

+0

データセット全体がドライバに転送されず、結果セットのみが転送されます。クエリ自体は、ギガバイトのデータを格納できるスケーラブルな分散キャッシュ上で実行されます。 –

関連する問題