Spark Kafka Apache Igniteとの構造化ストリーミング統合

Question

現在、Apche IgniteでSpark DataFramesを保存する方法はありません。ここに記載されているように、Apache Ignite 2.2のバージョンに含まれます。https://issues.apache.org/jira/browse/IGNITE-3084私は、データを消費するためにKafkaでApache SparkのStructured Streaming APIを使用しています。私は、特定の列の平均値や消費されたデータの最小値のようないくつかの集計を行いたいと思います。

私の質問は、上記の集計を実行するためにSpark SQL DataFrame APIを使用すべきかどうか、またはApache Ignite 2.2バージョンを待つべきですか？彼らは、Ignite SQLがSpark SQLよりも100秒高速であることをドキュメンテーションで述べています。

Answer 1

実際、あなた次第です。今すぐSparkを実行し、IgniteのDataFramesサポートが準備が整うのを待ってから、これらの2つの方法を比較し、どちらが良いかを選択します。