スパークストリーミングによる赤方偏移

Question

私は、毎分60Kイベントを取り込んで処理するKafka - Spark Streamingアプリケーションを持っています。私は可視化レイヤーによってアクセスされる私の変換されたデータフレームを格納するデータベースが必要です。 Spark StreamingでRedshiftを使用することはできますか？またはCassandraを使用する必要がありますか？私は、30秒のスパークウィンドウごとにデータフレームを処理して保存します。また、私はすべてのウィンドウのデータストアから読み込む必要があります。私はRedhsiftが主に処理のOLTPの種類のためのデータウェアハウスデータベースではないと思う..任意のアイデア？

Answer 1

SnappyDataをチェックしてください。 SnappyDataは、ハイブリッドOLTP/OLAPアプリケーションを可能にするSparkとメモリ内データベースを深く統合します。 Snappy上にSpark Streamingアプリケーションを作成して、データベースからデータを更新/削除することができます。さらに、コネクタを経由しないので、performs betterよりもthe myriad datastoresにはSparkコネクタがあり、ネイティブのSparkキャッシュさえあります。前述のリンクでSparkにハイブリッドOLTP/OLAPアプリケーションを提供する他のデータストアがあるかもしれません。

免責事項：私はSnappyData従業員です。