2016-05-18 1 views
0

私のシナリオでは、データaはスパークストリーミングを使用してリアルタイムでkafkaから読み込まれます。累積されたT + 1データであるrdbms(MySQLなど)からのデータAに基づいて、計算が行われ、結果= A + aとなります。 次の蓄積データはBです。計算は結果= B + aスパークストリーミング時のベースデータの更新

私の質問はどのようにrdbmsからのT + 1データに基づいてデータを合計できますか?

ありがとうございます!

答えて

0

最後に、赤目を使用して解決しました。毎日rdbmsからデータをインポートし、redisでデータを更新し、毎日の終わりにrdbms結果テーブルにデータをエクスポートします。この質問を閉じる、ありがとう。

関連する問題