Spark Structured Streamingでの複数の集計

Question

Spark Structured Streamingで複数の集計を行いたいとします。

このような何か：

• を（フォルダから）入力ファイルのストリームを読む
• （一部の変換で）集合1を実行
• 集約2（および複数の変換）を実行

これを構造化ストリーミングで実行すると、「複数のストリーミング集約がストリーミングデータフレーム/データセットでサポートされていません」というエラーが表示されます。

ストラクチャードストリーミングでこのような複数の集計を行う方法はありますか？

Answer 1

ストラクチャードストリーミングAPIはまだ実験的なので、これはSpark 2.0ではサポートされていません。すべての現在の制限事項のリストについては、hereを参照してください。

Answer 2

これはサポートされていませんが、他の方法もあります。単一の集計を実行し、それをkafkaに保存するように。それをkafkaから読んで、集約を再度適用してください。これは私のために働いています。