Spring Cloud Data Flowを使用してファイルがHDFS上に沈んだことを知る方法

Question

ファイルソースをダウンロードし、最終的にHDFSにシンクするために1行ずつ処理してストリームを作成しています。 そのために私はSpring Cloud Dataflow + Kafkaを使用しています。

質問：完全なファイルがイベントをトリガするためにHDFSに沈んだときを知る方法はありますか？

Answer 1

完全なファイルがイベントを引き起こすためにHDFSに沈んだときを知る方法はありますか？

このタイプのユースケースは、通常、ストリーミングパイプラインではなくタスク/バッチに属します。 filehdfsタスク（バッチジョブ）アプリケーションを構築すると、さらに下流の決定やデータ処理を行うためにさまざまなタスクイベントをリスンするストリームを持つことができます。

詳細については、リファレンスガイドの「Subscribing to Task/Batch Events」を参照してください。