動的プロパティ値を渡してApache NiFiでジョブをスケジューリングする

Question

GenerateFlowFile - >カスタムプロセッサ - > LogAttribute 私のカスタムプロセッサには開始日としてプロパティがあります。しかし、開始日は、前回の実行からの終了日の最大値に基づいてスケジュールされた実行ごとに変更する必要があります。基本的に、サーバーからの増分データフェッチを探します。

これはApache NiFiでどのように実現できますか？

Answer 1

プロセッサスケジューリングは、通常、プロセッサをフローに構成するデータフローマネージャに委ねられます。定期的に実行することを期待してプロセッサのスケジュールを立てることをお勧めします。

しかし、Apache NiFiのState Manager機能を使用して、増分の進行状況を追跡するデータを保存できます。プロセッサがトリガされたときに、実行するアクションを決定することができます。何もしなければ何もしないでください。

これの最も良い例は、ListFileのようなList *プロセッサです。これらのプロセッサには、通常、最後に読み込まれたファイルのタイムスタンプが格納されます。チェックする頻度に関係なく、新しいファイルを処理するタイムスタンプを使用します。 List *プロセッサのほとんどの実行が出力をもたらさない可能性があります。

AbstractListProcessorクラスの状態データを読み込み、永続化するいくつかの例があります。