2017-07-03 17 views
0

NiFi 1.2.0カスタムプロセッサーとバックプレッシャー、スロットル

dbからデータを読み取り、さらにそれを渡すカスタムプロセッサーがあります。最近のストレステストでは、「成功」の関係キューが詰まったともプロセッサとして、後の流れは、いくつかのGB単位のフローファイルの百何千ものダンプ。明らかに、backpressuringは実装されていません。私はまた、有益postスロットリングとバックプレッシャー処理についてお読みください。私は考え出した何

はバックプレッシャーは、我々はデータの流れを調整するのを助けることができるControlRateのような関係キューと標準プロセッサで構成するものだということです。それを可能にするためのプロセッサでのバックプレッシャーのために「スリープ/データを消費停止」またはNiFiフレームワークはそれを処理します、「一度

質問:追加のコーディングが

必要です(一部のインターフェイスを実装するなど)プロセッサの成功の関係は、追加のコーディングが必要とされない

答えて

1

をバックプレッシャー処理用に構成されています。 NiFiフレームワークはバックプレッシャを管理し、バックプレッシャが適用されたときにプロセッサの呼び出しを停止します。

+0

でも私が考えるものであること。私はバックプレッシャー/スロットリングはちょうど関係(バックプレッシャーオブジェクトしきい値、FlowFileの有効期限、バックプレッシャーデータサイズ閾値)と、必要に応じて、ControlRateのようなプロセッサを追加を設定することを前提とすることはできますか? –

+0

正しい。それらはスループットを制御するための良い手段です。 – James

関連する問題