データフローのレートが出所の記録レートを超えています。処理速度が遅くなります。

Question

nifi 1.1.0を使用しており、実行するには負荷が大きすぎます。そのためあまり負荷のプロセッサが非常に遅い実行していると私はいくつかのエラーを取得しています：

The rate of the dataflow is exceeding the provenance recording rate. slowing down flow to accommodate. 

私は「nifi.properties」ファイルが、改善なしに出所リポジトリのストレージサイズを変更しました。私は次のプロパティを変更しました：

nifi.provenance.repository.max.storage.size = 2 GB 

私はグーグルではありますが、適切な解決策を得られませんでした。誰も私にこの問題を解決する方法を教えてもらえますか？

同じのために下のスクリーンショット見つけてください：

Answer 1

エラーは、次のプロパティに属します。

nifi.provenance.repository.index.threads=1 

デフォルト値は1

FlowFilesの非常に高い数値を操作フローについては、産地のイベントのインデックスがボトルネックになる可能性があります。

この場合、「データフローのレートが起源の記録レートを超えています。調整するためにフローを遅くします。」というメッセージが表示されます。

この場合、このプロパティの値を大きくすると、Provenance Repositoryがこれらのレコードを処理できる速度が向上し、全体的なスループットが向上する可能性があります。

使用すると、1つのプロセスに割り当てられるスレッドの数を増やすと、あなたは別の利用可能数を減​​らすことに留意してください。上記のエラーメッセージが表示されない限り、これを1つにしておきます。

は、ご検討のために、あなたはあなたの結果のより良いパフォーマンスを得る可能性があります、次のベストプラクティス

https://community.hortonworks.com/articles/7882/hdfnifi-best-practices-for-setting-up-a-high-perfo.html

でNiFiを設定することができます。