2つの属性で重複を検出：nifi

Question

フローファイルの2つの属性に基づいてNIFIを使用して重複を検出しようとしています.2つの特定の属性値が同じ重複行が1秒間に存在しないようにしてください。 DetectDuplicateプロセッサでは、次は私のプロセッサのエントリです：

CacheEntryIdentifier：${attribute1_name}::${attribute2_name}

Age of Duration：1 sec

Distributed Chache Service：DistributedMapCacheClientService

はそれでも、私は2番目の値ごとに、対象の重複行を取得していますこれらの2つの属性のうち同じものは同じです。 ヘルプは大歓迎です。ありがとう。

Answer 1

「Age Off Duration」が1秒の場合は、少なくとも1秒前に到着したCacheEntryIndentifierの値が重複しているとはみなされません。このプロパティはエントリを「期限切れにする」ために使用され、一部のユーザは24時間にわたってその値を設定するため、翌日には同じ値が「以前には見られなかった」として再度表示されます。 「見た」値を常に維持したい場合は、「Age Off Duration」を空白のままにします。