いくつかの変換を使用して重複を除去する方法

Question

私は、重複をソースから除外してターゲットにロードするシナリオがあります。しかし、私は以下の

1）SQLオーバーライド

2）検索

3）アグリゲータ

4）ランク

5）Unixコマンドを使用してはならない

6） Java

注：ソースには膨大な数のレコードがありますdsは

この点で

おかげで、よろしく

ラジ

Answer 1

を助けてください、私は実際には要件がをキャッシュすることなく、重複を削除にあると仮定します。私は2つのソリューションを可能参照：「明確な」ソース修飾子プロパティを使用して、ソース・データベースへ

• プッシュそれを、または
• ソートSource QualifierプロパティNumber Of Sorted Ports（正しい順序でポートを置くことを忘れないでください）を使用してデータを、 Expression Transformationを作成します。ローカル変数を使用して、現在のキーと前のキーとを比較し、重複していない行のみを許可するFilter Transformationが続く削除を示す出力フラグを作成します。