SPL 3.0から4.2（TEDA）への移行作業

Question

新しい4.2フレームワークへの3.0コードの移行作業中です。私はいくつかの困難に直面しています。

1. 新しい4.2フレームワークでCDRレベルの重複排除を実行する方法は？ （注：テーブルの重複排除は既に行われています）。

2. ここで、PostDedupProcessor - contextまたはchainsink customを実装しますか？どちらの場合でも、リストから重複したハッシュコードを削除するか、タプルを拒否する必要はありますか？ここでは、いくつかのタプルの列更新も行っています。

3. ファイルがアーカイブに移動していません。一時的な出力ファイルが生成されていて、空でなくてロードディレクトリの外にあります。考えられる理由は何でしょうか？ - 私は設定パラメータを徹底的にチェックしてログを記録した後、変圧器のカスタムから正しい出力が送られているように見えるので、どこに詰まっているのか分かりません。私はTableRowGeneratorストリームをログに記録しました（DataProcessorの終わり）。

Answer 1

1および2：

あなたは、重複除外のタイプを選択する必要があります。 "table-"または "cdr-level-deduplication"を選択しても大きな違いはありません。 ite.businessLogic.transformation.outputTypeはこれに影響します。 Dedupは1つしかありません。両方を持つことはできません。

"cdr-level-deduplication"を選択するには、xxx.chainsink.custom :: PostContextDataProcessorでテーブル行形式に変換します（TableFileWriterを使用する場合など）。recordStreamを選択します。 xxx.chainsink.custom :: PostContextDataProcessorでは、重複処理用のカスタムコードを追加する必要があります。タプルを拒否（破棄）したり、特殊な列の値を設定したり、異なるターゲットテーブルに書き込んだりする必要があります。

3：

おそらく理由が考えられます。ブルームフィルタの構成のウィンドウ句読点の転送または統計タプル

エラーが表示されない

• PEがダウンしているので、あなたは簡単にそれを見るなり、エラーログは間違ったことに関するヒントを与えるsha2関数を使用する

トラブルシューティングするには

に

ite.businessLogic.group.debug =に

• ite.businessLogic.transformation.debug =：十分ではありませんライブグラフStreamsStudioをチェックする場合ITEアプリケーション、私は、次のデバッグ・シンクを有効にすることをお勧めします
• ite.businessLogic.sink.debug = on

1つの入力ファイルのみでテストを実行し、レコードと統計タプルのフローを確認します。 「デバッグシンク」は、デバッグファイルにも句読点を書きます。