メガデータストアから何百万というIDを読み取る変換があります。異なる変換で使用するデータをキャッシュする最良の方法
私は何とかそれらのIDをリストまたはハッシュマップに格納したいと考えています。
私には約1ダースの変換があります。 これらの各変換は、他の個別の子データストアから入力データ(ID)を取得します。
私がしたいことは、UDJCでは、子データストアからIDを取得するときに、各IDがすでにメガIDリストに入っているかどうかを何らかの方法でチェックすることです。
性能上の理由から、すべての変換でメガストアを呼び出すことはできません。
後続のUDJCで使用できるメガIDのリストを作成する方法はありますか?
おかげ
あなたは 'Unique rows(HasSet)'機能を複製していませんか? – AlainD
Emdedded database?例:h2 – simar