ケトルPDI：より良い検索と挿入の更新または挿入の更新+参照

Question

別名Pentaho Data Integrationのケトルで、いくつかのカテゴリにリンクされたいくつかの製品でxlsを読んで、それらをdbに挿入します。

リレーションシップカテゴリproductは1：nです（1つのカテゴリにはより多くの製品があり、1つの製品は1つのカテゴリに属します）。 カテゴリの挿入をしてから、製品の挿入を行います。

CASE 1：

1. 挿入/更新カテゴリ（実際、私はのみ挿入します）。
2. コードでカテゴリを検索し、他のステップで使用されているIDを返します。

CASE 2：コードによって

1. ルックアップカテゴリ。
2. フィルタ行：if（id> 0）次に他の手順に進みます。それ以外の場合は手順3に進みます。
3. 挿入カテゴリとリターンID。

ケース1またはケース2の方が良い（高速/メモリ使用）ですか？

サブカテゴリ、サプライヤーおよびその他の関連エンティティに同じ選択が適用されます。

実際に私はケース1を使用し、pdiは毎秒4レコードを処理し、100kレコードのファイルを持っています。

Answer 1

2番目の方法を使用して製品を読み、製品ごとにLookup steamを使用して製品の1つのカテゴリを見つけることをお勧めします。

そのように進む理由は、人間の考え方です。そしてそれも。 Lookup stream（Lookup Databaseではなく）はかなり最適化されています。場合によっては、データベースの結合よりも早く参加することもできます。