Q

talendを使用してデータベースにさらにデータをロードする方法

2016-04-03 36 views 0 likes

0

入力テーブル****（tPostgresqlInput）**に900,000行の6.5GBデータがあります。同じデータを出力テーブルにロードしようとしています（tPostgresqlOutput ）、私の入力テーブルからの応答を取得していないジョブを実行中に、そこにデータをロードする任意のソリューションですか？ plsが私の添付ファイルを参照しています talendを使用してデータベースにさらにデータをロードする方法

2016-04-03 GOPALAKRISHNAN

+1

6.5gの/ 900Kを：：コンポーネントのセットを以下に見てみましょう=あなたの平均行サイズは> 7Kです。これは私にとってはとても元気ではありません。 – joop

+0

LOBが700MBの範囲にあるときには、面白いものになります:)しかし、talendはそれらもデフォルト設定で処理できます。 –

A

答えて

0

さらに管理しやすいチャンクを検索する戦略を開発する必要がありました。たとえば、行IDに基づいてデータを分割します。そうすれば、データを取得するために必要なメモリや時間がかかりません。

ジョブのデフォルトメモリ制限を1 GBからそれ以上に増やすこともできます。

ジョブをデータベースサーバーと同じネットワーク上で実行すると、パフォーマンスが向上する可能性があります。

2016-04-03 22:53:15 dbh

0

[入力の詳細設定]で[カーソルを使用]を有効にしてください。デフォルトの1kの値は問題ありません。同様の出力でバッチサイズを有効にします。

これを有効にすると、Talendは一度に1kレコードで動作します。

2016-04-04 08:54:49

0

この2つのテーブルが同じDB内にある場合は、Talend ELTコンポーネントを使用して、データベースへの処理をプッシュダウンすることはできません。 https://help.talend.com/display/TalendOpenStudioComponentsReferenceGuide60EN/tELTPostgresqlInput https://help.talend.com/display/TalendOpenStudioComponentsReferenceGuide60EN/tELTPostgresqlMap https://help.talend.com/display/TalendOpenStudioComponentsReferenceGuide60EN/tELTPostgresqlOutput

2016-04-13 08:57:33

関連する問題