Pentaho PDI（スプーン）：MySQLテーブルの出力が非常に遅い（〜2000 rows/s）

Question

入力（100000-200.000行/秒）と比較して、テーブルの出力ステップが非常に遅い（約2.000行/秒）。 MySQLサーバーはネイティブMySQLを使用して、問題ではありません。 「SQLスクリプトの実行」ステップでは、100thousands/secondの何かが得られます。私もコミットサイズパラメータ（100、1.000、10.000）とUse batch updates for insertsも成功せず、有効になって変化し

useServerPrepStmts=false 
rewriteBatchedStatements=true 
useCompression=true 

：私はすでに（成功せず）によって、SQLオプションを拡張する一般的な解決策を試してみました。他に何ができますか？ 〜10.000.000行のテーブルがあり、Pentahoは非常に強力なマシン上で動くので、これは受け入れられません。

Answer 1

この場合、理想的なステップは、バルクローディングセクションに記載されているMySQL Bulk Loaderステップです。それに加えて、接続のJDBCオプションで上記を使用すると、

useServerPrepStmts=false 
rewriteBatchedStatements=true 
useCompression=true 

接続で接続できます。 これらのuseCompressionは、クライアントとMySQLサーバ間のトラフィックを圧縮します。 他の2つはINSERT INTO tbl (a,b) VALUES (1,'x'),(2,'y'),(3,'z');となり、それぞれ別の挿入文を使用しません。

Answer 2

は、次の手順に従います。

1. はスプーンa.k.a PDIのためのRAMサイズを増やします。
2. （KitchenまたはPan）などのコマンドラインユーティリティを使用して、ジョブまたは変換を実行します。

さて、スピードを比較してください。

乾杯！